/
Text
М. КЕНДАЛЛ, А. СТЬЮАРТ
THE ADVANCED
THEORY OF STATISTICS
MAURICE G. KENDAbL, M.A., Sc.D.
Chairman, Scientific Control Systems Ltd. • Formerly Professor of Statistics in
the University of London • President qf the Royal Statistical Society, i960-»
and
ALAN STUART, D.Sc. (econ.)
Professor of Statistics in the University of London
IN THREE VOLUMES
VOLUME 3
DESIGN AND ANALYSIS,
AND TIME-SERIES
SECOND EDITION
МНОГОМЕРНЫЙ
СТАТИСТИЧЕСКИЙ
АНАЛИЗ
И ВРЕМЕННЫЕ РЯДЫ
Перевод с английского
Э. Л. ПРЕСМАНА, В. И. РОТАРЯ
Под редакцией
А. Н. КОЛМОГОРОВА, Ю. В. ПРОХОРОВА
CHARLES GRIFFIN & COMPANY LIMITED
LONDON
ИЗДАТЕЛЬСТВО «НАУКА>
ГЛАВНАЯ РЕДАКЦИЯ
ФИЗИКО-МАТЕМАТИЧЕСКОЙ ЛИТЕРАТУРЫ
МОСКВА. 1976
517.8
К 35
УДК 519.24
Многомерный статистический анализ и времен-
временные ряды, М. К е н д а л л, А. Стьюарт, Главная
редакция физико-математической литературы изд-ва
«Наука>, 1976.
Книга является последним томом трехтомного
курса статистики М. Кендалла и А. Стьюарта, первый
том которого вышел в 1966 г. под названием «Теория
распределений:», а второй — в 1973 г. под названием
«Статистические выводы и связи>. В книге содер-
содержатся сведения по дисперсионному анализу, плани-
планированию экспериментов, теории выборочных обследо-
обследований, многомерному анализу и временным рядам.
Как и первые два тома, книга содержит много прак-
практических рекомендаций и примеров их применения,
а изложение сочетает более или менее подробный
вывод основных результатов с относительно кратким
перечислением большого количества более частных
сведений.
Книга будет представлять интерес для студентов
и аспирантов, специализирующихся в области мате-
математической статистики, а также для широкого круга
научных работников, имеющих дело с ее приложе-
приложениями
Библ. 563 назв. Илл. 23.
Морис Кендалл, Алан Стьюарт
Многомерный статистический анализ и временные ряды
М., 1976 г., 736 стр. с илл.
Редактор С. А. Айвазян
Техн. редактор В. Н. Кондакова
Корректоры О. А. Сигал, М. Л. Медведская
Сдано в набор 9/1 1976 г. Подписано к печати 1/V1 1976 г.
Бумага бОХЭО'Дв тип. № 1. Физ. печ. л. 46. Усл. печ. л. 46.
Уч.-изд. л. 47.89. Тираж 16 000 экз. Цена книги 3 р. 61 к.
Заказ № 27.
Издательство «Наука>
Главная редакция физико-математической литературы
117071, Москва. B-7I, Ленинский проспект, 15
Ордена Трудового Красного Знамени
Ленинградская типография № 2 нмеии Евгении Соколовой
Союзполнграфпрома при Государственной комитете Совета
Министров СССР по делам издательств, полиграфии
и книжной торговли. 198052, Ленинград, Л-52,
Измайловский пр., 29.
К
20203—080
053@2)-76
44-75
Перевод иа русский язык.
Главная редакция
физико-математической литературы
издательства «Наука», 1976
ОГЛАВЛЕНИЕ
ПРЕДИСЛОВИЕ К ПЕРВОМУ ИЗДАНИЮ .;,.*..; = , = ,,* 9
ПРЕДИСЛОВИЕ КО ВТОРОМУ ИЗДАНИЮ 10
¦СПИСОК СОКРАЩЕНИИ . . 10
ГЛАВЫ
35. ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ: КЛАССИФИЦИРОВАН-
КЛАССИФИЦИРОВАННЫЕ ДАННЫЕ II
36 ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА 88
37. ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА 129
38. ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ 175
39. ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ПЛАНИРОВАНИЕ 240
40. ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ДОПОЛНИТЕЛЬНАЯ ИНФОРМА-
ИНФОРМАЦИЯ > 301
41. ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИЙ 340
А%. ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ 372
43. КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ 400
44. ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ 437
45. ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ ...,,-. 474
46. ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ .- ,505
47. СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ ,555
48. ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИИ 590
49. СПЕКТРАЛЬНАЯ ТЕОРИЯ .620
50. ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ .... 644
ПОСЛЕСЛОВИЕ К ТРЕТЬЕМУ ТОМУ . . , 685
Приложение 686
ТАБЛИЦЫ
1. ФУНКЦИЯ ПЛОТНОСТИ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ 686
2. ФУНКЦИЯ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ . - 686
3. КВАНТИЛИ хг-РАСПРЕДЕЛЕНИЯ 688
4а. ФУНКЦИЯ Х2-РАСПРЕДЕЛЕНИЯ С ОДНОЙ СТЕПЕНЬЮ СВОБОДЫ ДЛЯ
"<Х!<1 С ШАГОМ 0.01 689
46. ФУНКЦИЯ «'-РАСПРЕДЕЛЕНИЯ С ОДНОЙ СТЕПЕНЬЮ СВОБОДЫ ДЛЯ
1<Х*<10 С ШАГОМ 0,1 . , . .... 690
ОГЛАВЛЕНИЕ
5. КВАНТИЛИ «-РАСПРЕДЕЛЕНИЯ ,.....,.,.. 691
6. 5%-НЫЕ ТОЧКИ Z-РАСПРЕДЕЛЕНИЯ .,.,..., .693
7. 5%-НЫЕ ТОЧКИ F-РАСПРЕДЕЛЕНИЯ 695
8. 1%-НЫЕ ТОЧКИ Z-РАСПРЕДЕЛЕНИЯ 696
9. 1%-НЫЕ ТОЧКИ F-РАСПРЕДЕЛЕНИЯ 698
10. СИММЕТРИЧЕСКИЕ ФУНКЦИИ. ФОРМУЛЫ ПРЕДСТАВЛЕНИЙ РАСШИРЕН-
РАСШИРЕННЫХ СИММЕТРИЧЕСКИХ ФУНКЦИЙ В ТЕРМИНАХ СУММ СТЕПЕНЕЙ И ОБ-
ОБРАТНЫЕ ФОРМУЛЫ s i ....... 699
ЦИТИРОВАННАЯ ЛИТЕРАТУРА :,,........ 70О
УКАЗАТЕЛЬ i 72а
«...не проворным достается успешный бег,
не храбрым — победа, не мудрым — хлеб, и
не у разумных богатство, и не искусным —
благорасположение, но время и случай для
всех их>.
Экклезиаст, 9.11
ПРЕДИСЛОВИЕ К ПЕРВОМУ ИЗДАНИЮ
Читателю предлагается последний том нашей монографии.
Его написание заняло больше времени, чем мы ожидали. Отчасти
это объясняется нашей загруженностью другой работой, а отчас-
отчасти тем, что за последние годы было получено большое число ре-
результатов, относящихся к вопросам, рассматриваемым в этом
томе. Этими вопросами являются дисперсионный анализ, плани-
планирование экспериментов, теория выборочных обследований, мно-
многомерный анализ и временные ряды. В бурном потоке текущих
исследований становится все труднее понять, что является окон-
окончательным результатом, а что только промежуточным этапом раз-
развития теории. При решении вопроса, что включать в изложение,
а что опускать, были случаи, когда мы вынуждены были вспоми-
вспоминать слова Теккерея о Маколее, что тот прочитывал книгу, чтобы
написать предложение.
Этот том, как и первые два, самостоятелен в следующих трех
отношениях: в нем содержится собственный список литературы;
в приложении приведены те таблицы, которые необходимы для
чтения текста; имеется собственный указатель. Теперь, когда
вышла в свет «Библиография литературы по статистике» Кен-
далла и Дойга — нет нужды приводить исчерпывающий список
литературы по всем томам. Как и ранее, в конце глав приводится
большое число упражнений.
Мы снова пользуемся случаем поблагодарить м-ра Е. В. Бёрка
(Е. V. Burke) из издательства Charless Griffin and Company
Limited за его труд, связанный с выходом в свет этой книги.
Мы благодарны также многим читателям и критикам, указав-
указавшим опечатки, неточности изложения и места, требующие пояс-
пояснений, в первых двух томах, и будем рады любым подобным за-
замечаниям к этому последнему тому.
Лондон, М. Дж. К.
август, 19S6 А. С.
10
СПИСОК СОКРАЩЕНИЙ
ПРЕДИСЛОВИЕ КО ВТОРОМУ ИЗДАНИЮ
Это издание мало отличается от первого. Сделан ряд незначи-
незначительных изменений в тексте, добавлено несколько новых упраж-
упражнений и приведены многочисленные ссылки на новые исследова-
исследования в быстро развивающихся областях, изучаемых в этом томе.
Как всегда, нам очень помогли читатели, обратившие наше вни-
внимание на опечатки и другие неточности, и мы надеемся на такую
помощь и в будущем.
Лондон,
май, 1968
АОЭ
ВРД
ДА
МГД
МД
МП
НК
нко
оп
ох
пков
п. ф.
п. ф. м.
п. ф. с.
п. ф. ф. м.
РНМ
РНМН
ск
СНБ
СрК
ст. св.
ф. п.
ф. р.
х. ф.
ЧСНБ
М. Дж. К.
А. С.
СПИСОК СОКРАЩЕНИЙ
асимптотическая относительная эффективность
выбор с равными долями
дисперсионный анализ
минимальная граница дисперсии
минимальная дисперсия
максимум правдоподобия
наименьшие квадраты
наилучшая критическая область
отношение правдоподобия
оперативная характеристика
последовательный критерий отношения вероятностей
производящая функция
производящая функция моментов
производящая функция семиинвариантов
производящая функция факториальных моментов
равномерно наиболее мощный
равномерно наиболее мощный несмещенный
сумма квадратов
сбалансированные неполные блоки
средний квадрат
степени свободы
функция плотности
функция распределения
характеристическая функция
частично сбалансированные неполные блоки.
ГЛАВА 35
ДИСПЕРСИОННЫЙ АНАЛИЗ
В ЛИНЕЙНОЙ МОДЕЛИ:
КЛАССИФИЦИРОВАННЫЕ ДАННЫЕ
35.1 При исследовании свойств НК-оценки (см. 19.4—19.12
т. 2) в линейной модели у = Ав-j-e*) как линейной несмещен-
несмещенной МД-оценки было отмечено, что сумма квадратов (СК) на-
наблюдений может быть преобразована к сумме ^цвух неотрица-
неотрицательных компонент
у'у — {у - хЪу (у - хЩ +
C5.1)
где первое слагаемое представляет собой СК остатков (остаточ-
(остаточную СК) от модели, подогнанной по методу НК. Второе слагае-
слагаемое в правой части C5.1) представляет собой величину умень-
уменьшения С К, обусловленного подгонкой модели. Чем больше
эта величина (т. е. чем меньше остаточная СК), тем лучше по-
подогнанная модель отражает наблюдаемое соотношение между
У и X.
Переписав C5.1) в виде
У'У — (У — XSy (у — Х§) + 6'(Х'Х) в
и вспоминая из A9.16), что
C5.2)
О . C5.3)
убеждаемся, что если вектор ошибок е имеет нормальное рас-
распределение, то, согласно 15.4 (т. 1), вектор в, будучи линейной
функцией от е, также имеет многомерное нормальное распреде-
распределение со средним в и матрицей рассеяния C5.3). Следова-
Следовательно, второе слагаемое правой части в C5.2), с точностью до
множителя —Bа2)~1, совпадает с показателем экспоненты в
формуле для плотности указанного многомерного нормального
*) Напомним читателю, что у и X — это соответственно (я X ^-вектор-
столбец и (я X АО-матрица наблюдений исследуемых переменных у и х[ш
(' = 1,2 k), в — это (k X 1)-вектор-столбец неизвестных параметров
и 8 есть (я X 1)-вектор-столбец случайных «ошибок> с математическим
ожиданием М (в) = 0 н с матрицей рассеяния V (г) = М (ее') = а2!. При этом
НК-оценки — это оценки, полученные по методу наименьших квадратов,
а МД-оценки — это оценки, имеющие минимальную дисперсию. (Прим. ред.)
12
ГЛАВА 35
распределения. Отсюда, согласно 24.6, в'Х'Х^/о2 имеет нецент-
нецентральное х2-Ропределение вида B4.18) с v = k степенями сво-
свободы и параметром нецентральности
а. = ет-1 (в) в = в'лг'лге/стг. C5.4>
Для краткости, так ж,е как в 24.5, это распределение будем обо-
обозначать %'2(\,Х).
35.2 Полученный результат позволяет проверить гипотезу
о том, что 0 = 8о, и, в частности, гипотезу
Яо: в = 0. C5.5)
Проверка последней гипотезы основана на том, что в случае
C5.5) к, определяемое C5.4), равно нулю, и соответствующее
распределение становится (центральным) х2 с k степенями сво-
свободы (ст. св.). Как мы видели в 19.11—12 (т. 2), величина
(у— Х%)'{у— ХЪIа2 имеет х2-распределение с п — k ст. св., а
если справедливо C5.5), то и у'у/а2 имеет х2-распределение с п.
степенями св. Значит, применима теорема Кокрэиа из 15.1ft
(т. 1) и слагаемые в правой части C5.2) независимы. Тем са-
самым, если справедливо C5.5), то отношение этих слагаемых,
(поделенных на число ст. св.)
(у - Хву(п - к)}
C5.6)
имеет распределение дисперсионного отношения (^-распределе-
(^-распределение) с (k, п — k) ст. св.
Для исследования мощности критерия проверки гипотезы
C5.5), основанного на C5.6), мы должны знать соответствую-
соответствующее распределение в том случае, когда C5.5) не выполняется.
Чтобы показать, что оно совпадает с нецентральным F B4.105),
нам нужно доказать, что числитель и знаменатель в C5.6)
остаются независимыми и в случае 8=^0. Если же мы хотим
проверить более общую гипотезу о том, что в = во^=О, то нам
нужно знать соответствующее распределение для того, чтобы
вообще строить критерий. Таким образом, нам нужно распро-
распространить теорему Кокрэна на случай нецентральных нормаль-
нормальных величин, т. е. нормальных величин, у которых, возможно,,
разные математические ожидания.
35.3 Соотношение C5.2), помимо упомянутого выше приме-
применения, открывает и другие возможности. Предположим, что-
Х'Х — диагональная матрица, скажем, С, с диагональными эле-
элементами сц. Тогда второе слагаемое в C5.2) можно само пред-
представить в виде следующей суммы:
= X сащ'. C5.7)
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
13
При этом элементы сц положительны, поскольку Х'Х положи-
положительно определенная, невырожденная матрица. Соотношение
C5.7) дает сведение СК к сумме k членов, каждый из которых
соответствует своему параметру. При этом можно поставить за-
задачу проверки гипотезы о значении отдельного 8*, и нас опять
интересует распределение компоненты cuQ2 при 8=^0.
Если матрица Х'Х диагональна, то диагональна и C5.3).
В этом случае линейная модель называется ортогональной, по-
поскольку в* некоррелированы, а при нормальном е просто неза-
независимы. Ортогональная модель уже рассматривалась в связи
с теорией регрессии в 28.15—20 т. 2, где указывалось на удоб-
удобство применения ортогональных полиномов. Используя только
интуитивное оправдание, в B8.72) определяется (а в примере
28.3 иллюстрируется) процедура вычисления уменьшенного зна-
значения СК (см. выше рассуждения о втором слагаемом в правой
части C5.1)), соответствующего каждому вновь добавляемому
параметру. Далее рассуждения носят более общий характер.
Дисперсионный анализ
35.4 Изложим теперь фундаментальную концепцию, предло-
предложенную впервые Р. А. Фишером в 1920 г. Если сумма квадратов
у'у может быть представлена в виде суммы неотрицательных
компонент, каждая из которых соответствует некоторому под-
подмножеству параметров линейной модели, то будем говорить
о дисперсионном анализе (ДА) по у. (Было бы более логично
говорить об анализе С К, но в силу исторических причин упот-
употребляется термин дисперсионный анализ). ДА интерпретируется
как метод разделения влияния на наблюдаемые значения у раз-
различных подмножеств множества параметров. Важность такого
разделения во многих областях исследования делает ДА одним
из важнейших методов прикладной статистики.
Разложение нецентральных квадратичных форм
35.5 Сформулируем теперь общую задачу, возникающую в
дисперсионном анализе. Пусть у — вектор, образованный р не-
независимыми нормальными величинами,
М(у)=м, V(y)=I, C5.8)
и пусть
У'У = 21 У'Агу,
C5.9)
где Ai имеет ранг гг. При каких условиях k квадратичных форм
Q» = У'Аф будут попарно независимы и какими будут их
распределения? Поскольку, согласно 24.4 (т. 2), квадратичная
14
ГЛАВА 35
форма у'у = Q имеет %'2(р, ц'ц)-распределение, то можно ожи-
ожидать, что компоненты должны иметь распределение того же вида.
Эта задача отличается от изученной в 15.16 (т. 1) только
тем, что там выполнялось равенство ц = 0. Но при |г = 0 мы
получили, что любое из следующих трех условий:
k
(а)
= г, где г — ранг Q,
(б) каждая матрица At идемпотентна, т. е. Ai = AJ,
(в) AtAj = 0 при всех i =fi= j
влечет два остальных. Просмотрев доказательство этого факта
в 15.17—19, убеждаемся, что это доказательство вовсе не зави-
зависит от значения j*. Также не зависит от значения ц доказатель-
доказательство (в 15.13) теоремы Крэйга о том, что Q,- и Qj независимы
тогда и только тогда, когда AtAj = 0. Отсюда следует, что (в)
эквивалентно условию
(в') формы Qi попарно независимы.
Однако эквивалентность условия (б) условию
(б°) каждая форма Qi имеет (центральное) х2"Распределение
с гг ст. св.
опирается на результат 15.11 о том, что если ц = 0, то Q* имеют
^-распределение тогда и только тогда, когда А, идемпотентны.
Таким образом, для обобщения результата 15.16—19 на случай
\х ф- 0 остается обобщить утверждение (б°) (т. е. результат
15.11) на случай ц ф- 0.
35.6. По существу, единственное изменение, которое нужно
внести в 15.11, состоит в том, что полученные после канони-
канонического преобразования переменные у2 в A5.43) будут, со-
согласно 24.4 (т. 2), иметь распределение %/2A, ц?). Производящая
функция семиинвариантов (п. ф. с.) формы
будет иметь
вид не A5.45) (т. 1), а более общий вид, полученный в упраж-
упражнении 24.1. Отсюда для семиинвариантов формы Q получим, что
ks = 2s (s - 1)! g of A +
C5.10)
(это обобщает A5.46)) и что семиинварианты %'2(ч,к)-распре-
%'2(ч,к)-распределения суть
K*s = 2s (s — 1)! (v + si). C5.11)
Для тождественного совпадения C5.10) и C5.11) нужно, чтобы
при всех s выполнялись равенства
2
i?=A.
E
C5.12)
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
15
Но C5.12) выполняется тогда и только тогда, когда все а,- = 1,
г
так что v = г и к = 52 -ц|. Поскольку аг суть ненулевые харак-
характеристические числа матрицы А, то отсюда следует, что А идем-
идемпотентна. Таким образом, мы видим, что утверждение, эквива-
эквивалентное приведенному выше утверждению (б), сводится к
(б') каждая форма Qt имеет x'2{ru fa) -распределение, что
совпадает с (б°) при ц = 0. Более того, если совершить обрат-
обратное ортогональное преобразование от канонических переменных
к исходным, то сразу получим, что Kt = ц'А^ц и У. X, = ц'ц, т. е.
сумма параметров нецентральности форм Qi равна параметру
нецентральности формы Q (см. упражнение 24.1 т. 2).
Таким образом, мы приходим к выводу, что если имеет место
C5.8—9), то каждое из условий (а), (б), (в) влечет два других.
Аналогичное утверждение справедливо цля (а), (б'), (в').
35.7 Если в C5.9) у'у заменить на Q = у'Ау, где А — про-
произвольная идемпотентная матрица, имеющая ранг г < р, то это
не повлияет на результат 35.6. Соответствующие рассуждения,
проведенные в главе 15 для случая \х = 0, справедливы и в слу-
случае произвольного ц.
Результат изменится совсем незначительно даже в том слу-
случае, если в C5.8) вместо условия V {у) ==/ потребовать, чтобы
компоненты у имели невырожденное многомерное нормальное
распределение с дисперсионной матрицей V, которая не обяза-
обязательно диагональна. Так, если
Q = у'Ау = ? у'А1У = g Q
C5.13)
C5.14)
можно положить V = ТТ', и преобразование у = Тг приводит
к независимым нормальным величинам г, поскольку показатель
экспоненты в формуле для плотности многомерного нормаль-
нормального распределения сводится к
уТ~1у = г'Т (Г) Т~1Тг =z'z.
Далее, из C5.14) имеем
Q=z'T'ATz=
X z'T'AiTz= ?
i ii
16
ГЛАВА 35
т.е. получаются квадратичные формы, с которыми мы уже имели
дело. Условие (б) в 35.5 сводится к
или
TAJ = ТА? • TAtT
АУ = AtV • AtV,
так что AiV, так же как AV, должны быть теперь идемпотент-
ными матрицами. Условие (в) сводится к
или
TAtT • Т'А,Т = О
AtVА, = О, 1Ф /.
Условие (а) не меняется при ортогональном преобразовании.
Теперь мы можем окончательно сформулировать общий ре-
результат.
Пусть у имеет невырожденное многомерное нормальное рас-
распределение, моменты которого удовлетворяют условию C5.13),
и пусть для квадратичной формы Q имеет место представление
C5.14), где матрица AV идемпотентна. Тогда Q имеет %'2{г,
\х'А\и) -распределение, где г равно рангу матрицы А, и любое из
приведенных ниже условий влечет два других:
(a)
=r;
(б) матрицы AiV идемпотентны, или, что эквивалентно, Q»
имеют х'2(г«. ц'ЛуМ.)-распределение, где г,- — ранг At;
(в) AiVAj = 0 или, что эквивалентно, Q* попарно незави-
независимы.
Грейбилл и Марсалья A957) получили несколько более общий результат,
чем приведенный здесь. Банерджи A964) упростил их доказательство.
35.8 Этот общий результат о разложении квадратичных
форм нормально распределенных случайных величин дает реше-
решение задач, сформулированных в 35.2—3, которые служили моти-
мотивировкой наших исследований. В частности, теперь доказано,
что числитель и знаменатель в C5.6) независимы, а значит, их
отношение имеет соответствующее нецентральное /•'-распределе-
ние (которое мы, как и в 24.31 т. 2, будем обозначать F'(vi, V2,
X)). При этом V! = k, v2 = n — k, a X задается соотношением
C5.4). Аналогично для любого отдельного 8,- в ортогональной
модели из 35.3 отношение
C5.15)
F = сиёу{(у - ЛСв)' (у - ХЩп - *)}
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
17
имеет /""(I, n — k, с,76^а2)-распределение, и теперь можно
использовать этот факт для проверки гипотезы о значении 8г.
В более общей ситуации для проверки гипотезы Но, налагаю-
налагающей г «g; k ограничений, отношение СК, соответствующей Но,
к остаточной СК, умноженное на (п — k)/г, имеет F'(r, п — k,
Я)-распределение (см. 24.29—31). При этом особо следует отме-
отметить тот факт, что, согласно 24.29, параметр нецентральности Я
всегда имеет точно такой же вид, как и СК в числителе стати-
статистики критерия, только наблюденные значения заменяются на их
математические ожидания, а затем все выражение делится на
<т2. Таким образом, X всегда может быть очень просто получено
из числителя статистики. Надо в заменить на 0 и разделить по-
полученное выражение на а2.
Это были примеры критерия ОП в линейной модели, по-
полученные, вообще говоря, из канонической формы модели
в 24.25—9. Обсуждение, следующее за B4.100), указывало на
то, что критерии ОП для проверки линейных гипотез, содержа-
содержащих любое подмножество г из k параметров, основываются на
величине уменьшения СК, обусловленной этими г параметрами,
поделенной на остаточную С К. Канонический подход главы 24
оказался полезным при выводе оптимальных свойств критерия
ОП в 24.36—7. Для целей настоящего изложения обсуждавшееся
эквивалентное разбиение СК является более прямым и инфор-
информативным.
Напомним читателю, что в 24.32—3 приведены точные и при-
приближенные выражения для функции мощности ^-критерия ОП.
ДА для классифицированных наблюдений
35.9 Приведенное в 35.4 определение ДА применимо к любой
линейной модели и охватывает применения теории регрессии
в 28.12—23. Однако термин «дисперсионный анализ», вообще го-
говоря, используется в более узком смысле, связанном с возникно-
возникновением этого метода.
В 35.4 указывалось, что ДА используется для разделения
влияний на у отдельных параметров. В экспериментальных ис-
исследованиях в качестве параметров часто выступают воздей-
воздействия некоторых «обработок» над переменной у. Так, например,
при проведении сельскохозяйственных экспериментов, откуда и
возникла соответствующая терминология, у может быть, напри-
например, урожаем пшеницы с участка определенного размера, а
изучаемая «обработка» состоит в применении на участке некото-
некоторого удобрения в течение сельскохозяйственного сезона. Есте-
Естественно, что в эксперимент должны включаться как обрабо-
обработанные, так и необработанные удобрением участки. Главным
18
ГЛАВА 35
при этом является то, что такого рода эксперимент описывается
в терминах общей линейной модели посредством введения инди-
индикаторной переменной х, которая равна единице, если воздей-
воздействие присутствует, и нулю в противном случае.
Легко понять, что любой набор «обработок» можно описать
указанным способом. Нужно только определить индикаторную
переменную х для каждой участвующей в эксперименте «обра-
«обработки». Так, если в примере предыдущего абзаца имеется два
удобрения, то нужно определить Х\ как индикаторную перемен-
переменную для первого и х2 как индикаторную переменную для второго
удобрения. При этом для участков, на которых вносятся оба
удобрения, следует положить jct == 1, jc2 == 1; для участков, полу-
получающих только первое удобрение, положить Ху = \, х2 = 0; для
получающих только второе удобрение, положить Xi = 0, х2 = 1;
а для участков, на которые удобрения не вносятся, положить
Xi = х2 = 0. Для этого случая без труда можно провести ана-
анализ линейной модели, ибо по определению линейной модели
элементами матрицы X могут быть любые заданные кон-
константы.
35.10 Характерной особенностью матрицы X в примерах, об-
обсуждавшихся в 35.9, было то, что ее элементы равнялись либо
нулю, либо единице, поскольку они отмечали просто присутствие
или отсутствие некоторой компоненты в «обработках». В упо-
упомяну гом выше более узком смысле термин ДА используется при
проведении' анализа таких линейных моделей, что это ограниче-
ограничение справедливо для всех элементов матрицы X. Небольшое ко-
количество других целых положительных значений для элементов
матрицы X также возможно и в этом узком смысле ДА. Напри-
Например, в эксперименте с одним удобрением, обсужденном в начале
35.9, возможно, что некоторые участки получают двойную, неко-
некоторые одинарную дозу удобрения, а некоторые вообще не обра-
обрабатываются удобрением. В этом случае следует положить
х = 2, 1 или 0 соответственно. Анализ этой модели все еще будет
называться дисперсионным анализом. Однако недостаток такой
формулировки в том, что она подразумевает два варианта воз-
воздействия на М (у) как двойных, так и одинарных доз, а модель
линейна по р, результирующему параметру, отражающему за-
зависимость у от х. Избежать этого можно, введя две индикатор-
индикаторные переменные: хи определяющую отсутствие или присутствие
одинарной дозы, и Xi, определяющую присутствие или отсутствие
двойной дозы удобрения. Такая формулировка (как могло бы
показаться читателю) не сводится к модели с двумя разными
удобрениями из конца 35.9, поскольку в обсуждаемом случае ни
для какого участка не может быть х1 =х2= 1. При этом мы
идем на некоторую потерю симметрии взамен отказа от линей-
линейности при изучении эффекта от внесения разных доз.
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ 19
35.11 Продемонстрируем теперь, как некоторые важные слу-
случаи применения ДА формулируются в терминах линейной мо-
модели. При этом окажется, что простая структура элементов
матрицы X (равных обычно нулю или единице) приводит к со-
соответствующему упрощению самого анализа. Простейшим яв-
является случай, называемый обычно однофакторным анализом
(классификация по одному признаку), когда наблюдения раз-
разбиты на группы в соответствии с возможным различием матема-
математических ожиданий.
^Пример 35.1. Однофакторный дисперсионный анализ
Пусть выборка независимых наблюдений состоит из k групп,
k
причем в t'-й группе /г,- (t = 1, ..., k) наблюдений и X п{ = п.
Если группы отличаются только математическими ожиданиями,
то это можно записать соотношениями
У1д = Qi + &iq, i=l,...,k, G=1 nt,
которые в терминах общей линейной модели переписываются
в виде
у = лее + в,
где
у
Уп
Уи
9 in,
У и
Укп
9 :
(ft XI)
Гв,
6ft
20
И
ГЛАВА 35
v __
строк
я2 строк
я3 строк
nk строк
Здесь равные нулю элементы матрицы X опущены. Далее получим
(гц О
я2
Х'Х='
так что анализ ортогонален (см. 35.3), какими бы ни были зна-
значения л, (в частности, они могут и не быть равными между со^
бой). Далее
I Я
так что НК-оценка параметра 0 есть
Уч.
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
21
где yt. = Z Viqlni — среднее арифметическое *) наблюдений
17=1 ^
в t-й группе. Эта оценка согласуется с интуицией, поскольку
наблюдения независимы. Наконец,
У\.
У и
Уа.
Уч.
У к-
Ук-
строк
я2 строк
nk строк
и величина уменьшения СК, обусловленного «подгонкой» мо-
модели, равна
Si = (Хву (ХЩ = g щу1 C5.16)
Вычитанием получаем из C5.1), что остаточная СК равна
SR = у'У -S,= t ? У% ~ t п,у1 е. % Z (ylq - yt.f. C5.17)
Для проверки простой гипотезы
#t: в =0, C5.18)
налагающей k ограничений, используем C5.6) и получим, что
*) Следует обратить внимание на то, что использование прн у в качестве
индекса точки указывает на усреднение, а не на суммирование, как это дела-
делалось для частот и вероятностей в главе 33 (т. 2),
22
ГЛАВА 35
имеет F' (k, n — k, д] п;9^а2ураспределение. Если справедлива
гипотеза Ни то это сводится к (центральному) F{k, п — k)-
распределению.
Однако гипотеза C5.18) не представляет принципиального
интереса в большинстве практических ситуаций, когда интере-
интересуются просто равенством всех 8г, вне зависимости от их об-
общего значения. При этом вместо C5.18) проверяется сложная
гипотеза
я2: e,-eA = e2-efe=
= еА_, — в* = о, C5.20)
налагающая только k—1 ограничений. Если справедлива гипо-
гипотеза C5.20), то все п наблюдений имеют одинаковое распреде-
распределение с общим математическим ожиданием
я2/ п
Ё
Оценкой параметра 8» по методу наименьших квадратов яв-
является просто полное выборочное среднее
i-I G-1 . i
Пусть 1 обозначает вектор («X 1). состоящий из единиц. Тогда
линейную модель на время можно переписать в следующем (син-
(сингулярном) виде:
ГЯ1/Я1'
у =
16.
X— 1
я2/л
\nkln
е+е.
Отсюда видно, что значение параметра 6» (единственное огра-
ограничение) не включено в гипотезы C5.20) и что СК, относя-
относящуюся к в», а именно
иужно вычесть из C5.16) (величины уменьшения СК, обусловлен-
обусловленного подгонкой модели), чтобы получить СК, соответствующую
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ 23"-
оставшимся k— 1 ограничениям. Таким образом получаем
52 = S, - пу>. =1 nt (ytm - у „у. C5.21)-
Остаточная СК, как и ранее, задается выражением SR, опреде-
определенным в C5.17).
Теперь, согласно 35.8, получаем статистику критерия
_( n-k \ S2
— \ k-i J~sZ'
C5.22):
которая имеет F'{k—l, n — k, ? щ (в, — е,J/а2)-распределе-
ние, сводящееся к центральному F(k— I, n — k), если спра-
справедлива гипотеза Я2.
При проведении вычислений 52 и SR обычно переписываются:
в виде
i=\
C5.23>
Полученные результаты можно свести в следующую таб-
таблицу:
Таблица однофакторного дисперсионного анализа
Компонента
дисперсии
Между груп-
группами
Остаточная
Генерального
среднего
Полная
Число
ст. св.
k — I
n — k
я—I
1
п
СК
s2
s*
S2 + SR = у'у - пу2.
Sl * S2 = ПУ2--
S, + SR = у'у
Средний
квадрат (СрК)
(равен СК. поде-
поделенной на число
ст. св.)
S2/(k~\)
SRl(n~k)
2
C5.24)
24
ГЛАВА 35
Строка «генеральное среднее», вообще говоря, опускается, как
не представляющая интереса. Критерий отношения дисперсий,
основанный на отношении/г (г/.. — 8,J к SR/{n — k) является, ко-
конечно, обычным ^-критерием Стьюдента для среднего, т. е. имеет
F{\, я— k)-распределение, если справедлива гипотеза Н2. Кри-
Критерий C5.22) основан на отношении СрК между группами к ос-
остаточному СрК, в то время как C5.19) получается сложением
строчек «между группами» и «генеральное среднее» и делением
полученного СрК на остаточный СрК.
Тождества ДА и их геометрические интерпретации
35.12 В примере 35.1 использовалась общая теория линейной
модели, однако окончательный результат можно менее формаль-
формально получить следующим образом. Тождество
s'i^-
Z
C5.25)
разбивает СК отклонений наблюденных значений от их общего
среднего значения на СК отклонений от среднего «внутри групп»
и СК отклонений от среднего «между группами», т. е. отклоне-
отклонений средних значений в группах от общего среднего. Если
удастся показать, что две суммы в правой части C5.25) неза-
независимы и имеют распределение типа %'г, то отношение второй
суммы к первой является интуитивно приемлемым критерием
для проверки равенства групповых математических ожиданий
в совокупности. Такой подход, как и ранее, ведет к C5.22), но
для того, чтобы оправдать выбор именно этой частной стати-
статистики критерия, нужна общая теория. В более сложных ситуа-
ситуациях подход, основанный на использовании алгебраических тож-
тождеств типа C5.25), зачастую более прост и быстрее приводит
к цели, чем прямое применение теории линейной модели, однако
следует быть очень осторожным при разбиении СК. В конце
концов правильность подтверждается лишь совпадением с общей
теорией.
35.13 Пифагорова форма соотношения C5.25) имеет то пре-
преимущество, что она наталкивает на мысль о геометрической
интерпретации алгебраического разбиения СК, которое является
сущностью дисперсионного анализа. В примере 11.7 мы видели,
что более простое тождество, когда все наблюдения объединены
в одну группу,
~УУ + пу2 C5.26)
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ 25
геометрически эквивалентно опусканию перпендикуляра из точки
у = (г/i, ..., уп) в га-мерном выборочном пространстве на век-
вектор, имеющий равные углы с осями координат (перпендикуляр
пересекается с этим вектором в точке (у у)), и применению
теоремы Пифагора к полученному прямоугольному треуголь-
треугольнику.
Переписывая C5.26) в более общих обозначениях, которые
мы уже использовали в примере 35.1 ив C5.25), получим
i=l q= I
У1д - У.J +
C5.27)
что, как легко видеть, эквивалентно выделению в «полной» С К
из C5.24) строчки, соответствующей генеральному среднему для
получения левой части C5.25). Последующее разложение я
C5.25) первого члена правой части C5.27) имеет аналогичную
геометрическую интерпретацию. Выражение ?] ^ (у{ — у Л2
представляет собой квадрат расстояния от у до вектора ДГв,
определенного в C5.16), а 2 "*(#*. — У..У равно квадрату рас-
расстояния от вектора ДГв до вектора, имеющего равные углы
с осями координат. Таким образом, с геометрической точки зре-
зрения ДА состоит в разложении вектора, соединяющего у с нача-
началом координат, на компоненты, соответствующие рассматривае-
рассматриваемой задаче.
35.14 Учитывая тот факт, что в примере 35.1 мы получили
ортогональный анализ при любом разбиении на группы, вне за-
зависимости от размеров п* можно попытаться исследовать более
сложные системы классификации. Ниже будет показано, что ор-
ортогональность, вообще говоря, не имеет места, если группы со-
состоят из разного числа элементов, но в случае групп одинакового
размера ортогональность сохраняется. Сначала детально будет
разобран случай двухфакторной классификации (по двум при-
признакам), поскольку уже в этом случае проявляется большин-
большинство основных моментов, представляющих интерес и в общей
ситуации.
Двухфакторный перекрестный ДА
53.15 Пусть выборка из п наблюдений состоит теперь
не из k групп, как это было в примере 35.1, а представлена
в виде (г Хс) -таблицы с числами наблюдений в клетках
26
(частотами)
ГЛАВА 35
«11
1
пП
«•1
2
«22
яг2
"•2
... пи
... п2с
... пгс
«1.
«2-
"г-
Я
C5.28)
Хотя таблица C5.28) формально тождественна с C3.60), изу-
изучаемая задача отличается от задачи главы 33 тем, что здесь из-
известно значение у для каждого наблюдения, в то время как там
были известны только частоты, указанные в клетках таблицы.
Чтобы подчеркнуть это различие, мы будем говорить о (гХс)~
классификации в отличие от используемого в главе 33 термина
категоризация. Как и в главе 33, употребление точки вместо не-
некоторого индекса при п означает суммирование по этому ин-
индексу, в то время как употребление точки вместо какого-либо
индекса при у, как и в примере 35.1, обозначает усреднение по
этому индексу. Как то, так и другое служит для упрощения
дальнейших обозначений. Как заметит читатель, в соответ-
соответствии с этим соглашением, полную частоту в C5.28) следо-
следовало бы обозначать п.., однако только в этом единственном
случае мы сохраним просто обозначение п для «объема
выборки».
Естественно, что гс элементов таблицы C5.28) можно рас-
рассматривать как разбиение на k = гс групп при однофактор-
ном анализе (пример 35.1). Однако в случае двухфакторного
перекрестного ДА обычно интересуются следующими во-
лросами:
A) Имеют ли строчки (с частотами пь, ..., пг.) одно и то
же математическое ожидание?
B) Имеют ли столбцы (с частотами п.,, ..., п.с) одно и
тоже математическое ожидание?
C) Существует ли какое-либо соотношение между матема-
математическими ожиданиями строк и столбцов?
Реже интересуются также вопросом
D) Отличается ли математическое ожидание всего множе-
множества наблюдений от некоторого гипотетического значения?
35.16 Обозначим р-е наблюдение из t-ой строчки и /-го столб-
столбца через Уи%>. Тогда в соответствии с нашим соглашением об
дисперсионный анализ в линринои модели
27-
обозначениях
п,
у-г- ,
r
с I с
I W/ I
r i r
?, пнУц] I
г с "ij
C5.29)
Чтобы избежать путаницы в обозначениях, введем фиктивные-
переменные пцр, тождественно равные единице для всех
р = 1, .... tiij. Тогда C5.29) сведется к
Уц. = I Уцр/И nilp,
р I р
IE
/ р
У Ир /I I nilp,
1 1 р
У.,. = 11 УЧр/% I пЦр,
i P 'ip
У... = 111 УЦр1% 11
1
i I
nlip,
C5.30)
что очень легко запомнить из-за симметрии числителя и знаме-
знаменателя. В C5.30) и везде далее, если не оговорено противное,
суммирование по i производится от 1 до г, суммирование по /
от 1 до с, а по р от 1 до по-.
35.17 При формулировке линейной модели требуется, чтобы
для каждого математического ожидания, соответствующего клет-
клетке (/, /) таблицы /"Хс, был свой параметр ji*j. Однако чтобы
ответить на вопросы в 35.15, мы выразим математические ожи-
ожидания \1ц в терминах *):
ц»* — среднее, общее для всех наблюдений;
14* — среднее, общее для всех наблюдений в i-й строке;
ц»;- — среднее, общее для всех наблюдений в /-м столбце.
Вместе с математическими ожиданиями цг;-, общими для яаблю--
дений из /-й строки и /-го столбца, мы имеем теперь 1 -{- г + с -{-¦-
ч+ гс параметров, из которых только гс могут быть линейно не-
независимыми. Сингулярность, которую мы вводим таким выбором-
•) Определяя ц.., ц<» и ji.j, автор имеет в виду соответствующим об-
образом взвешенные средние, см. ниже, (Прим. ред.).
28 ГЛАВА 35
параметров, можно легко устранить, используя либо технику
пополнения из 19.14—15 т. 2, либо исключением лишних пара-
параметров, что мы и делаем ниже.
Если определено ц»,, то любые г—1 средние щ» определяют
одно оставшееся; аналогично достаточно рассматривать только
с — 1 средние ц*у, так как вместе с ц»» они однозначно опреде-
определяют оставшееся. Если |д,г-» и |x»j заданы в соответствии с этим
замечанием, то легко видеть, что только (г—1) (с—1) из рщ
можно определить независимо (ср. со ст. св. в 33.29). Таким об-
образом, можно ограничиться г—1 параметрами рц„ (опуская,
скажем, цг*), с—1 параметрами n*j (опуская, скажем, |а#с). и
(г — 1) (с—1) параметрами ущ (скажем, для i = 1, ..., г—1
/ = 1, .,., с—1). Эти параметры вместе с р.», образуют тот
набор из гс параметров, который нужен для того, чтобы модель
не была сингулярна.
Следует обратить внимание, что мы не определяли пара-
параметры щ», ц^, ц»у, за исключением заявления о том, что они
являются (взвешенными) средними от ц,>
35.18 Положим теперь
6ц ==!*„--0*1.+ »*.,) +
и перепишем линейную модель в виде
у,, =8 +0, +8, + 8., + е.,
C5.31)
W
<35-32)
По понятным причинам 8»» называется генеральным средним,
а б», и 6»j называются соответственно эффектом i-й строки и
эффектом j-го столбца, будучи мерой отклонения в указанных
строке или столбце от полного генерального среднего. Если бы
отклонение математического ожидания в клетке от генерального
среднего в точности равнялось сумме соответствующих эффекта
строки и эффекта столбца, мы бы имели
что влечет 8у = 0. В этом случае обычно говорят, что /-я строка
и /-и столбец «действуют аддитивно» или «не взаимодействуют».
Определенная в C5.31) величина вц является мерой отклонения
от этой ситуации и называется взаимодействием i-й строки и
/-го столбца.
35.19 Обсуждаемые в 35.17 г + с+1 линейные соотношения
между параметрами можно теперь переписать (мы еще вернемся
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
к этому ниже в 35.26—8) в виде
0 = Е ««•б,-. = X "-А/
1 = 1
2j nij®ij> ' = It • • •» Г 1»
г с
29
C5.33)
Если как и в 35.17 определить в C5.31) параметры 8 только для
/ = 1, ,.., г — 1 и /=1, .... с—1, то, используя C5.33), ис-
исключенные г+с+1 параметры можно выразить через эти ос-
оставленные следующим образом:
г-1
8Г* =—
/=1
г-1
1=1
с-1
-Е
/=1
г-1
+ Е
Пц
с—
Е
еи/Пг{,
bailie
nifitl/Пгс-
] I у • • • >
* — У у • • • >
с —
г —
1,
1.
C5.34)
1=1 /-1
35.20 Теперь мы можем записать матрицу X линейной мо-
модели C5.32). Эта матрица состоит не только из нулей и единиц,
поскольку запись исключенных параметров в терминах остав-
оставшихся в C5.34) включает отношение чисел п с разными индек-
индексами.
Чтобы читателю было легче понять смысл элементов мат-
матрицы в C5.35), над ее столбцами проставлены параметры, к ко-
которым относятся соответствующие элементы, а перед строчками
проставлены частоты тех клеток, к которым относятся соответ-
соответствующие строки. При этом указаны только ненулевые элементы
матрицы X, а фигурирующие в ней векторы 1 состоят из единиц,
и число их компонент равно сумме тех клеточных частот (ука-
(указанных перед строками), на которые графически распростра-
распространяется вектор 1 в C5.35).
30
Пп
ГЛАВА 35
91л* вг*
1
1.
1
¦1~
¦ 4
«r.
1.
... Jhe
l 3?
1
1
1
1
I
дисперсионный анализ в линейной модели
31
\
C5.35)
32
ГЛАВА 35
Домножая C5.35) слева на транспонированную матрицу, по-
получим
(гс х гс)
'г-1)
(с-1)
(r-D(c-I)
1 (г-1) (с-1) (г-Щс-1)
я I 0' i О' i О'
О
О
А !
о 1 о | с
C5.36)
Здесь порядок подматриц указан числами, окаймляющими мат-
матрицу C5.36), а подматрицы А, В и С являются симметричными
матрицами, элементы которых, расположенные над главной диа-
диагональю, задаются соотношениями
А =
(r-I)X(r-l)
«2- -
"о. Н
«Г-1.+
V-I-
C5.37)
В =
(c-DX(e-l)
" 1
я-
+
я;, я. „я
2Я-3
C5.38)
¦«.,-,+
Несколько сложнее записывается (г— 1) (с— 1)Х(Г— О (с—1)-
-матрица С. Если снабдить ее строчки и столбцы индексами
того параметра 8ij, к которому они относятся (так что, напри-
например, 3-я строка и с-й столбец снабжаются индексом A3)-я стро-
строка и B1)-й столбец), то элемент из строки, снабженной индек-
индексом (^/)> и столбца, снабженного индексом (mq), матрицы С
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ 33
(соответствующий параметрам 8ы и Qmq) равен
nki~^~п]с1\~Л 1 1 )' если k = от, I = q,
V Ac rZ re J
«ft/«ft9 (-^ И -^—J. если й == от, / =7^= <7,
если
nkinmq/nrc,
если Чгфт, 1ф q.
C5.39)
Элементы (г— 1) X (с — 1)-матрицы Z) из C5.36) равны
35.21 В общем случае матрицу Х'^ в C5.36) можно обратить
только численно, как и в общем методе НК, но нетрудно заме-
заметить, что если D = 0, то матрица принимает вид
Х'Х=\
а обратная к ней равна просто
C5.41)
(Х'хг =
Д-'
C5.42)
1—1
Таким образом, мы приходим к необходимости изучить условия,
при которых D = 0, т. е. каждый элемент Оц, определенный
в C5.40), равен нулю. Из структуры Dtj легко следует, что это
выполняется тогда и только тогда, когда
пц __ пи
п/ = ^-, /=!,..., г-1; ;=1. ..., с-1,
а также
Эти условия сводятся к тому, что все клеточные частоты в
C5.28) tiij пропорциональны своим полным частотам столбцов
п.]. Отсюда следует, что пц должны быть пропорциональны
также своим полным частотам строк щ., а значит, для того
2 М. Кендалл, А, Стыоарт
34
ГЛАВА 35
чтобы D была нулевой матрицей, нужно, чтобы для всех I, ]
пц => m.n.f/n. C5.43)
При этих условиях пропорциональности частот*) двухфактор-
ный анализ становится относительно простым.
Случай пропорциональных частот
35.22 Отметим сначала, что из C5.42) следует, что НК-оцен-
ка генерального среднего 6»# ортогональна оценкам всех других
параметров. Аналогично г—1 линейно независимых эффектов
строк оцениваются ортогонально ко всем другим параметрам так
же, как и с — 1 линейно независимых эффектов столбцов и
(г—1)(с—1) линейно независимых взаимодействий. Неортого-
Неортогональность появляется только внутри последних трех групп пара-
параметров и возникает из-за того, что каждая группа получалась
как линейно независимое подмножество группы, состоящей из
большого числа изучаемых нами параметров.
Возможно, читатель обратил внимание на то, что мы не ука-
указали еще значение самих НК-оценок. Причина в том, что даже
если выполняются условия пропорциональности частот C5.43),
элементы матрицы С все еще достаточно сложны, чтобы можно
было обратить эту матрицу, хотя в каждом конкретном случае
можно вычислить значение С-1. К счастью, однако, можно ис-
использовать ортогональность, сославшись на предыдущий параг-
параграф, чтобы сначала получить НК-оценки для эффектов строк и
эффектов столбцов, а затем, используя их, получить НК-оценки
взаимодействий. Для этого нужно только обратить матрицы А
и' В из C5.37—8) и, используя C5.42), вычислить первые
1+(г—1L- (с—1)=г-г-с—1 строки (rcXl)-вектора НК-оценок.
35.23 Умножением соответствующих матриц легко проверить,
что матрица, обратная C5.37), равна
( 1
C5.44)
п
1
Ял.
1
п
1
Я
_ 1
п
1
я
_ 1
я
_ 1
я
*) Как может заметить читатель, условие пропорциональности C5.43) в
точности совпадает с условием, определяющим «независимость» частот в таб-
таблице сопряженности (см. 33.4 и 33.29 т. 2). Однако сходство только формаль-
формально, ибо в главе 33 пц были случайными величинами, а здесь они — просто
наперед заданные константы.
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
35
и аналогично для C5.38)
1
«•I
1
я
1
"•2
1
Я
1
п
1
я
_ 1
я
•
•
1
п-с-1
1
п
1
я
•
1
п .
C5.45)
Теперь нам нужны только первые г + с—1 строк (гсXI)-век-
(гсXI)-вектора Х'у. Из C5.35) получаем в обозначениях C5.29)
пу...
nr_h.(yr_u..-yr..)
п.х{ул.—у.с.)
п.2(у.2.—У.с.)
C5.46)
П.с—I (У-с-и • У-с-)
Используя C5.42) и C5.44—6), получим для первых г + с—1
компонент НК-оценки (Х'Х)~1Х'у
б.
"г-\, *
(У...
У\.. —У...
У.х.—У.
C5.47)
Таким образом, значение НК-оценки генерального среднего
равно просто полному выборочному среднему, а значения НК-
оценок эффектов строк (столбцов) равны разности между выбо-
выборочными средними соответствующих строк (столбцов) и полным
выборочным средним. Из C5.47) и первых двух линейных со-
соотношений в C5.34) сразу следует, что то же самое утверждение
36
ГЛАВА 3S
справедливо и для исключенных (лишних) эффектов строки
и столбца, т. е. что
6.
C5.48)
35.24 Подставляя C5.47—8) в определение взаимодействий
Вц в C5.31) и используя то, что 8ц является линейной функцией
других величин (см. 19.6 т. 2), получим
В.. = ?и — у. — у f + У.... C5.49)
Далее из крайнего правого соотношения C5.32) очевидно, что
соответствующая НК-оценка должна иметь вид
и тогда C5.49) переписывается в виде
е«/ = уи. - yt.. - у.,. + у...- C
Таким образом, в случае пропорциональных частот все пара-
параметры оценены интуитивно «понятными», оценками.
Теперь, когда в нашей модели получены НК-оценки всех па-
параметров, мы можем привести в примере 35.2 критерии проверки
различных гипотез, соответствующих вопросам из 35.15.
Пример 35.2. Двухфакторный перекрестный ДА с пропорцио-
пропорциональными частотами
Как следует из вышесказанного, линейную модель C5.32)
для двухфакторного перекрестного анализа можно представить
в следующем невырожденном виде:
у==Хв + г, C5.51)
где матрица X определена в C5.35), а координаты вектора-
столбца в проставлены над соответствующими столбцами мат-
матрицы X в C5.35).
Рассмотрим сначала первый из вопросов, сформулированных
в C5.15). Для ответа на него нужно указать критерий для про-
проверки гипотезы
я,: е„==е2»= ... =er-i., = o, C5.52)
налагающей г — 1 ограничений. Аналогично вопрос B) из
C5.15) эквивалентен гипотезе
Hi'. 8*i = 9*2 = ... = 0*e-i == 0> C5.53)
налагающей с — 1 ограничений, а вопрос C) из 35.15 — гипотезе
#3:8^=0, i = l, .... г— 1; /=1, .... с—1, C5.54)
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
37
с /г 1) (с—1) ограничениями. Наконец, вопрос D) из 35.15
эквивалентен гипотезе с одним ограничением
Я4: 8*,=0. C5.55)
Все четыре гипотезы C5.52—5) являются сложными. Для про-
проверки любой из них нужно найти СК, соответствующую этой
гипотезе, и использовать общую теорию, которая была развита
выше и подытожена в 35.8. Поскольку четыре гипотезы в сово-
совокупности включают все гс параметров, участвующих в модели,
и не имеют общих параметров, мы видим, что величину умень-
уменьшения СК, обусловленного подгонкой модели, а именно Ъ'Х'ХЪ,
следует разбить на компоненты, соответствующие каждой из че-
четырех гипотез. В рассматриваемом случае это особенно просто,
поскольку, как указывалось в 35.22, все четыре группы парамет-
параметров оцениваются ортогонально друг другу. Это следует из того,
что Х'Х имеет вид C5.41).
Перепишем теперь НК-оценки C5.47) и C5.50) в виде
у...
Уц. — yi..-y.i. -л-у...
"г*
, C5.56)
где соответствующие подвекторы вектора 9 имеют \, г— 1, с— 1
и (г—1)(с—1) компонент. Из C5.56) и C5.41) получаем раз-
разложение
C5.57)
где А, В, С являются подматрицами C5.41), определенными
в C5.37—9). Первый член в правой части C5.57) представляет
собой СК, соответствующую Я4, и мы можем записать его явно
в виде
54-=лу?... C5.58)
38
ГЛАВА 35
Соотношение C5.37) можно записать в виде
Л = />„.. + пгПг,
где Dni, — диагональная матрица (г — 1)Х(г ~~ 1) с элементами щ.,
а «г —вектор (г — 1) X 1 с элементами щ./п]!}. Таким образом,
второй член в правой части C5.57) записывается в виде
S, = % {D4 + ttrti'r} вы = &tJ>nfti. + ejjir (&i*nry =
t=l
г
C5.59)
и представляет собой СК, соответствующую Hi. Совершенно
аналогично, используя вид матрицы В в C5.38), для третьего
члена правой части C5.57) получаем
¦.j(y.,:—y...y, C5.60)
т. е. СК, соответствующую Я2. Наконец, из C5.39) находим, что
последний член в правой части C5.57) равен
г-1 с-1
-I C-I
c-\
г-\
г-1
1=1
C6.61)
при этом мы использовали тот факт, что для оценок взаимодей-
взаимодействий справедливы те же самые линейные соотношения C5.34),
что и для соответствующих параметров. Величина уменьшения
СК, обусловленного подгонкой модели, исчерпывается четырьмя
СК, определенными в C5.58—61). Теперь нам остается найти
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
39
остаточную СК, которая здесь, как и в общем случае, есть про-
просто разность
= У'У -
y\iP - E, + 52 + 53 + 54). C5.62)
Для численных расчетов остальные СК записывают обычно
в виде
54 = (II И 21 УцРJ/п>
- 2 S {(? „,„)%,}- 2 {(l S ,„,)•/»,.} -
- 2 {B Z »„.)¦/»•,} + (?? Z »,
Проверку этих соотношений мы оставляем читателю.
Подставляя в C5.62) соотношения C5.63), получим
5, =
- I Z { (Е %/р)У«
C5.64)
Теперь, так же как и в примере 35.1, результаты нашего анализа
можно свести в таблицу.
Таблица ДА для перекрестной классификации
по двум признакам с пропорциональными частотами
Компонента
дисперсии
Между строч-
строчками
Между столб-
столбцами
Взаимодей-
Взаимодействий
Остаточная
Генерального
среднего
Полная
Число
ст. ев-
г—1
с— 1
(/¦—DX
я — гс
п— 1
1
п
СК
5,
s3
У'У
СрК
SRj{n ~ гс)
Параметр к
не центральности
i
У У я.-в?./о
i i
q2 /2
C5-65)
40
ГЛАВА 35
Из общей теории пункта 35.8 следует, что критерий ОП для лю-
любой из гипотез Н\, Н2, Hz, H4 сводится к вычислению отношения,
соответствующего СрК в C5.65) к остаточному СрК и отклоне-
отклонению гипотезы в случае больших значений полученного отноше-
отношения. Каждое из этих отношений имеет нецентральное /^рас-
/^распределение с числами ст. св., указанными в соответствующих
строках второго столбца таблицы, и параметром нецентрально-
нецентральности, указанным в последнем столбце таблицы. При этом пара-
параметр нецентральности получается с помощью общего правила
из 35.8. (Ср. с примером 35.1, где критерий для генерального
среднего представляет собой обычный ^-критерий Стьюдента).
Если заранее можно предположить, что все взаимодействия
равны нулю, то S$ объединяется с 5Д в качестве новой остаточ-
остаточной СК сп — г — с + 1 ст. св., а для других критериев соответ-
соответствующий СрК выступает в роли знаменателя. Для проверки
«объемлющей» (comprehensive) гипотезы
#„: в = 0 C5.66)
о значениях всех параметров (из выполнения Но следует, что
выполняются #ь #2, #3 и Н4) нужно использовать отношение
/С* 1С* I О I О Ч / л
f = SR/(n-rc) • <3°-67>
Это отношение имеет F' [гс, л — гс, ? X л,,-@*. + 8,-»-j- 9*/ +
+ 6г-3J/а2}-распределение, при этом в соответствии с общим пра-
правилом параметр нецентральное™ получается из последнего члена
в правой части C5.64) подстановкой 9 вместо 6. Полученный
таким образом критерий совпадает с упомянутым в 35.15, если
рассматривать нашу таблицу как разбиение на гс групп при
классификации по одному признаку и применить критерий
C5.19). Аналогично для проверки одновременного выполнения
Hi, Hi и #3 (но не Hi) нужно числитель в C5.67) заменить
на (S] + 52 + 5з)/(гс—1). В результате получается критерий,
эквивалентный C5.22) для разбиения наблюдений на гс групп.
Случай равного числа наблюдений в клетках
35.25 В ситуации с пропорциональными частотами самым
важным является сбалансированный случай, когда все числа
наблюдений в клетках п.ц равны, скажем, заданному числу т.
При этом вычисление соответствующих сумм в формулах
C5.63—4) очевидным образом упрощается (см. упражнение
35.1). В этом случае становится проще найти матрицу, обратную
к С, из C5.39), и рассуждения, приведенные в 35.22—4, можно
провести соответственно более прямо (см. упражнение 35.2).
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
41
Помимо этого упрощения, в сбалансированном случае имеет-
имеется еще один новый эффект, который возникает при т = \.
В этом случае (см. упражнение 35.1) остаточная СК C5.64)
тождественно равна нулю, так же как и ее число ст. св., равное
п гс. Эта ситуация, очевидно, требует специального изучения,
поскольку все критерии, приведенные в примере 35.2, теряют
всякий смысл. Нетрудно понять, что необходимость дальнейшего
рассмотрения возникнет из-за того, что при т=\, п = гс нам
н\жно оценить гс параметров по гс наблюдениям. Не удиви-
удивительно, что мы делам это без остаточной дисперсии, ибо мы на-
находимся в той же ситуации, что и при построении полинома
степени q— 1 (содержащего q констант) по q наблюдениям. Та-
Таким образом, мы можем оценить все гс параметров даже при
т = 1, однако при этом остаточная СК становится равной нулю.
Преодолеть указанную трудность можно, только согласив-
согласившись уменьшить число параметров в модели. И в самом деле,
мы исключим (г—1) (с—1) параметров взаимодействий и бу-
будем оценивать отавшиеся г + с — 1 параметров. В этом случае
вместо C5.64) мы получим новую остаточную СК. На самом
деле, как будет показано в примере 35.3, она совпадет с преж-
прежней СК взаимодействий, определяемой согласно C5.61).
Мы не будем особо подчеркивать, что эту ограниченную мо-
модель (без параметров взаимодействий) нельзя применять для
анализа данных, когда заранее известно, что имеются взаимо-
взаимодействия. Поэтому нецелесообразно сознательно ограничиваться
одним наблюдением в клетке при перекрестной классификации,
если только заранее неизвестно, что столбцы и строчки не взаи-
взаимодействуют. Однако иногда соображения стоимости или вре-
времени вынуждают нас к такого рода ограничениям.
Пример 35.3. Перекрестная классификация по двум признакам
для случая одного наблюдения в клетке
Если исключить из модели параметры взаимодействий, то
для случая одного наблюдения в клетке получим
Уц = 9~ + Ъ. + в., + *11>
где, как и прежде, чтобы избежать сингулярности, 8г\* опреде-
определены только для /=1 г — 1, а в*3- — для / = 1, ..., с — 1.
Все рассуждения пунктов 35.17—19, относящиеся к рассматри-
рассматриваемым нами параметрам, остаются справедливыми. Матрица
X, определенная в C5.35), остается той же, если ограничиться
ее первыми r-J-c—1 столбцами. То же самое справедливо для
главной (r-j-c— 1) X (г + с — 1) -подматрицы матрицы Х'Х
в C5.36), причем, поскольку условия пропорциональности
C5.43) выполняются, то остается справедливым равенство
42
ГЛАВА 35
D = 0. Матрицы Л и В из C5.37—8) и обратные к ним из
C5.44—5) не изменяются. То же справедливо и для векторов
C5.46—7), причем последние дают полные НК-оценки наших
параметров, а не являются подвекторами соответствующих век-
векторов оценок. Следовательно, мы можем проверить гипотезы
Ни Н2 и #4 из C5.52—3), C5.55) точно так же, как и в примере
35.2, только 53, которая раньше являлась СК взаимодействий,
становится теперь новой остаточной СК, поскольку сумма че-
четырех СК в приводимой ниже сокращенной таблице должна,
как всегда, равняться у'у.
Таблица ДА для перекрестной
классификации по двум признакам с одним
наблюдением в клетке
Компонента
дисперсия
Между строчками
Между столбцами
Остаточная
Генерального сред-
среднего
Полная
Число ст. св.
г—1
с~\
(г-1)(с-1)
гс — 1
1
п
СК
¦S,
s2
s3
s*
у'У
C5.68)
Крегерии для проверки гипотез Н\, Н2 и Я4 могут теперь
быть получены заменой знаменателя в соответствующей F стати-
статистике на СрК 53/(г— I) (с— 1).
Хотя мы исключили параметры взаимодействий вц из мо-
модели, чтобы получить остаточную СК, тем не менее можно ис-
использовать их оценки Qij для проверки равенства взаимодей*
ствий нулю, выделив нз полученной остаточной СК соответ*
ствующую компоненту.
Рассмотрим линейную форму
L = ? ?
i I
где Qij определены в C5.50) (последний индекс у игреков те*
перь излишен), а с^— коэффициенты, которые будут определены
позже. Если все взаимодействия вц равны нулю, то М (L) = 0.
В противном случае это, вообще говоря, неверно. Поэтому для
проверки гипотезы о нулевых взаимодействиях интуитивно при-
приемлемо использовать статистику L. Если выбрать Сц так, чтобы
? cu = ? с»7 = 0, то из C5.50) мы видим, что L = ? ?
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
43
и, следовательно,
D (L) = С2а\
где С2 = ? ? с?/, а а2, как обычно, дисперсия ошибок. Таким
i 1
образом, если взаимодействия равны нулю, L2/(C2a2) имеет
^-распределение с одной ст. св. Более того, рассматриваемая
теперь остаточная СК в соответствии с C5.61) есть просто
53 = ZZe?/. Далее S3 - {L2/(C2a2)} не зависит от L2/C2a2, по-
скольку 6,-/ можно ортогональным преобразованием перевести
в новое множество независимых стандартных нормальных ве-
величин, одной из которых является L/Ca, a 53 — {L2/(C2cr2)}, будучи
суммой квадратов остальных величин, имеет ^-распределение
с (г — 1) (с — 1) — I == гс — г — с ст. св.
Остается выбрать сИ. Заметим, что они могут быть выбраны
как функции от 0г* и 9»/, поскольку в соответствии с C5.42)
последние не зависят от Qif. Поэтому любое условное распре-
распределение L при фиксированных 9г», 9»/ будет таким же, как и
маргинальное распределение L, т. е. совпадать с описанным выше.
Простейшим является выбор ctl = 9^9»/, так что мы можем
положить
{$
C5.69)
При этом Si/a2 имеет х2"Распределение с одной ст. св., а E3 —
— Si) la2 не зависит от S.r/02 и имеет х2"Распределение с гс —
—г—с ст. св. Их отношение 5//E3—5/) = F имеет распреде-
распределение дисперсионного отношения с A, гс — г — с) ст. св. и может
быть^ использовано для порверки гипотезы о том, что все взаи-
взаимодействия равны нулю. Этот критерий полной аддитивности.
эффектов был предложен Тьюки A949). (О дальнейших обоб-
обобщениях см. Шеффе A959).) М. Гхош и Шарма A963) изучили
его мощность против альтернативной гипотезы о том, что взаи-
взаимодействия имеют вид вц = авив^. Для классификации 6X6
было найдено, что мощность имеет тот же самый порядок, что и
У ^-критерия для взаимодействий, полученного приравниванием
смежных пар из 9,-. н 0W-.
44 ГЛАВА 35
Выбор весов
35.26 Теперь мы должны обсудить момент, который был
умышленно обойден молчанием при формулировке нашей линей-
линейной модели в 35.17—19. Там отмечалось, что в исходной модели
г + с + 1 параметров являются лишними в том смысле, что они
линейно зависят от остальных параметров. Мы избавились от
лишних параметров, используя набор линейных соотношений,
приведенных в C5.33). Из этих соотношений следовало C5.34),
что в свою очередь определяло структуру основной матрицы
C5.35). Теперь необходимо осознать, что набор соотношений,
приведенный в C5.33), по существу, произволен. Например,
в первом из приведенных там соотношений мы положим равным
нулю конкретную линейную функцию ? гс«9г*, используя в ка-
качестве весов маргинальные частоты строк щ,. Это может ка-
казаться естественным, но никоим образом не является необ-
необходимым. Мы могли бы вместо этого взять равные веса так,
чтобы 2^ 8(-« = 0. или даже произвольные веса тг так, чтобы
i
i
Если бы все множество из га наблюдений являлось простой
случайной выборкой из некоторой совокупности, то наблюдаемые
значения rii./n были бы оценками относительных частот соот-
соответствующих строк в совокупности. В этом случае имело бы
смысл определять эффекты строк, используя эти веса для выра-
выражения линейной зависимости. Аналогично ?л.;-6,/ = 0 и другие
соотношения из C5.33) имели бы смысл в том же контексте.
В связи с этим мы назовем соответствующие веса частотными
весами (frequency weights).
35.27 Однако во многих экспериментальных ситуациях нет
смысла рассматривать наблюдения как случайную выборку из
некоторой совокупности. Так бывает, например, когда г X с пе-
перекрестная классификация проводится умышленно для подроб-
подробного рассмотрения изучаемой переменной у. В этом случае ста-
становится трудно интерпретировать использование наблюденных
частот в качестве весов. Может даже оказаться бессмысленным
рассматривать какие-либо веса как единственно правильные в
том смысле, что именно они отражают распределение изучаемой
совокупности. Например, если имеется 2X3 перекрестная клас-
классификация для изучения влияния двух различных доз удобре-
удобрения А и трех различных доз удобрения В на урожай (хлеба),
то ее имеет смысл рассматривать просто как изучение влияния
соответствующих эффектов и взаимодействий, а вовсе не как
представление какой-либо совокупности. В этом состоит суще-
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
45
ственная разница между «экспериментальным» и «выборочным»
подходом к имеющимся данным. Мы вернемся к последнему
в главах 38—9.
Таким образом, в экспериментальных исследованиях обычно
(если отсутствует какая-либо известная соответствующая си-
система весов), вместо C5.33) используют равные веса. В остав-
оставшейся части главы под системой равных весов мы будем пони-
понимать выполнение соотношений C5.33), но только со всеми сим-
символами т., га./, Щ], замененными на единицы. Следует обратить
внимание, что хотя в сбалансированном случае (см. 35.25) по су-
существу уже использовалась система равных весов, поскольку все
частоты были равны, тем не менее общие результаты, относя-
относящиеся к случаю пропорциональных частот (в 35.22—4 и упраж-
упражнении 35.2), не останутся верны, если только не использовать
частотные веса.
Теперь мы собираемся вернуться к обсуждению общего слу-
случая непропорциональных частот, от рассмотрения которого мы
отказались в 35.21. Различия между этими двумя системами ве-
весов выступают здесь особенно резко хотя бы потому, что в этом
самом общем случае может оказаться малое число очень боль-
больших частот, которые являются преобладающими в системе ча-
частотных весов и могут затмить истинную картину.
35-28 Выбор весов в C5.33) в общем влияет на оценки всех
параметров: генерального среднего, эффектов строк и столбцов,
взаимодействий. Однако, как показал Шеффе A959), если все
истинные значения взаимодействий равны нулю при какой-либо
системе весов, то они равны нулю и при любой другой системе.
В самом деле, если в}1/ = 0 для одной из систем весов, то, со-
согласно C5.31), это эквивалентно тому, что
Тогда, согласно C5.31), для любой другой системы весов взаи-
взаимодействия равны
т. е. имеют вид
+
- ^) - К» - ¦*??
¦*??).
Но кз определения взаимодействий в 35.18 легко понять, что
если бы они могли быть представлены в виде суммы компонент,
относящихся к строке, к столбцу, и константы, то эти компо-
компоненты следовало бы включить в эффект строки, эффект столбца
46 ГЛАВА 35
и генеральное среднее соответственно и положить взаимодей-
взаимодействия равными нулю. Таким образом, мы имеем 0i/) = O для
всех i и /'. Следовательно, если гипотеза Hz из C5.54) справед-
справедлива, то она справедлива при любой системе весов.
Непропорциональные частоты
35.29 Рассмотрим сначала, как и раньше, случай частотных
весов C5.33). Условие пропорциональности C5.43) не выпол-
выполняется, поэтому не все элементы матрицы D из C5.36) обра-
обращаются в нуль и упрощенный анализ пунктов 35.22—5 больше
неприменим. Тем не менее даже в этом самом общем случае
остается верным соотношение C5.36), которое записывается
в виде
л. л. —
При этом C5.41) получалось отсюда как частный случай при
D — 0. Как легко проверить простым умножением,
D' В
C5.70)
так что матрицу, обратную к Х'Х, можно теперь представить
в виде
(Х'Х)~Х =
C5.71)
В результате того, что матрица D не обращается в нуль, изме-
изменяются оценки вектора параметров 6, полученные методом НК,
поскольку, хотя подвектор из C5.46) не изменяется, главная
диагональная подматрица (г + с—1)Х(г+с—1) из C5.42)
заменяется теперь на соответствующую подматрицу из C5.71),
Если C5.46) кратко записать в виде
где векторы v являются подвекторами C5.46), а индекс указьь
вает на их размерность, то, используя C5.70—I), получим
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
47
следующее обобщение соотношения C5.47):
/п-' 0\/пу..\
V о eJ\vc-J
<У...
= \(A-DB-lD')- («r_,-D*-4-,) . C5.72)
HB-D'A-'D)-1 (vc-t-D'A^v,
Отсюда, проводя соответствующие вычисления, получаем значе-
значения оценок3**, б./, в то время как по интуитивно понятным сооб-
соображениям для 9*» всегда имеет место равенство 9,»= у Так
же как и в 35.24, из определения взаимодействий в C5.31) сле-
следует, что значения их оценок удовлетворяют равенствам
Ун- — 6** — 6*/ — У— •
C5.73)
Таким образом, определены НК-оценки всех параметров. Обоб-
Обобщением разложения C5.57) является
C5.74)
Пример 35.4. Двухфакторная перекрестная классификация с не-
непропорциональными частотами и частотными ве-
весами
Из C5.74) следует, что каждая из гипотез Я3 и Я4 из
'C5.54—5) проверяется точно так же, как и в примере 35.2,
хотя СК, соответствующую взаимодействиям, нужно находить
теперь, проводя вычисления в соответствии с последним членом
в правой части C5.74). СрК для генерального среднего и для
взаимодействий (имеющие соответственно 1 и (г—1)(с—1)
ст. св.) нужно делить на остаточный СрК и вне зависимости от
эффектов строк и столбцов получатся величины с нецентраль-
нецентральными F-распределениями *).
Средний член в правой части C5.74) (обозначим его М)
представляет собой СК, соответствующую объединению эффек-
эффектов строк и столбцов. Таким образом, проверка одновременного
*) Следует обратить особое внимание на то, что если бы в C5.33) вместо
частотных использовались бы равные веса, то СК, соответствующая взаимо-
взаимодействиям, не была бы отдельной компонентой в C5.74), а была бы связана
с СК эффектов столбцов и строк так же, как последние связаны между со-
собой. Тем не менее в силу результатов 35.28, если #з верна для частотных ве-
весов, то она выполнялась бы и для любой другой системы весов.
48
ГЛАВА 35
выполнения #i и #2 из C5.52—3) сводится к вычислению М.
Однако на практике обычно интересуются отдельной проверкой
гипотез об эффектах строк и столбцов. Так СК, соответствую-
соответствующая, например, эффектам строк, получается вычислением умень-
уменьшения остаточной СК, получающейся в результате предвари-
предварительной оценки всех параметров, за исключением 9,», а затем
оценки всех параметров, включая б*». В результате получается
СК, соответствующая 9**. Аналогично можно вычислить СК для
0*у. Поскольку в общем случае эффекты строк и столбцов не
ортогональны, эти две СК в сумме не будут равняться М.
Если можно предположить, что все взаимодействия равны
нулю, то ситуация упрощается (см. упражнение 35.4).
35.30 Использование вместо C5.33) системы равных весов
при проверке эффектов строк и столбцов делает эти вычисления
значительно проще, чем для частотных весов, рассмотренных
в примере 35.4. Можно поступить следующим образом.
Проведем сначала анализ (г X с)-перекрестной классифика-
классификации, как если бы это была однофакторная классификация
с k = гс. Мы получим ДА с п — тс ст. св. для остаточной СК.
Оставшиеся г с ст. св. соответствуют суммарному влиянию клас-
классификации по строкам и столбцам. Используя пример 35.1, полу-
получим следующую таблицу ДА:
ДА для произвольной (г X с)-перекрестной классификации
Компонента дисперсии
Обусловленная класси-
классификацией в целом
Остаточная
Полная
Число
ст. са.
ГС
п — гс
п.
СК
.ZZZ(ynP-yif-f
i i p
ZEE у2нр
i i P
C5.75)
Очевидно, что любая клетка, для которой пц = I, не может вне-
внести вклад в остаточный СрК (ср. 35.25 и пример 35.3, где для
всех клеток пц = 1). Чтобы расщепить гс ст. св. соответственно
разбиению общей СК на компоненты, относящиеся к эффектам
строк, столбцов, взаимодействиям и генеральному среднему,
остается проанализировать средние значения в клетках уц..
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ 49
35.31 Из модели C5.32) следует, что уц. удовлетворяют
tJih = 9« + в,. + в./ + в</ + в,/, C5.76)
где ошибки в,-/ не коррелированы и имеют нулевые математи-
математические ожидания и дисперсии а2/пц. Усредним теперь уц. по
С
столбцу, т. е. возьмем невзвешенное среднее -у/^Уц- —y~i- Из
C5.76) следует, что
gt = 0„ + е„ + 4 J] 9*/ + -i- ? 6,7 + et, C5.77)
где g. — не коррелированы и имеют нулевые математические
ожидания и дисперсии (c2/c2)S nr.1 = o2Vr Если вместо частот-
частотных весов в C5.33) использовать равные веса, то обе суммы,
фигурирующие в правой части C5.77), обратятся в нуль, и мы
будем иметь
yt = 9„ + 9* + в,. C5.78)
Но C5.78) можно рассматривать как модель однофакторной
классификации (пример 35.1) с одним наблюдением в каждой
группе, с той разницей, что дисперсии ошибок различны. Если
определить zt =gi/V1it, то получим М (г{) = (9*, + 9,»)/К/2, и усло-
условия примера 35.1 будут теперь выполнены. Влияние этой за-
замены на анализ сводится к замене определенной в C5.21) вели-
величины S2, которая в рассматриваемой нами ситуации равнялась бы
У (дг ~У]уЛ » на ТУ же самую сумму, но с коэффициен-
коэффициенT1
том VT1 при каждом члене, т. е.
где
W,-9f,
— взвещенное среднее величин yt с весами V7 ¦
50
ГЛАВА
Таким образом, мы получаем следующую таблицу;
ДА для (г X с)-перекрестной классификации
с равными весами
Компонента дисперсии
Обусловленная строч-
строчками
Обусловленная остав-
оставшейся классификацией
Остаточная
Полная
Число
ст. св.
Р 1
/¦(c-D+i
ГС
п —гс
п
ск
2>Г'(^-?J
«¦-1
(получается как раз-
разность)
(совпадает с C5.75))
ZZH fa?
i i Р
C5.79)
Совершенно аналогично можно провести разбиение СК, от-
относящейся к классификации, для классификации по столбцам.
Таким образом, получаются критерии для эффектов строк и
столбцов в общем случае. Правда, в силу неортогональности,
СК, соответствующие строкам и столбцам, нельзя складывать,
для того чтобы затем вычитанием получить СК взаимодействий.
Однако если г или с равны двойке, то указанным методом не-
нетрудно получить и критерий для взаимодействий (см. упражне-
упражнение 35.5).
35.32 Система равных весов, применение которой позволило
провести ДА C5.79), естественно употребляется в описанных си-
ситуациях, когда я наблюдений сводятся к гс средним, а затем
эти средние анализируются, как если бы они сами были наблю-
наблюдениями. Ничто не мешает провести полный анализ, используя
систему равных весов вместо весов из 35.29. На самом деле ча-
часто так и поступают. При этом полученные результаты, вообще
говоря, отличаются от результатов 35.29.
35.33 Изложенный в 35.31 метод восходит к Иэйтсу A934),
который назвал его методом взвешенных квадратов от средних
значений. Так же как Снедекор A946) и Р. Андерсон и Банк-
рофт A952), он рассматривал также и другие, более приближен-
приближенные методы анализа. У всех упомянутых авторов приведены
численные примеры (см. упражнение 35.7). Дальнейшее теоре-
теоретическое исследование случая непропорциональных частот со-
содержится в книге Шеффе A959). В частности, там допускаются
произвольные системы весов в C5.33) s
дисперсионный анализ в линейной модели
51
Пустые клетки при двухфакторной перекрестной классификации
35.34 При исследовании двухфакторной перекрестной клас-
классификации в 35.15—33 мы неявно предполагали, что все клетки
в таблице C5.28) содержат по крайней мере одно наблюдение,
т. е. пц > 0. На практике это предположение может часто не вы-
выполняться в результате случайности, неудачного эксперимента
или по другим причинам. Теперь нам нужно рассмотреть, какое
влияние оказывает на анализ данных наличие пустых клеток
в классификации. Если имеется хотя бы одна пустая клетка,
то перекрестная классификация называется неполной. До сих
пор мы рассматривали только полные классификации.
Очевидно, в общем случае, когда соответствующее взаимо-
взаимодействие Qij не равно нулю, мы не можем оценить среднее зна-
значение цц, поскольку никакой информации о значении 9« из дру-
других клеток таблицы мы получить не можем. Из определения
C5.31) и линейных соотношений C5.33) следует, что в общем
случае, когда при перекрестной классификации имеется хотя бы
одна пустая клетка, нельзя оценить ни одну из величин вц,
6i*, 9*j. или G**. Однако даже в этом случае очень просто оце-
оценить дисперсию ошибки. Если обозначить [гс] число клеток, со-
содержащих наблюдения, то мы получим следующую таблицу,
обобщающую C5.75):
ДА для произвольной (г X с)-перекрестной
классификации *)
Компонента дисперсии
Обусловленная класси-
классификацией
Остаточная
Полная
Число
ст. св.
[гс]
п — [гс]
п
СК
Е Е «</*?/•
t I
ЕЕ?^Р
< / р
C5.80)
35.35 Если в пустых клетках вц равно нулю, то упомянутая
в 35.34 трудность исчезает. Если мы хотим проверить Н3 из
C5.54) (гипотезу о том, что все взаимодействия равны нулю), то
мы можем поступить точно так же, как и в примере 35.4, оценив
*) В C5.80) суммирование распространяется только на [гс] непустых
клеток.
52
ГЛАВА 35
оставшиеся параметры, рассчитав соответствующую им СК и та-
таким образом получить остаточную СК. Разность между послед-
последней и остаточной С К из C5.80) будет соответствовать взаимо-
взаимодействиям и иметь [гс] — г — с + 1 ст. св. Аналогично, если
можно постулировать выполнение Н3, то эффекты строк и столб-
столбцов можно проверять точно так, как и в случае полной класси-
классификации, методами, изложенными в упражнении 35.4. Шеффе
A959) дает более детальное изложение.
Здесь мы не будем больше обсуждать этот вопрос. Ниже,
в пунктах 37.50—6, приводятся общие методы анализа линейной
модели, когда есть пропуски наблюдений.
Иерархические классификации
35.36 Двухфакторная перекрестная классификация, которую
мы рассматривали в 35.15—35, не является единственным инте-
интересным обобщением однофакторной классификации из примера
35.1. Предположим, что внутри каждой из рассмотренных там k
групп снова имеется однофакторная классификация наблюдений.
Пусть rii наблюдений из первой группы разбиты на U подгрупп
с числами наблюдений (частотами) га,,, ..., и,/„ где ? n]h —
—щ. Аналогично вторая группа разбита на 1% подгрупп с часто-
частотами щи
имеется 4 подгрупп с частотами nku ...,nuk, ?«*/.=
ппг, Za n2h — п2' и т. д. вплоть до 6-й группы, где
й = ! 1к
h=l
получим лучшее соответствие с принятым нами соглашением об
обозначениях, если заменим обозначение исходных частот
в группах rii из примера 35.1 над».,чтобы отметить, что внутри
каждой исходной группы суммируются частоты nih соответствую-
соответствующих подгрупп. В этих обозначениях получим
h
Описанная ситуация носит название иерархической *) двухфак-
торнсй классификации наблюдений. Этот термин употребляется,
чтобы подчеркнуть, что внутри каждой исходной группы имеют-
имеются подгруппы, в отличие от деления каждого набора данных
из столбца на общие для всех столбцов группы, соответствую-
соответствующие строчкам при двухфакторной перекрестной классификации.
*) Другой термин «гнездовая классификация» («nested classification») ка-
кажется более уместно употреблять в тех случаях, когда в каждой исходной
группе имеется равное число подгрупп. В связи с этим, несмотря на внеш-
внешнюю привлекательность этого термина, мы не будем его употреблять.
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ» 53
'Пример 35.5. ДА для двухфакторной иерархической
классификации.
В примере 35.1 мы уже определили k параметров по одному
пля каждой группы. Для исследования изменения средних зна-
значений Qih для h подгрупп внутри 1-й группы*) мы используем
только U — 1 линейно независимых параметров, поскольку
можно положить
(ср. 35.17—19 для перекрестной классификации), так что, так
же'как в C5.34), получим
1,А9/А. C5.81)
< ft-!
Теперь можно обобщить линейную модель примера 35.1. Бу-
Будем р-е наблюдение из h-и подгруппы 1-й группы обозначать
и положим I = ? 1{. Тогда
i в,
у ¦¦
(л ХП
У\\Пп
Уш
в
(г xi
в2. /,-1
*) Эти в,л не имеют никакого отношения к параметрам взаимодействий
при перекрестной классификации. В случае иерархической классификации
проблемы взаимодействий не возникает.
«4
ГЛАВА 35
v
(nXl)
X
(nXfe)
C5.82)
Cfe)) j
При этом (я X k) подматрица X в C5.82) та же самая, что и
в примере 35.1. Как сразу следует из C5.81), остальные подмат-
подматрицы имеют вид
X =
О
О
1
строк
ni2 строк
строк
1
Из C5.82—83) теперь получаем
ni,tt-i стР°к
«?/г строк
C5.83)
V"/ V
л л =
И XI)
я*.
C5.84)
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
55
где
)^'))
ni,
я«*а
имеет тот же самый вид, что и в C5.37) и, значит, обратная
к ней имеет тот же вид, что C5.44):
«Й
. C5.85>
Таким образом, из C5.84—5) получаем НК-оценки
УП. ~У\:
г/12. -?/i..
У2и —
Ук.и-1. .-Уи..
C5.86)
и, значит, СК, соответствующая подогнанной модели, равна
E jg
C5.87)
56
ГЛАВА 33
Первый член правой части C5.87) совпадает с выражением для
Su определенным соотношением C5.16) примера 35.1. По сути
дела, нам теперь остается разбить дополнительную СК, второй
член в правой части C5.87). Поскольку 5i представляет СК, со-
соответствующую k параметрам, исходных групп 9Ь б-,, .... Вй, то
второй член в C5.87) представляет собой СК, соответствующую
введенным теперь ? (/,- — 1) ==/ — k линейно независимым па-
параметрам подгрупп. Результаты можно свести в таблицу
ДА для двухфакторной иерархической классификации
Компонента дисперсии
Обусловленная груп-
группами
Между подгруппами
внутри групп
Остаточная
Полная
Число
ст. св.
k
l-k
n — l
п
СК
(
JLHnih{yih.-yl..f
i h
ZZZ(ymP-!>iH.J
I h p
y'y
C5.88)
Остаточная СК в C5.88) получена вычитанием. Первая
строчка, так же как и в примере 35.1, может быть разбита на
две компоненты «между групп» и «генеральное среднее».
Как следует из общей теории, отношение СрК «между под-
подгруппами внутри групп» к остаточному СрК имеет нецентраль-
нецентральное /•'-распределение с (/— k, п — I) ст. св. и параметром нецент-
нецентральности X = ? X nlh0\h, который равен нулю, если внутри
i h
каждой группы все средние значения подгрупп равны между
собой. Тем самым для проверки этой гипотезы получается цент-
центральный ^-критерий.
35.37 Иерархическая структура может быть исследована
более подробно с подподгруппами и даже подподподгруппами.
В результате получаются трехфакторная и соответственно четы-
рехфакторная классификации, на практике встречающиеся до-
довольно редко. Читателю должно быть понятно, что нет нужды
заново проводить довольно утомительные выкладки метода НК
для получения соответствующих результатов. В самом деле, по
существу в примере 35.5 внутри каждой из k групп проводилось
разбиение СК на две компоненты с U— 1 и Hi.—U ст. св. соот-
ДИСПЕРСИОННЫЙ АНАЛИЗ В .HHHFFTHOH МОДЕЛИ
57
ветственно. Затем компоненты суммировались по всем группам
и получались члены из таблицы C5.88) с / — k и п — / ст. св.
Тот же самый процесс разбиения можно теперь провести внутри
каждой подгруппы и т. д. В упражнении 35.3 читателю предла-
предлагается провести трехфакторный ДА. Шеффе A959) приводит
теоретические выкладки для трехфакторного случая.
Многофакторные классификации
35.38 В предыдущем пункте мы указали схему применения
многофакторной иерархической классификации. Это подводит
нас к рассмотрению общих многофакторных классификаций.
Заметим сначала, что если мы рассматриваем трехфактор-
ную классификацию, то при этом возможна «смешанная» клас-
классификация, которая является частично иерархической и час-
частично перекрестной. Такая ситуация возникает, когда двухфак-
торная иерархическая классификация соответствует одному из
факторов (скажем, строчкам) в (г X с)-перекрестной классифи-
классификации. В обозначениях примера 35.5 мы будем иметь г = I.
ДА проводится в два этапа. Сперва анализируется перекрест-
перекрестная классификация с помощью обсуждавшихся выше методов.
Полная СК разлагается на обычные пять компонент. Коротко
мы представим это в виде следующей таблицы, указывая только
число ст. св.
ск
Генерального
среднего
Строчек
Столбцов
Взаимодей-
Взаимодействий
Остаточная
Полная
1
1—1
с-1
(/—1)(с —1)
п — 1с
п
Число ст. са.
•\ Строчки
1 групп k — 1
1 Строчки под-
J групп /— k
"\ Взаимодей-
| ствия с груп-
L пами (k — 1) (с — 1]
j Взанмодей-
1 ствия с под-
) группами A — k) (с — 1]
На втором шагу каждая СК, которой соответствует иерар-
иерархическая классификация, разбивается на две части в соответ-
соответствии с тем, как указано в правой части таблицы. При этом
$8 Г ЖСБ A 33
разбиение СК строк получается простым использованием при-
примера 35.5 (стоит напомнить, что компонента генерального сред-
среднего при этом уже выделена из первой строчки C5.88) при
анализе перекрестной классификации). Однако простейший спо-
способ разбиения СК строк и СК взаимодействий состоит в сле-
следующем. Надо объединить данные из подгрупп внутри одной
группы и провести пересчет СК для строк и взаимодействий,
используя объединенные данные. Таким образом получаются
искомые компоненты СК с (k— 1) и (А— 1) (с— 1) ст. св^ соот-
соответственно. Если анализ ортогонален, то СК подгрупп полу-
получаются простым вычитанием.
Шеффе A959) приводит теоретические выкладки для слу-
случая, когда при иерархической классификации внутри каждой
•группы имеется равное число подгрупп, а число наблюдений
в каждой клетке (/ X с) -таблицы одинаково.
35.39 Предположим теперь, что вместо вложения двухфак-
двухфакторной иерархической классификации в двухфакторную пере-
перекрестную классификацию, как это было в 35.38, у нас имеется
новая однофакторная классификация внутри каждой клетки
таблицы двухфакторной классификации. Если в каждой клетке
лроведена одна и та же однофакторная классификация, оче-
очевидно, что получается трехфакторная перекрестная классифи-
классификация. Как мы сейчас увидим, при этом не только заново воз-
возникают все задачи формулировки линейной модели, обсужден-
яые в 35.15-—19 для двухфакторного случая, но и необходимы
некоторые обобщения.
Трехфакторная перекрестная классификация
35.40 Следуя терминологии, уже использованной при обсуж-
обсуждении таблиц с тремя входами для катетеризованных данных
в 33.58, рассмотрим теперь выборку из п наблюдений, пред-
представленную в виде (г X с X 0 ~таблицы с г строками, с столб-
столбцами и / «слоями» с числами наблюдений в клетках (часто-
(частотами) nijh, где i = 1, ..., г, ) == 1, ..., с, k = I, ...,/. При этом
р-е наблюдение в (i,j, к)-й клетке обозначается у икр, р = 1, ...
..., тщк- Так же как в 35.15, мы используем для обозначений
следующее соглашение. Точка вместо какого-либо индекса при
п означает суммирование, а при у — усреднение по этому ин-
индексу, причем вместо п... пишется просто п.
Очевидно, что все вопросы из 35.15 имеют смысл в этой
более общей ситуации для всех трех классификаций, так что
теперь можно интересоваться генеральным средним, эффектами
строк, эффектами столбцов, эффектами слоев (три множества
главных эффектов), а также взаимодействиями между любой
ларой при классификации по строкам, столбцам и слоям. Од-
ДИСПЕРСИОННЫИ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
59*
нако из-за добавления дополнительного фактора появляется:
новая деталь, поскольку теперь нас может интересовать, зави-
зависят ли, например, сами взаимодействия между рядами и строч-
строчками от классификации по слоям. При этом получаются взаи-
взаимодействия высших порядков, которые мы и собираемся те-
теперь определить.
35.41 Обобщая соотношения C5.32), запишем линейную мо-
модель в виде
У цкР =
е*
e,/ftP. C5.89>
При этом среднее значение наблюдений в (i,j,k)-u клетке цц.
состоит из восьми компонент. Первые семь групп: генеральное
среднее 0»*», эффекты строк В*»», эффекты столбцов 0*у», эф-
эффекты слоев 9„*&, взаимодействия столбцов и строк 8у», взаи-
взаимодействия строк и слоев 9г*ь, взаимодействия столбцов и слоев
6»ju, определяются точно так же, как и в 35.17—18 для двух-
двухфакторной перекрестной классификации с добавлением лиш-
лишней звездочки в индексе. Последнее множество параметров
взаимодействий в C5.89), а именно 9^й, определяется путем
обобщения аргументов пункта 35.18. Если бы отклонение ве-
величины \iijk от генерального среднего в точности равнялось
сумме определенных ранее трех соответствующих главных эф-
эффектов и трех соответствующих взаимодействий, то мы бы
имели
— !•<¦*** = 9*„ + вф +
9f/« + Qi*k + Q*jk ==
или 9,ifc=0, где (ср. с определением 9f/ в C5.31))
\l*1k) +
+ (ц*»« -f- ц»/» + n«ft) —
C5.90)
Определенную в C5.99) величину 0«* мы назовем взаимодей-
взаимодействием второго порядка между строками, столбцами и слоями.
С этой точки зрения мы бы могли теперь взаимодействия-
в двухфакторной перекрестной классификации назвать взаи-
взаимодействиями первого порядка. Для полной согласованности
терминологии мы бы могли сами главные эффекты называть
взаимодействиями нулевого порядка.
Переписывая C5.99) в виде
, C5.91)
60
ГЛАВА 33
и вспоминая определение вц из C5.31), получим, что факти-
фактически вци равно разности между взаимодействием (первого
порядка) столбцов и строк в k-u слое н тем же самым взаимо-
взаимодействием для объединения всех слоев. Поскольку 0г-^ опреде-
определяется симметрично относительно строк, столбцов и слоев, то
C5.91) можно в эквивалентной форме переписать как разность
между взаимодействиями строк и слоев в /-м столбце и в объ-
объединении столбцов или как разность между взаимодействием
столбцов и слоев в i-й строке и в объединении всех строк. По
этой причине слово «взаимодействие» также уместно и для В^л,
как и для б*, в 35.18.
35.42 Аналогично 35.17 теперь, при трехфакторной пере-
перекрестной классификации, мы можем иметь только rcl линейно
независимых параметров, по одному на каждую клетку таб-
таблицы. Однако в модели C5.89) имеется
1 + г + с + / + гс + rl + cl + rcl
параметров, и для того чтобы не получилась сингулярная мо-
модель, нужно исключить лишние параметры. Так Hie, как в 35.17,
мы исключим последние члены в множествах параметров глав-
главных эффектов, уменьшим множества параметров взаимодей-
взаимодействий первого порядка до (г— 1) (с— 1) и т. д. Таким образом,
мы получим
1 + (г — 1) + (с - 1) + (/ - 1) + (г - 1)(с - 1) +
параметров, за исключением взаимодействий второго порядка.
Простым сложением читатель легко проверит, что добавление
(г—1)(с—1) (/—1) этих параметров доводит общее число
параметров до требуемого числа rcl. Это очевидно также и из
того факта, что rcl есть число тех ц^й, которые могут быть не-
независимо определены, когда известны другие параметры.
35.43 Теперь ничто, кроме сложных алгебраических выкла-
выкладок, не мешает нам проводить анализ совершенно аналогично
тому, как это делалось в двухфакторном случае. В каждом
конкретном случае не возникает вычислительных трудностей
при подгонке линейной модели C5.85), оценке ее rcl парамет-
параметров и доведении до конца ДА. Однако даже в двухфакторном
случае существенные упрощения в алгебраических выкладках
были только тогда, когда частоты в каждой клетке были про-
пропорциональны произведению маргинальных частот, как это
требовалось в C5.43). Аналогично для выполнения условия
ортогональности теперь необходимо, чтобы для каждой клетки
частота была пропорциональна произведению всех соответ-
соответствующих маргинальных частот (см. Себер A964а)). На прак-
практике это условие пропорциональности выполняется в случае
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
61
равного числа наблюдений во всех клетках таблицы, т. е.
в сбалансированном случае.
В пропорциональном случае общие принципы анализа очень
просты. В 35.39 мы видели, что трехфакторную перекрестную
(г X с X 0-классификацию можно рассматривать как класси-
классификацию, порожденную введением новой классификации (с /
уровнями) для каждой клетки существующей (г X с)-перекре-
с)-перекрестной классификации. Отсюда следует, что ДА можно выпол-
выполнять в два этапа, точно так же, как для «смешанной» класси-
классификации в 35.38. Сперва (г X с)-перекрестная классификация
рассматривается как однофакторная классификация с гс уров-
уровнями и проводится двухфакторная (гс X 0-перекрестная клас-
классификация для изучаемых нами наблюдений. Из C5.65) мы
получаем следующую схематическую таблицу ДА.
СК
Генерального
среднего
(rXc)-nepe-
крестной
классифика-
классификации
Классификации
по слоям
Взаи модействий
(гХс)-пере-
крестной
классифика-
классификации с 1 слоями
Остаточная
1
Число ст. ев
Г строчки г —
1 столбцы с —
rc-\l t
к
1 — 1
(гс-ОХ
Х(/-1)
п — rcl
*заимодействия
строчек и
столбцов (/• —
взаимодействия
строчек и слоев
взаимодействия
столбцов и слоев
взаимодействия
второго порядка
столбцов и слоев
1
1
1><с-1)
(/• —1)(/ — 1)
(с— 1)(/— 1)
(г — 1) (с—1)A — 1]
C5.92)
На втором этапе СК, соответствующая (г X с)-перекрестной
классификации, разбивается на три части в соответствии с тем,
как указано в правой колонке таблицы. Простейший метод
проведения соответствующего разбиения (так же, как и в 35.38)
состоит в следующем. Сперва объединяются все столбцы внутри
строк и в соответствии с этим пересчитываются две СК. В ре-
результате получаются нужные компоненты с г—1 и (г—1)(/—1)
ст. св. Если операцию объединения применить к исходным стро-
строкам внутри столбцов и снова пересчитать две СК, то получатся
требуемые компоненты с (с—• I) и (с—1)(/—I) ст. св.
62
ГЛАВА 35
Поскольку анализ ортогонален, то две оставшиеся СК
(с (г—1)(с—1) и (г—1)(с—1)G—1) ст. св.) получаются
простым вычитанием.
Численные расчеты ДА в общем случае непропорциональ-
непропорциональных частот очень трудоемки даже при использовании ЭВМ.
Пирс A963) дает обзор общей ситуации. Г. Фримэн и Джеф-
ферс A962) приводят методы анализа трехфакторной пере-
перекрестной классификации в неортогональном случае. Стивене
A953) использует для этого случая итеративные методы. Браду
A965) решает задачи для простейшего случая, когда все взаи^
модействия всех порядков (кроме нулевого) предполагаются
равными нулю (см. также Рис A966)).
Габриэл A963) приводит обзор теории для анализа средних значений в
клетке, когда дисперсии обратно пропорциональны размеру выборки в клетке,
специально исследуя случай, когда у принимает только значения 0 и 1 и сред-
средние значения в клетке становятся частотами. Приближенные методы анализа
средних в клетках содержатся в упралшении 37.7.
Пример 35.6. Сбалансированная трехфакторная перекрестная
классификация
В случае, когда числа наблюдений в клетках равны одному
и тому же числу /п > 1, то снова очевидно, что (г ~Х_ с ~Х_ I)-пе-
рекрестную классификацию' можно на первом этапе подсчетов
ДА из C5.92) рассматривать как (гХ^)Х' или (гХОХ^
или (сХ0Хг- Из симметрии следует, что подсчет СК для
каждого из трех множеств главных эффектов и для каждого из
трех множеств взаимодействий первого порядка проводится
точно так же, как и в таблицах двухфакторной перекрестной
классификации. Нужно только объединить все уровни третьего
фактора. Остаточная СК, очевидно, также не изменяет свой
вид. Используя введенные выше обозначения для трехфактор-
ного случая, из C5.63—4) и упражнения 35.1 получим следую-
следующие выражения для СК, соответствующих компонентам таб-
таблицы C5.92), где индекс при S указывает теперь на число ст. св.
Генеральное среднее:
$!=(???? УиьУ/irclm).
Эффекты строк:
sfr-D=X Г ? ? ?
i \ i k p
Эффекты столбцов:
Sic-1) =?(??? УшРJ/(Пт) - S,
Эффекты слоев:
S»-i> = ?(??? yilkPJl{rcm) - S,
C5.93)
дисперсионный анализ в линейной модели
Взаимодействия строк и столбцов:
S(r-iHc-i) = ? ? Г ? ? УцкР\ jilm) —
Взаимодействия строк и слоев:
f{ctn) —
63
г-1) — Su_,) — 5,.
S(r-o (/-о = ??(??
Взаимодействия столбцов и слоев:
5(с-1)(/_1) = ?? f? ? уць.ру j{rm) — S(c-d —
Остаточная СК:
5ге/(*-«)в ? ? ? ? ylkp -???(? yii
Поскольку восемь компонент C5.93) в сумме с СК взаимодей-
взаимодействий второго порядка дают, как обычно, ? ? ? ? y\,kp, то
i i ft Р
упомянутая оставшаяся СК получается простым вычитанием:
Взаимодействия второго порядка:
S(r-о (с-1М/-0 = ? ? ? Г? Уць-рЛ jm — S(r-o (c-i) — 5(Г_1) A-х) —
— S(c-i) (/-и — S(r-i) — S(c-i) — 5(/_i) — 5(. C5.94)
Сведем теперь результаты C5.92—94) в следующую таб-
таблицу ДА:
Компонента дисперсии.
обусловленная
Эффектами строчек
Эффектами столбцов
Эффектами слоев
Взаимодействиями стро-
строчек и столбцов
Взаимодействиями стро-
строчек и слоев
Взаимодействиями стол-
столбцов и слоев
Взаимодействиями стро-
строчек столбцов и слоев
Генеральным средним
Классификацией
Остаточная
Полная
г —1
с— 1
1-Х
(г — 1) (с — 1)
{г- 1)(с-1)(/-1)
rcl — 1
1
rcl
rcl {tn — 1)
r elm, = n
СК. определяемая
C5.93-4)
S{r-\)
S(c-1)
S(l-1)
"^(,— l>Cc 1)
s, _,.,, ..
s
s,
SrcHm-l)
y'y
C5.95)
64
ГЛАВА 35
ДИСПЕРСИОННЫИ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
65
Как и раньше, любая гипотеза, соответствующая восьми
строчкам C5.95), которые образуют часть СК «классификации»,
может быть проверена подсчетом отношения, соответствующего
СрК к остаточному СрК. Каждое отношение имеет нецентраль-
нецентральное /¦"-распределение, которое становится центральным в том
случае, если проверяемая гипотеза справедлива.
Многофакторные перекрестные классификации
35.44 Читателю должно быть теперь понятно, как повторным
применением аргументов, использованных при получении трех-
факторного анализа из двухфакторного, можно теперь анализ
трехфакторной перекрестной классификации обобщить на че-
тырехфакторную классификацию и на классификации с боль-
большим числом факторов. В сбалансированном случае симметрия
таблицы C5.95) и соотношения C5.93—4) подсказывают бо-
более прямое обобщение на случай классификаций высших по-
порядков. Следует отметить, что постоянное соответствие числа
ст. св. у СК и числа линейно независимых параметров, которые
относятся к этой СК, является, как нетрудно понять, простым
следствием геометрической интерпретации, аналогичной 35.13.
Шеффе A959) проводит детальное рассмотрение этого вопроса.
При обобщениях на многофакторный случай возникает не-
обходиморть определения взаимодействий третьего и более вы-
высоких порядков в тех случаях, когда в модели требуется их
исследовать. Однако поскольку эти взаимодействия становятся
все слабее, а трудности их интерпретаций возрастают, то часто
их просто игнорируют при проведении анализа, объединяя от-
относящуюся к ним СК с остаточной.
Объединение критериев ДА
35.45 Предположим сперва совсем в общем виде, что для
проверки к различных гипотез мы имеем k критериев и что
соответствующие им статистики стохастически независимы. Для
получения критерия одновременного выполнения всех k гипотез
мы можем использовать результат упражнения 16.4 в духе
упражнения 30.9 т. 2. Применяя вероятностное интегральное
преобразование к статистике каждого критерия и подправляя
его так, чтобы критические значения каждой преобразованной
статистики Р\ соответствовали ее малым значениям, мы полу-
k
чим, что —2 X log/3; —Р имеет ^-распределение с 2k ст. св.;
при этом критическими являются большие значения Р. Для Р
мы используем критерий размера а при любом размере со-
ставляющих критериев*). Однако если статистики не являются
независимыми, то мы сталкиваемся с теми же трудностями, что
и в контексте критериев согласия в 30.36, и приведенный со-
составной критерий бесполезен, поскольку для нахождения рас-
распределения величины Р необходимо знать совместное распреде-
распределение исходных статистик.
Другой простой общий подход к объединению независимых
критериев основывается на том факте, что если i-й критерий
имеет размер сц, то вероятность отклонения хотя бы одной из
проверяемых гипотез, при условии, что все они справедливы,
к
равна просто 1— 11A—а,). Если все а,- равны заданному
числу а, то это сводится к
Pk(a)=l— A — а)*, C5.96)
что приблизительно равно ak, если а. мало (как это обычно
и бывает на практике).
35.46 Таким образом, если бы k критериев в таблице ДА
были независимы, то мы могли бы использовать C5.96) для
выбора их общего размера при изучении множества диспер-
дисперсионных отношений как целого. Так, если бы мы имели четыре
критерия и потребовали бы, чтобы полный размер (т. е. размер
составного критерия) был 0,05, то для вычисления размера
каждого из исходных критериев нам нужно было бы решить
уравнение
0,05 = 1—A—аL
или приблизительно положить а = 0,05/4. Однако критерии
в таблицах ДА, которые мы рассматривали, никогда не яв-
являются независимыми критериями. Хотя различные СК в таб-
таблице могут быть независимы друг от друга, но у всех выведен-
выведенных нами критериев в знаменателе соответствующей статистики
стоит остаточная СК и, следовательно, эти критерии статисти-
статистически зависимы. Так, например, если остаточная СК велика, то
это уменьшает значение всех статистик одновременно.
35.47 Однако, к счастью, как показали Хартли A955), соот-
соотношение C5.96) приближенно остается справедливым. Пред-
Предположим, что наблюдаются k + 1 независимых средних квадра-
квадратов s2, s\, ..., s\ соответственно со ст. св. v, vI; ..., vh. Пусть
*) Под вероятностным интегральным преобразованием автор подразуме-
подразумевает переход от статистики у» к статистике Р\ = /ч(у0. где Fi(x)—функ-
Fi(x)—функция распределения случайной величины у<- Формулируемый результат осио-
ван на свойствах независимых наблюдений из равномерного на отрезке [0, 11
распределения (см. 24.11 и 30.36 в т. 2). Широко употребительным в стати-
статистической литературе синонимом понятия «размер критерия» является термин
«уровень значимости критерия». (Прим. ред.),
3 М. Кендалл, А, Стьюарт
66
ГЛАВА 35
G, Gu ..., Gh их функции распределения, a g = G' — плотность
распределения s2. Пусть k значений /•"» определяются, как ре-
решения при фиксированном а уравнений
так что F{ является 100A — а)-процентной квантилью распре-
распределения отношения sf/s2.
Вероятность того, что ни одно из отношений s^/s2 не пре-
превосходит соответствующего Ft, равна
t)\g(x)dx. C5.97)
Мы обозначили C5.97) через РA), поскольку соответствующее
выражение совпадает со значением при 8=1 функции
оо к
от Я
р <в>=Ш[(l ~a)+8 (G«"(xFt) ~{x~a)}] 8ix)dx-C5-98)
О ?=1
откуда сразу следует, что Р@) = A—а)к. Для разложения
РA) по формуле Тейлора в окрестности нуля мы исследуем
соответствующие производные. Имеем
k оо
pf о)=Ё S{Gi {xFi) - (i - «)> П[A -а) +
+ 6 {G, (xFi) - A - а)}] g (x) dx,
так что
i 0
поскольку
t(xFt)g{x)dx = l — a.
C5.99)
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
Таким образом, разложение Тейлора имеет вид
67
к со
X 11 К1
i=i
-(!-a)}] ?(
где 0^8^ 1. Каждый член в квадратных скобках принимает
значения между нулем и единицей, поскольку этим же свой-
свойством обладают а, 8 и Gi. Таким образом, если заменить все
эти члены единицей, то мы получим неравенство
Gt(xFt) | - A - a) || G, (xF,) -(l-a)\g(x) dx,
из которого, применяя неравенство Коши — Буняковского *),
получим следующее неравенство:
J
и далее
7
- A - a)}2g(x) dx ] {G, (xFj) - A - a)}2 g (x) dx
о
{Gt (xFt) -A - a)}2g(x)dx.
В силу C5.99) это можно переписать в виде
| Р A) - (l-a)fe |< ±л(А-1) max [D {0,
* i
. C5.100)
35.48 Хартли A955) подсчитал верхнюю границу, даваемую
C5.100) для широкой области значений k, v и v*. когда A —а)
близко к 0,05. Соответствующее значение убывает до нуля при
возрастании v до бесконечности, но возрастает с ростом k и v*.
*) В оригинале это неравенство называется неравенством Коши — Швар-
Шварца. (Прим. ред.),
3*
68
ГЛАВА 35
Для достаточно неблагоприятного случая Дг = 10, v = 30,
maxv,- = 10, верхняя граница равна 0,0138. Еели при этом v уве-
>
личить до 60, то верхняя граница уменьшится до 0,0050. При
k—5, v = 60, maxv,==5 имеем 0,0014. Поскольку истинная
i
разность, вообще говоря, существенно меньше, чем верхняя
граница (троекратная замена соответствующих членов на мак-
максимально возможные повышает границу), мы можем сделать
вывод, что приближение величины C5.97) с помощью A — а)к
вполне удовлетворительно в достаточно широкой области, осо-
особенно тогда, когда v (число ст. св. остаточной СК) велико.
Таким образом, мы видим, что зависимость размера Pk(a) =
= 1 — РA) критерия для множества дисперсионных отношений
из таблицы ДА от номинального размера а критерия для каж-
каждого отдельного дисперсионного отношения из таблицы, при*
близительно задается соотношением C5.96). Иначе, если мы
перепишем C5.96) в виде
и подставим а вместо Р*(а) и р(?) вместо а, то получим
р(?) = 1— A— aI/ft, C5.101)
так что критерий размера а для множества k дисперсионных
отношений получается в том случае, если для каждого диспер-
дисперсионного отношения взят критерий размера Р(&), где р(?) опре-
определяется по а в соответствии с C5.101).
Первыми работами по этому вопросу были работы Хартли A938) и Фии-
ни A941). Кокрэн A941) и Дарлинг A952) рассматривали отношение наи-
наибольшего среднего квадрата к сумме всех средних квадратов в случае, когда
все v, равны.
35.49 Из результатов 35.47—8 следует, что отдельные крите-
критерии размера C5.101) для k дисперсионных отношений с общей
остаточной СК дают составной критерий приблизительно раз-
размера а. Однако тот факт, что стоящая з знаменателе СК яв-
является общей для всех k критериев, наводит на мысль, что
в этом случае, возможно, неэффективно брать отдельные кри-
критерии, поскольку значение статистики любого одного из кри-
критериев дает некоторую информацию о значении других. Хартли
A955) предложил ступенчатую процедуру, которая учитывает
этот факт.
Пусть Hi — вероятностное интегральное преобразование ве-
величины s2cjs2 к равномерному распределению на @, 1) (ср. 1.27
т. 1). Упорядочим Hi так, чтобы H{i) являлось г-м наименьшим
из них. Поскольку Р{#* ^ 1—6} = 6, то критерий размера б
для Нг получается сравнением значения Нг с 1 — 6.
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
69
Первый шаг состоит в проверке Я(Л), наибольшего из Нг
с размером, равным, как и в C5.101), 1—A—a)!'ft = p(&).
Если #(ft) < 1 — Р(?), то сразу принимается гипотеза об одно-
однородности всех наблюдений. Если Н^)^ 1 — Р(^), то соответ-
соответствующая гипотеза об «отсутствии эффектов» в таблице ДА
отклоняется, но продолжается проверка //(fc-о с размером
р(&—1). Если #(й_1> <: I— р(&—1), то принимаются (k—1)
оставшихся гипотез об отсутствии эффектов в таблице. Если
же //(й-1) > 1—Р(?—1), то соответствующие гипотезы откло-
отклоняются и переходят к проверке #№_2) с размером р(&— 2). Так
продолжается до тех пор, пока либо найдется такое i, что
Ha)<Zl — Р@ (в этом случае принимаются j остающихся ги-
гипотез), либо, если Яд ^ 1 —РA), то все k гипотез об «отсут-
«отсутствии эффектов» отклоняются.
35.50 Нетрудно показать, что этот ступенчатый критерий
имеет размер а. Предположим, что из k дисперсионных отно-
отношений с первых соответствуют «нулевым эффектам», а k — с
оставшихся — ненулевым, и что максимальным среди с преоб-
преобразованных значений Нг (соответствующих нулевым эффектам)
является //(/). Если какая-либо гипотеза о «нулевом эффекте»
отклоняется процедурой проверки, то отклоняется и гипотеза,
соответствующая Н^, поскольку она рассматривается первой
при ступенчатой процедуре. Таким образом, для вероятности
того, что какая-либо гипотеза о «нулевом эффекте» отклоняется,
имеет место
)> р()}
Поскольку 1~^ с и Э(г) — убывающая функция i, то справедливо
/Э<Р{Я(О>1 —р(с)} = а, C5.102)
поскольку, если Нщ, наибольшая среди множества из с диспер-
дисперсионных отношений, проверяется с размером C(с), то в соот-
соответствии с C5.101) составной критерий имеет размер а. Из
C5.102) следует, что размер последовательного критерия ни-
никогда не может превосходить «,. Если с = k, то / = k и C5.102)
превращается в равенство.
В случае, когда все средние квадраты имеют равное число ст. св., Хартли
A955) приводит некоторые соображения о мощности соответствующего кри-
критерия.
Множественные сравнения
35.51 Каждый из критериев дисперсионного отношения в
таблице ДА служит для проверки гипотезы о множестве пара-
параметров, например об эффектах строк или о взаимодействиях
между строками и столбцами. Однако на практике часто бы-
бывает недостаточно знать, например, что эффекты строк 8,-,
70
ГЛАВА 35
различны. Нужно знать, какое из 6*„ можно считать большим,
чем все другие, или, что встречается более часто, можно ли ска-
сказать, что 9j» распадаются на отдельные группы.
НК-оценки 01* являются, конечно, несмещенными линейными
МД-оценками соответствующих параметров, и, используя их,
можно строить оценки любой разности 6*« — 6S». Но обычно
мы не можем выделить разности, априори представляющие ин-
интерес. Таким образом, мы сталкиваемся с проблемой изучения
некоторого числа критериев о разностях, которые не являются
независимыми. Рассуждения 35.45—6 применяются здесь с оче-
очевидным изменением, хотя изучаемая задача является более
сложной. В то время как в 35.47—50 мы имели дело с объеди-
объединением критериев для проверки, гипотез о множествах пара-
параметров, теперь нас интересует подробное рассмотрение отдель-
отдельных множеств, например эффектов строк.
В известном смысле эта задача множественного сравнения,
как она называется, является более сложным вариантом задачи
«выпадающих» наблюдений, обсуждавшейся в 32.23—8. Только
вместо того, чтобы иметь дело со «сдвигом расположения»
(«location — shift») для одного или нескольких наблюдений,
теперь мы интересуемся, будут ли средние значения (8**)
наблюденных величин Fi4t) разбиваться на отдельные группы.
В работе Тьнжи A953) содержится обзор результатов.
Критерий МЗР
35.52 Для определенности мы рассмотрим однофакторную
классификацию примера 35.1, хотя ничто не изменилось бы,
если бы мы рассматривали любое множество эффектов из таб-
таблицы ДА. В примере 35.1 наблюдаемые групповые средние yt.
являются НК-оценками для k групповых параметров 8,- {каж-
{каждый из которых включает генеральное среднее как общее сла-
слагаемое). Если F-критерий C5.22) отклоняет гипотезы C5.20)
о том, что все 8* равны, то мы сталкиваемся с необходимостью
указать, какие подмножества 0< можно рассматривать как од-
однородные и какие нет.
Самой простой является самая старая процедура («Стью-
дент», 1908), состоящая в применении ^-критерия Стьюдента
для двух выборок к каждой из k(k—1)/2 возможных пар
*/«•> У'/¦> i=f^j- Если каждый из критериев имеет размер а, то
очень мало можно сказать о размере составного критерия,
поскольку попарные критерии не являются независимыми, и нет
никакой простой формулы для объединения, аналогичной
C5.96).
Применение этого составного критерия сводится к вычисле-
вычислению оцениваемой стандартной ошибки разности между двумя
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ 71
средними (с использованием остаточной СК) и к сравнению
наблюденного значения разности с табличным. При этом у рас-
распределения Стьюдента берется соответствующее (остаточной
СК) число ст. св. Если числа наблюдений в группах (п4) оди-
одинаковы (и равны, скажем, N), то необходимо вычислить только
одну оценку стандартной ошибки вида Bs2/ATI/2, где s2 — не-
несмещенная оценка дисперсии ошибок а2. При этом мы полу-
получаем минимальную значимую разность (соответственно мно-
множество стандартных отклонений для двустороннего критерия
размера а) и сравниваем с ней каждую из k(k—1)/2 наблю-
наблюденных разностей. В дальнейшем эту процедуру мы будем
иногда называть МЗР'-критерием (критерий минимальной значи-
значимой разности). В общем случае о МЗР критерии нельзя сказать
много больше того, что если истинные групповые средние
не отличаются, то примерно а из всех пар будут ошибочно
признаны «неоднородными».
Простая модификация МЗР-критерия, предложенная Фише-
Фишером A935), состоит в замене размера а. составляющих крите-
критериев на а/( 2 ) • ^TO приводит к тому, что число пар, ошибочно
отклоняющих однородность (в случае, когда все групповые
средние в самом деле равны), будет no.-^k{k— 1)а, а просто а.
Используя исходный (или модифицированный) МЗР крите-
критерий, следует помнить, что упомянутая доля ожидаемых ошибок
является безусловной, не учитывающей того факта, что крите-
критерий применяется после того, как (и потому что) исходный
/¦"-критерий отклонил гипотезы об однородности.
Ступенчатые (пошаговые) и одновременные процедуры
35.53 Так же, как задача о выпадающем наблюдении (outlier
problem) из 32.23—5, задача множественного сравнения, имею-
имеющая с ней большое сходство, часто исследуется с помощью
критериев выборочного размаха.
Простейшим является критерий Тьюки A951, 1952) стью-
дентизировэнного размаха, k групповых средних, которые мы
теперь будем обозначать Xi, i = 1, ..., k, являются (в случае
справедливости гипотезы об однородности) случайной выбор-
выборкой размера k из генеральной совокупности, имеющей нор-
нормальное распределение с дисперсией a2/Nt которая независимо
оценивается величиной s2IN, где N, как и ранее, число наблю-
наблюдений в каждой группе. Упорядочим теперь групповые средние
и переобозначим их так, что х{\) ^ %> ^ ... ^ #<й-п ^ х^у
Любой паре jfw и х^, К.}, отвечает разность %> — %>, кото-
которая соответствует размаху для подмножества из у — t-f- 1
72
ГЛАВА 38
упорядоченных групповых средних с номерами от i до /.
Это подмножество считается неоднородным (и экстремальные
групповые средние рассматриваются как принадлежащие раз~
личным совокупностям), если (Xj — x~i)l[sjN1!2) превосходит
100A — а)-процентное значение qa стьюдентизированного раз-
размаха для k наблюдений (см. 32.25). Поскольку из того, что со-
соответствующее неравенство не выполняется для х^м — xw> сле-
следует, что оно не может выполняться для размаха любого
подмножества, делаем вывод, что процедура имеет полный
размер а.
На практике х^) последовательно сравнивается с хт, х^
и т. д. до тех пор, пока не получится утверждение об однород-
однородности. Если X(h) — X(D однородно, то процедура проверки сразу
заканчивается. В противном случае средние хт, х^, ..., кото-
которые признаны не совпадающими с %>, теперь сравниваются
с X(h-i), снова последовательно начиная с х^у Затем все сред-
средние, которые признаны отличными от *(fc-o, сравниваются
с Хф-2) и т. д. до тех пор, пока никакое утверждение о «неодно-
родностях» не станет невозможно. Такая процедура, в которой
решение о каждом подмножестве зависит от предыдущего ре-
решения, относящегося к большему подмножеству, называется
ступенчатой или пошаговой (step-by-step или stepwise).
35.54 Другая одновременная процедура, использующая не
размах, а суммы квадратов, была предложена Габриэлем
A964). В множестве, состоящем из k групп, выбирается любое
подмножество, содержащее по крайней мере две группы (таких
подмножеств имеется 2к — k—1). Для каждого такого под-
подмножества подсчитывается СК «между группами» в соответ-
соответствии с C5.21), и результат сравнивается с фиксированным
критическим значением, полученным из распределения диспер-
дисперсионного отношения с (k—\,п — k) ст. св. При этом размеры
выборок /г^ не обязаны быть равными. Такая процедура ведет
к транзитивным суждениям в том смысле, что подмножество
не может быть признано однородным, если однородными не
являются все содержащиеся в нем меньшие подмножества (см.
упражнение 35.16). Очевидно, что обычный критерий диспер-
дисперсионного отношения является компонентой этой процедуры, со-
соответствуя тому случаю, когда подмножество совпадает со
всем множеством из k групп. Отсюда следует, что полный раз-
размер критерия равен а.
В случае, когда все п* равны, критерий Тьюки из 35.53
можно модифицировать так, чтобы он был «одновременной
процедурой» того же типа, что и у Габриэля. Для этого нужно
применять критерий размаха уже к каждому подмножеству
групповых средних, а не только к подмножествам с упорядо-
упорядоченными номерами (от i до /). (Полученный критерий обла-
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
73
дает следующим дополнительным свойством: если какое-либо
подмножество, состоящее более чем из двух групп, признается
неоднородным, то по крайней мере одно из его подмножеств
тоже должно быть признано неоднородным).
Описанные выше метод Габриэля и метод Тьюки — Габ-
Габриэля обладают тем свойством, что вероятность ошибочности
суждения о том, что подмножество неоднородно, убывает с раз-
размером подмножества. В случае, когда k = 8 и остаточная СК
имеет 40 ст. св., это явление более заметно для первого метода
(у Габриэля A964) приведены соответствующие таблицы). При
этом метод Тьюки — Габриэля более прост при вычислениях,
особенно для больших k, однако его можно применять только
при равных щ.
35.55 Вместо того чтобы использовать фиксированное кри-
критическое значение стьюдентизированного размаха для k
наблюдений, как это делается в 35.53, можно сравнивать
(*0)—•%))/(s/Nl/2) со стьюдентизированным размахом для / —
— i+l наблюдений, что еще раньше предложили делать Нью-
мэн A939) и Кейлс A952). При этом возможна ситуация, когда
в соответствии с этим критерием множество из q следующих
друг за другом упорядоченных групповых средних признается
«однородным», в то время как множество из р следующих друг
за другом групповых средних, принадлежащих упомянутому
выше множеству, признается «неоднородным». Ступенчатая
процедура Ньюмэна — Кейлса утверждает неоднородность пары
групповых средних только в том случае, если каждое подмно-
подмножество следующих друг за другом групповых средних, содер-
содержащее эту пару, признано неоднородным с использованием
определенного выше критерия стьюдентизированного размаха,
учитывающего число элементов в подмножестве.
Процедура вычислений такая же, что и в конце 35.53, за
исключением того, что критическое значение в критерии стью-
стьюдентизированного размаха теперь не фиксировано, как это было
раньше, а разное для составляющих критериев. При этом пол-
полный размер критерия снова, как легко видеть, равен а, по-
поскольку, для того чтобы можно было делать вывод о неодно-
неоднородности для какой-либо разности х^ — %>, нужно сначала
сделать соответствующий вывод о неоднородности для x^k)—х^.
Дункан A952, 1955, 1957) предлагает процедуру, кото-
которая по существу является модификацией процедуры Нью-
Ньюмэна — Кейлса. Каждая разность Jcy) —.%) сравнивается с
100A—cLj-i+i) -процентным значением стьюдентизированного
размаха для / — i + 1 наблюдений, где числа а,_г-+1 опреде-
определяются по /—-i следующим образом:
j-i+i — 1 — О — а2)
,/-*
C5.103)
74
ГЛАВА 35
Основанием служит C5.96) и тот факт, что критерий для
/ — i + 1 наблюдений эквивалентен / — i отдельным критериям
для пар наблюдений.
При этом вероятность ошибки перераспределяется среди
компонент критерия, падая в случае, когда сравниваемые груп-
групповые средние близки друг к другу после упорядочивания (см.
35.54). Дункан A955) приводит таблицы для случаев, когда
размер общего критерия а = 0,05 и а = 0,01.
35.56 Дункан A955), Тьюки A953) и Шеффе A959) рас-
рассматривают некоторые другие процедуры множественного срав-
сравнения. Хартер A957) проводит сравнение мощностей, а Хартли
A955) кратко изучает мощность метода Ньюмэна — Кейлса.
Габриэл A964) сравнивает ступенчатые методы Ньюмэна—•
Кейлса и Дункана с двумя одновременными процедурами, опи-
описанными в 35.54, и доказывает, что при заданном размере об-
общего составного критерия и любом последовательном методе
вероятность неверного суждения о неоднородности любого под-
подмножества не может быть меньше, чем для одновременной
процедуры, основанной на той же самой статистике.
Мак Дональд и В. Томпсон A967) развивают методы множественных срав-
сравнений ранжированных (упорядоченных) сумм для случая одно- и двухфак-
ториой классификации.
Одновременные доверительные интервалы для разностей
и сравнений
35.57 Как указал Тьюки A951), из критерия стьюдентизи-
рованного размаха в 35.53 сразу получаются доверительные ин-
интервалы одновременно для всех -^k(k—1) разностей между
истинными групповыми средними @,- — 0;). В самом деле, ка-
какими бы ни были 01, случайные величины Jc,- — 0< независимы
и имеют одинаковое нормальное распределение с нулевым ма-
математическим ожиданием и дисперсией o2/N. Вероятность того,
что стьюдентизированный размах не превзойдет величины qat
определенной в 35.53, равна 1 — а. Отсюда следует, что одно-
одновременно для всех i ф\
(**-в*)-(*/-в/
*. / = 1. • • •» k; I ф/ I = 1 — a,
C5.104)
так что с вероятностью 1 — а неравенства
(*, - х,) - qaslN% < в| - 0, < (xt - х,) + qas/N''' C5.105)
выполняются одновременно для всех i Ф ].
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
75
В упражнении 35.11 показано, что метод обобщается на мно-
многомерный нормальный вектор с одинаково (отрицательно) кор-
коррелированными компонентами Хг.
35.58 Метод, изложенный в 35.57, позволяет нам формулиро-
формулировать утверждения обо всех -j k (k— 1) разностях 8< — 83- одно-
одновременно с известным общим коэффициентом доверия 1—а.
Однако во многих применениях ДА нас могут интересовать не
только разности, но также и другие линейные комбинации вели-
величин 0,- с постоянными коэффициентами, равными в сумме нулю.
Такие линейные комбинации, называемые сравнениями (cont-
(contrasts), определяется следующим образом:
ft k
4> = Z cfii, Ec,=0. C5.106)
Самым простым полезным сравнением, отличным от разности
между любыми 0,- и Qj, является разность между усредненным
значением 0г- для любого подмножества, содержащего р из k
параметров и усредненным значением оставшихся k — р пара-
параметров. Как легко видеть, взаимодействия (определенные в
35.18, 35.41) также являются сравнениями.
Метод, указанный в 35.57, легко видоизменить так, чтобы не
только для разностей величин 0»-, но и для каждого сравнения
указывался одновременно соответствующий интервал. Посколь-
Поскольку число сравнений бесконечно, то получается большое увели-
увеличение общности метода. к
35.59 Обозначим 2» = хг — 0,-, и пусть ^ ci—Q. Рассмотрим
максимально возможное значение суммы J] CiZi. Поскольку
? d = 0, то сумма положительных с,-, так же как и сумма
отрицательных, равна yXJc''' ОТС1°Да получается, что
j Yj I ci
Л
I z,- — z/1,
т. e.
(xt - 9,) < (\
\ ? I a \\
max | (jc, - 0,) - {x, - 6,) |. C5.107)
Возвращаясь к C5.104), мы видим, что из C5.107) следует, что
при любом выборе с,- с X ci = 0
i
Z ci (** -9.)
76 ГЛАВА 35
а значит, с вероятностью 1 — а неравенства
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
77
1/2
C5.108)
выполняются одновременно для всех сравнений ty~H cfii.
Метод снова обобщается на многомерный нормальный вектор
с одинаково отрицательно коррелированными компонентами я»
(см. упражнение 35.11).
35.60 В 35.59 доверительные интервалы, справедливые одно-
одновременно для всех сравнений, были получены использованием
довольно грубых неравенств. Поэтому не удивительно, что они
не являются самыми лучшими из возможных доверительных
интервалов для всех сравнений. Мы получим более точные ин-
интервалы, используя совсем иной подход.
Оценкой любого сравнения C5.106) является
C5.109)
Очевидно, что
М (ф) =
и если б* нормально распределены, то и ф имеет нормальное
распределение. Если мы рассмотрим теперь любое множество
из r(^.k) оцениваемых сравнений, которые мы запишем в виде
ф = С0, то будем иметь вектор, имеющий многомерное нор«
мальное распределение (см. 15.4 т. 1) с вектором средних
ф = С8 и дисперсионной матрицей
V = V ($) = CV (9) С. C5.110)
В обсуждавшемся выше случае однофакторной классификации
с одинаковыми частотами, равными N, матрица V@) диаго-
нальна и ее диагональные элементы равны o2/N, так что
V = ~CC\ C5.111)
Предполагается, что V не вырождена.
35.61 Из результатов 15.10 теперь следует, что квадратичная
форма
имеет ^-распределение с числом ст. св., равным г, где г — ранг
матрицы V. Не зависящая от Q остаточная СК (деленая на а2)
имеет распределение того же вида, скажем, с v ст. св. Тогда
отношение
где s2, как обычно, равно остаточной С К, деленной на v, имеет
распределение дисперсионного отношения с (г, v) ст. св. В про-
простейшем случае C5.111) отсюда получаем статистику
F = <* -
Если
j^wh 100A—а)-процентное значение этого /"-распределения
обозначить Fa,nv, то получим
Р {($ — ф/ (ССТ1 (Ч> — ^>)/(s2JN) < rFa,r, v} = 1 — а. C5.112)
В общем случае соответствующий результат получается, если
вместо C5.111) использовать соотношение C5.110).
35.62 Поскольку матрица V должна быть невырожденной,
то ее ранг г не может быть больше q, где q — максимальное
число линейно независимых сравнений величин 9* (как следует
из примера 35.1, в случае однофакторной классификации имеем
q = k— 1). В общем случае q совпадает с числом ст. св. соот-
соответствующей СК в таблице ДА. Соотношение C5.112) при
г = q справедливо для любого множества из q линейн* неза-
независимых сравнений, но отсюда не следует, что соответствующее
утверждение выполняется одновременно для каждого такого
множества. Однако Шеффе A953, 1959) показал, используя
геометрический подход, что вероятность того, что величины всех
сравнений одновременно удовлетворяют неравенствам
(¦ф — 1|эJ ^ qFa_ a, jf (Ч5)) C5.113)
равна 1—а. Здесь C(i{>) есть оценка дисперсии величины if>,
где а2 оценено величиной s2 с v ст. св. В упражнении 35.12
содержится аналитическое, а в упражнении 35.19 чрезвычайно
простое алгебраическое доказательство этого факта.
Шеффе A953, 1959) идет дальше и вычисляет, что интер-
интервалы для всех сравнений, задаваемые C5.113), вообще говоря,,
меньше, чем интервалы, задаваемые C5.108), за исключением
двух случаев. Во-первых, когда все сравнения сводятся к разно-
разностям. Тогда C5.108) сводится к C5.105), специально выведен-
выведенному для разностей. Во-вторых, когда имеется очень мало
ненулевых с*. Более того, в методе Шеффе не обязательно тре-
требовать, чтобы все (Xi — в,-) имели равную дисперсию, а это
требование лежит в основе рассуждений 35.57.
35.63 Возвращаясь к критерию дисперсионного отношения
для полной гипотезы о том, что 6* равны (C5.22) в случае од-
однофакторной классификации), мы видим, что эта гипотеза (см.
C5.20)) утверждает, что q линейно независимых сравнений
78
ГЛАВА 35
равны все нулю. Отсюда следует, что все возможные сравне-
сравнения равны нулю, поскольку каждое сравнение можно рассмат-
рассматривать как линейную комбинацию заданных линейно незави-
независимых. Таким образом, составной критерий логически эквива-
эквивалентен проверке гипотезы о том, что каждое из бесконечного
числа возможных сравнений равно нулю, т. е. проверке того, бу-
будет ли хотя бы один из бесконечного числа интервалов, за-
задаваемых C5.113), не содержать нуль (см. также упражнения
35.12 и 35.19). Это свойство распространяется, сразу на проце-
процедуру одновременной проверки Габриэля A964) из 35.54. При
этом подмножество считается неоднородным тогда и только
тогда, когда некоторое сравнение для элементов этого множе-
множества имеет интервал C5.113), не покрывающий нуль.
В этом основная польза метода всех сравнений Шеффе.
Если составной критерий отвергает гипотезу однородности, то
метод всех сравнений можно использовать для рассмотрения
любых сравнений с целью обнаружить, являются ли они истин-
истинной причиной отклонения гипотезы, и построения для них до-
доверительных интервалов. Причем эти сравнения не нужно вы-
выделять заранее. Естественный путь разыскания сравнений,
ответственных за отклонение полной однородности, состоит
в первоначальном рассмотрении -^k(k— 1) разностей. Все это
можно проделать, не влияя на размер составного критерия.
Если читатель вернется теперь назад к исходному обсуждению
целей множественного сравнения в 35.51, то, возможно, он
согласится, что метод всех сравнений Шеффе очень близок
к достижению поставленных там целей.
Габриэл A967) приводит общую теорию для одновремен-
одновременных процедур проверки.
35.64 Данн A961) рассматривает процедуру, промежуточ-
промежуточную между построением доверительного интервала для одного
сравнения и построением доверительных интервалов для всех
сравнений. В ее методе требуется, чтобы априори были выде-
выделены т сравнений, представляющих особый интерес. Получаю-
Получающиеся интервалы (основанные на ^-статистике Стьюдента) ко^
роче, чем интервалы, полученные как методом Шеффе, так
а методом Тьюки, если k (число параметров) больше двух, а т
не очень велико. Выгода увеличивается при увеличении k или
числа ст. св. остатка, или коэффициента доверия 1 — а. В уп-
упражнении 35.14 приведен очень простой результат, который ле-
лежит в основе этого метода. Сиотани A964) улучшает про-
процедуру.
Борер A967) дает улучшение метода Шеффе в случае, когда
рассматриваются сравнения для переменных, про которые из-
известно, что все они положительны.
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
79
Упорядоченная и метрическая классификации
35.65 В этой главе рассматривалась совсем общая классифи-
классификация переменных. Не делалось никаких предположений, на-
например о том, упорядочены ли каким-либо образом группы
классификации. Однако если имеется полная информация
о принципах классификации, то СК в таблице ДА могут быть
разбиты дальше на соответствующие компоненты. Например,
если известно, что группы соответствуют «равноотстоящим»
(«equally-spaced») значениям изучаемой переменной, то мож-
можно использовать ортогональные полиномы, рассмотренные в
28.18—20 т. 2, чтобы поставить в соответствие отдельную
ст. св. линейному, квадратичному, кубическому эффектам и эф-
эффектам более высоких степеней для переменной, по которой
производится классификация. Если необходимо, то таким спо-
способом можно исчерпать все k — 1 ст. св. Используемый метод
в точности совпадает с методом, рассмотренным в примере 28.3.
В более сложных классификациях взаимодействия, так же
как эффекты строк (или другие), могут быть разбиты анало-
аналогичным образом, если все изучаемые переменные разбиваются
на группы в соответствии с расположением. Методы вычисле-
вычислений приведены у Р. Андерсона и Банкрофта A952), а также
в таблицах Фишера и Иэйтса.
35.66 Бартоломью A961) рассматривает случай упорядочен-
упорядоченной классификации как альтернативу гипотезы об однородности
групп. Получается та же ситуация, что и рассмотренная в 31.74.
Если все tii равны, то оказывается, что свободный от распреде-
распределения критерий, основанный на C1.151), имеет асимптотически
большую мощность, чем критерий ОП, если все 0* равноотстоя-
равноотстоящие, и меньшую мощность, если имеет место другой крайний
случай, когда равны все 9,-, за исключением одного (см. упраж-
упражнение 35.15, а также статью Чако A963)). Шорак A967)
обобщает результат на более сложные ситуации, включая обсу-
обсуждение свободных от распределения критериев для альтер-
альтернатив об упорядочениях.
Ковариационный анализ
35.67 Естественное обобщение ДА возникает тогда, когда
при анализе классифицируемых наблюдений, которые мы рас-
рассматриваем в этой главе, наряду с наблюденными значениями
величины у мы узнаем значение одной (или большего числа)
переменной х, про которую известно (или предполагается), что
она влияет на значения у. Если бы данные не были классифи-
классифицированы, то мы должны были бы провести обычный ре-
регрессионный анализ у относительно х, но теперь мы хотим
80
ГЛАВА 35
исследовать влияние на у как классификации (возможно слож-
сложной), так и измеренных значений х. Такой анализ преследует не
только одну цель.
Вообще говоря, регрессионные методы признаны выявить
(и устранить) влияние значений х на у, так что после того, как
учтено влияние х, можно свободно анализировать влияние на
у классификации. Так бывает, если причины, влияющие на х,
предшествуют причинам, влияющим на у (т. е. предшествуют
испытаниям, приводящим к классификации). Например, если
измеряется влияние методов обучения на знание детьми в школе
какого-либо предмета, то в качестве х следует взять начальный
уровень знаний этого предмета, а в качестве у — конечный.
В качестве х можно взять также общий уровень знаний. По-
видимому, в качестве переменных х стоит рассматривать как
общий начальный уровень знаний, так и начальный уровень
знаний данного предмета. Такой анализ можно назвать анали-
анализом, призванным устранить влияние х. Его методы призваны
гарантировать чистое сравнение испытаний и также уменьшить
остаточную дисперсию, вызванную тем, что х принимает разные
значения.
Понятно, что если испытания, приводящие к классификации,
не влияют на значения х, как это было в приведенном примере,
то интерпретация становится проще, но анализ можно прово-
проводить и в других случаях.
Можно, например, в отличие от описанной ситуации (или
в дополнение к ней) интересоваться, влияет ли классификация,
как таковая, на регрессию у относительно х. В рассмотренном
примере мы бы могли спросить, будет ли регрессия конечного
уровня знаний относительно начального уровня знаний одной
и той же при применении любого метода обучения. Целью ана-
анализа в этом случае является не устранение влияния, а особый
интерес к соотношению между переменными.
35.68 Эту часть предмета называют ковариационным анали-
анализом, поскольку в регрессионных вычислениях участвуют раз-
разбиения произведений у и х точно гак же, как в ДА — разбиения
СК. Переменные х обычно называются сопутствующими, под-
подчеркивая тем самым, что основной интерес представляет у.
Обширный обзор применений ковариационного анализа со-
содержится в семи статьях специального выпуска Biometrics
(т. 13, выпуск 3, сентябрь 1957). Д. Кокс A958) дает доступное
введение в предмет. Ниже мы рассмотрим только теоретиче-
теоретические аспекты.
35.69 Мы уже видели, что как регрессионный анализ, так
и ДА можно рассматривать в рамках линейной модели. По-
Поэтому очевидно, что ковариационный анализ, являющийся их
смесью, также можно рассматривать в этих рамках. Как те-
ДИСПЕРСИОННЫЯ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
81
перь понятно, простота интерпретации в том случае, когда ис-
испытания не влияют на сопутствующие переменные, соответ-
соответствует теперь упрощению линейной модели в случае некоррели-
некоррелированных множеств регрессоров. Аналогично можно сформу-
сформулировать линейную модель для любой ситуации ковариацион-
ковариационного анализа.
Однако этой утомительной процедуры можно избежать,
если известна форма ДА, который (как говорят) вложен в ко-
ковариационный анализ. В этом случае можно провести расши-
расширение ДА для проведения связанного с ним ковариационного
анализа, взяв просто соответствующее расширение линейной
модели. Более того, оказывается, что это расширение является
весьма общим. Оно позволяет вводить дополнительные пара-
параметры в существующую линейную модель. Как указывает сам
заголовок, приведенные ниже алгебраические выкладки не
ограничиваются ситуациями ДА.
Расширение линейной модели для учета новых параметров
35.70 Пусть рассматривается линейная модель (вырожден-
(вырожденная или невырожденная)
у = Х0 + е, C5.114)
и НК-оценка параметров 8, полученная методами главы 19,
равна
е=7>, C5.115)
где, разумеется, в невырожденном случае Т = (Х'Х)~ X'. Тогда
остаточная СК равна
(у _ х$У (у - ХВ) = {(/ - XT) уУ {(/ - XT) у} =
= у'A-ХТ)у, C5.116)
поскольку ТХ = / в силу несмещенности 8. Матрица (/ — XT)
идемпотентна.
35.71 Рассмотрим теперь расширенную модель
у — ZB = Х0 + в. C5.117)
Если бы В было известным, то, согласно C5.114—15), мы имели
бы решение
9 = r(y-ZP), C5.118)
а, значит, решение по методу НК модели C5.117) относительно
§ и Э может быть получено решением только относительно В
82
ГЛАВА 35
модели
или
(I -XT)y = (I — XT) Zp + e.
C5.L19)
C5.119) представляет собой линейную модель, и мы предполо-
предположим, что она не вырождена. Тогда из главы 19 получим
$={Z'{1 — XT)Z}~lZ'\
v (p) = a2 {z' (/ — хт) zyl.
-XT)».
C5.120)
C5.121)
35.72 Уменьшение остаточной СК, обусловленное расшире-
расширением модели, равно
{(/ - XT) Z$}' {A — XT) Zl) = p'Z' (I -XT) у. C5.122)
Сравнение с C5.116) показывает, что в обоих этих соотноше-
соотношениях содержится одна и та же матрица (/ — ХТ). C5.122) отли-
отличается только тем, что эта матрица слева умножается не на
у', а на P'Z'. Это сображение позволяет упростить вычисление
C5.122). Вместо квадратичной формы от у нужно рассмотреть
совокупность билинейных форм, получающихся в результате
подстановки в C5.116) вместо у' по очереди всех столбцов мат-
матрицы Z Эти билинейные формы нужно расположить в виде
столбца и умножить слева на Э'. В результате получится
C5.122).
Разность между C5.116) и C5.122)
(y-ZfL)'(I-XT)y
C5.123)
является остаточной СК, когда в качестве подогнанной рассмат-
рассматривается расширенная модель C5.117).
Легко видеть, что если минимизировать СК при каких-либо
ограничениях на элементы вектора 9, то уменьшение будет
иметь точно такой же вид, что и C5.122). Единственное измене-
изменение сводится к замене (/ — ХТ) на матрицу Q, соответствующую
квадратичной форме минимизируемой СК. Аналогами C5.122—3)
являются тогда fr'Z'Qy и {у — ZJJ)' Qy соответственно.
35.73 Применение результатов 35.70—2 в случае ковариаци-
ковариационного анализа, очевидно. Фигурирующим в ДА суммам квадра-
квадратов соответствуют суммы произведений в C5.122). Шеффе
A959) приводит правила вычислений и примеры. У Р. Андер-
Андерсона и Банкрофта A952), так же как в упомянутом выпуске
Biometrics (сентябрь 1957), приведены вычисления для конкрет-
конкретных ситуаций.
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
УПРАЖНЕНИЯ
35.1 Проверить, что если п{} = т, то СК в C5.63—4) сводятся к
s4=(???%PJ/Wo.
83
5,=
5з = ? Z B" УцрJ /« -
S4),
ZZZ
* / p
и показать, что если т = 1, то эти СК принимают вид (суммирование по о
теперь иэлишие)
35.2 Проверить, что если
принимает вид
= m, то матрица С, определяемая в C5.39),
где
Показать,
(
что
С
_ 1
тт
С
(с-1)
(г
Е =
Х(с-1)
— \)Е~1
— Е~1 '
•
-Е-1
= т
/ 2
( 1
1
1 :
V ,
—
•
2-Е
Е
*
•
Е
1
•
Е~х
¦
и
•
Е
2Е
•
¦ • •
• •
...
. . 1
•
•
-Е
Е
Е
•
•
1
.
1
2
¦
-г
¦ ¦ •
...
•
•
Е
ч
Л
1
J
•
(/¦-
Е
Е
•
" Е
2Е
f
-Е-1
•
Е~х
\)Е-
-I
84
ГЛАВА 35
7-1
^-1 -1 ... -1
1 - 1
j
— 1 ... — 1 С- 1
и вывести отсюда, что НК-оценки величии б,-,- задаются соотношением C5.50)_.
35.3 Обобщить таблицу ДА из примера 35.5 на случай трехфакторной
иерархической классификации и привести три критерия проверки гипотез о
том, что нет различия а) между групповыми средними, б) между средними
для подгрупп внутри групп, в) между средними подподгрупп внутри подгрупп.
35.4 В примере 35.4 показать, что если постулировать выполнение Н% из
C5.54), т. е. считать известным, что нет взаимодействий, то СК, соответ-
соответствующая эффектам строк, равна М — S2, а СК, соответствующая эффектам
столбцов, равна М — Su где St и Si определены в C5.59—60). Показать, что
в этом случае остаточный СрК имеет (п — г — с + I) ст. св.
35.5 Показать, что если в (г X 2)-перекрестной классификации разности
клеточных средних d[ = yll.—yi2, анализировать методом взвешенных квад-
квадратов средних значений, примененным в 35.31 к у{, то СК 2j ^i (' ^i —
— ? W{d.
{ , где W( = «й' + Яд1, приводит к критерию для про-
верки гипотезы о том» что все взаимодействия равны нулю.
V (Иэйтс, 1934.)
35.6 В B X 2 X 2 X • ¦ • = 2т)-перекрестной классификации показать, что
если образовать B X 2т~')-таблицу для любого из признаков (скажем, А)
против всех возможный комбинаций других, то иевзвешенное среднее разно-
разностей строчно-кяеточиых средних доставляет эффективную оценку и критерий
для эффекта А. Показать, что это обобщает 35.31 и что аналогично можно
проверять любые взаимодействия.
v (Иэйтс, 1934.)
35.7 Ниже в таблице приведены даииые Брандта, использованные Иэйт-
сом A938) для (8 X 2)-перекрестной классификации 533 сданных на убой
свиней по полу и породе. В таблице даны клеточные частоты ni} и суммар-
суммарные по клетке значения изучаемой переменной (логарифм процентного содер-
содержания бекона в туше).
"\. Пол
Порода N.
I
II
III
IV
V
VI
VII
VIII
Всего
пи
83
51
13
4
8
15
35
12
171
Женский
Р
66,55
98,69
25,90
7,62
14,64
28,11
66,90
23,32
331,73
2
89
141
17
9
4
32
47
23
362
Мужской
р
181,04
281,43
34,20
17,58
8,20
64,42
90,52
46,70
724,09
дисперсионный анализ в линепной модели
85
Полная СК, которую нельзя получить из этой таблицы, была 13,0142. Ис-
Используя 35.31 и упражнение 35.5, показать, что (пренебрегая 1 ст. св. для ге-
генерального среднего) ДА имеет вид
Компонента дисперсии
Обусловленная породой
Обусловленная полом
Взаимодействий пола
и породы
Полная между классами
Остаточная
Полная минуе генераль-
генеральное среднее
Число ст. св.
7
1
8
7
15
517
532
СК
0,6056
0,3032
1,0415
0,2300
1,2715
11,7427
13,0142
СрК
0,0865
0,3032
0,0329
0,0848
0,0227
Показать, что как пол, так и порода влияют иа содержание бекона, но
что они не взаимодействуют.
35.8 Показать, что если в примере 35.6 в клетке имеется только одно на-
наблюдение, то таблица C5.95) ДА остается верной с остаточной СК, тожде-
тождественно равной нулю. Если считать, что в линейной модели нет взаимодей-
взаимодействий второго порядка, то СК с (г— \)(с— 1) A— 1) ст. св. становится оста-
остаточной СК для проверки всех других параметров (см. упражнение 35.3).
35.9 Показать, что ДА для (г X с) -перекрестной классификации с т на-
наблюдениями в каждой клетке можно формально вывести из (rXcX"i)-ne-
рекрестиой классификации с ровно одним наблюдением в клетке, для которой
классификация по слоям соответствует повторению опытов и соответствую-
соответствующие ей главные эффекты и все взаимодействия положены равными нулю.
35.10 Для определенной в 35.54 процедуры Неймана — Кейлса показать,
что если для некоторого подмножества, включающего р из k групп, истин-
истинные средние равны, в то время как все другие группы имеют другие средние,
то вероятиость неверно признать неоднородной пару из упомянутого подмно-
подмножества не превосходит а.
Показать, что если имеется т таких подмножеств с равными истинными
средними, то вероятиость неправильно признать неоднородной пару из лю-
любого такого подмножества не превосходит та.
(Хартли, 1955.)
35.11 Показать, что если в 35.57 k величин Хх— 8i имеют совместное мно-
многомерное нормальное распределение с дисперсиями O2/N и всеми ковариа-
цвями, равными —X2a2/N, а вектор х0 не зависит от xt и имеет нормальное
распределение с нулевым средним и дисперсией W/iV, то величины «< =
= Xi—6i + ^0 независимы и нормальны. Применяя к Zi метод 35.57, пока-
показать, что вероятиость одновременного выполнения неравенств
86
ГЛАВА 35
для всех k(k—1)/2 разностей 9i — 6^ равна I—а. Показать, что точно так
же обобщается результат 35.59.
(Шеффе, 1959.)
35.12 В одиофакторной классификации из примера 35.1 без ограничения
общности положим и=1 i будем считать ^ псд{ началом координат. По-
жазать, что значение i =
таком выборе cj, что d ос га/9\, так что
'/(?•"•<)
достигает максимума при
0, а |/| является наибольшим
возможным при данных наблюдениях значением отношения сравнения к со-
соответствующей стандартной ошибке. Показать далее, что t2 = S%, где S2 —
определенная в C5.21) СК. стоящая в числителе составного критерия диспер-
дисперсионного отношения, определенного в C5.22). Так что составной критерий, по
существу, является критерием максимально возможного при данных наблюде-
наблюдениях сравнении.
(Этот результат является общим — см.
Шеффе, 1959, и Габриэл, 1964.)
35.13 Вводя фиктивный параметр 9о = 0 с оценкой 9=0, показать, что
всем линейным комбинациям Ф=5^С;9г /'где ^ ct не обязательно равна
\ i
нулю) можно сопоставить доверительные интервалы C5.113), увеличив q на
единицу. Показать также, что аналогично можно использовать метод C5.108),
увеличив k на единицу и заменив — } | с( | на
I
max
. ct<o\.
(Тъюки, 1953; Шеффе, 1959.)
35.14 В 35.64 рассмотрим k событий, не являющихся независимыми, с рав-
яыми вероятностями Р\ осуществления. Показать, что вероятность Р* того,
что все они осуществятся, удовлетворяет неравенству Р* ;> I—/fe(l—Pi).
Пусть Pt = 1—а — вероятность того, что стьюдентовская ^-статистика (с v
•ст. св.) лежит в интервале (—ia, <а). Показать, что если т линейных комби-
k
наций Xs= ]Г es;9j (s=l, ..., т) оценить величинами is — ^Csfii, то
1=1 l
{ls — XS)/{.D Us)} имеет для каждого s распределение Стьюдента с v ст. св«
Показать отсюда, что
Р Us ~ ta [5 (/,)]1/2 < Xs ^ /, + ta [В (ls)]i/2} > 1 - а.
(Данн, 1961.)
35.15 Рассмотрим свободную от распределения статистику U для про-
проверки k выборок против альтернатив об упорядочениях определенную в C1.151)
т. 2, и конкурирующую статистику U', определяемую аналогично, но с заме-
заменой ирд иа
~ xqi)
(xp -
ДИСПЕРСИОННЫЙ АНАЛИЗ В ЛИНЕЙНОЙ МОДЕЛИ
87
так, что
p=\ q=
Для нормально распределенных наблюдений х,-» со средними М (xis) =0f н
равными дисперсиями а2 показать, что если ns = ... = reft = N, то асимпто-
асимптотические функции мощности U и UJ при проверке равенства 9« против аль-
альтернативной гипотезы о том, что 9« равноотстоящие, имеют вид
G {А C/яI/2 - Яа} и <?{Д-Яа},
где G — стандратная нормальная ф. р., Д2
1=1
— 9J/о2. a G {—Аа} == а*
как и в главе 25. Вывести, что АОЭ статистики U по сравнению с U' равна
3/п. Показать, что последний результат справедлив при любом соотношении
между упорядоченными Gi.
(Бартоломью, 1961.)
35.16 Пусть в 35.54 R и Р — любые подмножества нз k групп такие, что
R содержит Р. Показать, что C5.21), вычисленная для R, не может быть,
меньше, чем та же СК, вычисленная для Р.
35.17 Показать, что одновременная процедура проверки из 35.54 обла-
обладает тем свойством, что для любого однородного подмножества вероятность,
быть неправильно признанным неоднородным не превосходит а.
(Габриэл, 1964.)
35.18 В 35.54 определяется новая ступенчатая процедура, основанная иа
СК C5.21), но применяемая в духе последнего абзаца из 35.53. Она имеет
тот же самый общий размер а, что и одновременная процедура проверки,
описанная в 35.54. Показать, что для такой ступенчатой процедуры критиче-
критическое значение для СК должно возрастать с ростом размера проверяемого-
подмножества, а, значит, множество может быть признано однородным в сту-
ступенчатом методе, только если оио признано таковым в одновременной про-
процедуре.
(Габриэл, 1964.)
35.19 Используя неравенство Коши, показать в 35.62—3, что
max
с
а, значит, квадрат разности между наблюденным значением сравнения и его
математическим ожиданием имеет для того сравнения, для которого ои мак-
максимален, то же самое распределение, что и (^{ с\\ qs2F, где F — статистика
критерия для проверки составной гипотезы о том, что все 9i равны. Вывести
отсюда C5.113),
(Это доказательство принадлежит Бэл-
цу и Ферхагену.)
ГЛАВА 36
ДРУГИЕ МОДЕЛИ
ДИСПЕРСИОННОГО АНАЛИЗА
36.1 В предыдущей главе рассматривалось применение об-
общей линейной модели к анализу наблюдений, расквалифициро-
ванных на группы. Основным в рассуждениях было предполо-
предположение, явно записанное в линейной модели, о том, что принад-
принадлежность наблюдений к какой-либо группе влияет только на
среднее значение этих наблюдений и никакого другого влияния
не оказывает. Таким образом, в случае линейной модели дис-
дисперсионный анализ (ДА) можно описать как анализ средних,
который проводится посредством вычисления некоторых сумм
квадратов (СК) от наблюденных значений.
Примечательно, что к совершенно аналогичному подсчету
СК (а в простейшем случае даже тождественному) приводит
исследование ситуации совершенно другого типа. На начальной
стадии изучения это подобие в проведении анализа даже затме-
затмевало существенное различие между лежащими в основе матема-
математическими моделями. Это различие впервые было явно указано
Эйзенхартом A947). При этом ДА, основанный на методе НК
для общей линейной модели, изложенный в главе 35, назывался
моделью I ДА. Это название будет употребляться и в дальней-
дальнейшем. Перейдем теперь к исследованию другой строго определен-
определенной математической модели, которую будем называть модель
II ДА.
Читателю должно быть понятно, что термин «дисперсионный
анализ», применявшийся раньше к модели I (см. 35.4, 35.9—10),
теперь нужно понимать в более широком смысле. Вообще, опре-
определим ДА как анализ данных, вне зависимости от того расква-
лифицированы они или нет (см. 35.15), проводимый с помощью
разбиения СК на компоненты, соответствующие различным фак-
факторам, которые могут действовать в комбинации или каждый
в отдельности.
Модель II: компоненты дисперсии
36.2 Рассмотрим теперь вместо общей линейной модели
A9.8) следующую внешне похожую на нее модель
# = 18 + * «+е C6.1)
(ях!) (охи (пхр) (pxi)
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
Так же, как и в главе 35 (и ранее в упражнении 19.1 т. 2)t
в C6.1) мы выделили «генеральное среднее» 9, которое теперь
пишется без индекса. Как и ранее, 1 обозначает вектор, компо-
компоненты которого равны единице, а X — заданную постоянную мат-
матрицу, в то время как е — вектор, соответствующий ошибкам при
наблюдении. Важнейшим изменением является замена вектора
параметров 9 из A9.8) на вектор и, компонентами которого яв-
являются р случайных величин. Таким образом, в C6.1) утвер-
утверждается, что значение yi (t== 1, ..., п) складывается из гене*
рального среднего 9 плюс линейная комбинация р случайных
величин щ плюс член ей соответствующий ошибке. При этом у\
имеет теперь уже не одну случайную компоненту, как это было
в A9.8), a (p+l).
Так же, как и в A9.9—10) для общей линейной модели, пред-
предполагается, что
М (е) =0; V (в) = М (ее') = а\1. C6.2)
При этом дисперсию ошибки мы обозначили о\, добавив соот-
соответствующий индекс для того, чтобы было отличие от дисперсий
наших новых случайных величин. Далее, поскольку мы выде-
выделили генеральное среднее, то будем предполагать, что
М (и) = 0, C6.3)
и что
D («;) = о); cov (ur ut) = О, 1Ф у,
cov (Uj, zt) = 0 для всех i, j.
C6.4)
Таким образом, все наши случайные величины имеют нулевое
математическое ожидание и попарно не коррелированы.
36.3 Параметрами, представляющими интерес в модели C6.1)
являются о2 дисперсии величин «у и дисперсия ошибок а\. Раз-
Размерность задачи может быть уменьшена в том случае, если
заранее известно, что некоторые из о2 могут быть равными.
Предположим, что имеется k различных дисперсий о2., где k^p,
и перепишем C6.1) в виде
у = 19 + Z XjU, + e, C6.5)
где Uj являются теперь векторами (подвекторы вектора и) с pf
компонентами (X/?/ = /?)> которые в свою очередь являются
некоррелированными случайными величинами с нулевыми мате-
математическими ожиданиями и дисперсиями а2г Матрица Xj пред-
представляет собой (п X Pi) подматрицу матрицы X.
¦90
ГЛАВА 36
Для у из C6.5) пусть W обозначает матрицу М(уу'), a Vy —
дисперсионную матрицу, которая предполагается невырожден-
лой. Тогда, используя C6.2—4), получим
Vy = W-&4l'=Z о)*,*', + <ф. C6.6)
Таким образом, по существу, мы желаем оценить параметры,
которые являются коэффициентами у k + 1 компоненты диспер-
дисперсионной матрицы наблюдений. В соответствии с этим C6.5) ча-
часто назьгоают моделью ДА для компонент дисперсии, другое на-
название для «модели II».
Соотношение C6.6) указывает на существенную разницу ме-
между C6.5) и общей линейной моделью. Наблюдения теперь не
являются некоррелированными (Vy не диагональна), поскольку
компоненты этих наблюдений являются линейными функциями
от одних и тех же случайных величин щ.
Пример 36.1
Рассмотрим модель C6.5) с k = 1, (п Хр)-матрица Хх яв-
является матрицей вида X из примера 35.1, и щ представляет со-
собой (р X 1)-вектор. В результате получается задача однофак-
торной классификации для изучаемой модели, в которой наблю-
наблюдения представлены в виде р групп, причем q-e. наблюдение в
i-й группе равно
У к, = в + Щ + г1ч,
где величины «,- (р компонент вектора U\) и е»д не коррелиро*
ваны, имеют нулевые математические ожидания и дисперсии
D (и() — а\ для всех г,
D (е/G) = о\ для всех i, q.
Отсюда немедленно получаем, что
так что участвующие в модели два параметра в буквальном
смысле являются компонентами дисперсии наблюдений. Отсюда
и возник термин «компоненты дисперсии», который мы отнесли
к общей модели C6.5).
36.4 Исследование свойств модели C6.5) нужно начинать с
самого начала, ибо метод НК, используемый в общей линейной
модели, теперь неприменим. Наше изложение следует Грейбил-
лу и Халтквисту A961).
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
9!
Соотношение C6.5) можно более симметрично переписать
¦в виде
ft+i
,, C6.7>
;=о
где мы положили
Хо = 1, ио = в (скаляр),
, «ft+i=e-
В C6.7) фигурируют k + 2 параметра, а именно 9 и 4+1
дисперсий, участвующих в формулировке модели. Предположе-
Предположения C6.2—4) переписываются в виде
C6.8)
C6.9)
М (иу.и;) = 0, 1Ф1; i, j = 1, .... k + 1,
где cr|+1=CTg. Формально можно записать
так что параметрами теперь являются <?j (j — 0, 1, ..., k + 1)-
Соотношение C6.6) можно теперь переписать в виде
где А/ = XjX'j, a
C6.10)
C6.11)
Несмещенные квадратичные оценки параметров
36.5 При изучении общей линейной модели в A9.19) были
найдены условия, которые должны выполняться, чтобы линейная
функция наблюдений могла служить несмещенной оценкой ли-
линейной функции параметров. В модели для компонент дисперсии
C6.7) параметры являются коэффициентами в разложении
C6.10) матрицы W, являющейся матрицей вторых моментов от
наблюдений. Естественно пытаться искать квадратичные оценки
этих параметров. Ниже мы показываем, что необходимым и до-
достаточным условием того, что о\ допускают несмещенные оценки
квадратичного вида y'Csy, является линейная независимость
матриц As.
36.6 Предположим сперва, что существуют матрицы Cs такие,
что
s=l, ..., k+ 1.
C6.12)
92 ГЛАВА 35
Используя C6,7—8), отсюда получаем, что
cs (Z лгл) j = м
«2 =
Как н в A9.38),
М (uftu,) = о] ir В, /=1, .... /г+1,
C6.13)
C6.14)
и поскольку при / = 0 это тривиально выполняется, то C6.13)
принимает вид
ft+i
д;
=Z о* tr
= Z ^ tr
Приравнивая коэффициенты при ст^ в C6.15), получаем
tr(AsCs)=l,
tr (А/С,) = О, }Фз.
Пусть существуют константы 10, .... /А+, такие, что
k+i
Е //*/ = о.
/о
(зе. 15)
C6.16)
C6.17)
Если бы не, все /,- равнялись нулю, то это означало бы линейную
зависимость Aj. Но из C6.16—17) следует, что
/, = ? // tr (A,CS) = tr (Cs E l,A,) - 0.
Таким образом, мы видим, что C6.17) может выполняться толь-
только в случае, когда все lj равны нулю, т. е. из C6.12) следует
линейная независимость матриц As.
36.7 Для доказательства обратного утверждения представим
п(п-\~ 1)/2 элементов, расположенных на и над главной диаго-
диагональю матриц уу' и А, в C6.10) в виде векторов да*, а* (/ = 0,
1, ........ k + 1) с одним и тем же (произвольным) порядком
следования компонент. Тогда из C6.10) следует
М (w*) =
а)а).
C6.18)
Если через А* обозначить [п (п + 1)/2 X (Л + 2)]-матрицу, столбцы
которой совпадают с векторами а*, а через <г2 — вектор с ком-
компонентами о?, то C6.18) примет вид
М (да*) = AV. C6.19)
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
93
Поскольку теперь Aj предполагаются линейно независимыми, то
векторы а* образованные из элементов этих матриц, тоже бу-
будут линейно независимыми, а значит, матрица А*, образованная
из а*, имеет ранг k + 2 и можно указать k-\-2 линейно незави-
независимые строки, которые образуют невырожденную подматрицу
Д**. Пусть w** — соответствующий подвектор вектора w*. Из
C6.19) следует
откуда
или
М (аИ = А**о2,
= о»,
C6.20)
Тем самым получена несмещенная квадратичная оценка век-
вектора параметров.
Всюду в дальнейшем будет предполагаться, что матрицы А„
линейно независимы.
Достаточные статистики в нормальном коммутативном случае
36.8 До сих пор не делалось никакого предположения о виде
распределения случайных величин Uj из нашей модели. Рассмот-
Рассмотрим теперь случай, когда каждый вектор щ (/ = 1, .... /г+1)
имеет многомерное нормальное распределение. Отсюда и из
предположений о ковариациях C6.8) и обращения в нуль сред-
средних следует, что р случайных величин Uj (j = 1, ..., р) яв-
являются независимыми с нормальным распределением и нулевым
математическим ожиданием.
Одно лишь предположение нормальности не дает нам воз-
возможности проводить дальнейшее исследование. Чтобы получить
существенное продвижение, нужно наложить дополнительное
предположение о коммутативности
AjAi^AiA,, i, / = 0, 1, .... k+ 1. C6.21)
Поскольку Aj симметричны, то всегда справедливо
A{Ai = ArtA't = (AtA,Y.
Таким образом, C6.21) сводится к требованию о том, что на-
наряду с Aj матрицы AiAj также являются симметричными. В при-
примере 36.2 показывается, что это требование в самом деле огра-
ограничительно. '
94
ГЛАВА 36
Пример 36.2
Рассмотрим снова ситуацию одноф актор ного анализа при-
примера 36.1 с k = 1. Как всегда Ао == 11' и из примера 35.1 имеем
где индекс указывает число строк и столбцов в подматрице.
Простым умножением убеждаемся, что все элементы первых щ
столбцов матрицы A0Ai равны щ, все элементы следующих п2
столбцов равны п2, и, продолжая далее, получим в конце, что
все элементы последних пр столбцов равны пр. Таким образом,
AqAi симметрична (Ао и А\ коммутируют) только в случае, когда
все п\ равны. Поскольку Х2 = /, то также и А2 = I и всегда
коммутируют. Таким образом, рассматриваемая модель вклю-
включает в себя однофакторный анализ только в сбалансированном
случае, когда числа наблюдений во всех р группах одинаковы.
Это существенное отличие от примера 35.1 для модели I, где
числа наблюдений в группах не имели никакого значения.
36.9 Из примера 36.2 следует, что только для сбалансиро-
сбалансированного случая можно ожидать выполнения C6.21). Продолжим
наши рассмотрения, помня об этом ограничении.
Из нормальности и независимости р случайных величин Uj
(/=1, ..., р) следует, что (коррелированные) величины
У\, -••> Уп имеют многомерное нормальное распределение с
и дисперсионной матрицей Vy, задаваемой C6.11). Квадратич-
Квадратичная форма в показателе экспоненты для плотности их совмест*
ного нормального распределения равна, таким образом,
Q = Uf—WVyl{tf — m, C6.22)
и, согласно 15.10, имеет распределение типа х2 с п степенями
свободы.
36.10 Далее в силу условия коммутативности C6.31), суще-
существует ортогональная матрица Р, которая одновременно диаго-
нализирует все Aj, так что
PAjP' = Dh C6.23)
где Dj — диагональные матрицы. Более того, Р можно выбрать
так, чтобы все элементы одной из ее строк (скажем, первой, ко-
которую мы обозначим Pi) равнялись п~'/з и чтобы
Р,1 *= п1/2; Р;1 = 0, / Ф 1, C6.24)
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
95
где Pj — любое множество строк матрицы Р, не содержа-
содержащее Р\.
Из C6.10—11) следует, что Р диагонализирует также W и
Vv, так что на главных диагоналях матриц PWP' и PVyP' стоят
соответственно характеристические числа W и Vy. Из C6.24)
сразу следует, что эти два множества характеристических чисел
(которые все положительны) совпадают, за исключением пер-
первого элемента. Если характеристическими числами W являются
Xj (/= 1, -.., п), то характеристическими числами Vv будут
%\—Х\ — лб2 и Xj при /> 1. Эти характеристические числа яв-
являются, конечно, функциями параметров ог.
Если s — число различных характеристических чисел матрицы W.
a s* — матрицы Vy, то либо s' = s — 1, если Я, однократно, а Я^ иет; либо
s" = s+ 1, если однократно Я^ а Я( иет; либо s* — s, если Я[ н Я* одновре-
одновременно являются или не являются однократными характеристическими чис-
числами. Грейбилл и Халтквист A961) показали, что s^k + 2 и что при допол-
дополнительных условиях s* <J 1 + rank (Xo • Xt \ ... \ Хь)').
36.11 В наборе чисел Яг А„ обозначим Аг, ..., А? все
различные значения, а п2, ..., л< — их кратности. При этом,
очевидно, t — s или * = s-f-l. Поскольку РР'— 1, то C6.22)
эквивалентно
Q =(Py-Pie)'(PFi/P'rI (Ру-РЩ. C6.25)
Разобьем теперь Р на Pj, ..., Pf, где, как и раньше, Pi—пер-
Pi—первая строчка матрицы Р, a Pj (/> 1) являются матрицами по-
порядка (л3ХЛ)- Используя C6.24), соотношение C6.25) можно
теперь переписать в виде
-п'ЧУ И/я; ... о
, C6.26)
где /; — единичная матрица порядка Пу
Из C6.26) сразу следует, что t статистик
Рху, y'P'jPjy, /=2 t,
достаточны для А+ 2 параметров модели, поскольку никакие
другие статистики не входят в функцию правдоподобия. Интуи-
Интуитивно понятно, что они образуют минимальное множество доста-
*) Здесь и в дальнейшем под (X • Y • Z \ ...) автор подразумевает мат-
матрицу, составленную с помощью последовательного присоединения к столбцам
матрицы X столбцов матриц Y, Z и т, д. (Прим. ред.).
96
ГЛАВА 38
точных статистик. Если А* не совпадает ни с каким X,, то дока-
доказательство этого факта проводится непосредственно методом
23.18. В противном случае доказательство проведено Грейбил-
лом и Халтквистом A961), которые используют также приво-
приводимый ниже в 36.16 результат Гаучи A959) для того, чтобы
показать, что если t = s = k + 2 (в соответствии с 36.10 — мини-
минимально возможное значение), то множество минимальных доста-
достаточных статистик полно.
36.12 Из C6.26) непосредственно следует, что статистика
Р\У имеет одномерное нормальное распределение со средним
пЩ и дисперсией Я* = P\VUP\. Далее, каждая из оставшихся
t—1 компонент минимального достаточного множества пред-
представляет собой квадратную форму Q/ = у KJ PjPjy, j = 2, ..., t,
от случайных величин, имеющих многомерное нормальное рас-
распределение. Каждая матрица KJxP'jPjVy идемпотентна, поскольку
PjVyP'j = Я///. Более того, поскольку PjVyP'i = 0 (/ Ф I), то
сумма Q,-
Q'=T.9btlP'!Pl»
также обладает тем свойством, что соответствующая ей матрица
идемпотентна. Таким образом, равенство Q* = ? Q,- представ-
представляет собой разложение того же типа, что и обсуждавшееся
в 35.7. Поэтому из доказанного сейчас свойства идемпотентно-
идемпотентности следует, что Qj (j = 2, ..., t) имеют ^-распределения с щ
ст. св., причем, поскольку, согласно C6.24), параметры нецент-
нецентральности равны A8)'Я^'Р/Р, A8) =0, то соответствующие рас-
распределения центральны. Поскольку полученный выше резуль-
результат о Р\У эквивалентен тому, что квадратичная форма Qi =
= у'(Я*)~'Р{Р,0 имеет нецентральное ^-распределение с одной
ст. св. и параметром нецентральности я82, то окончательно по-
получаем, что сумма рангов t квадратичных форм Qj равна п,
т. е. рангу их суммы Q из C6.26). В соответствии с 35.7 полу-
получаем, что квадратичные формы не зависят друг от друга.
Дисперсионный анализ в модели II
36.13 Отметим теперь важное различие между моделью I и
моделью II. В последней СК у'У не может быть представлена
в виде суммы квадратичных форм, которые сами независимы и
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
97
имеют (нецентральные или центральные) /^распределения, по-
поскольку, учитывая зависимость между наблюдениями, распре-
распределение самого у'у не является таковым. Вместо у'у соответ*
ствующим свойством обладает C6.22). Однако 36.11—12 пока-
показывают, что t квадратичных форм Qj имеют соответствующие
распределения. Матрицы этих форм равны
Р[Рх1К\, Р;Р//Я/; / = 2, ...,*,
t
и поскольку ^PfP, =P'P= I, то мы видим, что у'у можно
/-«
представить в виде суммы / квадратичных форм таких, что
после деления на соответствующие различные характеристиче-
характеристические числа матрицы Vy они становятся независимыми, имею-
имеющими х2-распределения случайными величинами. Более того,
число ст. св. равно просто кратности соответствующего характе-
характеристического значения, причем все формы, за исключением Qi,
имеют центральное распределение.
36.14 Поскольку
то сразу получаем
MUfPiPtf/n,)****.,, />2. C6.27)
Таким образом, характеристические числа могут быть найдены
как математические ожидания соответствующих средних квад^-
ратов (СрК) в таблице ДА. Поскольку
то, как и понятно, 8 оценивается с помощью среднего значения
от всех наблюдений. Нам нужно оценить оставшиеся k + 1 па-
параметров, являющихся дисперсиями. Если Xj представляют со-
собой k + 1 различных функций этих параметров, то C6.27)
можно разрешить относительно этих параметров для получений
соответствующих оценок.
В простом случае, когда Я,,- являются линейными функциями
параметров, C6.27) особенно просто разрешается для получения
несмещенных оценок величин а2..
Грейбилл и Халтквист A961) показали, что ДА в определен-
определенном выше расширенном смысле существует с характеристиче-
характеристическими числами, являющимися произвольными различными функ-
функциями параметров тогда и только тогда, когда выполняется ус-
условие коммутативности C6.21), а матрица W = М (уу') имеет
s = ? + 2 (согласно 36.10 — минимально возможное число) раз-
различных характеристических чисел. При предположении много-
многомерной нормальности множество достаточных статистик яв-
является тогда полным (см. 36.11) и, согласно 17.35 т, 1, оценки
4 М, Кеидалл, А, Стыоарт
98
ГЛАВА 36
являются единственными несмещенными МД-оценками соответ-
соответствующих математических ожиданий. Грейбилл и Халтквиет
A961) показали, что СрК в C6.27) остается несмещенной квад-
квадратичной МД-оценкой своего математического ожидания и при
более слабых предположениях, чем многомерная нормальность.
36.15 Теперь мы собираемся связать изучение модели II с
моделью I ДА, которая исследовалась в главе 35. Любая таб-
таблица ДА для модели I соответствует разложению СК у'у на
компоненты, являющиеся СК (одна из которых соответствует
генеральному среднему). При этом сумма чисел ст. св. в таб-
таблице (рангов квадратичных форм) всегда равна п, где п — пол-
полное число наблюдений. Если выполняется C6.21), то (см. 36.13)
в модели II справедливо то же самое разложение, поскольку
ранги остаются аддитивными. Но теперь в основе лежит C6.22),
разложенное в соответствии с C6.26). При этом отношение каж-
каждой СК (за исключением генерального среднего) к математиче-
математическому ожиданию соответствующего СрК имеет /^распределение,
которое теперь всегда центрально.
Таким образом, каждой модели I ДА (сбалансированной,
чтобы выполнялось C6.21)), соответствует сбалансированная
модель II ДА.
Пример 36.3 Сбалансированная однофакторная классификация
В соответствии с 36.15 для сбалансированной однофакторнон
классификации, рассмотренной в примерах 36.1—2, таблица
C5.24) ДА модели I остается пригодной и для модели II. Нам
нужны теперь математические ожидания СрК из таблицы, за
исключением генерального среднего (которое рассматривается
в примере 36.5).
Совершенно очевидно, что для остаточной СК, которую мы
теперь обозначим S3, справедливо тождество
а, значит, она имеет то же самое распределение, что и в модели I,
поскольку не зависит от 9 и ut. Таким образом, математиче-
математическое ожидание соответствующего СрК равно а\, которое мы
обозначим Я3= о?. Так же как и в C5.21), СК между групп
обозначим
S2 - Z nt(yt. - |f..)*- »i? {(«, + ej - («. + е..)}2;
здесь щ равны между собой, поскольку теперь мы имеем п.
наблюдений, разбитых на р групп*) равного размера, и nf — п/р.
*) В примере 35.1 мы писали k, а теперь пишем р, поскольку в данной
главе k имеет совсем другой смысл.
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
99
Поскольку величины и и величины е независимы, а е,. является
средним значением щ членов, соответствующих ошибкам, то
Поскольку M(uf-(- ег.) =0, то отсюда непосредственно следует,
что случайная величина
S {(«,• + е,,)-(«. + в..)}2/К + (&l/nt))
имеет ^-распределение с р — 1 ст. св., поскольку она является
приведенной суммой квадратов относительно выборочного сред-
среднего. Таким образом, математическое ожидание величины S2
(СК между групп) равно (р —\)nt (a] + оЦп.), а значит, для СрК
имеем М {S2f(p — 1)} = а\ + пр\, что мы обозначим К2 = а] + пр\.
В результате мы получили две независимые, имеющие ^-рас-
^-распределение случайные величины
отношение которых после деления на число ст. св. ((/?— 1) и
(п — р) соответственно) имеет /"-распределение. Если ст?=0,
то знаменатели совпадают. Поэтому для проверки гипотезы
0^ = 0, которая в модели II соответствует отсутствию разницы
между группами, можно использовать ту же самую /"-статистику
C5.22), что и в примере 35.1.
Таким образом, в двух разных моделях для проверки одной
и той же гипотезы можно использовать одну и ту же стати-
статистику. Но следует обратить внимание на два момента. Во-пер-
Во-первых, мы ничего не знаем о том, является ли это оптимальным
критерием для модели II. В модели I оптимальность следовала
из теории общей линейной гипотезы. Во-вторых, хотя в обеих
моделях статистика критерия одна и та же, ее распределение
совпадает только при справедливости гипотезы об отсутствии
разницы между группами. Функции мощности по необходимости
отличаются в двух моделях, ибо альтернативные гипотезы со-
совершенно разные (см. упражнение 36.1).
Из выражений для МE2) и M(S3) следует, что
Отсюда имеем несмещенную оценку для о\, которая, очевидно,
может принимать отрицательные значения. Будучи функцией
100
ГЛАВА 36
полного множества достаточных статистик (у, S2, 53) (см. 36.11),
эта оценка является несмещенной МД-оценкой. Если провести
усечение в нуле в том случае, когда НК-оценка величины Х2
меньше, чем НК-оценка величины Х3 (как в упражнении 36.5),
то получится смещение, но среднеквадратичная ошибка стано-
становится меньше. Возможны и дальнейшие улучшения (см. Уэнг
A967)).
Пример 36.4.
Сбалансированная двухфакторная перекрестная
классификация
В соответствии с 36.15 таблица C5.65) и упражнение 35.1
для сбалансированной двухфакторной перекрестной классифика-
классификации модели I ДА сохраняется и в случае модели II, за исклю-
исключением последнего столбца, который относится специально к мо-
модели I. В модели C6.7) имеем теперь k = 3. Для удобства обо-
обозначим три оцениваемые дисперсии через о\, о\ и о\с, подчер-
подчеркивая тем самым, что они соответствуют дисперсиям строк
(row), столбцов (column) и взаимодействий (между строчками
и столбцами) для величин и. Как и в примере 36.2, легко видеть,
что условие коммутативности C6.21) выполняется. Это просто
следует из учета симметрии.
Оставляя пока в стороне генеральное среднее, нужно полу-
получить оценки математических ожиданий четырех СрК. Как и в
примере 36.3, рассмотрение модели, записанной теперь в понят-
понятных обозначениях
У up = е + "» + "./ + иа + гаР> C6-28>
(i— 1, ..., г; / = 1, .... с; р= 1, ..., т)
показывает, что остаточная СК, обозначаемая теперь
(yp — #г/.J> тождественно совпадает с
8 еи-У и имеет то же самое распределение, что и
> / р
в модели I. Так что соответствующий СрК имеет математичес-
математическое ожидание а\, свойство, очевидно, справедливое вообще
для сбалансированной модели И.
СК строк записывается теперь в виде
= cm ?{(«,. + ",. + ef..) — (".. + и.. + e...)}2
и, как в примере 36.3,D(«h + ui% + е4>.) = о| + ст/{с/с ~Ь ствДсгп)*
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА JQ1
Отсюда математическое ожидание СрК строк равно
М {S2f(r - 1)} = о\ + mor2c + cma2. C6.29)
Меняя символы строк и столбцов, получим аналогично для СрК
столбцов
М {SJ(c - 1)} = о\ + Ш0^с + гто"ъ C6.30)
СК взаимодействий записывается в виде
^rnZ E {{utj + el7.) - («.. + ег..) - (ич + в.,.) + (и.. + в...)}».
C6.31)
Выражение в фигурных скобках в правой части C6.31) имеет
нулевое математическое ожидание, поэтому дисперсия совпадает
с математическим ожиданием квадрата этого выражения. Да-
Далее, как нетрудно проверить, вычисляя необходимые четыро дис-
дисперсии и шесть ковариаций, имеем
Аналогично
и отсюда математическое ожидание СК равно
Деля на число ст. св. (/"— 1). (с— 1) и сокращая, получим для
СрК
М {SJ(r — 1)(с— 1)} = о2 + та%с. C6.32)
Таким образом, вместо последнего столбца в таблице C5.65) мы
получили столбец математических ожиданий СрК:
М(СрК)
Я2 = ст| + та\с + сто\,
Строчек:
Столбцов: Я3 = <т2 + та%с + гта2с,
Взаимодействий: Я4 = а\ + тст:
Остаточный: Я,-=<
2RC,
C6.33)
102
ГЛАВА 36
Разрешая C6.33), сразу получаем несмещенные оценки диспер-
дисперсий, являющихся параметрами модели. За ислючением а\, лю-
любая из этих оценок может принимать и отрицательные значения,
являясь разностью соответствующих оценок величин X. Ситуа-
Ситуация аналогична концу примера 36.3, и сделанные там замечания
применимы к изучаемому случаю.
В C6.33) указывается, какие функции параметров нужно
взять в качестве делителей, чтобы из СК в таблице ДА полу-
получить величины, имеющие центральное х2-Распределение. Из их
рассмотрения следует, что удачное совпадение критериев для
модели I и модели II, которое имело место при однофакторной
классификации в примере 36.3, теперь не сохраняется. Если мы
хотим проверить гипотезу a2R = 0 (или а2, = 0), то математиче-
математическое ожидание СрК строк (или столбцов) будет совпадать с со-
соответствующей величиной для взаимодействий, а не для оста-
остаточной СК. Это приводит к критериям, основанным на S2/S4 и
S3/S4. Но для проверки гипотезы ст|с = 0 можно, так же как
в C5.65) для модели I, использовать критерий отношения взаи-
взаимодействий и остатков, основанный на SJS^. Таким образом,
F-критерии в таблице ДА могут отличаться выбором разных
СрК в знаменателе статистики.
Проверка гипотез в модели II ДА
36.16 Замечания в примерах 36.3—4 обращают наше внима-
внимание на тот факт, что до сих пор мы не дали теоретического обос-
обоснования использования F-критериев в модели II ДА. Даже если
эти критерии совпадают с критериями модели I, их характери-
характеристики различны и нельзя гарантировать оптимальность. В любом
случае видно, что могут понадобиться новые статистики крите-
критериев. Таким образом, мы приходим к рассмотрению теории кри-
критериев модели II.
Помня, что мы находимся в ситуации ДА, где t—1 квадра-
квадратичных форм из C6.26) являются все суммами квадратов,
можно переписать многомерное нормальное распределение на-
наблюдений в виде
dG ос ехр \
1 \п(у-ву
L
C6.34)
Заметим теперь, что X*, определяемое как Xt — nG2, не зависит
от 9, поскольку, согласно 36.12, X* = РУУР[, т.е. является
суммой всех элементов матрицы Vy, деленной на п. А эле-
элементы Vу являются дисперсиями и ковариациями, а значит, не
зависят от 0. В тех случаях, которые будут рассматриваться,
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
103
t=k-\-2, т.е. числу оцениваемых параметров. Таким обра-
образом, у нас есть k + 2 характеристических числа, которые
являются функциями (в нашем случае всегда линейными) от
й+ 1 параметров ст2. Лишний параметр можно устранить, выра-
выразив Я* в терминах остальных характеристических чисел, так что
C6.34) примет вид
dG ос ехр К —н-
пу2 - 2пув
/-2
Гаучи A959) показал, что совокупность распределений
f (/, т) ос ехр | Z tlx
Z
tlxj
т2,
тг)
C6.35)
C6.36)
полна (результат, который не содержится в B3.19) т. 2). Сразу
понятно, что C6.35) является частным случаем C6.36) с
t/ = S,, х, = - 1/B1/),
g (т2, .... тг) = — у nip (X2, ..., Xt).
Таким образом, при заданной параметризации система C6.35)
полна.
36.17 Теперь можно использовать результаты главы 23. Мы
ле в состоянии методами 23.27—36 получить РНМН-критерий,
поскольку C6.36) более общее, чем B3.73). Однако, непосред-
непосредственно применяя методы 23.20, можно указать аналогичные
РНМ-критерии.
На примере C6.33) видно, что в применениях к сбалансиро-
сбалансированной модели II ДА характеристические числа являются линей*
ными формами параметров. Как указывает C6.33) или в про-
простейшем случае пример 36.3, гипотеза, которую мы хотим про-
проверять, о том, что какое-то^ конкретное а2, и только оно одно
равняется нулю, эквивалентна гипотезе о совпадении двух кон-
конкретных характеристических чисел.
Заметим сначала, что гипотеза Но: Xq = XP; q, p > 1 остав-
оставляет нам множество из (?+1) полных достаточных статистик
Т == {у,
jj—ii «Jg
Предположим теперь, что р(Х) из C6.35) является функцией
от Хр или от Xq, но не от обоих аргументов одновременно. Сле-
Следуя 23.20, видим, что каждая подобная область для Яо состоит
104
ГЛАВА 36
из доли а. каждого контура постоянства Т. Зафиксируем теперь
Т и запишем
2\XD~r XaJ 2 I
I
— Kp)
C6.37)
При фиксированном Т применение леммы Неймана — Пирсона
B2.6) к C6.35), в которое подставлено C6.37), показывает, что
равномерно наиболее мощная критическая область размера а
для проверки Но против Нх: ХР > Xq задается соотношением
так что РНМ-критическая область при любом фиксированном
значении Т задается малыми значениями Sp вне зависимости от
значений параметров. Поскольку при фиксированном Т значе-
значение Sp + Sq также фиксируется, то эта критическая область со-
соответствует большим значениям отношения Sq/Sp. Наконец,
легко видеть, что если Яо справедлива, то распределение этого
отношения не зависит от параметров и, в соответствии с упраж-
упражнением 23.7, не зависит от полного семейства достаточных ста-
статистик Т. Таким образом, критерий, основанный на больших
значениях Sq/Sv, является безусловно подобным РНМ-критерию.
Таким образом, мы установили, что критерий, подобный
РНМ, равенства математических ожиданий двух средних квад-
квадратов в таблице ДА для сбалансированной модели II, против
альтернативы того, что одно из них больше другого, является
F-критерием. Его статистика представляет из себя отношение
(потенциально) большего СрК к меньшему. Большие значения
соответствуют отклонению проверяемой гипотезы. По существу,
впервые этот результат получен Гербахом A959). В упражнении
36.4 читателю предлагается показать, что этот критерий являет-
является также РНМН. Однако в общем случае он не является кри-
критерием ОП (см. упражнения 36.5—6).
Пример 36.5
В примере 36.3 математические ожидания СрК были:
Групп: \
Я2=
Остаточный: К3=
C6.38)
При условии <т| > 0, что мы всегда предполагаем, гипотеза
%2 = я3 совпадает с Яо: а* = 0, а Я, : Х2 > Х3 с Я, : а\ > 0. Та-
Таким образом, в соответствии с 36.17, критерий, приведенный
в примере 36.3, подобен РНМ. Оказывается, что в этом случае
A,i=a«, но это не влияет на упомянутый выше критерий (см.
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
105
упражнение 36.2—3). Однако отсюда следует, что для проверки
гипотезы о генеральном среднем в модели II сбалансирован-
сбалансированной однофакторной классификации, соответствующий СрК
нужно сравнивать с СрК групп, а не с остаточным СрК, как
это было для модели I в примере 35.1. (Это непосредственно
следует из того факта, что р групповых средних являются не-
независимыми нормальными величинами с математическим ожи-
ожиданием 9 и одинаковой дисперсией. Поэтому для проверки зна-
значения 9 можно использовать ^-распределение Стьюдента
с р—\ ст. св.) Для модели II этот критерий о генеральном
среднем можно применять вне зависимости от того, равняется
а\ нулю или нет. Для модели I в примере 35.1 критерий был
применим только при условии, что между группами нет раз-
разницы. Таким образом, модели отличаются даже в этом про-
простом случае.
Пример 36.6
В примере 36.4 из C6.33) сразу следует, что если а\ > О,
то <т| = 0 эквивалентно Х2 = Х4; а2с—0 эквивалентно Хг — Х.,
а оRC = 0 эквивалентно Х4=Х5. Таким образом, в соответствии
с 36.17, критерии для проверки этих гипотез, приведенные
в конце примера 36.4, являются подобными РНМ.
Если мы сначала проверим и примем гипотезу
'RC
= 0
(Я,4 = Я5), то соблазнительно проверять равенство ст|=6 (или
о? = 0), сравнивая S2 (или S3) с объединением СК (S4 + 55).
Очевидно, что увеличение числа ст. св. в знаменателе диспер-
дисперсионного отношения приводит к возрастанию мощности крите-
критерия. Но поскольку решение о возможности объединения S4 и Ss
зависит от результата применения первоначального критерия,
то оно может оказаться неверным при Я,4 ф Xs. В результате
подсчет размера полной процедуры проверки становится труд-
трудным. Сложная для вычислений теория и рекомендации для та-
таких процедур объединения содержатся в работах Бозивича, Бан-
крофта и Хартли A956) и Шривастава и Бозивича A962).
Если заранее известно, что о|с = 0, то приведенные крите-
критерии для a2R и а2с с объединением S4 и S5 справедливы и сов-
совпадают с критериями для столбцов и строк в модели I (пример
35.2), когда взаимодействия предполагаются равными нулю.
Поскольку СрК взаимодействий является знаменателем кри-
критериев об эффектах строк и эффектах столбцов, эти критерии
можно применять даже в случае, когда все частоты в ячейках
равны единице га = 1. В модели I (см. пример 35.3) это было
не так, если только заранее нельзя было предположить, что все
106
ГЛАВА 36
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
107
взаимодействия равны нулю. В рассматриваемом случае только
критерий для проверки равенства aRC =0 становится неприме-
неприменимым, когда все п.ц — 1 и остаточная СК тождественно равна
нулю.
Общие сбалансированные перекреетные классификации
36.18 Пример вычисления математических ожиданий СрК,
задаваемых C6.33) для двухфакторной перекрестной класси-
классификации, служит образцом для сбалансированных перекрест-
перекрестных классификаций более высоких порядков. Для трехфактор-
ной перекрестной классификации совершенно аналогично
получаем, что математические ожидания СрК задаются сле-
следующими соотношениями, с очевидным обобщением обозна-
обозначений:
Строчек: R
Столбцов: С
Слоев: L
Взаимодействий
первого порядка:
= al
М (СрК)
+ та%сь
+ то%сь
= a\ + ma
\CL
lmo\c
tma%c
cmeRL
cma
%L
гтас
(RXC) X5 =
(CXL) K7 =
7RCL
CL
¦rma2CL .
1 ¦ /mCT!c
clma%,
rlma2c,
rcma\,
CL'
Взаимодействий
второго порядка: (/? X С X ?) \ = al + tna2RCL,
Остаточный: A9 = o\.
C6.39)
Это соответствует следующей модели, обобщающей C6.28):
<36-40)
= l, ..., г; / = 1 с; k =
= 1, ..., т)
с D (ttfc.) = о\, ..., D (иц.) = а2с, ..., D (и|/к) = o\CL.
Теперь понятно правило образования C6.39) (а также
C6.33) и C6.38)). Математическое ожидание любого СрК
равно а2 плюс умноженная на т линейная функция дисперсий.
Эта линейная функция содержит те и только те из участвую-
участвующих в модели дисперсий, индексы которых содержат все буквы,
определяющие соответствующий СрК. Коэффициент при каж-
каждой такой дисперсии равен произведению максимально
возможных значений индексов из C6.40), причем берется про-
произведение тех букв, которые не входят в индекс соответствую-
соответствующей дисперсии. Если в индекс входят все буквы, то коэффи-
коэффициент равен единице. Так, для примера, рассматривая матема-
математическое ожидание СрК для (R X L) -взаимодействий, получаем,
что единственными дисперсиями, индекс которых содержит как
R, так и L, являются a2RL и o\CL. Индекс у a2RL не содержит
только С, которому в C6.40) соответствует / с максимально
возможным значением с. Индекс у o2RCL содержит все буквы,
и соответствующий коэффициент равен единице. В результате
мы получаем, что {ca2RL + oRCL) нужно умножить на т и сло-
сложить с а\, что совпадает со значением из C6.39). Более общее
правило вычисления математических ожиданий СрК, как част-
частный случай содержащее приведенную сбалансированную мо-
модель II, формулируется в работе Корнфилда и Тьюки A956)
(см. также Шеффе A959)).
36.19 В C6.39) обнаруживается новое свойство трехфактор-
ной перекрестной классификации, которое сохраняется для слу-
случая всех более высоких порядков. В примерах 36.5—6 было
видно, что каждая из интересующих нас гипотез (о равенстве
некоторой дисперсии нулю) в однофакторном и двухфакторном
случае была эквивалентна гипотезе о равенстве двух математи-
математических ожиданий СрК, обозначаемых Xj. Из C6.39) видно, что
это свойство сохраняется только тогда, когда рассматриваются
a\cv а%с °rl и ась- ^ни Равны нулю соответственно тогда
и только тогда, когда К& = Х9, к5 = Х&, К6 = Я8 или Я7 = Я8. Та-
Таким образом, основываясь на 36.17, взаимодействия первого
и второго порядков, можно исследовать с помощью F-критерия,
подобного РНМ. Однако ситуация отлична для других диспер-
дисперсий а\, а2с и а\.
Рассмотрим для примера aR, входящее в Х2. Гипотезу
Но: ст|=0 нельзя выразить в терминах равенства двух К,.
Однако нетрудно видеть, что Х2 + А,8 ^Х5 -J- Я,6 и что Яо совпа-
совпадает с
Яо: X2 + A8=A5 + V C6.41)
Теория из 36.17 теперь неприменима, и, насколько нам изве-
известно, до сих пор не проведено исследование об оптимальном
выборе критерия проверки C6.41). Однако, основываясь на ре-
результатах упражнения 36.7, можно указать приближенный кри-
критерий, причем, как понятно, аналогичное приближение воз-
возможно во всех тех случаях, когда исходную гипотезу о равен-
равенстве нулю дисперсии можно выразить в эквивалентной форме
как гипотезу о равенстве нулю линейной комбинации Я.,- (см.
упражнение 36.8).
108 ГЛАВА 36
Иерархические классификации
36.20 Общая теория 36.13—15 и 36.16—17 применима не
только к перекрестным, но и к сбалансированным иерархиче-
иерархическим классификациям. В сбалансированном случае для полу-
получения дополнительного столбца с математическими ожиданиями
СрК, необходимого в таблице ДА, можно сразу использовать
тот факт, что иерархическую классификацию можно рассмат-
рассматривать как неполную перекрестную классификацию.
Пример 36.7 Сбалансированная двухфакторная иерархическая
классификация
Рассмотрим модель:
У цР = 9 + и, + ии + еир C6.42)
(г = 1, ..., k; j = 1, .... /; р — 1, ..., ш),
соответствующую k группам первого уровня классификации
с одним и тем же числом / подгрупп в каждой из них и числом
наблюдений m в каждой из Ы подгрупп. Таблица C5.88) ДА1
из примера 35.5 сохраняется и здесь с очевидным изменением
обозначений*). Нужно только привести еще математические
ожидания 'СрК (за исключением генерального среднего). За-
Заметим теперь, что C6.42) является вырожденным случаем
C6.28), в котором нужно положить <т| = 0 и заменить и,-* на
щ. Заменим также а\ и о|с на а\ и а\. Учитывая эти измене-
изменения, получаем, что Я,3 и А,4 из C6.33) совпадают, причем полная
кратность этого характеристического числа равна (/—1)-(-
_|_ (k—1)(/—l)=k(l—1), т. е. числу ст. св. для подгрупп.
Из C6.33) теперь получаем
М (СрК)
C6.43)
Из 36.17 следует, что для проверки of = 0 или а\ = 0 при-
применим критерий, подобный РИМ.
Групп:
Подгрупп:
Остаточный:
<*"
±та\Л
Vmo\,
- lma\,
*) Заметим, в частности, что I из примера 35.5 соответствует здесь kl,
полному числу подгрупп.
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
109
Пример 36.8 Сбалансированная трехфакторная иерархическая
классификация
Видоизменяя C6.40) точно так же, как и в предыдущем
примере, получим, что C6.39) примет такой вид (читателю
предлагается проделать это самостоятельно в упражнении 36.9):
М (СрК)
Групп:
Подгрупп:
ma\
lzma\
l2lzma\,
а\ + та\ + lzma\,
Подподгрупп: а\ + та\,
Остаточный; al
е'
C6.44)
Здесь имеется h групп, каждая из которых содержит h под-
подгрупп. Каждая подгруппа разбита на /3 подподгрупп, содержащих
т наблюдений. Так что число наблюдений равно п = 1\1^1о,т.
При этом мы не столкнемся с трудностями при получении
критериев методом 36.17. При изучении перекрестной класси-
классификации высоких порядков трудности в 36.19 возникли из-за
кратности взаимодействий, чего нет в рассматриваемом случае.
Шеффе A959) приводит обобщение трехфакторной иерархи-
иерархической классификации на случай с возможно неравными час-
частотами.
Мощность критериев, доверительные интервалы
и отрицательные значения оценок
36.21 В соответствии с 36.17 критерий, подобный РНМ, для
проверки гипотезы о равенстве нулю какой-либо дисперсии эк-
эквивалентен проверке Но: ф = 0 в Яд = ЯР4-ф против Н\\
Ф > 0. Отношение Sg/(Xp-\- q>) к SP/KP всегда имеет централь-
центральное ^-распределение, так что имеем
= !; О+ ?
• <36-45>
Отсюда немедленно получается мощность критерия проверки
Но, основанного на статистике Sq/Sp. В упражнении 36.1 рас-
рассматривается простейший случай.
36.22 В то время, как в модели I мы пришли к множествен-
множественным сравнениям для параметров модели, которые были сред-
средними значениями, естественный следующий шаг в модели II
состоит в построении доверительных интервалов для парамет-
параметров, которые теперь являются дисперсиями.
Из C6.45) немедленно получаем доверительные интервалы
для параметра ф/Хр. Простейший случай рассматривается
110
ГЛАВА 36
в упражнении 36.11. Как показывает даже этот сымый простой
случай, доверительные интервалы могут содержать отрицатель-
отрицательные значения (и даже целиком содержаться в отрицательной
области). Это соответствует возможности для точечных оценок
дисперсий, полученных в примерах 36.3—4, принимать отрица-
отрицательные значения. Для практических целей отрицательные зна-
значения оценок неотрицательных величин неприемлемы, и по-
поэтому эти значения обычно заменяются нулем. И хотя таким
образом нарушается несмещенность оценки, это может приве-
привести к уменьшению среднеквадратичной ошибки (см. пример
36.3). Аналогично отрицательная часть доверительного интер-
интервала обычно заменяется нулем.
В. Томпсон A962) приводит алгоритм для получения неот-
неотрицательных оценок дисперсий. Этот алгоритм дает интуитивно
приемлемый результат для однофакторной и двухфакторной
перекрестной классификации, однако слишком сложен даже
в трехфакторном случае.
Балмер A957) (см. также Шеффе A959)) получает прибли-
приближенные доверительные интервалы для самого ф из C6.45),
а не уже упомянутые менее полезные интервалы для ф/Яр (см.
упражнение 36.15).
Во всех случаях не возникает трудностей при построении
доверительных интервалов для дисперсий ошибок о\, исходя из
распределения остаточной СК. Эти интервалы всегда лежат
в положительной области.
Несбалансированный случай в модели II
36.23 Начиная с примера 36.2, мы ограничились изучением
сбалансированного случая (с равными частотами). Чтобы по-
показать трудности, возникающие в несбалансированном случае
модели II, и пояснить, откуда они возникают, вернемся к одно-
факторной классификации, модель которой приведена в при-
примере 36.1.
36.24 Мы видим, что
0 при i ф г,
так что из предположения многомерной нормальности следует,
что наблюдения, не принадлежащие одной и той же из р групп,
независимы. Ковариация наблюдений, принадлежащих одной
и той же группе, равна а\. Все наблюдения имеют нулевые
математические ожидания и дисперсии о\-\-а\. (Это простей-
простейший случай общей формулы C6.11).)
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
111
Чтобы записать показатель экспоненты в формуле плотности
многомерного нормального распределения, нам нужно обра-
обратить матрицу Vy, которая, как мы видели, состоит из нулей, за
исключением р квадратных подматриц, расположенных вдоль
главной диагонали и имеющих размеры пи ..., пр (числа на-
наблюдений в каждой из р групп). Каждая подматрица имеет вид
Г 2 ¦ 2 9 21
\а, -hoi о, ... с
Как нетрудно проверить простым умножением, обратная к Vn[
матрица имеет вид
(«,-!)с? -а\ ... -of
-о!
-а?
-о?
а значит, Vy состоит из У„г' вдоль главной диагонали, а
остальные элементы равны нулю.
36.25 Из 36.24 следует, что логарифм ФП для однофактор-
однофакторной классификации равен
к о ~
112
ГЛАВА 36
Поскольку у..— Z я,У4./п» то из C6.46) понятно, что р+1
статистик EZ(yf(,— У..J> Уг-> * = 1. •••> Р. достаточны для
трех параметров задачи. Если все пг равны, то самую послед-
последнюю сумму в правой части C6.46) можно переписать в виде
C6.47)
и, подставляя C6.47) в C6.46), убеждаемся, что в соответ-
соответствии с общим результатом 36.11 для сбалансированного случая
получается минимальное достаточное множество из трех ста-
статистик |ЕЕ(^-У..J. У.., 2Х(У*. - У..J}- Естественно,
что они, по существу, и являются величинами, входящими
в таблицу ДА, рассмотренную в примере 36.3.
Однако если не все щ совпадают, то C6.47) перестает быть
справедливым, и минимальная достаточная статистика имеет
больше трех компонент (см. упражнение 36.12).
36.26 Отсутствие сбалансированности существенно влияет на
ДА. СК между группами S2 = % п% {уи — у..J не пропорцио-
пропорциональна теперь величине, имеющей ^-распределение, поскольку
теперь она является взвешенной суммой квадратов относи-
относительно среднего для нормальных величин с нулевыми матема-
математическими ожиданиями, но не равными дисперсиями. Однако
распределение остаточной СК S3 не меняется, так что, как
и ранее,
М {Sj{n - р)} = о*. C6.48)
С помощью таблицы ДА все еще можно оценить а\, но те-
теперь это не является больше единственной оптимальной про-
процедурой, как это было для сбалансированного случая в примере
36.3. В 36.25 мы видели, что S3 и р групповых средних всегда
образуют достаточную статистику. Рассмотрим функцию груп-
групповых средних
У2..'
S(mt) = Е mty]. - (Е
где т\ — константы. Поскольку из примера 36.3 следует
C6.49)
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
113
мы убеждаемся, что
±-Ы*-%-к
т;
C6.50)
Соотношение C6.50), наряду с C6.48), можно использовать
для получения несмещенной оценки а\ при любых т,-. Таким
образом, получается множество несмещенных оценок значения
а\ (за исключением сбалансированного случая (см. упражне-
упражнение 36.13)). «Естественный» выбор m,-= nit который сводит
S(mi) к S2, является удобным, но не оптимальным.
Это отсутствие единственности указывает, что (как и во-
вообще в случае, когда размерность вектора достаточных стати-
статистик превышает число параметров) в несбалансированном слу-
случае отсутствует полнота множества достаточных статистик.
Спитволл A967) показал, что критерий проверки a\ = Q, основанный на
Sj/53> против больших альтернативных значений а\, почти эквивалентен
наиболее мощному инвариантному критерию, точная форма которого зависит
от значения рассматриваемой альтернативы. Он показал также, что анало-
аналогичное соответствие имеет место для доверительных интервалов Вальда
A940) для fff/ffg, (см. упражнение 36.16), которые Вальд A941, 1947) обоб-
обобщил на более сложные несбалансированные модели.
Для альтернативных значений а\, близких к нулю, Мустафа A967) пока-
р
зал, что критерий, использующий статистику ^Г n](yt. —у..), является зна-
чительно более мощным при проверке гипотезы о^ = 0, чем критерий, осно-
основанный на S2/S3-
36.27 Тьюки A956—7) рассматривал задачу оптимального оценивания
для несбалансированной однофакториой классификации. Он получил довольно
сложный результат, который тем не менее нужно принять во внимание. Сёрл
A958) и Лоу A964) исследовали несбалансированную двухфакторную пере-
перекрестную классификацию, когда снова СК в таблице ДА ие пропорциональны
величинам, имеющим х2*РаспРеДеление- Хендерсон A953) рассмотрел не-
несколько методов несмещенного оценивания в общем несбалансированном слу-
случае. Харвилл A967а) исследовал два из них, а также получил необходимые
н достаточные условия, для того чтобы было возможно несмещенное оцени-
оценивание.
Обобщение моделей ДА: обсуждение
36.28 Как исследуемая методом НК общая линейная модель
I из главы 35, так и модель II настоящей главы, являются
экстремальными случаями в том смысле, что все элементы
вектора в в A9.8) являются константами (параметрами), в то
время как все элементы и из C6.1) являются случайными вели-
114
ГЛАВА SG
чинами, некоррелированными между собой и с вектором оши-
ошибок е. На практике может встретиться ситуация, когда уместно
рассмотреть смесь двух моделей, т. е. когда
8, C6.51)
где генеральное среднее обозначено теперь Эо, чтобы отличить
от вектора параметров в , элементы которого константы.
36.29 Если с самого начала ограничиться обсуждением ситу-
ситуации ДА (что мы не делали вплоть до главы 35 для модели I
и вплоть до 36.13 для модели II), то легко понять, как может
возникнуть «смешанная» модель вида C6.51). Рассмотрим для
примера двухфакторную перекрестную классификацию.
Предположим, что проводится эксперимент для исследова-
исследования прочности на разрыв пяти различных типов бумаги и что
каждый тип бумаги рассматривается при трех различных уров-
уровнях содержания влаги. Результаты располагаются в таблицу
с пятью строчками и тремя столбцами. Пять типов бумаги
взяты в эксперименте потому, что они представляют самостоя-
самостоятельный интерес — мы хотим знать свойства этих типов бу-
бумаги. Поэтому естественно интерпретировать их прочность на
разрыв в качестве некоторых искомых постоянных (парамет-
(параметров), измерение которых подвержено обычным эксперименталь-
экспериментальным ошибкам.
Ситуация может быть иной при классификации по столб-
столбцам. Три уровня содержания влаги будут возможно выбираться
как удобные уровни для представления «высокого», «среднего»
и «низкого» содержания влаги, не давая полной информации
о точном значении уровня. В этом смысле три рассматриваемых
уровня будут выбираться из совокупности потенциально воз-
возможных уровней содержания влаги некоторым (не обязательно
вероятностным) образом. Таким образом, эффект столбцов бу-
будет иметь в некотором смысле распределение совершенно дру-
другой природы, чем ошибки экспериментов. Следовательно, при
изучении классификации по столбцам более приемлемой идеа-
идеализацией эксперимента является модель II (без предположения
нормальности), хотя и она ни в коей мере не является адек-
адекватной. В результате в первом приближении приходим к пред-
представлению эксперимента с помощью модели типа C6.51), где
в соответствует эффектам строк, аи — эффектам столбцов.
36.30 В эксперименте, описанном в 36.29, можно рассмот-
рассмотреть взаимодействия строк и столбцов, если допустить возмож-
возможность того, что у пяти типов бумаги различная структура зави-
зависимости прочности на разрыв от уровня содержания влаги. По-
Поскольку сами эффекты столбцов рассматриваются как случайные
величины, кажется логически необходимым считать их взаимо-
взаимодействия со строками тоже случайными величинами, а не кон-
другие МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
115
стантами. Этого легко добиться, допустив, что и из C6.51)
имеет компоненты, соответствующие взаимодействиям. Однако
тогда немедленно появляется необходимость обратить внимание
на момент, возникающий в самой модели II. Если допустить, что
эффекты столбцов и взаимодействия строк и столбцов являются
случайными величинами, то как можно оправдать предполо-
предположение о том, что они не коррелированы, особенно если мы
вспомним, что при дополнительном предположении нормаль-
нормальности это влечет независимость?
На основе реальных фактов вряд ли можно допустить неза-
независимость случайных эффектов и взаимодействий, и модель II,
оставаясь интересной с математической точки зрения, вряд ли
может служить удовлетворительным описанием многих практи-
практических ситуаций, в которых заведомо присутствуют взаимо-
взаимодействия.
36.31 Тот факт, что модель II ДА отождествляется с, во-
вообще говоря, неприемлемым предположением о независимости
взаимодействий, как мы его будем называть в дальнейшем, на-
наталкивает на необходимость изучения других, более общих мо-
моделей ДА, не связанных с этим предположением. Мы увидим,
что модель со связанными взаимодействиями, т. е. взаимодей-
взаимодействиями, коррелированными с соответствующими главными
эффектами, ведет на самом деле к процедуре ДА, отличной как
от процедуры модели I, так и от процедуры модели II. Изложе-
Изложение полученных в последнее время результатов с историческими
замечаниями приведено в работе Плэкетта A960) и Шеффе
A956b).
Рассмотрим теперь модели ДА, разработанные в работах
Корнфилда и Тьюки A956) (следуя ранним неопубликованным
работам этих авторов), Шеффе A956а) и Уилка и Кемпсорна
A955—6). Мы ограничимся изложением двухфакторной пере-
перекрестной классификации, в которой проявляются все важные
характерные черты моделей.
Общая модель
36.32 Предположим, что у нас имеется множество (дискрет-
(дискретное или непрерывное) возможных уровней классификации по
строкам, из которого г уровней выбираются для участия в экс-
эксперименте. Обозначим это множество PR. Аналогично предпо-
предположим, что имеется множество Рс возможных уровней класси-
классификации по столбцам, из которых выбираются с уровней. Про-
Процесс выбора для строк предполагается не зависящим от про-
процесса выбора для столбцов. Если выбран ?-й уровень строк
и /-й уровень столбцов, то для этой комбинации проводится пц
наблюдений (опытов). Как и ранее, р-е наблюдение в 1-й строке
116
ГЛАВА 36
и /-м столбце обозначим у^р и положим
У аР = У-Ир + sijP> C6.52)
где М (sijp) = 0. На время оставим в стороне детальное рас-
рассмотрение вопроса о том, каким образом подбираются п^ экс-
экспериментальных объектов (experimental units) для выбранной
комбинации i-й строки и /-го столбца (см. 36.36 и 36.39 ниже).
Обозначим через Ni, число экспериментальных объектов, ко-
которые в принципе (в силу структуры эксперимента) могут быть
подобраны для этой комбинации, и обозначим ц.^-* среднее ве-
величин fx,jp по всем возможным Ыц значениям индекса р. Далее
f-Ч** и |л*у * — средние значения [х,;-* по всем уровням из Рс
и всем уровням из PR соответственно, а р.*** — среднее значе-
значение и,,*, взятое как по PR, так и по Рс- Никакого предположе-
предположения нормальности или гомоскедастичности, т. е. однородности
условных дисперсий, не делается.
36.33 По аналогии с C5.31) генеральное среднее, эффекты
столбцов, эффекты строк и взаимодействия строк и столбцов
определяются теперь соответственно следующим образом:
9*/ =
C6.53)
Хотя наблюдения будут проводиться только для г значений ин-
индекса i и для с значений индекса /, определения величин 9
даются в терминах ц, которые являются функциями от всех
априори рассматриваемых уровней, а не только от тех уровней,
которые участвуют в проведении эксперимента. Далее в по-
последней строке C6.53) Вц представляют собой связанные взаи-
взаимодействия, относящиеся к эффектам популяций б,,* и 9*j.
Из C6.53) определим теперь компоненты дисперсии. Если
в Pr содержится R элементов, а в Рс — С элементов, то по-
положим
?
? ег,/(с -1),
ZZ
C6.54)
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
117
I
При этом допускается, что R или С или R и С могут стремиться
к бесконечности, что соответствует непрерывному случаю. Ос-
Остаточная дисперсия определяется соотношением
к с JVf/
J. C6.55)
36.34 Рассмотрим теперь различные частные случаи общей
модели.
Случай 1
В PR содержится ровно R — r элементов, в Рс — ровно'
С — с; никакого выбора уровней строк и столбцов не прово-
проводится; величины Nij стремятся к бесконечности для всех i и /.
Этот случай является основой для модели I ДА, изученной
в главе 35. При этом C6.53) совпадает с C5.31).
Случай 2
Как PR, так и Рс являются непрерывными множествами,
так что R и С стремятся к бесконечности, наряду с Na для
всех i и /.
Этот случай является основой для модели II ДА, рассмот-
рассмотренной в начале этой главы, при этом никаких предположений
о нормальности или гомоскедастичности не делается. Из по-
последнего равенства в C6.53) имеем
^7. = 8«+ 6^ + 9^ + 9.,, C6.56)
где все члены в правой части, за исключением 8,», являются
случайными величинами. Теперь взаимодействия 9i7- сделаны
независимыми от 9,, и 9»j в силу бесконечности множества, из
которого они выбираются. На самом деле C6.56) эквивалентно,
с очевидным изменением обозначений, соотношению C6.28)
(взятому для у{., а не для отдельных наблюдений УцР).
Случай 3
Наблюдаемые г уровней строк выбираются случайным об-
образом без возвращения из R уровней в PR, а с наблюдаемых
уровней столбцов независимо от выбора строк выбираются ана~
логично из С уровней множества Рс-
В этой модели, как и в модели II, обе классификации имеют
случайный эффект, но со связанными взаимодействиями. При
R, С и Nij, стремящимися к бесконечности, получаем случай 2.
tis
ГЛАВА 36
Следует заметить, что даже при г = R, с = С и Л^- -> оо,
случай 3 не совпадает с приведенным выше случаем 1, по-
поскольку в случае 1 не было никакого процесса выбора, а здесь
процесс выбора определяет порядок, в котором строки и
столбцы снабжаются индексами 1, 2, ..., г и 1, 2, ..., с соот-
соответственно. Этот процесс выбора приводит к рандомизации
строк и (независимо) столбцов в таблице. Описанный в этом
абзаце случай мы обозначим 3 A).
Смешанные модели
36.35 Случай 4
Предположим, что в описанном выше случае 3 R — г, так
что возможны только перестановки строк, которые в остальном
фиксированы, но что, как и в случае 2, С и Ыц стремятся к бес-
бесконечности.
Получается смешанная модель с фиксированными, не счи-
считая перестановок, уровнями строк, и уровнями столбцов, выби-
выбираемыми из бесконечного множества. Вектор-столбец {щз*}.
имеющий г компонент, соответствующих тому, что индекс i
принимает значения 1, ..., г, является случайным вектором
из-за выбора столбцов. Для различных / величины {ц,,-3-„} пред-
предполагаются в совокупности независимыми с одним и тем же
многомерным распределением. Однако эта модель не является
столь общей, как это может показаться с первого взгляда, ибо
из процесса перестановки строк следует, что все дисперсии эле-
элементов {fiij*} равны и аналогично равны все г (г—1)/2 их ко-
вариаций. Понятно, что это условие полной симметрии не
всегда желательно для практических целей. Ниже мы рассмот-
рассмотрим дальнейшее обобщение, принадлежащее Шеффе A956а),
которое будем называть случаем 5.
Случай 5
Как и в случае 1, R = г, выбор не проводится, С->оо и, как
и в случае 4, {fi,j*} являются одинаково распределенными слу-
случайными векторами. Однако дисперсионная матрица г их ком-
компонент больше не является полностью симметричной, что необ-
необходимо следовало из процесса перестановки строк в случае 4.
Таким образом, получается более общая модель, чем в случае 4.
Имхоф (I960) обобщил модель случая 5 на сбалансированную трехфак-
торную классификацию при двух случайных (рандомизированных) и одной
фиксироваииой классификациях переменных.
36.36 Корнфилд и Тьюки A956) дали детальное изложение
случая 3 из 36.34 (при этом случаи 2 и 4 являются его част-
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА \\9
иыми подслучаями). Они рассматривали не только двухфак-
торную перекрестную классификацию, которой мы здесь огра-
ограничились, но и общую сбалансированную классификацию. Во
всех случаях они предполагали, что для каждой выбранной
комбинации строки и столбца необходимые пц наблюдений по-
получаются в результате случайного выбора без возвращения из
разных генеральных совокупностей, состоящих из JVi3- возмож-
возможных экспериментальных объектов, и что эти тс различных групп
наблюдений выбраны независимо от обсуждавшегося выше вы-
выбора уровней строк и столбцов. В случае сбалансированной
двухфакторной перекрестной классификации, когда все nil-=m>
а также все Ыц = N, их результат о математических ожида-
ожиданиях СрК в таблице ДА приведен в первых двух столбцах
C6.57). Оставшиеся три столбца являются частным случаем
этого результата.
Математические ожидания СрК в таблице ДА
Строчек
Столбцов
Взаимо-
дейст-
действий
Остаточ-
Остаточный
Случай 3
°вA-лг) +
+ cma%
+"»4c(i-x)+
+rma^
¦*('-*)+
+ma%c
A
Частные подслучаи случая 3
Случай 3 A)
о\ + cmo\
ffg + rmoc
2 2
oe + maRC
Случай 2
+ cma\
ol+ma%c +
+ rma%
a2B + mo%c
Случай 4
+ cma\
al + rma%
a\ + ma%c
C6.57)
При этом, как и утверждалось при обсуждении случая 2,
в 36.34, столбец, соответствующий случаю 2, совпадает с C6.33)
из примера 36.4, т. е. с результатом для модели II.
120
ГЛАВА 36
С другой стороны, несмотря на различие, которое мы ука-
указали в 36.34, между случаем 3A) и случаем 1, столбец
в C6.57), соответствующий случаю 3A), совпадает с резуль-
результатом примера 35.2 в C5.65) для модели I. Это нетрудно про-
проверить, вспоминая, что математическое ожидание случайной
величины, имеющей нецентральное ^-распределение, равно
сумме параметра нецентральности и числа ст. св., и используя
определение C6.54) cR = rnC = c. Таким образом, рандоми-
рандомизация не влияет на математические ожидания СрК, поскольку
соответствующие СК симметричны относительно уровней строк
и уровней столбцов.
36.37 Столбец в C6.57), соответствующий случаю 4, яв-
является для нас новым, и мы видим, что математическое ожида-
ожидание СрК для строк (которые фиксированы с точностью до пере-
перестановок) совпадают с соответствующим значением в модели II
(где эффекты строк рандомизированы). В то же время матема-
математическое ожидание СрК для столбцов (которые теперь рандо-
рандомизированы) совпадает с соответствующим значением в мо-
модели I (где эффекты столбцов фиксированы). В действитель-
действительности математическое ожидание СрК для строк определяется
процессом выбора при классификации по столбцам и наоборот.
СрК для строк связан с различиями между уровнями строк, все
множество значений которых наблюдаемо (но только для имею-
имеющейся выборки уровней столбцов). Тем самым обусловливается
эффект взаимодействия уровней строк и столбцов и соответ-
соответственно о|с появляется в выражении для математического ожи-
ожидания СрК строк. Наблюдаемая же выборка уровней-столбцов
связана с каждым возможным уровнем строк, так что СрК
столбцов не зависит от взаимодействий уровней строк и столб-
столбцов рассматриваемого множества и a2RC не входит в математи-
математическое ожидание соответствующего СрК. Аналогичное явление
имеет место и при более сложных классификациях. Выбор уров-
уровней оставшихся классификаций, а не рассматриваемой, опреде-
определяет структуру математического ожидания СрК, относящегося
к рассматриваемой классификации.
36.38 Математические ожидания СрК в случае 5 такие же,
как и в C6.57) для случая 4. Это объясняется тем, что, так же
как и в рассмотренном случае 3A) в конце 36.36, соответ-
соответствующие СК являются симметричными функциями строк. Од-
Однако если предположить, что {.щ;*} имеют многомерное нор-
нормальное распределение, то возникает важное различие между
случаями 4 и 5. Оказывается (подробное изложение см. Шеффе
A956а, 1959)), что смешанная модель случая 5 перестает быть
упрощением модели II, в которой (как мы показали в 36.15—17)
отношение каждой СК в таблице ДА к математическому ожи-
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
121
данию соответствующего СрК имеет центральное х2-рзспреде-
ление. В результате в модели II мы могли получать ^-критерии,
подобные РНМ, сравнивая каждый СрК с другим, имеющим
при заданной гипотезе то же самое математическое ожидание.
Как подсказывает последний столбец в C6.57), для случая 5
остается верным, что (при га > 1) гипотезу a2RC = 0 можно про-
проверять, используя /•'-критерий, основанный на частном от деле-
деления СрК взаимодействий на остаточный СрК, и гипотезу а^ =0
можно проверять аналогично. Но статистика, равная отноше-
отношению СрК строк к остаточному СрК, вообще говоря, не имеет
/•"-распределения, несмотря на то, что при ст| = 0 ее числитель
и знаменатель являются независимыми случайными величи-
величинами с одним и тем же математическим ожиданием. В каче-
качестве альтернативы Шеффе A956а, 1959) дает статистику кри-
критерия, имеющую ^-распределение Хотеллинга (это распреде-
распределение подробно рассматривается в 41.15—17). Однако в слу-
случае 4 статистика, равная отношению СрК строк к остаточному
СрК, снова имеет распределение дисперсионного отношения
(см. Имхоф A962), который указал, что эффект от применения
несоответствующего критерия дисперсионного отношения в слу-
случае 5 может оказаться существенным, и предложил другой
/¦-критерий). Аналогичное исследование для обобщения слу-
случая 5, соответствующего анализу группы экспериментов, было
проведено Калински A966).
С. Рой и Кобб A960) рассмотрели смешанную модель (без взаимодей-
взаимодействий) с нормальными ошибками и одним или большим числом случайных
эффектов, имеющих распределение, отличное от нормального. Хартли и Рао
A967) дают процедуру МП для общей несбалансированной смешанной мо-
модели с нормальными ошибками.
Упомянем кратко, что некоторые последовательные процедуры ДА изу-
изучались Д. Коксом A952), Н. Джонсоном A953—4) и Б. Гхошем A964, 1967).
В их статьях содержатся другие ссылки по этому вопросу.
Размещение экспериментальных объектов: рандомизация
36.39 Большое увеличение числа моделей ДА уже привело
нас к существенным усложнениям. Но мы еще не приступили
к рассмотрению важного источника, приводящего к разбросу
в экспериментальных данных.
В 36.32 не обсуждался вопрос о размещении эксперимен-
экспериментальных объектов между различными используемыми комбина-
комбинациями строк и столбцов. В 36.36 предполагалось, что в общей
модели, обозначенной там как случай 3, «,-, объектов, подобран-
подобранных для выбранной комбинации строки и столбца, принадле-
принадлежат совокупности, соответствующей этой комбинации и состоя-
состоящей из Nij объектов, так что всего имеется гс совокупностей
122
ГЛАВА 36
экспериментальных единиц. Эта ситуация, когда совокупности
объектов вообще не пересекаются, является крайней.
Другая крайняя ситуация состоит в том, что все используе-
используемые экспериментальные объекты (например, в сбалансирован-
сбалансированной двухфакторной классификации их ппс) выбираются слу-
случайным образом без возвращения из одной и той же совокуп-
совокупности, состоящей из N объектов. Здесь Ntj = N для всех i, /
и, можно сказать, что имеется, так сказать, полное пересечение.
Такой метод размещения носит название полной рандомизации,
и любой эксперимент, в котором используется этот метод, на-
называется вполне рандомизированным экспериментом.
Имеется также очевидная промежуточная ситуация частич-
частичного пересечения, когда совокупности экспериментальных объ-
объектов соответствуют группам комбинаций столбцов и строк,
причем число таких совокупностей больше единицы и меньше
гс. В этом случае говорят просто о рандомизации (в отличие от
«полной рандомизации»). Например, для каждой строчки (или
для каждого столбца) в эксперименте может быть своя сово-
совокупность экспериментальных объектов. В этом случае говорят
о случайных блоках, к обсуждению которых мы вернемся
в главе 38.
36.40 Возможно, что читателю не совсем понятно, почему
термин «рандомизированный» не употребляется только для слу-
случая, когда подбор производится из разных совокупностей, хотя
даже в этом случае каждая из совокупностей выбирается слу-
случайным образом. Как и в большинстве аналогичных случаев,
употребление соответствующих терминов можно понять, только
рассмотрев историю предмета. Самые первые формулировки ДА
неявно предполагали, что мы имеем дело со случаем разных
совокупностей. В самом деле, C6.57) показывает, что если
каждая совокупность велика, то их объем оказывает малое
влияние на таблицу ДА для случая 3. С другой стороны, во-
вопросы эффективности планирования экспериментов (к которым
мы еще вернемся в главе 38) впервые привели к рассмотрению
случайных блоков и других методов размещения эксперимен-
экспериментальных объектов, причем во всех этих методах явно и по су-
существу присутствует процедура рандомизации.
36.41 Очевидно, что рандомизацию экспериментальных объ-
объектов нужно принять во внимание при анализе данных, но это
приводит к существенным усложнениям и требует введения но-
новых определений.
Мы хотим допустить возможность того, что \iijp, определен-
определенное в C6.52), как среднее значение для р-то наблюдения в
(i,/)-й комбинации строки и столбца само может зависеть не
только от (i, j), но и от характеристик конкретного экспери-
экспериментального объекта, над которым проводится р-е наблюдение.
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
12$
Рассмотрим любую группу комбинаций строк и столбцов, та-
такую, что этой группе соответствует одна и та же совокупность
экспериментальных объектов (см. обсуждение в 36.39). Пред-
Предположим, что эта группа состоит из m элементов, а соответ-
соответствующая ей совокупность — из М экспериментальных объек-
объектов, причем М ^s m. Приведем теперь формальную двухфак-
торную классификацию для элементов группы и объектов. Прнг
этом в правой части приводимого ниже тождества индексы i и /
объединяются скобкой, чтобы подчеркнуть, что (i,j) рассмат-
рассматривается теперь как элемент отдельной классификации. Итак,.
• - Не,¦} + К>„ - Ц(„¦} +
(>•} s <36-58>
+ **(.)•}• <36-59>
где, как и ранее, звездочка означает усреднение.
Соотношение C6.58) разбивает ji,jp на «генеральное сред-
среднее», два «главных эффекта» и «взаимодействия». Если оба
члена в фигурных скобках в C6.59) равны нулю, то подбор
экспериментальных объектов для соответствующей комбинации
строки и столбца не влияет на \ifjp, поскольку в этом случае
[1цр равно просто среднему значению по всем объектам. Пер-
Первый член в фигурных скобках в C6.59) называется ошибкой
объекта (unit error), поскольку он относится к эксперименталь-
экспериментальному объекту. Второй член в фигурных скобках мы будем на-
называть ошибкой взаимодействий (interactiv error), поскольку
он относится к экспериментальному объекту и к комбинации
строки и столбца. (Обычно этот член называют взаимодей-
взаимодействием объекта и обработки.)
36.42 Если в изучаемой схеме двухфакторной классификации,
изложенной в 36.32—3, рассмотреть разложение ццР на три
компоненты в соответствии с C6.59), то модель станет еще бо-
более сложной. При этом очевидно, что ошибка взаимодействий
в C6.59) снабжается индексами i, j и р так же, как e,jP из
C6.52) (которое теперь мы называем ошибкой измерения, чтобы
отличить от ошибок объекта и взаимодействий, определенных
выше). В связи с этим естественно ожидать, что могут возник-
возникнуть трудности при оценке различных компонент модели.
Стоит отметить, что только ошибка измерения является
ошибкой в обычном смысле этого слова, возникая из-за неточ-
неточности измерений или наблюдений. Ошибки объектов и взаимо-
взаимодействий возникают из-за размещения экспериментальных объ-
объектов между комбинациями строчек и столбцов.
36.43 Уилк и Кемпсорн A955—6) рассматривали одно-,
двух- и трехфакторные классификации для случая 3 из 36.34,
124
ГЛАВА 36
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА
125
включая несбалансированный случай, когда проводится полная
рандомизация экспериментальных объектов. Для случая пропор-
пропорциональных частот всегда возможен ортогональный ДА (см.
35.21—2). В общем (непропорциональном) случае применяется
неортогональный ДА, использующий невзвешенные средние
уровней (см. 35.31). При этом, как и следовало ожидать, воз-
возникают трудности, упомянутые в конце 38.42, так что оценить
можно только некоторые функции параметров. Более того, как
указал Плэкетт (I960), если сами уровни столбцов и строк под-
подлежат выбору, то не совсем естественно неравные частоты riij
рассматривать как фиксированные. Добавление еще одного про-
процесса выбора для определения пц (этот процесс может быть
коррелирован с наблюденными значениями игреков) ведет к
дальнейшему усложнению анализа. Харвилл A967b) делает до-
допущение, что частоты коррелированы с эффектами в несбалан-
несбалансированной однофакторной классификации из модели II и ис-
исследует результирующее смещение у оценки о\ (см. 38.23—7).
38.44 Мы отложим дальнейшее обсуждение рандомизирован-
рандомизированных моделей вплоть до главы 38, где будут понятны причины,
приводящие к их рассмотрению. Для целей же настоящего из-
изложения влияние этих моделей на процедуру ДА рассмотрено
достаточно полно, и мы закончим эту главу обсуждением того,
как применять изложенные в ней соображения.
Выбор модели ДА
38.45 Изобилие рассмотренных моделей ДА сталкивает при-
прикладного статистика с проблемой, которая в менее острой форме
.возникает при использовании статистических методов. Очевидно,
для того чтобы можно было выбрать модель, хорошо соответ-
соответствующую реальной ситуации, нужно тщательно проанализиро-
проанализировать все известные факты, относящиеся к происхождению на-
наблюдений. И если таких фактов мало, то может понадобиться
много предположений. В этом отношении статистик находится
в ситуации, обычной для почти всех прикладных областей
знаний.
Стоит указать, что обсуждавшееся в 38.32—8 множество мо-
моделей ДА различается предположениями о методах выбора уров-
уровней анализируемых факторов, а не предположениями о реальной
природе этих факторов или лежащих в их основе величин. Если
данные возникают из планируемого эксперимента, то предполо-
предположения касаются поведения экспериментатора, а не имеющегося
у него материала. С другой стороны, сложности, указанные
в 36.39—43, связаны, по существу, с природой объектов, над ко-
которыми проводится эксперимент. Перед экспериментатором
всегда должен стоять вопрос, достаточно ли различаются иссле-
исследуемые объекты, чтобы стоило вносить дополнительные слож-
сложности в анализ. В биологии, сельском хозяйстве и социальных
исследованиях часто так и поступают, а в промышленном экспе-
экспериментировании и физике часто об этом не заботятся. Мы стоим
на той точке зрения, что даже если наблюдения являются ре-
результатом продуманного эксперимента, имеется достаточный
простор для интуиции при высказывании соответствующих су-
суждений. A fortiori, когда наблюдения не язляются результатом
планируемого эксперимента, правильность выбранного анализа
зависит от интуиции статистика.
38.48 Теперь понятно, что ДА, так же как и другие стати-
статистические методы, не является «мельницей, автоматически пе-
перемалывающей результаты», вне зависимости от умения стати-
статистика заранее рассчитать и позаботиться об этом. Скорее это
набор точных инструментов, которые можно использовать в со-
соответствии с их назначением. При их использовании нужно как
умение, так и упорная работа. Не нужно использовать сложную
технику (а так часто поступают) для доказательства фактов, ко-
которые почти очевидны с первого взгляда. Статистик никогда не
должен упускать из виду необходимость тщательного исследова*
ния имеющегося материала. Равным образом, часто исполь-
используются несоответствующие модели. ДА не имеет монополии
в неправильном использовании статистики, однако множество
рассмотренных моделей делает его особо уязвимым к ошибкам
со стороны слишком прямолинейных энтузиастов.
36.47 В следующей главе, последней из трех, относящихся
к технике ДА, мы исследуем сначала задачу преобразования
данных так, чтобы можно было применять ДА. Это ведет к во~
просу об устойчивости ДА и к методам, свободным от распре-
распределений. Наконец, мы рассмотрим там трудности, возникающие
из-за неполноты данных.
УПРАЖНЕНИЯ
36.1 В примере 36.3 показать, что функция мощности критерия раз-
размера а для проверки гипотезы Яо: а\ — 0 против Н{: а\ > 0 равна
где G — функция распределения центрального /•'-распределения с соответ-
соответствующим числом степеней свободы, a Ga—значение, которое соответствую-
соответствующая случайная величина превышает с вероятностью а, так что G{Ga} =1 — а.
Показать, что Р (erf) является монотонной функцией своего аргумента
такой, что критерий не смещен и что он состоятелен, когда размеры групп Л(
стремятся к бесконечности, ио ие в том случае, когда лишь число групп р
стремится к бесконечности.
126
ГЛАВА 36
33.2 В 36.17 показать, что, поскольку у является компонентой Т, член
ехр ¦! — пу^/рЩ | в C6.35) не влияет на критерий, подобный РНМ при
проверке Нй против Н\, даже если р (Я) пропорционально Яр или Xq.
36.3 В C6.26) показать, что сумма всех п характеристических чисел
Я* + ?] Л4Яу равна сумме дисперсий п наблюдений. Показать отсюда, что
/-2
в примере 36.5 Я, = Я2.
36.4 Показать, что в 36.17 односторонний ^-критерий, подобный РНМ,
является несмещенным, а значит, является РНМН-критерием размера а.
36.5 Для сбалансированной однофакторной классификации в примерах
36.3 и 36.5 показать, что МП-оценки величин ^ н lj имеют вид
я,-1)} при
и равны
+ р (л, - 1) Х3}/л при Я2 < Я3.
Показать отсюда, что статистика / критерия ОП для проверки гипотезы
Но : Яг = Яз имеет вид
при Яг ^ Я3
'я*
2Л3
а2
1
при
Я2 < Я3.
так что / = 1, если только статистика F-критерия меньше чем р/(р—1), а
зиачнт, критерий ОП не эквивалентен ^-критерию. Показать далее, что при
F 5* Р/(Р— 1) функция / монотонно убывает с ростом F. Показать, что при
а < 0,25 критическое значение FaiP—Up fat—1)} всегда больше чем
р/(р—1), так что для всех практических целей критерий ОП эквивалентен
^-критерию, подобному РНМ.
(Гербах, 1959.)
36.6 Для сбалансированной двухфакториой перекрестной классификации
в примерах 36.4 и 36.6 показать, что критерий ОП для проверки #0: а\ = 0
является функцией от S2, S3 и St, а /^критерий, подобный РНМ, является
функцией лишь от S2/S4, а значит, эти критерии не эквивалентны.
(Гербах, 1959.)
36.7 Показать, что если Sj/X/ — независимые случайные величины, имею-
имеющие ^-распределение с v^ ст. св., и Я= ^ с/^у> то вторые и первые мо-
моменты у величины S ^()
. ill
имела ^-распределение с числом ст. св.
оценкой которого служит
такие же, как если бы величина vS/Я
ДРУГИЕ МОДЕЛИ ДИСПЕРСИОННОГО АНАЛИЗА 127
Показать отсюда, что в 36.19 приближенный ^-критерий проверки C6.41) мо-
может быть основан на статистике
(СрК)л/{(СРК)лс + (СрК)^ - (CpK)RCL),
имеющей, если справедливо C6.41), распределение дисперсионного отношения
с (г— I) и v* ст. св. Здесь все С/= 1 и (СрК)^ = SjJVj.
(Сэттерсвэйт A941) и Бокс A954)
проверили приближение численно, ко-
когда С} положительны.)
36.8 В 36.18—19 показать, что при общей л-факторной сбалансированной
перекрестной классификации только гипотезы о дисперсиях с г и л — 1 ин-
индексами можно проверять критериями, подобными РНМ из 36.17, но что для
всех других дисперсий можно строить приближенные критерии, основанные
на упражнении 36.7.
36.9 В примере 36.8 проверить C6.39), а также C6.44).
36.10 В примере 36.3 показать, что дисперсия несмещенной оценки вели-
величины а\ равна
(п-р)п(
а значит, оценка состоятельна при р-*оо, но не является таковой, если толь-
только rtj стремятся к бесконечности (см. упражнение 36.1, где для состоятельно-
состоятельности критерия нужно было, чтобы Я(—»-оо).
(Тьюки A956—7) дал общее выраже-
выражение для дисперсий и ковариаций ве-
величин, являющихся оценками дис-
дисперсий.)
36.11 В примере 36.3 получить доверительные интервалы для а\ и crf/a|
из распределений Sa и S2/S3 соответственно. Показать, что последние интер-
интервалы могут частично или полностью лежать в отрицательной области.
36.12 В 36.25 показать, что минимальная достаточная статистика для
Р
трех параметров имеет s =р -4- 1 — У] (т — 2) dr компонент, где dr— число
г=3
r-кратных общих значений среди р значений nt. Показать также, что
р
^
Г=2
36.13 Доказать C6.50). Показать, что тогда и только тогда, когда все
rti равны, из C6.50) с использованием C6.43) получается единственная оцен-
оценка величины а\.
36.14 Пусть zg — независимые случайные величины, имеющие х2-распре-
деление с 2gj ст. св., где g, — положительные целые числа. Разлагая х. ф.
г
величины
Е
cjze на элементарные дроби, показать, что
128
ГЛАВА 36
Обозначая 1 — 2itc = у в х. ф., показать, что константы в правой части рав-
равны
где
e П
/л
(Бокс, 1954.)
36.15 Пусть SJ(cp + k) и S2A— независимые величины, имеющие х2"Рас-
пределение с fi и f2 ст. св. соответственно, Mj = Sj//rj, F = MJM2 (стати-
(статистика дисперсионного отношения), а -Ра> ^ является ЮОа-процеитным значе-
значением функции распределения F с fb f2 ст. св. Показать, что если для моно-
монотонно возрастающей функции g (F) имеет место
P{M2g(F) <q>} = а,
то она должна удовлетворять условиям
oo при F->co.
Показать, что эти условия выполняются для
и для
g2 (F) = (F/F*. о) -
(Балмер A957) показал, что gi яв-
является плохим, а #2 — очень хоро-
хорошим приближением, — см. также
Шеффе, 1959.)
36.16 В 36.23—6 положим
.,-D+-)"-
Показать, что 100A—<х)-процентный доверительный интервал для 0?/сг|
имеет вид
/ У .iiVi. \ I
S3 < Ga/2 .
где Go. определено в упражнении 36,1.
(Вальд, 1940; см, также Спитволл,
1967,)
ГЛАВА 37
ПРЕДПОЛОЖЕНИЯ
ДИСПЕРСИОННОГО АНАЛИЗА
37.1 Когда решено, что изучаемой ситуации соответствует
конкретная модель, должен быть решен еще один важный во-
вопрос. Хотя из соображений удобства или из технических воз-
возможностей следует, что наблюдения нужно проводить над
переменной у, остается решить, какую функцию от у нужно ис-
использовать для целей анализа. Априори не ясно, почему изме-
измеряемая величина, а не какая-нибудь функция от нее, лучше
удовлетворяет предположениям модели.
Вместе с тем могут быть существенные практические сооб-
соображения для рассмотрения конкретной функции от у, скажем,
g(y) (которая может оказаться просто равной у). Например,
g(y) может быть связано со стоимостью или доходом от изу-
изучаемого процесса. Но отсюда следует только, что для практиче-
практических целей окончательные выводы анализа должны быть выра-
выражены в терминах g(y). При этом предположение о том, что
именно g(y), а не какая-либо другая функция от у, лучше соот-
соответствует модели, может оказаться неоправданным.
37.2 Ставя задачу несколько более формально, можно ска-
сказать, что множество наблюдений над у равным образом являет-
является множеством «наблюдений» над любой данной функцией
g(y). Вопрос состоит в том, какие «наблюдения» g(y) исполь-
использовать. Очевидно, что нужно попытаться найти функцию, кото-
которая как можно лучше удовлетворяет предположениям модели.
Впервые вопрос поиска преобразований такого типа изучали
Бокс и Д. Кокс A964). Их исследования применимы вообще
к линейной модели с нормальными ошибками, частным случаем
которой является модель I ДА, изложенная в главе 35. Чита-
Читатель заметит, что и у нас в силу общности задачи первые ввод-
вводные параграфы не ограничиваются контекстом ДА.
Преобразования к нормальной линейной модели
37.3 Следуя Боксу и Д. Коксу A964), предположим, что на-
наблюдается зависимая переменная у и множество регрессоров
Хи ..., Xh, и что мы хотим применить линейную модель с нор-
нормальными ошибками. Однако мы не собираемся некритично
д М. Кендалл, А, Стьюарт
128
Обозначая
ны
где
ГЛАВА 36
1—lite = у в х. ф., показать, что константы в правой части рав-
= П
(Бокс, 1954.)
36.15 Пусть Sj/((f + k) и S2A — независимые величины, имеющие ^-рас-
^-распределение с fi и f2 ст. св. соответственно, Mi = Siff{, F = MJM2 (стати-
(статистика дисперсионного отношения), a Fut fa является ЮОа-процентным значе-
значением функции распределения F с /ь f2 ст. св. Показать, что если для моно-
монотонно возрастающей функции g(F) имеет место
то она должна удовлетворять условиям
°
g{F)~F/Faoa при
Показать, что эти условия выполняются для
{FF
и для
g2 (F) = {FlFa, .) - 1 + (/'в.
?«. -)}•
(Балмер A957) показал, что #! яв-
является плохим, а g2 — очень хоро-
хорошим приближением, — см. также
Шеффе, 1959.)
36.16 В 36.23—6 положим
Показать, что 100 A — а)-процентиый доверительный интервал
имеет вид
S3 < Ga/2 >
для
где
На определено в упражнении 36.1.
(Вальд, 1940; см, также Спитволл,
1967,)
ГЛАВА 37
ПРЕДПОЛОЖЕНИЯ
ДИСПЕРСИОННОГО АНАЛИЗА
37.1 Когда решено, что изучаемой ситуации соответствует
конкретная модель, должен быть решен еще один важный во-
вопрос. Хотя из соображений удобства или из технических воз-
возможностей следует, что наблюдения нужно проводить над
переменной у, остается решить, какую функцию от у нужно ис-
использовать для целей анализа. Априори не ясно, почему изме-
измеряемая величина, а не какая-нибудь функция от нее, лучше
удовлетворяет предположениям модели.
Вместе с тем могут быть существенные практические сооб-
соображения для рассмотрения конкретной функции от у, скажем,
g(y) (которая может оказаться просто равной у). Например,
g(y) может быть связано со стоимостью или доходом от изу-
изучаемого процесса. Но отсюда следует только, что для практиче-
практических целей окончательные выводы анализа должны быть выра-
выражены в терминах g(y). При этом предположение о том, что
именно g(y), а не какая-либо другая функция от у, лучше соот-
соответствует модели, может оказаться неоправданным.
37.2 Ставя задачу несколько более формально, можно ска-
сказать, что множество наблюдений над у равным образом являет-
является множеством «наблюдений» над любой данной функцией
g(y). Вопрос состоит в том, какие «наблюдения» g(y) исполь-
использовать. Очевидно, что нужно попытаться найти функцию, кото-
которая как можно лучше удовлетворяет предположениям модели.
Впервые вопрос поиска преобразований такого типа изучали
Бокс и Д. Кокс A964). Их исследования применимы вообще
к линейной модели с нормальными ошибками, частным случаем
которой является модель I ДА, изложенная в главе 35. Чита-
Читатель заметит, что и у нас в силу общности задачи первые ввод-
вводные параграфы не ограничиваются контекстом ДА.
Преобразования к нормальной линейной модели
37.3 Следуя Боксу и Д. Коксу A964), предположим, что на-
наблюдается зависимая переменная у и множество регрессоров
хи ..., Xh, и что мы хотим применить линейную модель с нор-
нормальными ошибками. Однако мы не собираемся некритично
5 M. Кендалл, А, Стьюарт
130
ГЛАВА 37
предположить, что справедливо
у = Х9 + г,
а хотим найти преобразования как над у, так и над каждым из
х такие, чтобы выполнялось
у^ЛГв + е, C7.1)
где компоненты вектора е — независимые нормальные вели-
величины с нулевым средним и одинаковой дисперсией ст2. В C7.1)
^ — (А1Д2,...) указывает на преобразование над у внутри вы-
выбранного параметрического семейства преобразований и анало-
аналогично ft = (щ, ..., iih) указывает на преобразования (разные)
регрессоров. Тем самым мы обобщаем наши рассуждения из
вводной части главы, где говорилось только о преобразованиях
над у.
37.4 В соответствии с C7.1) логарифм ФП равен
= - 1 п log Bяа2)
2) -
<37 -2)
где Jx — якобиан обратного преобразования от ух (нормально
распределенная величина в C7.1)) к реально наблюдаемой ве-
величине у. Максимизируя теперь ФП C7.2) относительно вист2
при фиксированных к и ft, получим, как и в 24.28 т. 2, что сред-
средний член равен константе. Таким образом, если пренебречь
константой, то для условного максимума при фиксированных
X и ц имеем
log L,чЩ (у 10, ст2) = -1 п log ст* „ + log /k, C7.3)
где, как и в 24.28, по| ^ = у^Гу^ является остаточной СК.
Теперь, исходя из условного максимума C7.3), нужно вы-
вычислить абсолютный максимум по всем возможным значениям
к и ц. Даже с применением электронных вычислительных ма-
машин это чрезвычайно сложная задача. Исключение составляют
лишь случаи, когда преобразования определяются одним или
двумя индексами, например когда
(а) преобразуется только зависимая переменная у, причем
К имеет одну или две компоненты;
(б) одно и то оке преобразование применяется ко всем ре-
грессорам (или к подмножеству), при этом ft имеет одну или
две компоненты;
(в) как и в (а) А, имеет одну компоненту, а (б) выполняется
с одной компонентой у ft.
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
131
В случаях (б) и (в), вообще говоря, необходимо численное
построение линий уровня C7.2) для всех X и ц. Далее мы огра-
ограничимся случаем (а), где преобразуется только зависимая пе-
переменная. В задачах ДА, когда изучаются классифицированные
данные, регрессоры являются величинами, принимающими
лишь значения 0 или 1 (см. 35.9—10), а значит, указанное
ограничение несущественно. При более общем изучении регрес-
регрессии мы вынуждены будем выбирать нужный вид регрессоров
до того, как будем рассматривать преобразования зависимой
переменной. Бокс и Тидвелл A962) рассматривают преобразо-
преобразования регрессоров к более простому виду (см. упражнение 37.9).
Такие преобразования, конечно, не влияют на нормальность
или гомоскедастичность ошибок.
37.5 Возвращаясь, таким образом, к задачам, о которых
говорилось в начале обсуждения, мы рассмотрим преобразова-
преобразования одного только у. На практике самыми полезными являются
степенные и логарифмические преобразования у с возможным
сдвигом на константу. В соответствии с этим мы рассмотрим
семейство преобразований
= [ (У + А2)Ч А, Ф О,
I log {у + А2), А, = 0.
C7.4)
Для того чтобы при Xi = 0 сохранить непрерывность, мы пере-
перепишем это в эквивалентной форме
Ук =
log (у + А2),
C7.5)
Тьюки A957b) изучает и описывает структурные свойства семейства
C7.4) при Хг ^ 1. Долби A963) рассматривает свойства дифференциального
уравнения, которому удовлетворяет у^:
6fxu для преобразований
+А2).
37.6 Теперь в C7.3) получаем
C7.6)
Для численного определения абсолютного максимума теперь
можно построить значения C7.3) для выбранного множества
значений (Хи Яг). При этом для каждой такой пары (Xi, Аг)
должен быть проведен ДА для вычисления остаточной СК
в C7.3). В простейшем случае, когда А2 = 0, этого можно не
132
ГЛАВА 37
делать, приравнивая к нулю первую производную по Х\ от вы-
выражения C7.3). С использованием C7.5—6) это приводит к
I, C7.7)
0 =
„
где компоненты вектора и равны {Xi xytl
Критерии ОП для вложенных гипотез
37.7 Бокс и Д. Кокс A964) приводят несколько интересных
численных примеров применения описанного метода нахожде-
нахождения преобразований, а также байесовского метода анализа, ко-
который они исследуют. Кроме того, они рассматривают разложе-
разложение максимизируемой ФП на три компоненты, соответствующие
нормальности, гомоскедастичности и структуре математиче-
математического ожидания у\. Их исследования применимы к более общей
ситуации.
Рассмотрим множество ограничений Сь Сг, ..., которые по-
последовательно вводятся в математическую модель. Пусть X(S) —
МП-оценка параметра X, когда в модель введены Сь ..., Cs.
X — без индекса означает МП-оценку без ограничений. Тогда
для любого s
L(y\i) ' L(y\k(i)) ' ¦•• L(y\kis_l))
/, -...•/,, C7-8)
где /р — статистика критерия ОП для проверки множества
ограничений Сь Сг, .... Ср_ь Ср против множества Сь С2, ...
..., Cp_i (см. 24.1, т. 2). Каждая статистика 1Р принимает зна-
значения между нулем и единицей и в условиях регулярности ве-
величина —21og/р имеет асимптотически нецентральное х2~Рас"
пределение с числом ст. св., равным числу независимых ограни-
ограничений, которое Ср налагает на параметры (см. 27.7). Если Ср
справедливо, то получается центральное х2"РаспРеДеление
и, таким образом, —21og lp можно использовать для проверки
гипотезы о значениях добавляемого Ср к уже наложенным
ограничениям Сь ..., Ср_ь Следует заметить, что 1Р, вообще
говоря, не являются независимыми, хотя в частных случаях
для некоторых гипотез они могут оказаться независимыми (см.
упражнения 24.6 и 24.13 и более общий результат в упражне-
упражнении 37.2). В упражнении 37.1 читателю предлагается применить
разложение C7.8) к рассматриваемой задаче. Результат сразу
•следует из некоторых фактов, приведенных в главе 24.
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
Цели преобразования
133
37.8 Достоинство метода МП, обсуждавшегося в 37.3—7 со-
состоит в том, что не требуется априорных знаний о соотношении
между у и регрессорами, или о характере распределения оши-
ошибок непреобразованной величины у. Исходным являлось пред-
предположение о том, что в рассматриваемом семействе существует
преобразование, для которого выполняются все условия линей-
линейной модели, включая гомоскедастичность и нормальность рас-
распределения ошибок. Конечно, на практике этого может и не
быть, однако даже тогда метод МП нахождения преобразова-
преобразования может дать улучшение по сравнению с непосредственным
использованием исходных у. Поразителен факт (иллюстрируе-
(иллюстрируемый численными примерами, приведенными Боксом и Коксом
A964)), что это преобразование МП очень близко к преобразо-
преобразованию, которое вытекает из нестатистического рассмотрения
природы изучаемых величин. Естественно, что такое рассмот-
рассмотрение там, где оно только возможно, должно дополнять и слу-
служить основой для самого статистического анализа.
Крускал A965) приводит основанный на вычислениях ме-
метод нахождения монотонного преобразования наблюдений, ми-
минимизирующего остаточную СК (взятую в нужном масштабе)
от предполагаемой линейной модели. При этом не используется
предположение нормальности и не требуется существования
параметрического семейства, аналогичного C7.5). Он исполь-
использует свой метод, чтобы заново проанализировать примеры
Бокса и Д. Кокса и некоторые другие.
37.9 Другие подходы к нахождению преобразования исход-
исходных данных, позволяющего удовлетворить те или иные требо-
требования линейной модели, преследуют более узкие цели. Либо
ищется преобразование, нормализующее ошибки, либо стаби-
стабилизирующее дисперсии, либо преобразование, устраняющее
взаимодействия, такое, чтобы эффекты стали аддитивными. При
этом хотелось бы, чтобы преобразование, преследующее одну
из этих целей, по крайней мере помогало в достижении других.
Замечательно, что на самом деле это часто оказывается так,
и мы кратко рассмотрим несколько важных примеров. Однако
было бы сверхоптимистично ожидать, что так будет всегда.
Легко привести примеры, когда цели аддитивности и гомоске-
гомоскедастичности несовместны. Так, если в двухфакторной перекре-
перекрестной классификации ожидаемое среднее значение у аддитивно
по эффектам строк и столбцов, а ошибки не имеют нормального
распределения с дисперсией, являющейся функцией М (у), то
любое преобразование, устраняющее неоднородность дисперсий
(гетероскедастичность)., будет нарушать строгую аддитивность.
134
ГЛАВА 37
Аналогичный эффект может проявиться при попытке устранить
отсутствие нормальности.
Рассмотрим теперь по порядку различные типы таких пре-
преобразований.
Преобразования, стабилизирующие дисперсии
37.10 Пусть статистика t имеет среднее 0 и дисперсию при
фиксированном объеме выборки п
D(t)=Dl(Q). C7.9)
Чтобы устранить эту зависимость дисперсии от параметра
0, мы хотим найти функцию u(t) такую, чтобы ее дисперсия
D (и) была константой, скажем, с. Однако, вообще говоря, это
нельзя сделать точно, и ищется только такое u{t), чтобы
D{u(t)} = c{l+O(R-1)}, C7.10)
где R — известная константа, достаточно большая, чтобы
можно было пренебречь /?-'. В частности, может быть R — п,
где я — объем выборки. Предположим далее, что мы ограничи-
ограничиваемся значениями t, сосредоточенными в окрестности своего
среднего значения 0. Тогда, используя 10.6—7, из A0.14) полу-
получим приближение
" ' " C7.11)
Приравнивая C7.10) и C7.11), получим приближение первого
порядка
и^Щ) JL C7.12)
Поскольку рассматривается окрестность 0, мы не будем в ин-
индексе писать t — 0, а просто вместо t напишем 0. Таким обра-
образом,
du(Q) ~К@)Г1/2. C7.13)
¦ ос
Мы заменили здесь константу с на единицу, поскольку ее зна-
значение определяется по нашему усмотрению, ибо умножение
u(t) на константу не влияет на нашу цель получить соотноше-
соотношение вида C7.10). Проинтегрируем теперь уравнение C7.13),
опуская без потери общности аддитивную постоянную, возни-
возникающую при взятии неопределенного интеграла (это можно
сделать, поскольку опять соотношение C7.10) сохраняется).
В результате получим
*¦ Г» _ N.
C7.14)
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
135
37.11 Хотя C7.14) получено с помощью приближения, можно
проверить его справедливость, если известно теоретическое рас-
распределение статистики t. Нужно подсчитать теоретическую дис-
дисперсию u(t) и проверить стабильность при изменении 0. Может
¦оказаться желательным модифицировать u(t), чтобы улучшить
стабильность. С другой стороны, если имеются только наблю-
наблюдения величины t и нет никакой информации о ее распределении
или о параметре 0 этого распределения, то мы не можем даже
точно вычислить ?>^@). В таких случаях нужно подсчитать
среднее значение и дисперсию величины / для отдельных групп
наблюдений и построить график зависимости дисперсии от сред-
среднего для оценки соотношения C7.9), на котором основано со-
соотношение C7.14). В этом случае аппроксимация более риско-
вана, но тем не менее часто дает удовлетворительный для прак-
практики результат.
Пример 37.1
Если t имеет распределение Пуассона, то из E.20) следует,
что среднее и дисперсия равны, так что здесь C7.9) превра-
превращается в
D\ (9) = D @ = 0, I ' Г
и C7.14) дает 1'В
t
C7.15)
1ЛУ
— простое преобразование: из-
извлечение квадратного корня. Qg
Для первого приближения, в
соответствии с C7.11),
D('1/2)= 4*
C7.16) , z з
что подтверждает, что в этом &
приближении дисперсия стаби- Рис. 37.1.
лизируется.
Бартлетт A936) указывает, что в этом случае стабилизацию
дисперсии можно улучшить, осуществив сдвиг t, перед извле-
извлечением квадратного корня. Если определить
ue(t) = (t + cI12,
136
ГЛАВА 37
то Бартлетт предлагает использовать с = 1/2. В упражнении
37.15 показано, что лучшим является выбор с = 3/8. В нижесле-
нижеследующей таблице даны значения дисперсии ue(t) в долях от пре-
предельного значения дисперсии при 0->оо для с = О, 1/2 и 3/8.
Подсчет проведен Бартлеттом A938) и Энскомбом A948).
в
о
0,5
1,0
2,0
3,0
4,0
Значения
в долях
дисперсии ис (i)
от предельного
значения дисперсии
0
1,240
1,608
1,560
1,360
1,224
с = 1/2
0
0,408
0,640
0,856
0,928
0,960
с = 3/8
0
0,717
0,924
0,983
0,999
6
6,0
9,0
10,0
12,0
15,0
20,0
Значения
в долях
дисперсии ис (t)
от предельного
значения дисперсия
е = 0
1,104
1,052
1,036
1,024
с= 1/2
0,980
0,988
0,992
0,992
с = 3/8
1,002
1,001
1,000
При малых 9 очевидна неадекватность простейшего преоб-
преобразования с с = 0. При 0 <С 3 то же самое сравнение проведено-
графически на рис. 37.1, который взят из статьи М. Фримэна
и Тьюки A950). Предложенное этими авторами стабилизирую-
стабилизирующее дисперсию преобразование и' = f1* + (?+ lI/j при 0^2
более стабильно, чем ыз/8 (t), а при 0 > 2 оба служат хорошим
приближением. Для и' при 0^1 отклонение от постоянного
значения не превышает 6% и и' кажется наилучшим выбором
(см. упражнение 37.17). Мостеллер и Ютц A961) приводят
таблицу и' для х = 1 AM0.
Пример 37.2
Если t — выборочная дисперсия, а о2— дисперсия генераль-
генеральной совокупности, то, как неоднократно говорилось выше, для
выборки из нормального распределения величина z = ntjBa2)
имеет гамма-распределение с параметром (п—1)/2, т. е. рас-
распределение z задается соотношением
dF (г) =
4-<»-¦>}
dz
(см., например, A1.25) в других обозначениях). Таким образом,
как среднее, так и дисперсия величины z равны (п—1)/2,
а значит, для самого t имеем
\ @) = D @ =
. i- (« - i) = 2a4 (ft - l)/ft2,
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
так что в этом случае
137
Из C7.14) имеем
=io.g.f,
C7.17)
т. е. мы получим просто логарифмическое преобразование. По-
Поскольку
то семиинварианты величин log t я log 2 совпадают, за ис-
исключением постоянной разницы в среднем значении. Легко ви-
видеть, что эти семиинварианты вообще не зависят от о2. Обозна-
Обозначая р = (п—1)/2, получим, что характеристическая функция
logz равна
= Г (р + ш7Г (р).
Если р — целое (т. е. п — нечетное), то отсюда получаем
(р — 1 + iw) (р — 2 + iw) ... A + iw) Г A + йи)
О»-1H»-2)... 1ГA)
р-1
ф(ау) =
так что производящая функция семиинвариантов равна
р-1
Ч>С») = log Г A+»»)+¦? log (l+-?-). C7.18)
s=l
Далее ГA—iw) является х. ф. распределения крайних зна-
значений A4.66) с семиинвариантами
щ — у (постоянная Эйлера, 0,577 ...),
оо
? г>2,
C7.19)
s=l
(см. упражнение 14.21). Отсюда и из C7.18) для семиинва-
семиинвариантов величины logz получаем
(-1)^ (г-1I s-r.
C7.20)
138
ГЛАВА 37
Подстановка C7.19) в C7.20) дает
C7.21)
Ar==(-l)r(r-l)!
Таким образом, асимптотически, когда р растет, принимая
только целые значения,
- - 2 Ё.-/(Ё
C7.22)
- ^чг «Ё
•¦*)' ~ Mi)'-2""'
что иллюстрирует скорость сходимости распределения величины
loer t к нормальному.
Бартлетт и Кендалл A946) табулировали среднее, диспер-
дисперсию у, и V2 вплоть до значения п = 20 (р = 9,5), при котором
асимптотическое приближение C7.22) становится достаточно
Т°Ч3712 Если понадобится, процедуру стабилизации дисперсии
из 37.10 можно повторить. Пусть установлено, что для диспер-
дисперсии u(t) имеет место
о{«(т=ф + ^гЧ + о <«-')' C7-23)
т е выполняется C7.10). Будем искать приближение второго
порядка, т. е. переменную v (и) такую, что
D {у («.)} = d{l+ О (п-2)}. C7.24)
Так же как в C7.11), имеем в соответствии с C7.23) прибли-
приближенное равенство
Используя C7.12), получим
Далее, так же как в C7.14),
C725)
C7.26)
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
139
Мы уже сталкивались с примером такой процедуры при рас-
рассмотрении в A6.81) т. 1, улучшения Хотеллинга z-преобразо-
вания Фишера, стабилизирующего дисперсию (см. упражнения
16.18—19 и ниже пример 37.3).
Если есть необходимость, то процедуру стабилизации дис-
дисперсии можно итерировать и дальше.
В упражнениях 37.4—6 приведены другие примеры применения метода
37.10 нахождения преобразования, стабилизирующего дисперсию (в первом
приближении) для биномиального и отрицательного биномиального распре-
распределений.
Нормализующие преобразования
37.13 В 6.25—6 мы уже рассматривали метод Корниша —
Фишера получения нормализующих полиномиальных преобра-
преобразований, а в 8.27—35 обсуждалась система функциональных
преобразований Джонсона.
Кертисс A943) приводит подробное математическое рас-
рассмотрение предельной нормальности преобразований, в частно-
частности тех, которые обсуждаются в наших примерах и упражне-
упражнениях. Мы приведем теперь несколько примеров того, что пре-
преобразования, предназначенные для достижения одной цели
(здесь стабилизация дисперсии), как упоминалось в 37.9, часто
помогают в достижении другой (здесь нормализация). Кроме
того, в упражнении 37.16 показывается, что в случае, изложен-
изложенном в примере 37.1, имеет место тот же эффект. Однако по-
последний из приводимых примеров показывает, что такая гар-
гармония целей получается только в том случае, если не требовать
оптимальности в решении каждой задачи. Преобразования,
стабилизирующие дисперсию, обычно приводят заодно и к нор-
нормализации, но при этом не получается оптимальное прибли-
приближение.
Пример 37.3
В 16.33 мы рассматривали стабилизирующее дисперсию пре-
преобразование Фишера коэффициента корреляции г. Как следует
из A6.74), для дисперсии величины г справедливо
D\ (р) =
о (п-з
C7.27)
где р — корреляционный параметр совокупности. Применяя
C7.14) к главному члену в C7.27), получим z(r) =
= — log {(I +r)/(l — r)}, и, как показано в A6.77), для диспер-
дисперсии г имеем
C7-28)
140
ГЛАВА 37
т. е. зависимость от р очень слабая, а значит, стабилизация
дисперсии хорошая. В A6.78) показано, что коэффициент асим-
асимметрии Yi величины z имеет порядок л~а/а против п-'1* для г,
а у2 Для обеих величин имеет порядок пг1.
Отсюда понятно, что стабилизация дисперсии симметризует
и заодно нормализует.
Применяя далее C7.26), получим
z* = z — Cz + r)/An C7.29)
с дальнейшей стабилизацией дисперсии вплоть до (я—1)~'Ч-
+ О(п-*).
Пример 37.4
Вернемся к примеру 37.2, где, согласно C7.22), для вели-
величины, получающейся в результате стабилизирующего диспер-
дисперсию логарифмического преобразования, имели место асимпто-
асимптотические равенства
Yl=-p-»/», Y2 = 2p-'. C7.30)
Из A6.6) следует, что для непреобразованной величины при
р = v/2 выполнялось
Y, =
i/2, Y2 = 6p-1, C7.31)
так что при стабилизации дисперсии заодно в два раза умень-
уменьшается асимметрия (с изменением знака) и в три раза эксцесс.
Пример 37.5
Предположим теперь, что в примере 37.2 известно о2, а р
является параметром. Тогда М [z) = D (г) = р, и мы снова в той
же ситуации, что и для распределения Пуассона из примера
37.1: соотношение C7.14) приводит к извлечению квадратного
корня. Как показывают приведенные ниже значения, получен-
полученные Бартлеттом A936),
р 0 0,5 1,0 2,0 3,0 4,0 9,0 15,0
Dip1!2) 0 0,182 0,215 0,213 0,239 0,242 0,247 0,250
стабилизация дисперсии хорошая. Это эквивалентно рассмот-
рассмотренному в 16.5—6 приближению Фишера для /^распределения.
В соответствии с A6.8) для приближения Фишера имеем
1—1 3 о—2 CV7 Ч9\
Y — — р— , Y2 — t „ р у \О 1 .о&)
т. е. определенное улучшение по сравнению с C7.31) для не-
преобразованной величины (а также лучше, чем C7.30) для
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
141
логарифмического преобразования, которое не может быть об-
обосновано в данном случае). Как и ранее, стабилизация диспер-
дисперсии приводит к лучшему приближению нормальным распреде-
распределением. Заметим, однако, что при нормализации Уилсона —
Хилферти из 16.7 получаем, согласно A6.13), даже лучшее зна-
значение yi, порядка р~3'2, но не такое хорошее у2, порядка р~х. Как
сказано в 16.8, преобразование Уилсона — Хилферти дает луч-
лучшее приближение к нормальному распределению, хотя, как сле-
следует из A6.12), оно вообще не стабилизирует дисперсию. Таким
образом, лучшее из рассмотренных нормализующих преобразо-
преобразований не стабилизирует дисперсию, а извлечение квадратного
корня является наилучшим компромиссом.
37.14 Читатель видит, что наше обсуждение нормализации
формулировалось, по существу, в терминах эксцесса и асим-
асимметрии. Математически очень большое допущение предпола-
предполагать, что малым значениям yi и \2 соответствует лучшее нор-
нормальное приближение. Тем не менее нет ни одного убедитель-
убедительного примера, в котором это предположение привело бы нас
к неверному выбору лучшего из имеющихся нормальных при-
приближений.
Блом A954) разыскивает функциональное преобразование u(t) такое,
что последующее применение полиномиального преобразования Корниша —
Фишера из 6.25—6 имеет минимальные эксцесс и асимметрию, а значит, яв-
является, по-видимому, «ближайшим» к симметричному и нормальному. Для
u(t) получается дифференциальное уравнение, которому удовлетворяют все
преобразования, с которыми мы столкнулись при изучении пуассоновского,
гамма, биномиального и отрицательного биномиального распределений.
Преобразования, ведущие к аддитивности
37.15 На практике может быть важно найти шкалу, в ко-
которой эффекты аддитивны ?т. е. взаимодействия отсутствуют)
или близки к этому. Однако по сравнению с нормализацией
и стабилизацией дисперсии в этом направлении сделано отно»
сительно мало. Некоторые из предложенных общих процедур
основаны на минимизации внутри класса преобразований зна-
значения статистики критерия, используемого для проверки гипо-
гипотезы о том, что взаимодействия равны нулю. Например, в двух-
факторной перекрестной классификации можно минимизировать
5з (или S3/SR) из C5.65) для сбалансированного случая, или
C5.69), когда в каждой клетке имеется по одному наблюдению.
Следует знать, что статистика критерия используется здесь для
проведения сложной процедуры оценки, однако до сих пор
имеется только интуитивное обоснование этого метода. Иногда
на такие аддитивные преобразования наталкивает анализ остат-
остатков, который мы рассмотрим в 37.18—20.
142
ГЛАВА 37
37.16 В этой главе мы не будем рассматривать другие, бо-
более специальные преобразования. Мы уже рассматривали (см.
31.39 т. 2) преобразования наблюдений посредством их ранжи-
ранжирования к стандартным нормальным порядковым статистикам
или нормальным меткам (normal scores). В 31.71 говорилось
об их использовании для получения свободного от распределе-
распределений критерия для однофакторной классификации в ситуации
ДА. Пробит и логит преобразования квантилей, особенно к нор-
нормальному и логистическому распределениям уклонений, возни-
возникают в основном в биологических контекстах. Они обсуждаются
в работе Финни A952).
Устранение вызванного преобразованием смещения
37.17 Каковы бы ни были цели преобразования, после того,
как проведен анализ, часто возникает задача представления.
На практике оценки средних или разностей, несмещенные
в преобразованной шкале, не останутся таковыми, если сделать
обратное преобразование, чтобы результат можно было пред-
представить в «естественных» терминах (см., например, упражне-
упражнение 37.15). Чтобы устранить смещение, вызванное преобразо-
преобразованием, нужно провести некоторого рода корректировку. Об-
Общие методы уменьшения смещения приводились в 17.10. Теперь
мы рассмотрим один точный метод устранения смещения.
Пусть и нормально распределена со средним ц. и дисперсией
а2, и пусть функции (ц,, S2/v) от результатов наблюдения даю г
в совокупности достаточную статистику для этих параметров.
При этом ц имеет нормальное распределение со средним \i
и дисперсией Х2а2, a S2/a2 не зависит от ц и имеет х2-распреде-
ление с v ст. св. На практике обычно К2 = n~l, a v = п — 1, где
п — объем выборки. Рассмотрим теперь функцию t(u), которая
является в нашей терминологии обратным преобразованием.
Нейман и Скотт A960) (см. также последующую статью Шмет-
терера (I960)) показали, что если t(u) удовлетворяет диффе-
дифференциальному уравнению второго порядка
t"(u)=A + Bt(u),
где А и В — постоянные, то единственной несмещенной МД
оценкой среднего для непреобразованной величины 9 = М (t)
является
(А) + Л A - X2) S2/Bv), в = 0,
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
143
при этом ряд сходится очень быстро и для получения достаточ-
достаточной точности требуется обычно лишь небольшое число членов.
Отсюда следует, что смещение грубой оценки /(?), являю-
являющейся просто обратным преобразованием ц, равно
Г — ЛA — Я2)<т2/2, В=0,
М {/ (А) - 6} = |
т. е. абсолютная величина этого смещения является всегда мо-
монотонно убывающей функцией X2. Поскольку обычно X2 = 1/я,
то смещение возрастает с ростом выборки.
Ниже приведена таблица для самых важных частных
случаев.
Преобразо-
Преобразование
ц@
U + c)i/2
log (/ + с)
arcsin (t1/2)
arsh О)
Обратное
преобразо-
преобразование
t w
А2-с
exp(A) — с
sin2 (A)
sh2 (A)
A
2
с
2
2
в
0
1
—4
4
Смещение
M {МАО-в
-U-
(в + с)[ехр
(e-f)x
Х[ехр{2A-
(в+|)х
- Я2) а2
-A-Я-
Х<т2/2} -
- Я2) а2) -
Х[ехр{—2A—Я2)а2}-
)Х
- 1]
¦ 1]
-1]
Знак смещения
при А. < I
<0
— sign F + с)
sign(e 1)
- sign(e + у)
Видно, что при извлечении квадратного корня при Я->0 (л->
->-оо) смещение стремится к —а2. Этот результат получен не-
непосредственно в упражнении 37.15, где, как и в C7.16), о2 =
=_ 'Д. Читатель может вспомнить, что результат о смещении
для логарифмического преобразования содержался в упраж-
упражнении 18.7 т. 2. Два оставшихся преобразования из таблицы
рассматриваются в упражнениях 37.4—5.
Анализ остатков
37.18 Энскомб A961) и Энскомб и Тьюки A963) разрабо-
разработали методы, полезные при изучении отклонений от постули-
постулируемой линейной модели, а также подсказывающие степенные
преобразования, уменьшающие эти отклонения.
Ограничимся моделью с генеральным средним (скажем, 9о),
которую можно записать в виде
9 e e, C7.33)
144
ГЛАВА 37
где 1 — вектор, все координаты которого равны единице и имею-
имеющий, как иену порядок (NX1), W—является (iVXp) -мат-
-матрицей, а 9—вектор порядка (рХ 1)- Генеральное среднее 9о
вводится для того (см. упражнение 19.1), чтобы заменить
в НК-оценках параметров 0 элементы yt вектора у на уклоне-
уклонения Zi = Уг — у, которые образуют вектор
z=y-ly'l/n, C7.34)
а также чтобы заменить элементы до*; матрицы W на откло-
отклонения от средних по столбцам
хц =¦ wu — wh
которые образуют матрицу X. Таким образом,
2'1=Х/1=0. C7.35)
А значит, без потери общности с самого начала можно предпо-
предполагать, что модель имеет вид
у = 10о + Хв + е, C7.36)
где выполняется C7.35). Тогда НК-оценкой 9о является у,
а НК-оценкой 9 в соответствии с A9.12)
9 = (Х'ХГ1 X'z.
Положим М = Х(Х'Х)~1Х' и обозначим вектор подогнанной
модели через
а вектор остатков от подогнанной модели — через
г=г — f = (I — М)г.
В соответствии с C7.35)
г'1=0,
и так как М идемпотентна, то также
Mr = М{1 — M)z=0.
C7.37)
C7.38)
37.19 Предположим теперь, что после подгонки модели мы
построили диаграмму разброса (см. пример 26.7), откладывая
по оси абсцисс подогнанные значения, а по оси ординат соответ-
соответствующие остатки. В соответствии с C7.37) среднее значение
ординат равно нулю. Далее, поскольку М симметрична, то по
C7.38) имеем fr = (Mz) 'r = z'Mr = 0, так что подогнанные
значения не коррелированы с остатками, т. е. линия регрессии
на диаграмме разброса находится в правом верхнем коорди-
координатном углу (см. 26.9).
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
145
Помимо этих двух общих свойств диаграммы разброса,
можно использовать и другие ее свойства для проверки того,
насколько хорошо выполняются предположения подогнанной
модели. На практике предположение гомоскедастичности можно
грубо проверять в терминах разброса остатков для различных
подмножеств подогнанных значений и тем же способом про-
проверять предположения нормальности, особенно при рассмотре-
рассмотрении асимметрии. Во всех случаях, если будет найдено, что
предположения не выполняются, то можно сделать соответ-
соответствующее преобразование методами, рассмотренными выше
в этой главе.
Однако, по-видимому, самым интересным использованием
диаграммы разброса является проверка предположения адди-
аддитивности в многофакторных экспериментах. Неаддитивность
может проявиться в очевидной нелинейности (скажем, квадра-
тичности) регрессии остатков от подогнанных значений.
37.20 Приведенные выше грубые визуальные методы можно
переформулировать в более точных терминах. Энскомб A961)
предложил использовать статистики
t = r'f
lpq rplq'
где гр — вектор р-х степеней остатков (например, определен-
определенный выше г совпадает с л), a fq — вектор q-x степеней подо-
подогнанных значений (/ = /i). Статистики ?зо и tw являются оче-
очевидными аналогами мер асимметрии и эксцесса. Статистика t2\
измеряет гетероскедастичность, поскольку, по существу, она
дает значение ковариации квадрата остатков с подогнанными
значениями. В соответствии с концом 37.19 статистика t\i яв-
является мерой неаддитивности. На самом деле она близко свя-
связана со статистикой 5/, используемой в C5.69) для проверки
аддитивности в двухфакторной перекрестной классификации
с одним наблюдением в клетке. Числитель 5/ равен просто Иг-
37.21 Энскомб A961) развил приближенную выборочную
теорию для tpq (нормированных подходящим образом). Эта
теория ведет к приближениям степенными преобразованиями,
необходимыми для устранения соответствующего отклонения
от предположений модели. В соответствии с тем, что говорилось
в 37.9, нет гарантии, что все эти статистики приведут к одному
и тому же степенному преобразованию, но есть надежда, что
они будут мало отличаться. В этой связи интересно, что Бокс
и Д. Кокс A964) (см. также комментарии Энскомба к их статье)
выразили решение метода МП из C7.7) для степенного пре-
преобразования приближенно в терминах tpq с р + Я — 3 и 4.
По существу МП-оценка приводит к некоему методу усредне-
усреднения различных степенных преобразований, получающихся из
146
ГЛАВА 37
измерений гетероскедастичности, отклонения от нормальности и
неаддитивности. Однако отсюда вовсе не следует, что подход по
методу МП автоматически приводит к. нужному преобразова-
преобразованию. Наоборот, он может затруднить выбор компромиссного*
варианта.
Устойчивость процедур ДА
37.22 Рассмотрим сначала оценки параметров в задачах ДА.
При изучении Модели I ДА теория НК-оценок и их оптималь-
оптимальных свойств (установленных в 19.4—9 т. 2) вообще не опи-
опирается на предположение нормальности ошибок. Таким обра-
образом, при отсутствии нормальности все оценки, а также выраже-
выражения для их дисперсий остаются верными. В этом отношении
НК-оценки свободны от распределения. Предположение нор-
нормальности в 24.27—37 потребовалось только для целей про-
проверки гипотез и для интервального оценивания.
Далее, если даже основная модель A9.8) метода НК не-
неверна в смысле предположений о некоррелированности и гомо-
скедастичности дисперсий, это не приводит к смещению НК-
оценок A9.12), поскольку A9.13—14) выполняется, если только
ошибки имеют нулевые средние. Однако свойства МД теряются
в этом случае, поскольку тогда они имеют место для истинных
НК-оценок A,9.59). Таким образом, гетероскедастичность и кор-
корреляция ошибок только уменьшают эффективность, но не при-
приводят к смещению. Легко видеть, что для модели II ДА и дру-
других моделей, рассмотренных в главе 36, математические
ожидания средних квадратов не меняются при нарушении
предположения нормальности, так что оценки компонент дис-
дисперсии остаются несмещенными и в том случае, когда различ-
различные случайные величины не имеют нормального распределения.
Однако дисперсии этих оценок (например, в простейшем случае,
разобранном в упражнении 36.10) существенно меняются при
отсутствии нормальности. Это происходит потому, что соответ-
соответствующие выражения больше не упрощаются благодаря спе-
специальным соотношениям между семиинвариантами нормаль-
нормального распределения.
37.23 При рассмотрении критериев (и соответствующих ин-
интервальных оценок) мы уже отметили в 31.2—9 т. 2 замеча-
замечательное общее свойство влияния отсутствия нормальности на
процедуры, полученные в предположении нормальности. Кри-
Критерии о средних значениях являются устойчивыми, а критерии
о дисперсиях — нет. Исходя из этого общего свойства, можно
ожидать, что критерии и интервальные оценки в модели I, ко-
которые, по существу, имеют дело с математическими ожида-
ожиданиями, будут относительно устойчивы при нарушении нормаль-
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
147
иости. В то же время для модели II и других моделей ДА,
в которых рассматриваются дисперсии, устойчивости не будет.
В 37.24—35 мы детально рассмотрим устойчивость к отсут-
отсутствию нормальности, а здесь только отметим, что соответствую-
соответствующие утверждения существенно подтверждаются в некоторых
детальных исследованиях, очень подробный обзор которых при-
приведен в последней главе книги Шеффе A959). Следует обра-
обратить внимание также на более ранний обзор Кокрэна A947).
В этих исследованиях (например, Хорснелл A953), Бокс
A954)) показано также, что влияние гетероскедастичности
ошибок, вообще говоря, может быть велико, однако оно несу-
несущественно, если во всех клетках классификации частоты равны.
(Мы сталкивались уже с этим явлением в простейшем виде
в 21.24 (см. также 31.4).) Практический вывод состоит в том,
что при планировании наблюдений на основании одного только
свойства устойчивости нужно там, где это возможно, исполь-
использовать равные частоты. (Удачное совпадение, что после такого
вывода расчеты становятся существенно проще.) Далее эта
устойчивость по отношению к гетероскедастичности для сба-
сбалансированного случая позволяет нам и в случае неравных час-
частот в клетках получить простые приближения для ДА для
• средних значений в клетках (см. упражнения 37.7—8).
Влияние стохастической зависимости ошибок может быть
большим (Бокс A954)). Это перекликается с общим утвержде-
утверждением из 36.39—43 о том, что при анализе следует принимать
во внимание методы рандомизации размещения экспериментов
(которые, очевидно, могут внести зависимость в ошибки). Мы
вернемся к этим методам в главе 38.
Устойчивость к отсутствию нормальности в линейной модели
37.24 Интересный подход Бокса и Ватсона A962), разви-
развивающий идеи более ранней работы Бокса и Андерсена A955),
проливает свет на причины разной степени устойчивости к от-
отсутствию нормальности.
Вернемся к линейной модели с генеральным средним, опре-
определенной в 37.18. Здесь СК, соответствующая подогнанной мо-
модели, равна
S f>f
& остаточная СК —
SR =rrr=z'(I — M)z.
Если ошибки имеют нормальное распределение, то критерий ОП
для проверки гипотезы 0 = 0 основывается на статистике
F = (So/p)J{SRJ(N-p-l)},
148
ГЛАВА 37
имеющей распределение дисперсионного отношения с числом
ст. св. vi = p, v2 = N — р — 1. В эквивалентной форме критерий
можно строить, исходя из
г'Мг C7.39)
W —¦
г'г
поскольку
-1
C7.40)
является монотонно возрастающей функцией F. В нормальном
случае, когда 6 = 0, величина 1/F имеет распределение дис-
дисперсионного отношения с N — р— 1, р ст. св., a W имеет р-рас-
пределение с параметрами {(N— р—1)/2, р/2}, которое полу-
получается из 1/F преобразованием, описанным в 16.19.
Рассмотрим теперь распределение величины W в общем (не
обязательно нормальном) случае. Знаменатель W инвариантен
относительно перестановок элементов вектора z. Рассмотрим
поэтому сначала перестановочное распределение величины W
(см. 31.16). Если совместное распределение элементов вектора
г симметрично по N своим аргументам, что выполняется, в ча-
частности, для независимых и одинаково распределенных оши-
ошибок, то любая перестановка элементов имеет вероятность
)
После того как мы получим среднее и дисперсию величины
W для этого перестановочного распределения (обозначим их
MP(W) и DP(W)), мы сумеем получить безусловные среднее
M(W) и дисперсию D(W), зная исходное распределение гене-
генеральной совокупности для г.
37.25 Поскольку г'Мг— скаляр, то, используя, что след про-
произведения не зависит от порядка сомножителей, получим
г'Мг = tr (г'Мг) = tr (Mzz').
Отсюда и из C7.39) имеем
г'гМР (W) = МР {tr (Mzz')} = tr {MMP (zzf)}.
Далее
Мя (zz') = 1yW~у г'* (N1 - 11'), C7.41)
поскольку
Ыр (zj) = z'z/N, Мр (г^) = - z'z/{N (N - 1)}
дЛЯ \=?=l. Используя C7.41), получаем
N
iT (M) — p/(N - I),
C7.42)
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
149-
поскольку в соответствии с C7.35) АПГ = 0, а из 19.9
tr(M) = p.
Из C7.42) следует, что MP(W) не зависит от X и от z. Та-
Таким образом, при любом распределении ошибок, скажем /,.
безусловное среднее величины W также равно
М (W) = М {МР (W)} = pl(N - 1).
C7.43)
В частности, это справедливо в нормальном случае, а значит,
математическое ожидание W вполне устойчиво к отклонениям
от нормальности.
37.26. Для получения DP(W) найдем сначала MP(W2). Обо-
Обозначая через Mrs элементы матрицы М, получим
где сумма, как и далее, берется по всем возможным не равным
значениям индексов. Возводя C7.44) в квадрат и беря матема-
математическое ожидание по всем перестановкам элементов z, по-
получим
Мр {(z'Mzf) = Мр (г*) S M*rr + Mp (z*zs) 4 ? MrrMfs +
+ мя (z?4) B ? Щ. + ? *irrMss) +
+ Mp(zrz%) D I MrsMst + 2 Z MrrMsi) +
+ MP (ZrZjZtzJ Z MrsMtu. C7.45)
Как и в A2.8), обозначим sr сумму r-х степеней z (так чта
Si = 0 по C7.35), a z'z = s2). Воспользовавшись A2.9) т. 1„
применим теперь для подсчета математических ожиданий
в C7.45) соотношения между расширенными симметрическими
функциями и суммами степеней. Согласно таблице 10 допол-
дополнения (вес 4), получим *)
C7.46)
*) С помощью ЛД*> автор обозначает число размещений из N элементов-
по ft, т. е. ЛД*> = N(N— I) ... {N — ft + 1). (Прим. ред).
150
ГЛАВА 37
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
151'
Более того, все суммы в C7.45), в которые входят Mrs, можно
выразить в терминах m = Л М2ГГ, используя идемпотентность
М, значение р ее следа и тот факт, что, согласно C7.35),
М\ = 0. В результате получим
MrrMrs = —m,
Mrs = p — т,
MrrMss ^tf — m,
Z MrrMst = 2m - p2,
2 MrsMtu == p2 + 2p — 6m.
[Подставляя C7.46—7) в C7.45) и обозначая
ki=sSj(N— 1), fe4==|iV(yv + l)s4 —
C7.47)
(что совпадает, согласно A2.28), с ^-статистиками игреков),
лолучим, разделив на (z'zY — s\, вычитая {MP(W)}2 и упрощая,
2P(N-p-\)
w_ P2 2p(N-p-\)
AT (AT + 1) J
C7.48)
37.27 В отличие от C7.42), выражение C7.48) зависит от X
через т и от г через отношение kjkl. Поскольку мы нашли,
что Mp(W)=M(W), то
D (W) = М (W2) —
в то время как
= MP(W2) -
так что, если /—распределение ошибок, то
D (W) = М {Dp
C7.49)
"Таким образом, безусловная дисперсия величины W зависит,
по существу, от M{ki/kl). В нормальном случае
М (kjkl) = М (?4)/М (А!) = О,
поскольку &2 не зависит от kjkl (ka является полной достаточ-
лой статистикой, a kjkl свободно от распределения для ска-
.лярного параметра, а значит, применимо упражнение 23.7). Та-
Таким образом, первый член в правой части C7.48) является без-
безусловной дисперсией в нормальной теории, и результат можно-
переписать в виде
-4-
2p(N
+ 1) ( р2 2р A
— р — 1) lm N N
(N
C7.50).
где Су = «4/«2-
37.28 В упражнении 37.10 читателю предлагается показать,,
что т можно выразить в терминах отношений ^-статистик
(W^iOi и С&гг/(^20^02)}ц для р регрессоров х. Используя этот ре-
результат, соотношения C7.50) можно переписать в виде
N — 3 „ ^
2N(N-\)
где
— р(АГ —р —1)(АГ —3) lm Л^
(Af — 2)
р(ЛГ —р—
и
C7.52).
C7.53)
Из C7.52) видно, что Сх является многомерным обобщением
отношения k\jk\, характеризующего эксцесс*). При р = 1 Сх
сводится к этому отношению. По тем же соображениям, что
и для kijkt, в 37.27, в нормальном случае математическое ожи-
ожидание Сх равно нулю.
37.29 Выражения для моментов перестановочного распреде-
распределения C7.42) и C7.51) позволяют нам подогнать непрерывное
распределение к дискретному перестановочному распределению
величины W в духе 31.47, выбрав бета-распределение с теми
же средним и дисперсией. Как W, так и подогнанное распреде-
распределение сосредоточены на интервале @, 1). Кроме того, мы знаем
(см. 37.24), что бета-распределение является безусловным рас-
распределением W в нормальном случае. Это приводит к обосно-
обоснованной надежде, что мы получим хорошую аппроксимацию и для
общего перестановочного распределения.
*) О многомерных обобщениях характеристик асимметрии и эксцесса.
см. также статью Ю. Н. Тюрина «Проверка гипотезы о нормальности много-
многомерной выборки большого объема» (журнал «Теория вероятностей и ее при-
применения», т. XVIII, 3, 1973). (Прим. ред.)
152
ГЛАВА 37
Среднее и дисперсия бета-распределения с параметрами
v2/2, vi/2 равны (согласно примеру 2.8)
V2
2v,v2
(v,
а значит,
C7.54)
Теперь (i{ и ц2 нужно приравнять соответственно MP(W) и
VP(W).
Согласно C7.54) v2/v, является функцией только ii[, a MP(W)
постоянно и равно pj{N — 1). Отсюда следует, что для кор-
корректировки v2 (по сравнению с нормальным случаем) нужен
тот же множитель, что и для v,. Подставляя в C7.54) вместо
jij и [i2 значения MP{W) и Dp{W) соответственно, получим
где с — корректирующий множитель из C7.51), т. е.
ЛГ-3 „ п
с =
2N(N-\) ~v~x-
Согласно сказанному выше для V2 также имеем
C7.66)
C7.57)
Если либо Су, либо Сх равны нулю, то с = 0, и в нашем при-
приближении справедлива нормальная теория для Dp{W) при
любом распределении ошибок.
37.30 Соотношения C7.49) и C7.51) показывают, что без-
безусловная дисперсия D(W) совпадает с Dp^), только СУСХ
надо заменить на Mf (CyCx) ¦ С этим изменением приближение
37.29 справедливо для безусловного распределения W так же,
как для перестановочного распределения.
37.31 Поскольку параметры приближающего распределения,
¦определяемые C7.55—7), зависят, по существу, от корректи-
корректирующего множителя с, интересно определить границы его из-
изменения. В упражнении 37.11 предлагается показать, что
p2/yV<m<p(iV- l)JN, C7.58)
л значит, из C7.52)
г—I. C7.59)
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
153
Отсюда видно, что если Сх достигает этих границ или близко к
ним, то корректирующий множитель с в C7.56) имеет порядок
N~l вблизи нижней границы и порядок № вблизи верхней. Это
определяет, по крайней мере для больших выборок, можно ли
пренебречь корректирующим множителем, т. е. будет ли распре-
распределение W устойчиво или нет. Поскольку в C7.52) мы видели, что
отклонение Сх от нуля является мерой отклонения от нормаль-
нормальности иксов, то можно сказать, что нормальность регрессоров при-
приводит к устойчивости при отключении от нормальности для W.
Устойчивость к отсутствию нормальности
для однофакторного ДА
37.32 Применим теперь изложенные в 37.22—31 общие ме-
методы, справедливые для линейной модели, к частному случаю
однофакторной классификации. Поскольку в C7.36) присут-
присутствуют р-f-l параметров @о,6), то мы предположим, что
в классификации имеется р + 1 группа. При этом модель с но-
новыми параметрами из конца примера 35.1 теперь не будет осо-
особенной, поскольку отсутствует дополнительный параметр, при-
приводящий к сингулярности.
Пусть в /-й группе имеется rij наблюдений, zl rij=N. Каж-
Каждый из р регрессоров должен просто указывать, принадлежит
ли наблюдение заданной группе или нет. При этом принадлеж-
принадлежность (р+1)-й группе следует из непринадлежности всем
остальным. Обычно для этой цели мы должны были определить
регрессоры как переменные, применяющие значения 0 или 1,
но поскольку должно выполняться C7.36), то вместо этого мы
положим
га,
Y, если у принадлежит /-й группе,
jj- в противном случае
C7.60)
для / = 1, • • •. N и j = 1, ..., р. Тогда для каждого /, как и
требовалось, X хц = 0.
Из примера 35.1 мы знаем, что в этом случае СК, соответ-
соответствующая подогнанной модели, равна
г'Мг=у'Му =
C7.61)
= Е «у (Si -yf^
N
154
ГЛАВА 37
где на время, вместо точки в индексе, указывающей на усредне-
усреднение, мы написали черту. Рассматривая коэффициенты при y\i
в C7.61), мы видим, что для каждого члена в /-и группе
М,
==— гг. А значит,
п. "
N
Р+1
P+l
7 = 1
2р+1
N
и C7.52) принимает вид
р+1
]
-2. C7.62)
Подставляя C7.62) в C7.51), получим Dp(IF) для данного
«лучая. (Соответствующее выражение впервые было получено
Уэлчем A937).) Очевидно, что значение Сх существенно зави-
зависит от того, как N. наблюдений распределены между р + I
группой.
37.33 Если Mj —iV/(p + l), так что во всех группах равное
число наблюдений, то C7.62) принимает вид
N
N- 1
Сх = - 2,
C7.63)
т. е. достигается нижняя граница в C7.59). Тогда C7.56) равно
с = — CyIN,
и множитель при р и (N—р—1) в C7.55) и C7.57) равен
С С
Г, , 2Су
т. е. им можно пренебречь для больших выборок.
Как следует из того факта, что значение Сх = 0 удовлетво-
удовлетворяет неравенствам C7.59), эта поправка, которой можно пре-
пренебречь, может быть сведена к нулю (см. упражнение 37.12),
если должным образом выбрать неравные групповые частоты.
Однако кажется неразумным получать это несущественное уве-
увеличение устойчивости к отсутствию нормальности, помня, что
это приведет к потере устойчивости относительно гетероскеда-
стичности, справедливой в сбалансированном случае(см.37.21).
37.34 В качестве противоположности для изученного в 37.33
случая равных частот, рассмотрим случай п.\ — п^ = ... =
= пр = 1, пр+1 = N — р. Тогда C7.62) сводится к
^С,-«-.-?±1, C7.64)
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
155-
что очень близко к верхней границе в C7.59), если p/N мало..
Тогда C7.56) принимает вид
l
и множитель в C7.55) и C7.57) равен приблизительно 1 + Су/2*.
указывая на крайнюю неустойчивость.
Но самое интересное свойство этого крайне противополож-
противоположного случая проявляется после того, как мы подсчитаем СК
C7.61), которая равна
' ~9J + {N ~ P) ig" + l ~ ^^ C7-65)
Понятно, что когда N растет, то различием между уР+х я
==j /L, Уц -\-(N—р) У p+i \ N можно пренебречь. Таким об-
образом, с точностью до первого порядка по N C7.65) равно
р р
%х(уч—уJ~%{Уи — уJ + р{у. — Ур+хJ> тде y.^^yjp.
F-критерий из 37.24 основывается на отношении этого вы-
выражения к
p+i "/
Е Z
T
ЛГ-р JV-p
= Z (У и р+ i—y?~ Z <
Таким образом,
i-I
N-p
?р + ,J-
C7.66>
За исключением члена, сравнивающего у, и yp+v в числи-
числителе и соответствующего лишнего числа степеней свободы, вы-
выражение C7.66) является ^-статистикой для проверки равен-
равенства дисперсий в двух нормальных генеральных совокупностях
с размерами выборки р и N — р соответственно (см. упражне-
упражнение 23.14). В свете результатов этого параграфа легко понять
крайнюю неустойчивость последнего критерия, о которой в об-
общих чертах говорилось в 37.23 и более детально в 31.6—8, где,,
по существу, тот же самый корректирующий множитель
(l + ?v/2) был получен для общих критериев о дисперсиях.
156
ГЛАВА 37
Устойчивость к отсутствию нормальности в сбалансированной
классификации
37.35 Для сбалансированной однофакторной классификации
в 37.33 соотношения C7.63) и C7.52) показывают, что
т = У М% = p2lN. C7.67)
Если выполняется C7.67), то в C7.59) достигается нижняя гра-
граница, и, так же как в 37.33, получаем, что коррекцией по срав-
сравнению с нормальным случаем можно пренебречь. В частности,
это справедливо, если
C7.68)
для всех г, т. е. если все диагональные элементы матрицы
М = Х{Х'Х)~ХХ' равны между собой. Если линейная модель
удовлетворяет C7.68), то говорят, что она квадратично сба-
сбалансирована. Из одного только соображения симметрии легко
видеть, что C7.68) выполняется для любой перекрестной клас-
классификации с равными частотами в каждой клетке (ранее назы-
называвшейся просто «сбалансированной»), а также для иерархи-
иерархических классификаций с равными частотами на каждом уровне
иерархии. Атикулла A962), используя иной метод, получил это
как асимптотический результат для безусловного распределе-
распределения W. Его результат применим и к другим F-критериям, от-
отличным от критерия проверки гипотезы 9=0, в отличие от
нашего изложения, ведущегося только для этого критерия.
При анализе ковариаций в сбалансированном однофакторном анализе,
Атикулла A964) показал, что в соответствии с выводами 37.31, степень от-
отклонения от нормальности сопутствующих переменных определяет устойчи-
устойчивость F-критерия к отсутствию нормальности ошибок. Он рассматривает так-
также устойчивость по отношению к другим отклонениям от предположении.
Свободные от распределения методы ДА
37.36 Изучение устойчивости стандартных методов ДА есте-
естественно приводит нас к вопросу, можно ли указать вполне
устойчивые методы анализа. Другими словами, существуют ли
свободные от распределения методы для задач ДА.
В 31.70—4 мы уже видели, что при рассмотрении однофак-
однофакторной классификации ответ положителен: существуют свобод-
свободные от распределения критерии для проверки равенства пара-
параметров расположения k выборок из любых непрерывных гене-
генеральных совокупностей, имеющих одинаковое (с точностью,
быть может, до параметров расположения) распределение.
Критерий может основываться на самих рангах, используя ста-
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
157
тистику C1.150), или на нормальных метках E(S, n) (см. 31.71
т. 2). Эти критерии вполне устойчивы для любого непрерыв-
непрерывного распределения и имеют очень высокую асимптотическую
относительную эффективность против нормальных альтернатив
о параметре расположения (см. 31.71). Другой критерий, про-
против альтернатив об упорядочениях, был приведен в 31.72—4 (см.
35.66 и упражнение 35.15).
Куад A967) приводит ранговый критерий для больших выборок прн од-
однофакторной классификации в ковариационном анализе.
37.37 Далее, рассмотренное в 37.24—31 перестановочное рас-
распределение W в общей линейной модели свободно от распреде-
распределения также, как и рассмотренные в главе 31 критерии переста-
перестановок. Критерий для проверки 0 = 0 можно рассматривать как
критерий для проверки симметрии z по своим аргументам при
любом рассматриваемом распределении ошибок. Однако, как
мы видели в 37.32—5, с этим критерием проверки гипотезы
0 = 0 нельзя многого добиться в задачах ДА, за исключением
однофакторной классификации. Теперь мы рассмотрим, на-
насколько далеко можно использовать свободные от распределе-
распределения методы в более сложных ситуациях ДА, если мы хотим
проверять значения главных эффектов, взаимодействий и т. п.
Двухфакторная перекрестная классификация: критерий
перестановок
37.38 Рассмотрим простейшую двухфакторную перекрестную
классификацию с одним наблюдением в клетке. Пусть имеется
г строк и с столбцов, так что всего п = гс наблюдений, и пусть
мы хотим проверить значения эффектов столбцов (или строк).
В духе наших рассмотрений в 31.21 и 31.39, самым. естествен-
естественным было бы заменить п наблюдений уц их рангами или ка-
каким-нибудь другим множеством условных чисел, таким, как
нормальные метки, и применить к этим числам обычный кри-
критерий ДА. Трудно надеяться получить точные результаты в тео-
теории распределений для таких процедур, поскольку в этом слу-
случае нет множества равновероятных перестановок, исходя из
которых можно было бы получить общие выводы.
37.39 Однако можно построить критерий перестановок для
эффектов столбцов, из которого, как мы увидим, будут выте-
вытекать свободные от распределения критерии.
Обычная СК для проверки эффектов столбцов в ДА, скажем,
с
^c=r.Z(l/./ — У..J, инвариантна относительно добавления
константы к каждому наблюдению в любой строке. Если счи-
считать среднее значение для каждой строки равным нулю, то
158
ГЛАВА 37
г
СК строк, скажем 5я =с ? (#?. — #..J обратится в нуль, по-
поскольку у1ш = */..=0. Но тогда Sc сводится к
5с=гЕу2г C7.69)
. — у..у, то стандартная /"-статистика
Если теперь 5 =
имеет вид
]?
с числом ст. св. Vi = c—1 и v2 = (r—1) (с—I). Так же,
как и Sc, величина S — SR инвариантна относительно прибавле-
прибавления произвольных констант к строчкам, а значит, инвари-
инвариантна и сама статистика F. Таким образом, без ограничения
общности можно положить SR s= 0, так что получим F =
= (г—l)Sc/(S — Sc). Соответствующее бета-преобразование
(см. C7.40)) равно
. C7.70)
где
i i
г г с
¦= V V V
и (&р)г есть р-я й-статистика значений игреков в t-й строчке
#п> У/2» • ••. г/ic-
37.40 Моменты величины C7.70) можно найти теперь так же
как мы это делали в C7.40) при предположении симметрии.
Гипотеза состоит в том, что в классификации отсутствуют эф-
эффекты столбцов. В силу инвариантности F, а значит W, отно-
относительно прибавления констант к строчкам никаких предполо-
предположений об эффектах строк делать не надо. Если гипотеза спра-
справедлива, то для каждой из г строк классификации, каждая из
с! перестановок величин уц (/== 1,...,с) равновероятна. Таким
образом, при выполнении гипотезы имеется (с!)г равновероят-
равновероятных расположений уг}. Случай с = 2 соответствует рассмотрен-
рассмотренному в 31.78 критерию двойной симметрии Фишера.
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
159
Питмэн A938), в статье которого можно найти более де-
детальное изложение, нашел первые четыре момента величины
U, а значит, и W. Он показал, что
MP(lP)=-f. C7.71)
Так же как и в C7.42—3), среднее перестановочного распреде-
распределения C7.71) одно и то же при любых наблюдениях, а значит,
совпадает с результатом нормальной теории. Выражение для
дисперсии, так же как и в C7.52), более сложное и равно
(см. упражнение 37.13)
C7.72)
Выражения для более высоких моментов еще сложнее.
Дисперсия в нормальной теории, как и в 37.29, равна
{D (W)}„орм = (vj + V2 + 2) (Vl + V2J' = г2Нс-1) + 2) • C7.73)
и, так же как C7.49), это выражение является математическим
ожиданием от C7.72) при условии нормальности. Из C7.72)
и C7.73) можно получить, что в нормальном случае
~ " " 2
П2>2Ч2_Гг(с~1)+2~~
с — 1
C7.74)
с—\
Число ст. св. для ^-критерия можно выбрать, как и в 37.29.
В упражнении 37.4 содержится соогветствующий пример. Пит-
Питмэн A938) показал, что если взять бета-распределение с теми
же средним и дисперсией, то третий и четвертый моменты
также хорошо согласуются.
37.41 Самым интересным (из интересующих нас сейчас)
частным случаем W является случай, когда наблюдения уц за-
заменены условными числами, такими, что критерий становится
свободным от распределения. Вместо процедуры, о которой го-
говорилось в 37.38, мы заменим теперь уц в каждой строчке от-
отдельно на множество условных чисел, например их рангами
или нормальными метками. Если в каждой строчке использо-
использовать одно и то же множество, то непосредственно получим, что
Xkp)i совпадают для всех значений L Таким образом,
C7.75)
160
ГЛАВА 37
Сравнивая C7.75) и C7.74), видим, что они мало отличаются,
если г или с не слишком малы. Статистика свободного от рас-
распределения критерия, основанная на замене наблюденных зна-
значений на одно и то же множество условных чисел в каждой
строке, имеет приблизительно то же самое распределение, что
и для критерия в нормальной теории. В частности, это справед-
справедливо, если наблюдения заменить на ранги или нормальные
метки.
Следует отметить, что если в критерии используются услов-
условные числа, то нет нужды полагать г/,-. = 0, поскольку в любом
случае SR = 0. Конечно, как и в упражнении 37.14, в этом слу-
случае г/., (константу) нужно прибавить как к Sc, так и к S.
Ниже в 38.65 обсуждается АОЭ рангового критерия.
Более сложные классификации
37.42 Таким образом, при двухфакторной перекрестной
классификации с одним наблюдением в клетке, имеются сво-
свободные от распределения критерии ДА для проверки эффектов
столбцов (или получающиеся транспонированием эффектов
строк), не зависящие от наличия эффектов строк (столбцов).
Ситуация является простой по той причине, что, как мы видели
в 37.39, полная СК (без учета генерального среднего) имеет
три компоненты (SR,SC,S — SR — Sc), из которых одну можно
сделать равной нулю подходящим выбором начала координат.
В задаче остается всего две случайные величины, и F является
их отношением. При использовании условных чисел S тоже ста-
становится константой, так что бета-преобразование W является
константой, умноженной на оставшуюся случайную вели-
величину Sc-
Если мы начнем рассматривать обобщения критерия пере-
перестановок, то эта простота исчезает. Даже в сбалансированной
двухфакторной перекрестной классификации с более чем одним
наблюдением в клетке полная СК имеет дополнительные ком-
компоненты (взаимодействия). Для трехфакторной перекрестной
классификации с одним наблюдением в каждой клетке также
появляются дополнительные компоненты. В обоих этих случаях
(а, значит, и в более сложных ситуациях) трудно найти пере-
перестановочное распределение F и W статистик, и по-видимому,
это является причиной тоги, что не развита теория этих кри-
критериев.
37.43 Альтернативный метод обобщения состоит в рассмот-
рассмотрении аналога одной из свободных от распределения статистик
в более сложной ситуации. Например, в упражнении 37.14, где
используются ранги, W просто пропорционально Т, т. е., по су-
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
161
ществу, — дисперсии суммарных рангов столбцов. Для сбалан-
сбалансированной перекрестной двухфакторной классификации можно
получить распределение этой дисперсии. По-видимому, его
можно найти для случая неравных частот, а также для трех-
трехфакторной гХеХ' перекрестной классификации с (cl)rl рав-
равновероятными перестановками рангов столбцов внутри каждой
строки и каждого слоя классификации. Насколько нам изве-
известно, ни одно из указанных обобщений не исследовалось. Для
взаимодействий этим методом, по-видимому, нельзя получить
свободные от распределения критерии.
Мэра и Саранджи A967) исследовали асимптотическую тео-
теорию выровненного критерия для эффекта столбцов, предложен-
предложенного Ходжесом и Леманом A962). Вместо того чтобы ранжи-
ранжировать наблюдения отдельно в каждой строке, из наблюдений
сначала вычитаются оценки эффектов строк, а затем получен-
полученные в разных строках величины объединяются и ранжируются
в одной общей последовательности. При этом используется ста-*
тистика, обобщающая C7.70) и в клетках (г Xе) -классифика-
-классификации могут быть не равные (но обязательно ненулевые) частоты.
Этот критерий более эффективен в нормальном случае, осо-
особенно при малых значениях с.
Медианные критерии
37.44 Другой подход к построению свободных от распреде-
распределения критериев ДА следует Брауну и Муду A951). Принципы
построения критериев, которые они использовали, состоят
в следующем: (а) оценить все параметры, неучтенные гипоте-
гипотезой, с помощью медианной статистики, (б) проверить, будут
ли остатки от оцененной медианами модели иметь половину
знаков отрицательными и половину положительными.
Например, в однофакторной классификации с п$ наблюде-
наблюдениями в /-й группе, 2/ij = n, при гипотезе о равенстве группо-
групповых средних только генеральное среднее ц, не учитывается ги-
гипотезой. А значит, ц оценивается медианой у из п (которое
предполагается четным) наблюдений. Затем мы смотрим, как
много наблюдений лежит в каждой группе выше и ниже у:
C7.76)
Группа
Число наблю-
наблюдений
Полное
У
У
1
mi
tl\ —~ TtX\
П\
2
т2
и2 —
п2
тг
¦¦
¦
Пк
•
к
— ГПк
Пк
я/2
и/2
и
6 М. Кендалл, А. Стьюарт
162
ГЛАВА 37
Теперь проверяется гипотеза о том, что все k групп имеют одну
и ту же медиану, т. е. М (т3) = л;/2 для каждого /. Сразу видно,
что это биномиальный критерий однородности, рассмотренный
в 33.55. Статистика C3.122), которая в используемых теперь
обозначениях имеет вид
C7.77)
имеет асимптотически ^-распределение с k — 1 ст. св. Критерий
(который можно точно сформулировать, используя метод 33.19,
случай 1) свободен от распределения. Что касается критерия
знаков из 32.3, то использование медиан сводит задачу к бино-
биномиальному случаю.
37.45 Более сложные ситуации ДА можно рассматривать
с помощью того же общего метода. Как показывают упражне-
упражнения 37.18—20, для двухфакторной перекрестной классификации
имеется несколько критериев. Эффекты столбцов можно про-
проверять для случая одного наблюдения в клетке или в более об-
общей ситуации, но когда нет взаимодействий. Если имеются
взаимодействия, то эффекты столбцов можно проверять против
взаимодействий или проверять совместно эффекты столбцов
и взаимодействия.
37.46 Эти медианные критерии привлекательны тем, что вы-
вычисления очень просты, а теория, по крайней мере для больших
выборок, немедленно следует из 2 X с таблиц контингенции.
Однако не все задачи решаются с их использованием. Напри-
Например, неизвестно критерия для проверки эффектов столбцов про-
против остатков в общей сбалансированной перекрестной класси-
классификации. Далее, даже если имеется в распоряжении такого
рода критерий, он не всегда свободен от распределения. Так,
Браун и Муд A951) показали, что медианный критерий для
взаимодействий в сбалансированной двухфакторной классифи-
классификации не является таковым. Далее, эффективность этих ме-
медианных критериев, вообще говоря, не выше, чем эффектив-
эффективность критериев, которые используют ранги или нормаль-
нормальные метки, если ошибки почти нормальны. В 32.6—7 было
найдено, что критерий знаков имеет АОЭ, равную 2/я в нор-
нормальном случае, против 3/я для рангового критерия. В упраж-
упражнении 31.12 показано, что медианный критерий случайности
имеет АОЭ 0,78, в то время как для критерия из 31.38, исполь-
использующего ранги, имеем 0,98. Эндрюс A954) показал, что рас-
рассмотренный в 37.44 критерий для однофакторной классифика-
классификации имеет ту же самую АОЭ, равную 2/я, что и критерий
знаков, в то время как из 31.71 следует, что для конкурирую-
конкурирующей статистики C1.150), основанной на рангах, АОЭ равна 3/я.
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
163
Бхапкар A963) приводит некоторые результаты об эффективности для
медианных критериев при диухфакторнон классификации.
37.47 Ограниченность применений и относительно низкая
эффективность медианных критериев, полученных на основе
принципов, изложенных в 37.44, несколько разочаровывают.
Интуитивно кажется, что, по-видимому, возможно указать об-
общие процедуры ДА с высокой эффективностью, такой, которая,
как мы видели в главе 31, характеризовала критерии, основан-
основанные на рангах. Лучшее приближение к такого рода процедурам
было развито в серии работ Лемана A963а, Ь, с, 1964) и Ход-
жеса и Лемана A963) (см. также Хейланд A965), Бикел
A965) и Адичи A967а, Ь)). Эти процедуры только асимптоти-
асимптотически свободны от распределения. Интересно, что и они осно-
основаны на методе медианных оценок, но иного рода, чем метод
из 37.44.
37.48 Пусть
xip =
в
{р
(i = 1, ..., с; р = 1, . . ., п,)
с
¦— модель для множества из п = ? пг наблюдений. z\v незави-
симы, а в остальном мы предполагаем только, что они имеют
одинаковое распределение. Обозначим %ц — щ — щ параметры,
в терминах которых можно выразить все интересующие нас
величины. Рассмотрим медианные оценки 6гз- величин 0,j.
Пусть уц — медиана для ПхЩ разностей (xip — Xjq), где
р= 1, ..., tii, q = 1, ..., tij. Величины уц, очевидно, являются
оценками для в,3, но они не обладают желаемым свойством
транзитивности
§</ + §/* + 5М = 0 для всех /,/,*. C7.78)
Усовершенствованной оценкой, удовлетворяющей C7.78), яв-
является
Ъ„=У1.-У,., C7.79)
с
где y{i = — У_. У и- Леман A963а) показывает, используя число-
2 1
2 = 1
вые примеры, что Qif хорошо согласуется с обычными НК-оцен-
ками в,/.
Если л->оо должным образом, то совместное распределе-
распределение вц сходится к многомерному нормальному. Эффективность
оценок по сравнению со стандартными оценками ДА, основан-
основанными на средних значениях, такая же, как у критерия Вилкок-
сона по сравнению с /-критерием Стьюдента. Если / — общая
б*
164
ГЛАВА 37
функция плотности величин е*Р, то из C1.115) следует, что
эффективность равна
[ 12
J {f(jc)}2rfjc =fc2. C7.80)
[со -12
J {f(jc)}2rfjc =fc2.
Согласно 31.60—1 k2 может равняться бесконечности, но для
любого непрерывного распределения f не может быть меньше
чем 0,864. В нормальном случае k2 = 3/я == 0,95. Итак, в общем
случае kn'!l(Qij — 0*j) имеет то же самое предельное распреде-
распределение, что и л'/2@гз — Вц), где 0,-j — стандартные НК-оценки ДА
ДЛЯ 0ij.
37.49 Из асимптотических свойств, сформулированных в по-
последнем абзаце 37.48, следует, что если мы сумеем дать со-
состоятельную оценку к2 из C7.80), то можно сформулировать
аналоги всех обычных процедур ДА в терминах медианных
оценок 0,j. Леман A963с) дает две состоятельные оценки k2
и приводит A963b) доверительные интервалы для больших вы-
выборок для любого сравнения или даже множества сравнений
параметров. Он же (см. также Ходжес и Леман A962) и Док-
сум A967)) распространяет эти результаты на ситуацию, когда
имеется «мешающий фактор» у наблюдений (т. е. в терминоло-
терминологии главы 38 «блоки» внутри экспериментов), с равными чис-
числами наблюдений в каждой клетке одного и того же «блока».
Двухфакторные классификации рассматриваются Пури и Се-
Сеном A967b). Гринберг A966) разработал теорию планирования
неполных блоков, которая обсуждается ниже в главе 38 (см.
также Пури и Сен A967а)).
Бхучонгкул и Пури A965) распространили асимптотическую
теорию на класс оценок ограничений, включающий оценки,
основанные на нормальных метках. П. Сен A966) получил одно-
одновременные доверительные интервалы, аналогичные интервалаш
из 35.57—63.
Потерянные наблюдения в общих линейных моделях
37.50 Преимущества сбалансированного устройства модели I
ДА, а именно ортогональность, простота вычислений и лучшая
устойчивость, приводят к тому, что при планировании анализа
стараются воспользоваться этими преимуществами. Тем не ме-
менее сила обстоятельств приводит иногда к невольным отклоне-
отклонениям от планируемого равенства частот. Растения или живот-
животные могут погибнуть, люди могут оказать сопротивление при
кооперировании, наконец, записи могут быть утеряны перед
анализом. Если так произойдет, то мы всегда можем проводить
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
165
анализ для полученных неравных частот соответствующими
неортогональными методами, однако, как мы видели, эти ме-
методы часто сложны. Более того, случайные потери наблюдений
редко бывают большими. Обычно теряется одно или несколько
наблюдений. Поэтому стоит исследовать, можно ли сохранить
исходную структуру ДА, скорректировав полученные данные
с потерянными наблюдениями, а не просто отказываться совсем
от этой структуры. Ниже приводятся рассуждения, справедли-
справедливые для общей линейной модели, частным случаем которой яв-
является ДА.
37.51 Положим, что т из п планируемых наблюдений поте-
потеряны. Без ограничения общности будем считать, что они яв-
являются последними т компонентами вектора наблюдений
у. Обозначим их щ, ..., ит. Таким образом, можно положить
у = ( г J , где ((п — т) X1) -вектор z состоит из действительно
наблюденных значений вектора у, а (т X 1) -вектор и состоит
из наблюдений, значения которых неизвестны. В результате мы
сталкиваемся с необходимостью оценить дополнительное мно-
множество неизвестных в добавление к исходным параметрам мо-
модели. В этих обстоятельствах естественно оценивать значения
и тем же самым методом НК, который мы использовали для
исходных параметров.
37.52 Сумму квадратов остатков
нужно минимизировать теперь не только по переменным 9 (как
это делалось в 19.4), но и по переменным и. Если сначала
минимизировать 5 по переменным в, то получится исходное ре-
решение методом НК (т. е. решение, как если бы не было поте-
потерянных наблюдений), но как оценки, так и остаточная СК, по-
полученные этим методом, являются теперь функциями и. Обо-
Обозначим их 6 (и) и So(и). Процесс минимизации можно теперь
завершить, взяв минимум S0(u) по и.
Однако эта двухшаговая процедура минимизации, предло-
предложенная Иэйтсом A933), вообще говоря, не является простей-
простейшей. Вместо этого минимизируем S сначала по а. Разбивая X
на ( .J J в соответствии с разбиением у = ( г J , получим
5 = (г - ХгВ)' (z - XZQ) + (a- XJSf (« — Хив). C7.81)
В правой части C7.81) оба члена неотрицательны, причем от
и зависит только второй из них. Таким образом, минимум 5
в C7.81) достигается, если положить
и = ХиЪ. C7.82)
166
ГЛАВА 37
Тогда второй член в правой части C7.81) обращается в нуль,
а минимальное значение S совпадает с первым членом, который
нужно теперь минимизировать по 0.
Но результаты двух описанных выше двухшаговых методов
минимизации должны совпасть. Таким образом, если мы полу-
получили 9 (в) первым методом, который дает
в (и) = (Х'Х)~1 Х'у = {Х'Х)~1 {X'zz + Kit),
то, используя это в сочетании с C7.82), получим
C7.83)
C7.84)
Из C7.84) следует, что каждое потерянное наблюдение следует
приравнять к его оцениваемому среднему в исходном анализе
методом НК.
37.53 C7.84) представляет собой систему линейных уравне-
уравнений относительно и. Ее решение в нужно использовать в исход-
исходном анализе по методу НК. Непосредственное решение си-
системы C7.84) получил Точер A952).
Предположим сначала, что при исходном анализе методом
НК мы заменили в на нулевой вектор 0. Тогда C7.83) прини-
принимает вид
0@) = (Х'ХГ1 Х'гг. C7.85)
<37-86>
Рассмотрим теперь
а = {/- Хи(Х'ХГ1 Х'и}~1 W0).
Замечая из C7.83), что 9 (и) = 0@) + (Х'Х)~1 Х'ии, получим,
что C7.86) сводится к
{/ - Xu{X'X)~l XL) и = Хи 0 (а) — Хи(Х'Х)-1 Х'Л,
так что
C7.87)
А значит, в, определяемое C7.86), является решением системы
C7.84).
37.54 Таким образом, мы видим, что для того, чтобы оце-
оценить т потерянных наблюдений в так, чтобы можно было со-
сохранить исходную форму расчета анализа по методу НК, нужно
сделать следующее:
(а) провести исходный анализ с и = 0, чтобы получить (
?@) в C7.85);
(б) вычислить в в C7.86);
(в) снова провести исходный анализ, подставляя иву.
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
167
Следует отметить, что матрица в фигурных скобках, кото-
которую нужно обращать в C7.86), имеет порядок (жХя). Та-
Таким образом, если потеряно всего одно наблюдение, то матрица
превращается в скаляр и приведенный выше пункт (б) три-
тривиален.
Вторая из четырех статей Уилкиисона A957—60) о потерянных наблюде-
наблюдениях дает подробное решение системы C7.84) для многих общих ситуаций
ДА (см. также Биггерс A959)).
37.55 Легко видеть, что оценки в (и), полученные с исполь-
использованием C7.86) в исходном анализе по методу НК, совпадают
с оценками, которые были бы получены с использованием
только п — т наблюденных значений (вообще говоря, при не-
неортогональном анализе). В самом деле, из C7.83), используя
C7.87), получим
Х'Хв (и) = X'zz
= X'zz + X'uXuQ (a),
а значит,
XLz = {Х'Х — X'UXU) 0 (a) = X'ZXS§(a). C7.88)
Ho C7.88) в точности то же самое множество уравнений, кото-
которому удовлетворяет 0, если анализируется только г.
Из этого результата и из равенства нулю второго члена
в правой части C7.81) сразу следует, что остаточная СК, по-
полученная с использованием и в исходном анализе по методу
НК совпадает с остаточной СК, когда анализируется только г.
Однако число ст. св. остаточной СК, очевидно, должно умень-
уменьшиться, поскольку теперь у нас имеется только п — т. наблю-
наблюдений. Если X и Xz имеют один и тот же ранг (т. е. если обе
эти матрицы имеют полный ранг), то число ст. св. остаточной
СК уменьшится на т, где т — число потерянных наблюдений.
В более общей ситуации (см. упражнение 19.8) уменьшение
будет равно разности между т и разностью рангов X и Xz.
37.56 Выражение для остаточной СК в таблице ДА остается
неизменным. Однако все остальные СК окажутся неверными,
если в исходном анализе по методу НК воспользоваться значе-
значением и из C7.86). Проще всего это понять из того факта (см.
пример 35.4, 35.38 и пример 35.6), что все остальные СК
в таблице ДА могут быть представлены в виде разности
остаточных СК для двух линейных моделей, одна из которых
является вариантом с дополнительными ограничениями другой.
Очевидно, что правильные выражения для этих остаточных СК
можно получить рассуждениями 37.50—5, но используя значе-
значение в из C7.86) для соответствующей модели. При этом, разу-
разумеется, а будет, вообще говоря, отличаться от того, которое
168
ГЛАВА 37
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
169
получалось для рассматриваемой до сих пор полной модели.
При этом, если взять и для полной модели, то значение каждой
из остаточных СК будет завышено, поскольку это и не является
нужным (минимизирующим). Таким образом, другие СК в таб-
таблице ДА нужно подправить на разность между поправочными
уменьшениями соответствующих остаточных СК (или на одно
поправочное уменьшение, если одна из этих остаточных СК
является остаточной СК для полной модели). Соответственно
нужно подправить и число степеней свободы на разность между
двумя уменьшениями числа степеней свободы, значение которых
рассматривалось в 37.55. Однако эта разность часто оказы-
оказывается равной нулю.
В третьей из своих четырех работ Уилкинсон A957—60)
дает явное описание метода получения уменьшающих поправок
для других остаточных С К, а значит, и для других СК в таб-
таблице ДА. К счастью, как указал Иэйтс A963), последние по-
поправки, будучи разностью величин одного и того же знака,
часто малы, так что приближенно можно использовать неис-
неисправленные значения СК.
37.57 Точер A952) приводит аналогичные методы анализа для «испор-
«испорченных» экспериментов другого типа, а именно, для экспериментов, в кото-
которых некоторые наблюдения перепутаны или некоторые наблюдения случайно
взяты дважды. Плэкетт A950) также обсуждает последнюю ситуацию.
Афифн и Елашов A966) обобщают анализ иа случай, когда не только
среди у, но н среди элементов X имеются потерянные (см. упражнение 37.21),
УПРАЖНЕНИЯ
37.1 Имеется G групп наблюдений, и все наблюдения внутри данной груп-
группы имеют нормальное распределение с одинаковым средним и одинаковыми
дисперсиями 0„, так что выполняются предположения модели C7.1), за ис-
исключением условия гомоскедастичностн между группами. Рассмотрим мно-
множества ограничений:
Ct: все a2g равны (G— 1 ограничение),
С2: г из k параметров в равны нулю.
так, что C7.3) сводится к
Используя переменные
показать, что C7.8) приводит к
где /i — статистика критерия ОП, определенная и B4.40), а
-n/2
где F — статистика критерия дисперсионного отношения, определенная в
общем виде в B4.40), а для рассматриваемого конкретного случая в при-
примере 24.8 (этот результат обобщает упражнение 24.6).
(Бокс и Кокс, 1964.)
37.2 Используя упражнение 23.7, показать, что если в C7.8) распределе-
распределение 1р не зависит от некоторых параметров, для которых существует полная
достаточная статистика t (вектор), a lq является функцией только от t, то
1Р и /, стохастически независимы. Применить этот результат для получения
свойства независимости в упражнениях 24.6 и 24.13. В упражнении 37.1 пока-
показать, что h(z) и h(z) независимы, если выполняется как С\, так и Сг.
(См. Хогг, 1961.)
37.3 При подгонке ортогональными полиномами степени k в 28.16 умень-
уменьшение полной СК, связанное с членом степени г, согласно B8.72), т. 2, равно
Qr
ар
г ?^ <§\(хЛ. Показать, что отношения
,=1
s=k-r+2
Qs,
•1. .... *,
где Qft+i = (n — k)s2 — остаточная СК, являются независимыми, если коэф-
коэффициенты регрессии аг все равны нулю:
(а) используя результат упражнения 37.2,
(б) используя результат упражнения 23.27.
(Из этого результата следует (см. Хогг A961)), что можно использовать
независимые критерии для проверки коэффициентов регрессии, начиная с
высшей степени н опускаясь вниз, присоединяя СК, соответствующие коэффи-
коэффициентам, признанным пулевыми, к остаточной СК до тех пор, пока не най-
найдется коэффициент, который признается не равным нулю. В этом случае про-
процесс обрывается. Все критерии являются, конечно, t2(F)-критериями, и состав-
составной критерий имеет размер 1 — A—а)*~йа, если на каждом шагу ис-
используются критерии размера а. Т. Андерсон A962) показал при более слабых
предположениях, что эта процедура максимизирует вероятность правильного
определения ненулевого коэффициента.)
37.4 В 37.10 показать, что для биномиального распределения из 5.4, соот-
соотношение C7.14) приводит к стабилизирующему дисперсию преобразованию
( *\ ¦ U х у/21 ,
и| I = arcsin < 1— I >, где х/п — наблюденная доля «успехов».
(Энскомб A948) показал, что если заменить
х/п на
~4~)» т0 получится
лучшее стабилизирующее дисперсию преобразо-
преобразование. М. Фримэн и Тьюки A950) предложили
Кх \1/21 , ¦ Г ( х+\ \Щ
Т+Т) } + arcsiniU+Tj
( 3) Э
+ } +
(см. пример 37.1). Эта функция табулирована
Мостеллером и Ютцем A961). См. также
Лаубшер A961).)
37.5 В 37.10 показать, что для отрицательного биномиального распреде-
распределения из 5.15 соотношение C7.14) приводит к стабилизирующему дисперсию
170
ГЛАВА 37
преобразованию «*(/) = arsh<(—J >, где х/п— наблюденная доля «успе-
«успехов».
(Энскомб A948) показал, что если х/п
заменить на (*+~o")/(/I т)> т0
получится лучшее стабилизирующее ди-
дисперсию преобразование. См. также
Лаубшер A961).)
37.6 В упражнении 37.4 показать, что другое преобразование и(—J =
=• log <—11 I J> стабилизирует дисперсию вблизи p = —. Показать,
что это преобразование соответствует случаю, когда в C7.9) имеет место
D\ (в) = ев2 (I - вJ.
(см. Бартлетт, 1947а.)
37.7 Для перекрестной классификации с неравными частотами и клетках
показать, что если клеточные выборочные средние рассматривать как отдель-
отдельные наблюдения, то их усредненную дисперсию можно оценивать величиной
s2/H, где s2 — остаточный СрК исходных наблюдений, а Н — гармоническое
среднее клеточных частот. Показать отсюда, как можно проводить прибли-
приближенный ДА для клеточных средних.
(См. Шеффе, 1959.)
37.8 Применяя метод упражнения 37.7 к численным данным из примера
35.7, показать, что приближенный ДА для клеточных средних дает
Между полами
Между породами
Взаимодействия
Остаточная
ск
0,023
0,020
0,006
0,049
Число
ст. св.
1
7
7
15
517
СрК
0,023
0,003
0,001
0,0017(=0,0227Х0,0759)
Сравнить значения F-отношений в этой таблице с точными значениями из уп-
упражнения 35.7.
37.9 Показать, что если линейная модель содержит члены
то приближенно имеем
Показать отсюда, как можно оценить уч. Можно использовать итерации этого
процесса.
(Бокс и Тидвелл, 1962.)
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА
171
37.10 В 37.28 доказать, что Af = Х(Х'Х)~1Х инвариантна относительно
любого неособого преобразоиания W = XT. Рассматривая такое преобразова-
преобразование, что WW диагональиа, показать, что т = J] Af2.,. удовлетворяет
N (N + 1)
(Бокс и Ватсон, 1962.)
% 37.11 В 37.31, рассматривая дисперсию диагональных элементов Мгг мат-
матрицы М, показать, что т = J] М2ГГ 72* p2/N. Используя свойство инвариантно-
г
сти из упражнения 37.10, положить Х'Х = I и присоединить N — р столбцов
к матрице X (один из столбцов должен быть равен JV~'/»1), чтобы получить
ортогональную матрицу. Показать отсюда, что m^p(N — l)/N. Исходя из
вышесказанного, показать, что нижняя граница для т достижима, а верх-
верхняя нет.
(Бокс и Ватсон, 1962.)
37.12 В 37.32 показать, что если выбрать при однофакторной классифи-
классификации р + 1 групповые частоты л, следующим образом:
1)
1 р2 + Ар + 1
/V~ JV + 1
то Сх в C7.52) обращается в нуль, и, значит, каково бы нн было распределе-
распределение ошибок, никакая коррекция для Dp(W) при отклонении от нормально-
нормальности не нужна. Если р = 1, Л| = rN, п2 = A—r)N, показать, что Сх = 0,
если
и что если W = 12, то оптимальными целыми значениями групповых частот
являются 9 и 3.
(Бокс и Ватсон, 1962.)
37.13 Выиести C7.71—2), записав U, определенное после C7.70), в виде
где
и показав, что
а значит,
МР
уЧуЧ
= 0, Мр (/?/,) = (с - I) (fc2), (Й2J,
??
(Питмэн, 1938.)
172 ГЛАВА 37
37.14 В 37.41 показать, что если справедливо C7.75), то
Методом 37.29 вывести отсюда, что число ст. св. приближенного F-крите-
рия нужно подогнать к
2
i = (с — 1)— — ,
= (r— I) Vi.
Показать, что если в качестве условных чисел использовать в каждой строке
ранги 1, 2, ..., с и обозначить затем Rj сумму рангов в /-м столбце, а Т =,.,
с
= V^ <Rj -—-——> , то статистика W сведется к
™ 127-
У-1
и что при г -*¦ оо
v2W/(l-W)~
127-
rc(c
имеет ^-распределение с (с— 1) ст .св.
37.15 В примере 37.1 разложить
uc(t) = (Q + c
(М. Фридмэн A937); Кендалл и Бэ-
бингтон Смит A939); М. Фридмэн
A940) сравнивает F и х2 приближе-
приближения.)
в ряд и показать, что
М (ив) = (в + с)
'/2_ ' а-1/2 i 24С — 7 а_з
?8 + 128 8
3-8с , 32с2 — 52с + 17
3262
(е-2)},
так что выбор с = 3/8 обращает в нуль коэффициент при в в выражении
для дисперсии, которое принимает внд
Показать отсюда, что
так что, если для оценки 6 использовать обратное к ис преобразование, то
понижающее смещение почти постоянно и равно 1/4.
(Результат с с = 3/8 восходит к
А, Джоисону; см, Энскомб A948).)
ПРЕДПОЛОЖЕНИЯ ДИСПЕРСИОННОГО АНАЛИЗА ]73
37.16 В упражнении 37.15 показать, что коэффициенты асимметрии и экс-
эксцесса величины «с @ равны
Yi;
Сравнить с
для исходной пуассоновской величины t. Таким образом, при любом выборе
с значение Yi уменьшается примерно вдиое (с изменением знака), a Y2 c точ-
точностью до первого порядка не изменяется.
(Энскомб, 1948.)
37.17 Используя результат для D (ыс) из упражнения 37.15, показать,
что преобразование
имеет дисперсию
так что, если мы выберем б = '/г. чтобы получить и' из примера 37.1,
37.18 Для двухфакторной перекрестной классификации с одним наблюде-
наблюдением в клетке (или с большим числом, если нет взаимодействий) показать,
что медианный критерий для эффектов столбцов получается подсчетом числа
Ш] наблюдений а /-м стоблце, превосходящих медиану строки, и построе-
построением B Xс) -таблицы, аналогичной C7.76), с использованием C7.77) как
статистики критерня для больших выборок.
(Браун и Муд, 1951.)
37.19 Для общей сбалансированной двухфакторной перекрестной класси-
классификации показать, что эффекты столбцов можно проверять против взаимо-
взаимодействий, находя медиану в каждой клетке и применяя критерий упражнения
37.18 к этим медианам. Показать, что критерий остается свободным от рас-
распределения, если клеточные частоты отличаются для разных строк, но не
внутри строки.
(Браун и Муд, 1951.)
37.20 В упражнении 37.19 показать, что эффекты столбцов и взаимодей-
взаимодействий можно проверять совместно, подсчитывая число ту из я<^ наблюдений
в ((, /)-й клетке, которые превосходят медиану j-й строки, и проверяя затем
гипотезу о том, что М (ffljj) = n,j/2 для всех i, /. Показать, что это экви-
эквивалентно гипотезе о том (см. 33.60), что в каждой строчке трехфакторной
(г X с X 2)-таблицы столбцы и слои независимы, что ведет для больших вы-
выборок к х2-критерию с г (с— 1) ст. ев,
(Браун и Муд, 1951.)
174
ГЛАВА 37
37.21 Обобщить 37.51—4, положив у
{;}
, где г содержит наблю-
наблюденные значения у, ие связанные с потерянными значениями х, а — потерян-
потерянные значения у, не связанные с потерянными значениями х, v — наблюденные
значения у, связанные с некоторыми из потерянных х, w — потерянные зиаче-
яия у, связанные с некоторыми из потерянных х. Пусть
соответ-
ствующее разбиение X, а Хо совпадает с X, если Xv = Хт = 0.
(а) Положить и = w = 0 и заменить X на Хо. Оценить в, обозначив по-
полученную оценку ff@).
(б) Оценить и в соответствии с C7.86), замеиии л иа До.
(в) Получить новую оценку для в. положив и = и, w = 0.
Показать, что в результате получается НК-оценка.
(Афифи и Елашов, 1966.)
ГЛАВА 38
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
38.1 В большей части этой книги мы сталкивались с зада-
задачами, возникающими при анализе наблюдений, точнее с зада-
задачами оценки и проверки гипотез, возникающими в различных
теоретических исследованиях. Понятно, что каждое исследова-
исследование какого-то метода анализа является уроком на будущее.
Так, например, если мы узнаем, что один метод оценки более
эффективен, чем другой, то естественно, что в будущем мы
будем использовать именно этот лучший метод. Однако отсюда
не следует, что тем самым улучшится метод проведения на-
наблюдений, ибо улучшится только метод анализа наблюденных
значений. В этой и двух следующих главах будут рассмотрены
вопросы планирования, под которыми мы понимаем влияние
метода проведения или отбора наблюдений на анализ.
38.2 По существу, рассмотрение планирования для нас не
ново. В примере 28.4 т. 2 при анализе задачи простой линейной
регрессии мы получили, что, выбрав должным образом начало
отсчета и экспериментальные значения регрессора, можно га-
гарантировать ортогональность анализа и минимальность соот-
соответствующих дисперсий оценок. Это вопрос планирования, по-
поскольку он связан с тем, как проводить наблюдения. В том же
примере указывалось на опасность того, что это оптимальное
решение может привести к невозможности проверки предполо-
предположения о том, что регрессионная модель линейна по регрессо-
рам. Если нет уверенности, что это не так, возможно, следует
несколько «застраховаться», уклонившись от оптимального вы-
выбора регрессоров.
Далее из результатов изучения устойчивости в 37.21 сле-
следует, что в экспериментах следует брать равные частоты во
всех клетках. Это снова вопрос планирования, поскольку ответ
влияет на метод проведения наблюдений.
38.3 В этой главе будут рассмотрены вопросы о влиянии
планирования на экспериментирование. При рассмотрении бу-
будут в основном использоваться линейные модели и техника ДА
из глав 35—37. В главах 39—40 мы обратимся к задачам пла-
планирования в выборочных обследованиях. Различие между этими
областями весьма четко. Можно сказать, что при обследованиях
174
ГЛАВА 37
37.21 Обобщить 37.51—4, положив
-{;}
, где z содержит наблю-
наблюденные значения у, не связанные с потерянными значениями х, и — потерян-
потерянные значения у, не связанные с потерянными значениями х, v — наблюденные
значения у, связанные с некоторыми из потерянных х, ю —потерянные значе-
яия у, связанные с некоторыми из потерянных х. Пусть
соответ-
ствующее разбиение X, а Хо совпадает с X, если X* = Хт — 0.
(а) Положить и = w = 0 и заменить X иа Хо. Оценить в, обозначив по-
полученную оценку 8@). ,„_«„., v v
(б) Оценить и в соответствии с C7.86), заменив Д на До.
(в) Получить новую оценку для в. положив и = и, w — 0.
Показать, что в результате получается НК-оценка.
(Афифи и Елашов, 1966.)
ГЛАВА 38
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
38.1 В большей части этой книги мы сталкивались с зада-
задачами, возникающими при анализе наблюдений, точнее с зада-
задачами оценки и проверки гипотез, возникающими в различных
теоретических исследованиях. Понятно, что каждое исследова-
исследование какого-то метода анализа является уроком на будущее.
Так, например, если мы узнаем, что один метод оценки более
эффективен, чем другой, то естественно, что в будущем мы
будем использовать именно этот лучший метод. Однако отсюда
не следует, что тем самым улучшится метод проведения на-
наблюдений, ибо улучшится только метод анализа наблюденных
значений. В этой и двух следующих главах будут рассмотрены
Вопросы планирования, под которыми мы понимаем влияние
метода проведения или отбора наблюдений на анализ.
38.2 По существу, рассмотрение планирования для нас не
ново. В примере 28.4 т. 2 при анализе задачи простой линейной
регрессии мы получили, что, выбрав должным образом начало
отсчета и экспериментальные значения регрессора, можно га-
гарантировать ортогональность анализа и минимальность соот-
соответствующих дисперсий оценок. Это вопрос планирования, по-
поскольку он связан с тем, как проводить наблюдения. В том же
примере указывалось на опасность того, что это оптимальное
решение может привести к невозможности проверки предполо-
предположения о том, что регрессионная модель линейна по регрессо-
рам. Если нет уверенности, что это не так, возможно, следует
несколько «застраховаться», уклонившись от оптимального вы-
выбора регрессоров.
Далее из результатов изучения устойчивости в 37.21 сле-
следует, что в экспериментах следует брать равные частоты во
всех клетках. Это снова вопрос планирования, поскольку ответ
влияет на метод проведения наблюдений.
38.3 В этой главе будут рассмотрены вопросы о влиянии
планирования на экспериментирование. При рассмотрении бу-
будут в основном использоваться линейные модели и техника ДА
из глав 35—37. В главах 39—40 мы обратимся к задачам пла-
планирования в выборочных обследованиях. Различие между этими
областями весьма четко. Можно сказать, что при обследованиях
176
ГЛАВА 38
проводятся наблюдения над выборкой из конечной популяции
индивидуумов, в то время как в экспериментах проводятся на-
наблюдения, которые в принципе порождены гипотетической бес-
бесконечной генеральной совокупностью точно так, как это было
при бросании монеты (см. 1.29 и 9.4, а также приведенный ниже
пример 38.1). Конечно, можно иногда проводить эксперимент
над членами выборки, полученной в результате обследования
или даже считать выборочное обследование результатом (охва-
(охватывающего) эксперимента. Тем не менее должно быть понятно
существо разницы между этими двумя областями.
Кокрэн A965) дает интересное общее обсуждение проблем,
связанных с сущностью статистического вывода, возникающих
при обследовании, а не при контролируемых экспериментах.
Принципы экспериментирования
38.4 При классическом изложении принципов эксперимен-
экспериментирования подчеркивается важность варьирования в процессе
эксперимента (предположительно) причинных факторов, чтобы
изучить их влияние на рассматриваемую зависимую перемен-
переменную. Однако несовершенство подобного подхода обнаружи-
обнаруживается по меньшей мере в двух отношениях. Проанализируем
эти недостатки, отправляясь от общей идеологии статистиче-
статистического исследования зависимостей, выраженной, например, Мил-
лом A843) в его пятом правиле экспериментальных исследова-
исследований: «Если какое-то одно явление изменяется неким образом
всякий раз, когда меняется другое явление, то первое является
либо причиной, либо следствием второго, либо связано с ним
некой опосредованной причинной зависимостью».
Первая неадекватность, с которой мы сталкиваемся, следуя
классическим принципам экспериментирования, связана с тем,
что мы изменяем только один из причинных факторов в каждом
«единичном эксперименте».
В свете результатов главы 35 мы видим теперь, что без
одновременного варьирования значений нескольких факторов
нет надежды количественно определить взаимодействия между
причинными факторами. Такой подход не только не дает нам
возможности узнать связи между причинными факторами, но
и может привести к неправильным выводам. Так предположим,
что цель эксперимента состоит в определении комбинации ин-
ингредиентов А я В при производстве керамики, которая дает
наименьшую хрупкость. Если мы определим дозу ингредиента
А, которая приводит к наименьшей хрупкости, а потом соответ-
соответствующую дозу ингредиента В, нет никакой гарантии, что, объ-
объединяя эти значения, мы получим желаемую оптимальную ком-
комбинацию. Взаимодействия между факторами, которые приводят
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
177
к таким эффектам, можно изучать только при одновременном
изменении факторов.
38.5 Вторая неадекватность, возникающая при классическом
подходе, даже более существенна и снова иллюстрируется при-
приведенной в 38.4 цитатой из Милла. Она состоит в опасности
приписать одному или нескольким экспериментальным факто-
факторам влияние на зависимую переменную, которое на самом деле
объясняется изменением некоторого причинного фактора, не
учтенного в структуре эксперимента. Во время проведения экс-
эксперимента некоторый неизвестный экспериментатору причин-
причинный фактор может меняться таким образом, что конкретная
комбинация экспериментальных факторов оказывается пред-
предпочтительной. Тогда будет создаваться впечатление, что эта
комбинация высоко эффективна, хотя на самом деле к хоро-
хорошему результату приводит неизвестный нам фактор.
При классическом рассмотрении этот вопрос не имеет ре-
решения. Он дает представление о том насколько сложной яв-
является задача. Мы никогда не можем быть вполне уверены
в том, что все важные, или даже самые важные, причинные
факторы учтены структурой эксперимента. Некоторые факторы
могут быть просто неизвестны. Другие, хотя и известны, но мо-
могут необоснованно рассматриваться как не имеющие большого
значения, и ими умышленно пренебрегают. При проведении
эксперимента всегда нужно иметь гарантии от искажения вы-
выводов, обусловленного побочными внешними эффектами.
Рандомизация
38.6 Современное решение вопросов из 38.5 было впервые
предложено Р. А. Фишером в двадцатых годах нашего столетия
(см. его книгу — Фишер A935)). На протяжении всех трех то-
томов мы видели, как велик и разносторонен вклад Фишера
в статистическую теорию. Тем не менее, возможно, не будет
преувеличением сказать, что его пропаганда рандомизации при
планировании экспериментов была самым важным и имеющим
самое большое влияние результатом из его многочисленных
достижений в статистике.
38.7 Принцип рандомизации формулируется очень просто:
Если при проведении эксперимента проводится размещение
экспериментальных объектов по комбинациям факторов, то это
должно делаться случайным образом с использованием равных
вероятностей. Таким образом, каждая комбинация факторов
будет иметь одинаковый шанс быть примененной к каждому
экспериментальному объекту, к которому она может быть при-
применена.
178
ГЛАВА 3S
Очевидно, что если проводится рандомизация в соответ-
соответствии с этим принципом, то при конкретном размещении экспе-
экспериментальных объектов, к которому мы приходим, все еще
может оказаться в предпочтении конкретная комбинация фак-
факторов. Однако описанные в 38.5 трудности нас больше не бес-
беспокоят, поскольку мы включили процесс рандомизации в те
рамки, внутри которых делаются наши выводы. Гипотетическая
совокупность, про которую мы делаем выводы, включает все
возможные случаи размещения экспериментальных объектов,
к которым может привести рандомизация. Внутри этой сово-
совокупности при естественном процессе рандомизации не может
возникнуть предпочтение для учтенных экспериментом факто-
факторов из-за влияния факторов, не учтенных экспериментом. Та-
Таким образом, наши выводы будут свободны от смещения.
Даже если взаимосвязь между зависимой переменной и не-
некоторым неизвестным причинным фактором не будет узнана
вплоть до окончания эксперимента, справедливость выводов не
нарушится, если при проведении эксперимента влияние этого
фактора было «рандомизировано».
38.8 Таким образом, вопросы из 38.5 разрешаются измене-
изменением основы, на которой делаются выводы. Это неизбежно при-
приводит к изменению теоретических основ наших выводов, и мы
далее коротко на этом остановимся. Но сначала проиллюстри-
проиллюстрируем вышесказанное на простом примере.
Пример 38.1
Проводится эксперимент для исследования зависимости вре-
времени реакции от содержания алкоголя в крови у мужчин води-
водителей автомобилей. Принимающие участие в эксперименте во-
водители должны принять заданную дозу алкоголя и после
фиксированного промежутка времени пройти испытание на со-
содержание алкоголя в крови и некоторое стандартное испыта-
испытание на время реакции. Задача состоит в том, как «разместить»
водителей между различными дозами алкоголя.
По существу, мы имеем дело с задачей регрессии, где время
реакции — зависимая переменная (у), а содержание алкоголя
в крови — регрессор (х). Следует заметить, что х не является
строго контролируемой переменной. Строго проконтролировать
можно только дозу алкоголя (z), а после этого мы просто
наблюдаем значение х в каждом случае. Однако z и х связаны
очень тесно, и разумно предположить, что каждому фиксиро-
фиксированному значению z соответствует некоторое множество зна-
значений х. При этом, если выбрать значения z достаточно хорошо,
то соответствующие множества значений х не будут пересе-
пересекаться. Тогда задачу можно рассматривать как однофакторную
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
179
классификацию, причем индексы классификации соответствуют
значениям z.
На этом примере хорошо видны трудности, которые возни-
возникают при отсутствии рандомизированного размещения доз ал-
алкоголя между водителями. Предположим, например, что каж-
каждому водителю позволили самому выбрать для себя дозу алко-
алкоголя. По-видимому, те водители, которые обычно употребляют
много алкоголя, выберут дозы большие, чем другие водители. Но
нормальная привычка к выпивке влияет на устойчивость чело-
человека к воздействию алкоголя. Поэтому в соответствующем ис-
испытании на время реакции может оказаться замаскированной
истинная разница между воздействием различных доз алкоголя.
Можно возразить, что, позволив водителям самим выбрать
дозу алкоголя, мы получим более правильную картину того, что
произойдет в практике вождения. Даже если бы это было верно,
следует понимать, что соответствующий вывод не имеет ника-
никакого отношения к проводимому научному исследованию. Суще-
Существо разницы между обследованием и экспериментом состоит
в том, что при обследовании делается попытка описать суще-
существующую совокупность, в то время как эксперимент имеет
дело с исследованием соотношений, которые не обязательно
соответствуют какой-то конкретной совокупности. Об этом раз-
различии говорилось выше в 38.3, и мы еще вернемся к обсужде-
обсуждению этого вопроса в 38.12. В отношении же приведенного выше
примера нужно понимать, что рандомизированное размещение
доз алкоголя между водителями необходимо, чтобы предохра-
предохранить от смещения выводы, которые будут сделаны из экспе-
эксперимента.
38.9 Тот факт, что «внешнее» влияние, такое, как обычная
привычка к выпивке, устраняется рандомизацией, никоим об-
образом не мешает нам проводить анализ этого влияния после
того, как закончен (рандомизированный) эксперимент. В слу-
случае примера 38.1, по-видимому, будет трудно точно установить
обычную привычку к выпивке всех участников. Но рассмотрим
влияние времени дня, в которое проводится испытание. Вне
зависимости от того, «рандомизируется» оно или нет при про-
проведении эксперимента, ничто не мешает нам провести в после-
последующем регрессионный анализ влияния времени дня на время
реакции. Если окажется, например, что время реакции стано-
становится выше при проведении испытаний в более позднее время,
то это послужит поводом для дальнейших исследований и, воз-
возможно, приведет в дальнейшем к модификации процедуры экс-
эксперимента.
38.10 Наше утверждение о достоинстве рандомизации не
следует понимать так, что все рандомизированные экспери-
эксперименты не оставляют желать ничего лучшего. Рассмотрим, как
180
ГЛАВА 33
и в 38.9, влияние времени дня на время реакции, и предполо-
предположим, что все испытания проводились в 6 часов после полудня,
т. е. в конце рабочего дня водителей, принимающих участие
в эксперименте. Тогда фактор «время дня» постоянен на одном
уровне и эксперимент уязвим к возможности того, что этот фак-
фактор взаимодействует с влиянием содержания алкоголя в крови
на время реакции. Рандомизация по отношению к дозам алко-
алкоголя не помогает в этом случае, и здесь снова применима кри-
критика классической процедуры, приведенная в 38.5. На самом
деле рандомизация была неполной, поскольку мы пренебрегли
временем дня как возможным причинным фактором. Рандоми-
Рандомизация приносит пользу в выводах только по отношению к тем
аспектам, к которым она применялась.
38.11 Понятно, что факторы, влияющие на зависимую пере-
переменную в любом эксперименте, делятся экспериментатором,
явно или неявно, на следующие три класса:
A) факторы, учтенные структурой эксперимента (доза ал-
алкоголя в примере 38.1);
B) факторы, «рандомизированные» при эксперименте
(обычная привычка к выпивке в примере 38.1);
C) факторы, не учтенные структурой эксперимента и не
рандомизированные (время дня в 38.10).
Следует заметить, что классы A) и B) требуют проведения
некоторых, действий, которые влияют, на действительную про-
программу проведения эксперимента или на применяемую про-
процедуру рандомизации. В отличие от этого, последний из трех
классов является остаточным. Естественно, что эксперимента-
экспериментатор может умышленно принять решение о том, что некоторым
фактором можно пренебречь и считать, что для устранения его
влияния не нужна даже рандомизация. Так, в примере 38.1 мы
почти наверняка пренебрежем цветом глаз водителей. Однако
фактор может попасть в класс C) и просто потому, что на него
не обратили внимания, как это было со временем дня в 38.10.
Существенным элементом искусства экспериментатора яв-
является выбор факторов, которые рандомизируются при прове-
проведении эксперимента. Если экспериментатор аккуратен, то он
будет рандомизировать все факторы, которые предполагаются
причинно важными, но которые не включены в структуры экс-
эксперимента. Но все экспериментаторы вынуждено пренебрегают
некоторыми предположительно причинными факторами. Если
бы это было не так, то процедура рандомизации приводила бы
к очень большим усложнениям. Таким образом, выбор факто-
факторов, которые будут рандомизироваться, является, по существу,
вопросом умения правильно разобраться в явлении.
38.12 В 38.7—8 мы видели, что генеральная совокупность,
про которую можно делать обоснованные выводы из рандоми-
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
181
зированного эксперимента, является гипотетической генераль-
генеральной совокупностью, зависящей от самого процесса рандомиза-
рандомизации. Однако экспериментатор должен делать свои выводы
в отношении реального мира. В примере 38.1 гипотетическая
генеральная совокупность, о которой делаются выводы в ре-
результате эксперимента, включает в себя все возможные разме-
размещения доз алкоголя между водителями, принимающими уча-
участие в эксперименте. Однако, насколько широко можно обоб-
обобщить эти выводы, чтобы распространить их на такие более
обширные генеральные совокупности, как
(а) всех водителей автомобилей мужчин,
(б) всех водителей автомобилей (включая женщин) ?
Если водители, принимающие участие в эксперименте, были
отобраны из всех водителей мужчин в результате случайного
выбора (не обязательно простого случайного выбора), то мало
кто из экспериментаторов будет колебаться, чтобы обобщить-
полученные в результате эксперимента данные на генеральную
совокупность (а). Аналогично мало кто из экспериментаторов
поспешит распространить эти данные на генеральную совокуп-
совокупность (б) без дальнейших знаний о водителях-женщинах, по-
полученных, возможно, из других экспериментов.
Предположим, однако, что принимающие участие в экспе-
эксперименте водители отбирались из служащих одной и той же кор-
корпорации. Даже если они отбирались при этом случайным
образом, мы сумеем распространить наши выводы самое боль-
большее на генеральную совокупность, состоящую из всех водите-
водителей, работающих в этой корпорации. Обычно корпорации при-
принимают участие в эксперименте или нз-за собственной заинте-
заинтересованности, или из-за желания сотрудничать с некоторым
научным учреждением. Если отсутствует иной процесс подбора
корпорации, то дальнейшие обобщения результатов эксперт
мента нуждаются в оправдании. Только в том случае, когда
экспериментальный материал является (или предполагается)
эквивалентным случайному выбору из более обширной гене-
генеральной совокупности, можно перенести результаты экспери-
эксперимента на эту более обширную генеральную совокупность.
В конце концов в этой связи нельзя избежать обсуждения
возможности обобщений, поскольку речь Идет об обобщении по
пространству (например, на другие страны) и по времени.
38.13 Мы очень кратко познакомились с некоторыми фунда-
фундаментальными вопросами, касающимися выводов из эксперимен-
экспериментов. Для более широкого ознакомления (в значительной сте-
степени не носящего технический характер) читателю рекомен-
рекомендуется книга Кокса A958а), так же как упоминавшаяся книга
Фишера A935).
182
ГЛАВА 33
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
18$
Мешающие факторы: блочные эксперименты
38.14 Мы видели, что существенная черта современного экс-
экспериментирования состоит в «рандомизации» влияния тех фак-
факторов, которые не учтены структурой эксперимента. В практи-
практических ситуациях одним из таких факторов является то, что
сами экспериментальные объекты не могут быть физически од-
однородны. Так, сельскохозяйственные эксперименты проводятся
на участках земли, которые, хотя и расположены близко друг
от друга, но не имеют одни и те же характеристики плодоро-
плодородия. Более того, если число участков, необходимых для прове-
проведения эксперимента, растет, то, по-видимому, будет расти и ва-
вариация их плодородия. При этом становится разумным исполь-
использовать несколько маленьких групп аналогичных участков, а не
одну большую группу довольно неоднородных участков. Ана-
Аналогично при генетических исследованиях оказывается разумным
проводить эксперименты над животными для членов одного
и того же приплода, причем приплод обычно бывает довольно
малым по количеству членов, так что нужно использовать не-
несколько приплодов. Здесь отдельные животные, так же как
участки в сельскохозяйственных экспериментах, являются экс-
экспериментальными объектами, в то время как приплоды, так же
как группы аналогичных участков, называются «блоками» экс-
экспериментальных объектов. Используя эту терминологию, можно
сказать, что многие эксперименты являются блочными или,
даже не боясь тавтологии, сказать (считая, что может быть
всего один блок), что все эксперименты являются блочными
экспериментами. При этом эффект различия между блоками
исследуется только с той целью, чтобы устранить его влияние.
Фактически .блоки являются «мешающими» факторами в экс-
лерименте.
Перейдем к формальному исследованию блочных экспери-
экспериментов основанному на работе Точера A952).
38.15 Предположим, что эксперимент проводится над экс-
экспериментальными объектами, объединенными в Ъ блоков, каж-
каждый из которых содержит k (?>1) объектов, так что всего
можно получить Ыг = п наблюдений. Эксперимент проводится
для исследования перекрестной (или иерархической, или сме-
смешанной) классификации некоторых факторов, представляющих
интерес. Предположим, что классификация содержит t различ-
различных клеток. Так, например, в двухфакторной классификации
с г строчками и с столбцами имеется t = re различных клегок.
Зти t клеток будем называть «обработками». Задача состоит
в том, чтобы выбрать, какие обработки провести над каждым
из k объектов в каждом блоке.
Будем предполагать, что в каждом блоке никакая обра-
обработка не применяется больше чем к одному объекту*). Это
предположение разумно, поскольку, если нужны еще наблюде-
наблюдения, то мало смысла дублировать обработки внутри одного-
блока, а не использовать их в других блоках. Из упомянутого-
предположения следует, что t^k.
38.16 Эксперимент можно полностью описать, определив-
матрицу обработок (treatment matrix) порядка (k X t) для
каждого блока. Для матрицы tj, относящейся к /-му блоку, эле-
элемент, стоящий на пересечении 1-й строки и i-ro столбца, равен
единице или нулю в зависимости от того, применяется ли i-я
обработка к /-му объекту этого блока или нет. Очевидно, что
в каждой строке присутствует один ненулевой элемент (по-
(поскольку к каждому объекту применяется одна обработка) и что
в каждом столбце имеется не более одного ненулевого элемента
(из-за предположения в 38.15).
Если нужно описать только применение обработок к блокам,,
без ссылки на применение к конкретным объектам внутри
блока, то, используя b матриц обработок tj, можно построить.
матрицу инциденций (incidente matrix) эксперимента я, по-
порядка (ty.b), у которой (t,/)-й элемент л^ равен единице или
нулю в зависимости от того, применяется ли i-я обработка
к /-му блоку.
38.17 Если /-й столбец матрицы и обозначить nh а 1Р — век-
вектор р X 1. состоящий из единиц, то
t'tU^n,, C8.1)
поскольку в левой части C8.1) проводится просто суммирова-
суммирование элементов столбцов матрицы t,. Далее, поскольку все эле-
элементы матрицы tj равны нулю или единице, то
), C8.2)
где diag(z) обозначает диагональную матрицу, диагональные
элементы которой совпадают с элементами вектора г.
Если i-я обработка применяется во всем эксперименте rt
раз (п>0), а г обозначает (t X 1)-вектор, элементы которого
равны Ги то суммирование элементов строк матрицы я дает
C8.3)
а суммирование элементов столбцов дает
C8.4)
*) Это предположение, которое выполняется для всех хорошо известных
планов экспериментов, может быть ослаблено (см, Точер A952)).
184
ГЛАВА 38
поскольку каждый блок состоит из k объектов. Далее из
C8.2—3) получаем
2 fit, = ? diag (я,) = diag
= diag (nl6) = diag (r). C8.5)
38.18 В духе наших предыдущих обсуждений размещение
обработок между объектами будет рандомизироваться незави-
независимо внутри каждого блока, но для начала мы не будем рас-
рассматривать влияния внутриблочной рандомизации на выводы,
которые делаются в результате эксперимента. Мы вернемся
к этому вопросу в 38.41. Сначала будем смотреть на рандоми-
рандомизацию как на общую предупредительную меру против смеще-
смещения и будем проводить наш анализ в терминах линейной мо-
модели (модель I), хорошо известной нам из предыдущих глав.
Линейная модель для блочных экспериментов
38.19 Очевидно, что линейная модель для блочных экспери-
экспериментов записывается в виде
М(уг/)=тг + ЭУ, C8.6)
где Xi — эффекты обработок, a fij — эффекты блоков. При этом
предполагается, что эффекты блоков и обработок аддитивны
и не взаимодействуют.
В A9.19) мы видели, что единственными линейными функ-
функциями параметров, допускающими несмещенные оценки с по-
помощью линейных функций наблюдений, являются линейные
комбинации математических ожиданий наблюдений. А значит,
в C8.6) можно оценить без смещения только линейные комби-
комбинации величин (t,-+Pj). Это понятно и из того факта, что
добавление любой константы ко всем тг- и вычитание этой
константы из всех р3- не меняет C8.6). Чтобы освободиться от
невозможности раздельной оценки отдельных параметров т,-,
мы, как и в сингулярной модели в 19.13—15 т. 2 и в примере
19.9, введем линейное ограничение на параметры. Поскольку
эффекты блоков C3- являются мешающими параметрами, есте-
естественно наложить ограничения только на них в виде
Фактически мы добавляем к п величинам уц фиктивную слу-
случайную величину (нуль), «математическое ожидание» которой
равно сумме fo. Это позволяет нам отделить мешающие нам
эффекты блоков от интересующих нас эффектов обработок.
38.20 В силу наложенного ограничения для несингулярного
лредставления эффектов блоков нужны Ь — 1 параметров.
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
185
Обозначим их ось ..., аь-i и представим в виде вектора а. Век-
Вектор а можно получить из вектора р, координаты которого равны
Рз, следующим образом. Возьмем произвольную ортогональную
(Ь X &)-матрицу Uo, первая строчка которой равна Ь~т\'ь,
а оставшиеся Ъ—1 строчки (соответствующую подматрицу мы
обозначим а) в остальном произвольны. Тогда
**-(*)' C8.7)
поскольку ограничения на р^ записываются в виде
НР=0. C8.8)
Поскольку Uo ортогональна, то t/o = Uo, а значит, из C8.7)
имеем
р = U'o ( ° ) = и'ир. C8.9)
Положим теперь
« = аР. C8.10)
Тогда C8.7) и C8.9) принимают вид
««-О-
Р = и'я.
38.21 Перейдем к формальному решению модели блочных
экспериментов по методу НК. Пусть у, обозначает вектор из k
наблюдений в /-м блоке, у — вектор, объединяющий все yj, и
представлено в виде векторов-столбцов и\, ..., иь, каждый из
которых имеет порядок b—1. Тогда C8.6) равносильно со-
соотношению
у = Хв + г, C8.12)
где соответствующее разбиение X и 9 имеет вид
C8.11)
и
X
Ыг X(t+b-\)
-1) XI
C8.13)
C8.14)
Как всегда, компоненты вектора ошибок е в C8.12) предпо-
предполагаются некоррелированными с нулевыми математическими
ожиданиями и дисперсиями, равными а2.
186
ГЛАВА 33
38.22 Используя C8.5), C8.1) и соотношения Vklk=k,
ии' =Ib-x получим из C8.13)
jZ
/ diag (r) j пи' \
= 1 ;—I I. C8.15)
Теперь мы можем обратить матрицу в C8.15). Обозначая
О = {diag (г) — mi'un'lk}'1,
лолучим
{Х'Х) =
_un,Q/k\{lb_+an
Qna'lk \
an,Qntt,/k}/k).
C8.16)
C8.17)
что проверяется простым перемножением правых частей в
C8.15) и C8.17). Таким образом,
где Г =
C8.18)
» а Тг — сумма у для всех объектов, к которым
-применялась /-я обработка, в то время как В =
, где
В} — \'kgj — сумма у для всех объектов из /-го блока. Согласно
C8.17—18) НК-оценки имеют вид
где
C8.19)
а = и (В — n'x)lk.
C8.20)
Из C8.20) и C8.11) получаем для исходных параметров
блоков
: = «'« = а'и [В — n'x)/k.
C8.21)
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
187
38.23 Для упрощения вычислений оценки C8.19) и C8.21)
можно привести к более простому виду. Поскольку матрица Uj
из 38.20 ортогональна, то
/6 = l/0UQ =
и и,
так что
u'u = Ib — lbU/b. C8.22>
Подставляя C8.22) в C8.16) и вспоминая C8.3), получим
Q = {diag(r) - nn'/k + rr'l{bk)}~\ C8.23)
Оценка C8.19) аналогично переписывается в виде
т = Q {Т — nB/k + rG/(bk)}, C8.24)
где G обозначает полную сумму значений всех у, причем
О = ЦВ = VtT. C8.25)
Правую часть C8.24) можно упростить и дальше. В самом
деле, согласно C8.23), имеем
ST'l, = г - «(n%)/k + r (r%)/ (bk). C8.26)
Но из соотношений C8.3—4) и их следствия
r'\t=zbk C8.27)
следует, что последние Два члена в C8.26) совпадают, а значит,
Q~l\t — г. Таким образом,
Qr = 1„ C8.28)
и C8.24) переписывается в виде
т = Q (Г - nB/k) + 1,0/F*). C8.29)
В 38.25 мы увидим, что последний член в правой части C8.29),
по существу, дает оценку генерального среднего, которое мы
опустили в нашей линейной модели.
Подставляя далее C8.22) в C8.21), получим
Р = Aь - иН/Ь) (В - n'x)/k. C8.30)
Это выражение снова можно упростить, поскольку, используя
C8.25) и C8.3) и подставляя затем значение т из C8.29), по-
получим
П(В- я'т) = G - г'т = G — r'Q (Г — nB/k) — r'UG/{bk).
Но, как следует из C8.25), C8.4) и C8.27), это выражение
равно нулю. А значит,
r'r=G, C8.31)
188 ГЛАВА 38
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
и C8.30) сводится просто к
= {B — n'x)/k.
C8.32)
Кроме вычисления ft из C8.23), для получения оценок па-
параметров обработок и оценок параметров блоков нужны только
векторы суммарных значений наблюдений по обработкам и по
блокам, соответственно Г и Б и полная сумма значений G, ко-
торая в соответствии с C8.25) может быть получена из любого
из этих векторов.
ДА для блочных экспериментов
38.24 Для проведения ДА для блочного эксперимента нужно
вычислить остаточную СК. Она равна
So = (у - XQ)' (у - XQ) 5= у'у - y'XQ,
что сводится с использованием C8.18) и C8.11) к
= у'у — Т'т—
C8.33)
В общем случае ДА не является ортогональным, поскольку вне-
диагональные матрицы в C8.17) не являются нулевыми. По-
Поэтому, как и в примере 35.4, в 35.38 и 35.43 нужно найти оста-
остаточную СК, скажем Su для случая, когда между обработками
нет разницы, а оцениваются только параметры блоков и единый
для всех блоков параметр обработок. Тогда разность St — So
будет представлять собой СК, соответствующую разнице между
обработками.
38.25 В предположении, что между обработками нет раз-
разницы, оценка х сводится к x\t. Тогда C8.24) сводится к
т1, == Q {Т — nB/k + rG/ibk)}.
В соответствии с C8.28) подставим сюда ftr вместо Ь. Умно-
Умножая слева на ft-1, транспонируя и умножая затем справа на \t,
получим
xr'\t = {Т - nB/k + rGl{bk)Y U-
Но первые два члена в правой части совпадают, поскольку из
C8.25) и C8.4) следует, что
1{(Г —яВ/*) = 0. C8.34)
В результате получаем
т = G/(bk)
189
ИЛИ
Tl, = l,G/(&*), C8.35)
что интуитивно понятно, поскольку, в случае отсутствия раз-
разницы между обработками, генеральное среднее G/(bk) яв-
является оценкой для всех обработок. Далее, используя C8.35)
и C8.4), получим, что в рассматриваемом случае C8.32) сво-
сводится к
(Р)—т1< = (В - \bG/b)/k. C8.36)
Подставляя C8.35—6) в C8.33) и используя C8.25), получим
S, = у'у — B'B/k, C8.37)
так что (как читателю предлагается проверить в упражне-
упражнении 38.1)
S, — So = Т'х + В'Ъ — B'B/k = (Г — nB/k)' Q(T — nB/k) C8.38)
представляет собой СК, соответствующую разнице между обра-
обработками, в то время как, согласно C8.37), объединенная СК
для блоков и генерального среднего равна B'B/k.
38.26 Мы можем собрать все полученные результаты в сле-
следующую таблицу.
Таблица ДА для общего блочного эксперимента
Источник
дисперсии
Разница между
обработками
(учитывающая
эффекты бло-
блоков)
Эффекты блоков
(без учета раз-
разницы между
обработками)
Остаточная
Генеральное сред-
среднее
Полная
СК
Т'Х + В'$ - B'B/k =
= (Г — пВ/kV О (Г — пВ/k)
B'Blk - G2l(bk)
у'у - Trx - JTP
ay(bk)
у'у
Число
ст. св.
t—\
b— I
bk — b—t + 1
1
bk
C8.39)
190
ГЛАВА 38
Число ст. св. для остаточной СК получается как разность. Из
C8.39) понятно, что наш анализ сводится просто к выделению
члена с t— 1 ст. св., соответствующего разнице между обра-
обработками, после того как уже выделен член, соответствующий
b — 1 линейно независимым параметрам блоков а и генераль-
генеральному среднему.
Планирование блочных экспериментов
38.27 При проведении описанного выше анализа самым
сложным является вычисление матрицы Й из C8.23), которое
проводится с использованием обращения матриц. Матрица Q
зависит от матрицы инциденций я и вектора г, который полу-
получается из я в соответствии с C8.3). Поскольку, согласно A9.16),
а2(Х'Х)~1 является дисперсионной матрицей вектора оценок 6,
из C8.17) следует, что
V(f) = a2Q. C8.40)
Мы попытаемся найти план эксперимента (т. е. выбрать л)
так, чтобы дисперсионная матрица оценок параметров обрабо-
обработок имела некоторую желаемую форму. При определении этой
формы мы будем накладывать интуитивно приемлемые условия,
которые приведут нас к большинству обычно используемых
планов экспериментов. Кифер A958, 1959) рассматривает раз-
различные концепции оптимальности при планировании экспери-
эксперимента и показывает, что планы, симметричные относительно
всех обработок (такие, к которым мы придем, наложив сим-
симметричные условия на все оценки параметров обработок), оп-
оптимальны в большинстве из рассматриваемых смыслов. Карлин
и Стадден A966) дают обзор общей теории и приводят об-
обобщения.
В частности, эти симметричные планы минимизируют обоб-
обобщенную дисперсию*) (определитель матрицы C8.40)) и обе-
обеспечивают локальную оптимальность по мощности критерия
проверки равенства всех параметров обработок. Стоит отме-
отметить, что эти свойства оптимальности не сохраняются, если
сами планы можно выбирать с использованием случайной про-
процедуры, хотя обобщенная дисперсия остается минимальной,
когда размеры блоков k стремятся к бесконечности.
Некоторые теоретические выводы и обсуждение такого рода
случайного выбора планов (включая случайные сбалансиро-
сбалансированные) содержатся в работах Дэмпстера A960—1), Сэттер-
*) Из 19.8 т. 2 мы знаем, что внутри любого плана НК-оценки минимизи-
минимизируют обобщенную дисперсию среди линейных оценок. Упоминаемый выше
результат относится к выбору между планами,
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
191
свейта A959), Буднэ A95У). Две последние статьи обсуж-
обсуждаются в работах Юдена, Кемпсорна, Тьюки, Бокса, Хантера
A959) иЭнскомба A959).
38.28 Если выбрать п так, чтобы сделать Q диагональной,
то оценки параметров обработок становятся некоррелирован-
некоррелированными (ортогональными) и, кроме того, нужное нам матричное
обращение становится тривиальным. Но матрица Q диагональна
тогда и только тогда, когда диагональна обратная к ней мат-
матрица, а поскольку первый член в фигурных скобках в C8.23)
уже диагоналей, нам нужно потребовать только, чтобы матрица
М = пп' — rr'/b была диагональной. Далее, используя C8.4)
и C8.27), получим
VtMh = I't (nn' - rr'/b) lt =
— {bkfjb = 0. C8.41)
Таким образом, сумма всех элементов матрицы М всегда
равна нулю. Если матрица М должна быть диагональной, то
все ее внедиагональные элементы должны равняться нулю,
а значит, нулю должна равняться сумма ее диагональных эле-
элементов, которые мы обозначим Мц, т. е. с использованием
<38.3)
(? ) E ? (щ, - ф)\ C8.42)
0 = ? Ми =
Отсюда для всех i, / должно выполняться
Пц — г Jb = 0,
или в матричных обозначениях
C8.43)
C8.44)
Таким образом, условие диагональности Q сводится к тому,
что каждый блок содержит одно и то же множество обработок,
а суммарное число объектов, к которому применяется каждая
обработка, кратно Ь. Поскольку каждая обработка встречается
в каждом блоке 0 или 1 раз и по крайней мере 1 раз в экспе-
эксперименте как целом, то отсюда следует, что каждая обработка
встречается в каждом блоке ровно 1 раз. А значит, k = t и
г = blt, C8.45)
так что C8.44) сводится просто к
C8.46)
Таким образом мы получили матрицу инциденций плана слу-
случайных блоков.
Относящиеся сюда результаты содержатся в упражнениях 38.2—3,
192
ГЛАВА 38
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
193
Планы случайных блоков
38.29 Таким образом, после длинных рассуждений мы при-
пришли к изучению плана случайных блоков, который упоминался
в . 36.39, когда впервые рассматривалось рандомизированное
размещение объектов между обработками. Структура экспери-
эксперимента со случайными блоками чрезвычайно проста: t обрабо-
обработок случайным образом размещаются между k = t объектами
в каждом из Ь блоков. В силу диагональности матрицы Q, от-
откуда в 38.28 и был получен соответствующий план, НК-оценки
параметров и общая таблица ДА для блочных экспериментов
C8.39) существенно упрощаются. Подставляя C8.45—6) в
C8.23), получим
О =/*/&, C8.47)
в то время как подстановка C8.46) и C8.25) в C8.29) и C8.32)
дает
C8.48)
C8.49)
Аналогично СК для разницы между обработками C8.38) при-
принимает вид
S, — So = T'TIb — G2/(bt), C8.50)
а остаточная СК сводится к
So = У'У ~ T'TIb - B'B/t + G2/(W). C8.51)
В упражнении 38.4 читателю предлагается проверить эти
формулы.
38.30 Приведем теперь таблицу упрощенного ДА.
Таблица ДА для эксперимента со случайными блоками
Источник
дисперсии
Разница между
обработками
Разница между
блоками
Остаточная
Генеральное сред-
среднее
Полная
ск
Т'Т/Ь — G2/(bt)
В'Bit — G2/(bt)
у'у - T'Tjb ~ В'B/t + G2/(bt)
G4(bt)
у'у
Число
ст. св.
/-1
ь — \
it-\)(b-\)
1
bt
C8.52)
Сравнивая с C8.39), видим, насколько велико упрощение. Из
симметрии таблицы C8.52) относительно обработок (символы
Т и /) и блоков (символы В, Ь) становится понятно, почему
блоки рассматриваются как (мешающие) факторы анализа,
поскольку C8.52) формально совпадает с таблицей ДА для
двухфакторной перекрестной классификации с одним наблюде-
наблюдением в клетке (см. пример 35.3 и упражнение 35.1). Как
и всегда, в таком анализе отсутствует СК взаимодействий, хотя,
как и в примере 35.3, можно из остаточной СК выделить член
с одной ст. св. для проверки взаимодействий. Таким образом,
можно проверить предположение модели о том, что обработки
и блоки не взаимодействуют.
Пример 38.2
В 38.10 мы видели, что пренебрежение временем дня, когда
проводятся испытания в эксперименте из примера 38.1, вызы-
вызывает серьезные возражения. Если рассматривать теперь время
дня как мешающий фактор и провеети эксперимент с использо-
использованием случайных блоков (каждый блок соответствует некото-
некоторому времени дня), то упомянутые возражения отпадают.
Экономия степеней свободы: два мешающих фактора
38.31 Из C8.39) видно, что при использовании b блоков
нужно выделять член с b — 1 ст. св. Если из-за большой раз-
разницы между объектами даже внутри блоков нужно сделать
число объектов k в блоке достаточно малым, то для получения
заданного числа наблюдений нужно соответственно увеличить
число блоков. Но тогда слишком большое число ст. св. будет
относиться к блокам, и, возможно, придется искать другой план
эксперимента, чтобы избежать этого, поскольку ситуация, когда
bt мало, а Ь намного больше, чем t, оставляет желать лучшего.
Чтобы сэкономить число ст. св., теряемых на устранении
блочных эффектов, нужно договориться, что не все блоки тре-
требуют отдельных параметров, как это было в 38.19. Простой
путь, приводящий к этому, заключается в следующем. Счи-
Считается, что сами блоки образуют двухфакторную классифика-
классификацию, скажем с п строчками и m столбцами. При этом, как
и ранее, предполагается, что каждый блок содержит k объек-
объектов. Кроме того, предполагается, что ппг = Ь, а для параметров
блоков P(j имеет место
Pi/=P* + Y/, ' = 1 п;/ = 1, .... m. C8.53)
Так поступают, например, при использовании блоков для устра-
устранения двух мешающих факторов, соответствующих классифика-
классификации блоков по строчкам и столбцам.
7 М. Кендалл, А. Стьюарт
194
ГЛАВА 33
Как и ранее, для того чтобы можно было выделить эффекты
обработок, наложим следующие ограничения:
'/ = 0. C8.54)
При этом окажется, что блокам будет соответствовать только
(п — 1) -f- (m — 1) ст. св.
Теперь можно кратко описать анализ по методу НК, кото-
который вполне аналогичен анализу из 38.15—26.
38.32 Как и в 38.16, теперь имеется пт матриц обработок
tij. Пусть я-матрица инциденций порядка (/X«)t соответствую-
соответствующая строчкам, так что пц равно единице или нулю в соответ-
соответствии с тем, применяется или нетч i-я обработка в 1-й строке
(вне зависимости от того, в каком столбце). Аналогично т-мат-
рица инциденций столбцов, порядка (tyCm). Как и в C8.3),
имеет место
я1п = т1т = г. C8.55)
Чтобы выполнялось C8.54), соотношение C8.8) заменяется
на
а вместо а, определенного в C8.10), имеем
6 = i>y, J
C8.56)
C8.57)
где о имеет порядок п — 1, 6 — порядок т— 1, а и и v являются
аналогами и из 38.20.
Соотношение C8.12) остается справедливым, только теперь
у — вектор, состоящий из пт векторов ••-•
X =
ntnkX(t+n+m-2)
hi
*ч
*пт
«Л
hu'i
\
C8.58)
9
«+Я+Я1-21Х1
-0-
C8.59)
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
195
В результате получаем (см. C8.15))
(diag(r) J nu | то'
ип' ] mkln-г | 0
vm' \ 0 | nklm-\
и если по аналогии с C8.23) обозначить
Q = {diag (г) — nn'/imk) — mm'/(nk) + 2rr'/(nmk)} ~\
то матрица, обратная к C8.60), имеет вид
C8.60)
C8.61)
—unu'Kmk)
—Qmv'link)
- un'Q/(mk) \ {!„_, + an'unu'l{mk)}l{mk) [ un'Qmv'/(nmk2)
— vm'Qftnk)\ vm'Qnu'l(nmk2) I {Im_, + vm'Qmv'/(nk)}l{nk)
C8.62)
так что соотношение C8.40) остается верным. Так же как
в C8.18), можно положить
Х'и =
vC
C8.63)
где Т, R и С — соответственно векторы суммарных значений для
обработок, строк и столбцов. Как и ранее, полная сумма будет
обозначаться G.
38.33 НК-оценки получаются умножением C8.62) на C8.63).
Вместо C8.19) теперь получим
f = Q {Т — nu'uRKmk) — mv'vC/(nk)}.
C8.64
Аналогично выводу C8.24) это выражение можно упростить
и привести к виду
r=Q{T — nH/(mk) — tnCJink) + 2rG/(mnk)}. C8.65)
Аналогично выводу C8.32) получим
Р=(*-' "
Ч=(С-т'тI(пк).
C8.66)
Таким образом, остаточная СК, так же как в C8.33), имеет
вид
So = у'у - Г* -Яр- C'v, C8.67)
196 ГЛАВА 33
а если, как и в 38.25,
то остаточная СК примет вид
S, = д'д — R'RIimk) — С'СЦпк) + G^nmk),
C8.68)
C8.69)
так что из C8.67) и C8.69) получим, что СК, соответствующая
разнице между обработками, равна
, - So = P'QP - G2/(nmk),
C8.70)
где Р — матрица, стоящая в фигурных скобках в правой части
C8.65). Соотношение C8.70) является аналогом C8.38). Таб-
Таблицу ДА можно теперь построить по аналогии с C8.39), причем
эффектам блоков будет соответствовать член, имеющий всего
п + т — 2 ст. св. Проверку приведенных выше формул и по-
построение таблицы мы оставляем читателю в качестве упраж-
упражнения 38.5.
Латинские квадраты
38.34 Устранение двух мешающих факторов методами
38.31—3 чаще всего проводится при п = т и k — 1. Тогда каж-
каждый блок состоит из одного объекта, а объекты расположены
в виде квадратной таблицы. В 38.31—3 мы ничего не говорили
о том, как t обработок размещаются между блоками. Предпо-
Предположим теперь, что t = п = т, так что мы имеем таблицу из t2
объектов, между которыми случайным образом размещаются t
обработок. Если предположить, что каждая обработка приме-
применяется ровно один раз в каждой строке и ровно один раз в каж-
каждом столбце, то мы получим расположение, известное как ла-
латинский квадрат. Ниже в C8.71) приведен пример с ^ = 4
и обработками, обозначенными А, В, С, D:
А В С D
В A D С
С D А В
D С В А
C8.71)
В восемнадцатом веке Эйлер много занимался изучением
латинских квадратов с чисто математической точки зрения. Тот
факт, что латинские квадраты стали использоваться при плани~
ровании экспериментов в нашем столетии, служит замечатель-
замечательным примером того, как совершенно бесполезные на вид тео-
теории могут получить в конце концов большое практическое
значение.
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
197
38.35 Если смотреть только на строки в C8.71), то мы по-
получим план со случайными блоками с Ь = t. To же самое спра-
справедливо, если смотреть только на столбцы. Таким образом,
можно воспользоваться таблицей ДА C8.52) с Ь = t, причем
во второй строчке этой таблицы можно брать любую разность
между блоками, соответствующую строчкам или столбцам
в C8.71). Это дает основание ожидать, что можно разделить
два этих эффекта и получить приведенную ниже таблицу.
Источник дисперсии
Разница между обработками
Строчки
Столбцы
Остаточная
Генеральное среднее
Полная
Число ст. св.
/—1
/— 1
/— 1
(*_!)(*_ 2)
C8.72)
И в самом деле, это непосредственно выводится из резуль-
результатов 38.33, если положить п = m = t и k= 1. Читателю пред-
предлагается проделать это в упражнении 38.6.
Если два мешающих фактора могут взаимодействовать, что
противоречит предположению об их аддитивности, сделанному
в C8.53), то это может привести к серьезным ошибкам (см.
Шеффе A959)).
38.36 Для плана со случайными блоками нет трудности при
выборе одного плана случайным образом. Нужно только1 иметь
случайные перестановки чисел от 1 до / (см. 9.14 и пример 9.7),
чтобы с равными вероятностями сделать выбор среди (Щь воз-
возможных размещений экспериментальных объектов по обра-
обработкам.
Однако в случае латинских квадратов выбор плана случай-
случайным образом не так прост, поскольку совсем не ясно, как много
существует латинских квадратов заданного порядка, хотя из
рассмотрения циклических перестановок элементов первой
строки очевидно, что для любого порядка существуют латин-
латинские квадраты.
Число возможных латинских квадратов порядка t весьма
велико при больших значениях t. Так, например, имеется 576
квадратов порядка 4; 161280 квадратов порядка 5; и 812 851200
квадратов порядка 6. Их число подсчитано для порядков вплоть
до седьмого. Хотя известно много примеров квадратов более
высоких порядков, но вычисление их числа, когда порядок
198
ГЛАВА 38
больше или равен восьми, все еще остается нерешенной зада-
задачей. Детали и примеры можно найти в «статистических табли-
таблицах» Фишера и Иэйтса.
Перестановкой строк и столбцов каждый квадрат может
быть приведен к такому виду, когда верхняя строка и левый
столбец расположены в порядке ABC и т. д. В этом случае
говорят о «стандартном квадрате». Например, имеется четыре
стандартных квадрата четвертого порядка:
А В С D
В A D С
С D В А
D С А В
А В С D
В С D А
С D А В
D А В С
А В С D
В D А С
С A D В
D С В А
А В С D
В A D С
С D А В
D С В А
C8.73)
Из каждого приведенного в C8.73) квадрата можно образовать
144 (=4!3!) квадратов, перестановкой всех столбцов и всех
строк, за исключением первой. (Не имеет смысла делать пере-
перестановку первой строки, поскольку в результате получится по-
повторение уже имеющегося квадрата с переобозначением букв
Л, ..., D, а такое переобозначение не играет никакой роли).
Таким образом, как уже упоминалось, полное число квадратов
четвертого порядка равно 4 X 144 = 576. В общем случае каж-
каждый стандартный квадрат порядка / порождает t\(t—1)! квад-
квадратов.
Таким образом, необходимо только описать стандартные
квадраты. Чтобы выбрать латинский квадрат случайным обра-
образом, надо сначала случайным образом выбрать стандартную
форму, а затем переставить случайным образом строки и
столбцы, причем самый удобный процесс рандомизации состоит
в использовании таблиц случайных перестановок (см. 9.14
и пример 9.7). Для квадратов, порядок которых больше или
равен восьми, для которых не описаны все стандартные типы»
можно выбирать только среди тех типов, которые описаны.
А значит, случайный выбор будет производиться не из всего
множества возможных квадратов, а только из некоторого era
подмножества.
Три и больше мешающих фактора: греко-латинские
и ортогональные квадраты
38.37 Нетрудно обобщить понятие латинского квадрата,.
чтобы получить устранение трех и более мешающих факторов.
Это можно сделать процессом наложения различных латинских
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
квадратов. Если латинский квадрат
А В С D
С D А В
D С В А
В A D С
199
C8.74)
наложить на квадрат C8.71), заменив предварительно латин-
латинские буквы в C8.74) на соответствующие греческие, чтобы не
возникло путаницы, то мы придем к расположению
Аа Вр Су D6
By A& Da Cp
Сб Dy Лр Ва
DP Ca ?6 Ау
C8.75)
в котором каждая комбинация греческой и латинской буквы
встречается ровно один раз. По этой причине квадраты C8.71)
и C8.74) называются ортогональными (латинскими) квадра-
квадратами. Их наложение C8.75) называется греко-латинским
квадратом.
Очевидно, что при / = 2 не существует греко-латинского
квадрата. Более интересным является то, что не существует
греко-латинского квадрата при / = 6, хотя при / = 6 имеется
S12 851200 латинских квадратов. Эйлер предположил, что гре-
греко-латинские квадраты не существуют при t — Ar -\- 2, и пона-
понадобилось почти два столетия, чтобы опровергнуть его предпо-
предположение и показать (см. Бозе и Шриканде A959), Бозе, Шри-
канде и Паркер (I960)), что, за исключением t — 2 и ? = 6,
всегда существуют греко-латинские квадраты. В таблицах Фи-
Фишера и Иэйтса приводятся примеры.
Греческие буквы в C8.75) можно использовать для иденти-
идентификации третьего мешающего фактора (строки и столбцы, как
и ранее, идентифицируют первые два, а латинские буквы отно-
относятся к обработкам). Тогда план устраняет влияние трех ме-
мешающих факторов точно так же, как латинский квадрат устра-
устраняет влияние двух. Таблица ДА является очевидным обобще-
обобщением упражнения 38.6, и мы оставляем читателю ее построение.
38.38 На C8.75) можно наложить еще латинский квадрат
(с использованием третьего множества символов, например,
чисел) так, чтобы каждая комбинация из двух множеств сим-
символов встречалась ровно один раз. Три таких латинских квад-
квадрата называются ортогональными в совокупности. Это спра*
200
ГЛАВА 38
ведливо для расположения
Аа\ Вр2 СуЗ D64
By 4 ЛбЗ Da2 СрЧ
С62 Dyl ЛР4 ВаЗ
Са4 В61
C8>76>
которое называется гипер-греко-латинским квадратом. Если гре-
греческие буквы и числа используются для идентификации треть-
третьего и четвертого мешающих факторов, то план устраняет влия-*
ние четырех мешающих факторов. Построение таблицы снова
предоставляется читателю в упражнении 38.6.
38.39 На C8.76) нельзя наложить ни одного латинского-
квадрата с сохранением ортогональности. Существует не более
/ — 1 взаимно ортогональных латинских квадрата порядка t.
Простое доказательство этого факта оставляется читателю-
в виде упражнения 38.7. Множество из t—1 ортогональных
квадратов порядка t, вида C8.76) называется полным множе-
множеством ортогональных латинских квадратов. Такие полные мно-
множества существуют, если / — простое число или степень про-
простого числа (см. X. Манн A949)). Таким образом, при / ^ 9
полное множество существует всегда, за исключением значений
/ = 2 и / = 6, при которых, как мы видели в 38.37, не суще-
существует даже двух ортогональных квадратов. При 10^/^30
Барра A965) приводит некоторые факты об известных множе-
множествах ортогональных квадратов. Полные множества описаны
при / ^ 7. В таблицах Фишера и Иэйтса приводятся примеры
для / < 9.
За дальнейшими теоретическими фактами и конструкциями:
латинских квадратов и состоящих из них ортогональных мно-
множеств, о которых мы здесь не упоминали, читатель отсылается
к двум монографиям Вайда A967а, Ь), к раннему отчету Манна
A949) о методах Р. Бозе и к обзорной статье Барра A965) >
б которой приводится библиография по данному вопросу, про-
продолжающая обзор Нортона A939).
38.40 Практическое использование латинских квадратов в.
экспериментальной работе ограничено из-за условия, что числа
обработок должно совпадать с числом уровней каждого из ме-
мешающих факторов. Это условие становится еще более ограни-*
чительным, когда мы переходим к греко-латинскому квадрату
и ортогональным множествам квадратов более высоких поряд-
порядков. В связи с этим последние расположения используются до-
довольно редко. Однако сами латинские квадраты часто исполь-
используются в сельскохозяйственных экспериментах, когда строчки-
и столбцы квадратной таблицы соответствуют фактическому
расположению экспериментальных участков (объектов). При;
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
201
этом градиент плодородия почвы вдоль этих двух направлений
для занятой под эксперимент площади не будет оказывать
влияния на обработки. Конечно, градиент плодородия может
быть и в других направлениях, например по диагонали к квад-
квадратной таблице. Тогда применение латинского квадрата не при-
приводит к устранению мешающих влияний. Однако обычно экс-
экспериментатор выбирает ориентацию своих строк и столбцов
так, чтобы устранить известные или предполагаемые градиенты
плодородия.
Понятно, что расположение в виде латинского квадрата
можно использовать всякий раз, когда нужно устранить влия-
влияние двух географических или временных координат. Аналогично
расположение с более высокими порядками можно применять,
если имеется три или больше таких мешающих факторов.
Пример 38.3
В эксперименте, рассмотренном в примерах 38.1—2, можно
предположить, что день недели, когда проводится испытание,
также влияет на результат. Гипотеза состоит в том, что суще-
существует некоторая накопляемость усталости в течение рабочей
недели, которая оказывает такое же воздействие, как обсуж-
обсуждавшееся ранее «время дня». Устранить влияние этих двух ме-
мешающих факторов можно, рассматривая столько промежутков
времени дня, сколько дней в рабочей неделе (скажем, 5),
и представляя эксперимент в виде плана латинского квадрата
размера 5X5. Заметим, что для отдельного квадрата можно
¦брать только 5 обработок (доз алкоголя). Однако ничто не
мешает использовать столько E X 5)-квадратов, сколько тре-
требуется для проверки всех предложенных обработок. Нужно
только, чтобы число обработок было кратно 5.
Если, помимо времени дня и дня недели, рассматривать
место работы как третий мешающий фактор, влияющий на экс-
эксперимент, то можно выбирать принимающих участие в экспе-
эксперименте водителей из пяти мест работы и представить экспе-
эксперимент в виде греко-латинского квадрата. Но необходимость
выбора именно пяти мест работы и именно пяти промежутков
времени дня, только потому, что рабочая неделя состоит из
пяти дней, часто делает соответствующие планы неудобными.
Рандомизация и устойчивость для случайных блоков
и латинских квадратов
38.41 В 38.18 мы оставили в стороне вопрос о влиянии на
выводы случайного размещения обработок между объектами
внутри блоков при блочных экспериментах. Тот же вопрос воз-
возникает по отношению к случайному размещению обработок по
-.02
ГЛАВА 38
объектам в латинском квадрате (см. 38.34). Теперь мы должны
детально рассмотреть этот вопрос.
Приведенный вопрос можно рассматривать с двух точек зре-
зрения. Во-первых, поскольку при рандомизации мы проводим
(в виде предостережения от смещенности выводов) некоторые
физические действия при размещении обработок между объек-
объектами, можно спросить, как это повлияет на справедливость
выводов, которые делаются с использованием линейной модели
с гомоскедастичными некоррелированными ошибками, становя-
становящимися независимыми, если предположить их нормальность
(что необходимо делается при проверке гипотез). С этой точки
зрения приведенный вопрос состоит в устойчивости наших
выводов.
Однако вопрос можно поставить более прямо, преследуя
более широкие цели. Рандомизация порождает равновероятные
множества наблюдений, а в главе 31 и далее мы видели, что
рассмотрение перестановочных распределений может позволить
нам заменить теорию нормального распределения на более
общие (свободные от распределения) методы. Если выпол-
выполняются предположения нормальности, то уменьшение эффек-
эффективности при применении этих методов (по сравнению с мето-
методами, использующими нормальность) либо мало, либо вообще
отсутствует, зато если предположения нормальности не выпол-
выполняются, то их эффективность может быть намного больше.
Можно спросить, не будет ли рандомизация играть ту же роль»
т. е. не позволит ли она освободить нас от необходимости де-
делать предположения нормальности.
38.42 Детальное рассмотрение теории рандомизации для
случайных блоков и латинских квадратов содержится в пред~
последней главе книги Шеффе A959), где приведены ссылки
на литературу. С точки зрения оценивания самыми интерес-
интересными являются результаты о математических ожиданиях
СрК в таблицах ДА, которые цитируются из работ Кемп-
сорна A952) и Уилка и Кемпсорна A957) (см. также Кокс
A958b)).
Для плана случайных блоков математическое ожидание
СрК обработок получается из математического ожидания оста*
точного СрК вычитанием члена, зависящего от взаимодействий
между блоками и обработками и добавлением обычного члена,
зависящего от эффектов обработок. (Стоит отметить, что при-
присутствие ошибок взаимодействий (см. 36.41) между обработ-
обработками и объектами внутри блоков не меняет ситуацию). Таким
образом, остаточный СрК увеличивается из-за взаимодействий
между блоками и обработками. Однако эта трудность исчезает,
если (как это часто бывает и на самом деле) рассматривать
эффекты блоков не как фиксированные, а как случайные ве-
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
203
личины. Остаточный СрК можно тогда соответствующим обра-
образом использовать для оценки величины СрК обработок.
Для латинского квадрата ситуация сложнее, поскольку здесь
ошибки взаимодействий оказывают некоторое влияние на срав-
сравнение СрК обработок с остаточным СрК. По причинам, о кото-
которых говорилось в 36.42, простые результаты здесь не полу-
получаются.
38.43 Рассмотрим теперь вопросы проверки гипотез для эф-
эффектов обработок при наличии рандомизации. Для случая, когда
нет ошибок объектов (см. 36.41), соответствующая теория была
уже развита в 37.39—41, где рассматривался критерий пере-
перестановок для эффектов столбцов при двухфакторной классифи-
классификации с одним наблюдением в клетке. В 38.30 мы видели, что
ситуация случайных блоков формально совпадает с указанной
классификацией. Таким образом, при проверке гипотез об эф-
эффектах обработок для случайных блоков справедливы резуль-
результаты 37.39—41. При этом строчки играют роль блоков, а столб-
столбцы — обработок. А значит, можно в C8.52) применить обычный
критерий ДА для обработок с числом ст. св., установленным
методом 37.29, как это указывалось в 37.40. (Несколько выбо-
выборочных экспериментов Кольера и Бейкера A966) указывают,
что мощность обычных /•"-критериев также устойчива к наруше-
нарушению нормальности.) С другой стороны, можно, как и в 37.41
и упражнении 37.14, использовать свободные от распределения
критерии, основанные на рангах или нормальных метках, при-
причем, если число обработок или число блоков не слишком мало,
то можно пренебречь поправкой на число ст. св.
Доксум A967) и Холландер A967) изучают проверку гипотез об обработ-
обработках для экспериментов г.о случайными блоками против альтернатив об упо-
упорядочениях вида C1.156). Критерии, основанные на симметричном критерии
Вилкоксона (см. 31.79), обладают очень высокой эффективностью по срав-
сравнению с /-критерием Стьюдента прн альтернативах сдвига (всегда не менее
0,864 и не менее 0,563 в нормальном случае). Аналог C1.151) много хуже.
Если присутствуют ошибки объектов, то, как показал Огава
A961, 1963), можно все еще оправдать приближенное приме-
применение стандартного /-"-критерия, если дисперсии эффектов объ-
объектов почти постоянны внутри блоков, а число блоков доста-
достаточно велико.
Для латинских квадратов даже при отсутствии ошибок объ-
объектов критерий перестановок для эффектов обработок менее
удовлетворителен, чем для случайных блоков. То же было верно
для оценок в 38.42. Как и ранее математическое ожидание
обычной для ДА статистики критерия совпадает для нормаль-
нормальной теории и для случая рандомизации, однако в последнем
случае выражение для дисперсии более сложное. Вследствие
этого остается мало доводов в пользу применения нормального
204
ГЛАВА 38
приближения в случае перестановочного распределения (Уэлч
A937); Шеффе A959)).
38.44 Таким образом, доводы в пользу справедливости кри-
критериев нормальной теории для рандомизированных латинских
квадратов весьма сомнительны, и их число даже уменьшается
для большинства других, более сложных планов эксперимента.
Поэтому вызывает сомнение распространенное безмятежное
предположение о том, что рандомизированный случай всегда
хорошо приближается нормальной теорией.
Теперь возникает принципиальный вопрос. Должна ли ран-
рандомизация явно включаться в теорию, лежащую в основе на-
наших критериев и процедур оценки? На этот вопрос трудно не
ответить утвердительно; поскольку рандомизация является
важным моментом современного подхода к статистическим вы-
выводам (см. 38.7). Поэтому трудно оправдать то относительное
пренебрежение этим довольно сложным разделом статистиче-
статистической теории.
Дисперсии разницы между обработками
в блочных экспериментах
38.45 Вернемся теперь к задаче планирования для общего1
анализа блочных экспериментов, проведенного выше в 38.19—26.
В 38.27 мц требовали, чтобы оценки параметров обработок
были ортогональны (как было получено в 38.28—30, это ведег
к плану случайных блоков). Вместо этого сформулируем теперь
задачу планирования в терминах дисперсии разностей между
этими оценками.
Пусть мы хотим, чтобы в результате эксперимента диспер-
дисперсии разностей между оценками параметров i-й и 1-й. обработок
равнялись, скажем, 2а2йц. Обозначим (i, /)-й элемент диспер-
дисперсионной матрицы оценок параметров обработок через о2т&!ц. Со-
Согласно C8.40) эта матрица равна a2Q, где Q определена
в C8.23). Тогда
wn - 2дап -f- wn = 2dit, C8.77)
так что
Wn = -5-1
C8.78)
Если обозначить w вектор с элементами {у^п }» а jD матрицу
с элементами {— dlt}, где с^, = 0 согласно C8.77), то C8.78)
можно переписать в виде
Q = wVt + W + D = (wj 1,)
C8.79)
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
205
Нетрудно видеть, что соотношение C8.79) для любого скаляра
с совпадает с
Q = {w ~iclt)r* + h (w -\
+ (D + cltVt). C8.80)
Поскольку само w (как функция от Q) подлежит выбору при
планировании блочного эксперимента, то без потери общности
можно продолжать использовать C8.79), условившись, что D
может быть заменено на любую матрицу, отличающуюся от D
на скаляр, умноженный на 1*1*. Такие матрицы называют мат-
матрицами класса D.
38.46 Итак D равна умноженной на константу матрице дис-
дисперсий разностей оценок параметров обработок, которую мы
хотим получить. Пусть мы хотим получить эту матрицу такой,
чтобы все внедиагональные элементы D были равны, так что
мы хотим, чтобы все разности оценивались с одной и той же
точностью. (Главная диагональ матрицы D, разумеется, со-
состоит из нулей). Согласно C8.77) мы получим такой вид мат-
матрицы D, если выберем дисперсионную матрицу Q оценок пара-
параметров обработок так, чтобы были равны друг другу все ее
диагональные элементы wi{ и равны друг другу внедиагональ-
внедиагональные элементы wih В этом случае сам вектор w равен скаляру,
умноженному на It, так что в C8.80) можно выбрать кон-
константу с так, чтобы w—2"с1* = 0. Тогда соотношение C8.80)
сводится к
Q = -Dc, C8.81)
где Dc обозначает соответствующую матрицу из класса D. Из
C8.81) и C8.23) получим
откуда
DJ1 = diag (г) — nn'/k + rr'j(bk),
tin' = k {diag (r) — D71 + rr'J(bk)}.
Из C8.28) и C8.81) имеем
а из C8.83) с использованием C8.27) получим
Подставляя C8.83—4) в C8.82), получим
nn' = k\ diag(Z)j'l*) — D7l + -
ltDc lt
C8.82)
C8.83)
C8.84)
- \. C8.85)
206
ГЛАВА 38
Хотя C8.85) было получено при специальном предположении
о том, что все внедиагональные элементы матрицы D равны,
как непосредственно показал Точер A952), это соотношение
остается верным в общем случае для произвольной D (см.
упражнение 38.8).
38.47 Возвращаясь к предположениям 38.46, видим, что если
все внедиагональные элементы матрицы D равны —1/а (соот-
(соответственно все дисперсии разностей равны 2о2/а), то
C8.86)
а поскольку
то
D- = — {It ~г (пс—Ч мм}- (оо.о/)
Нетрудно проверить, что матрица, обратная к C8.87), равна
Полагая Л==A — ас)/{1 + t(ac — 1)}, получим
C38.88)
а значит, C8.83) можно переписать в виде
rlt, C8.89)
где г — а(\ -\- At). Отсюда следует, что каждая обработка при-
применяется в эксперименте одно и то же число г раз. Используя
C8.88—9), получим, что C8.85) можно переписать в виде
lt}. C8.90)
Здесь не фигурирует произвольная константа А, которая нужна
только для определения г.
Уравнение плана
38.48 Уравнение для гага' называется уравнением плана. Из
определения п в 38.16 мы видим, что (i,l)-& элемент матрицы
пп' указывает на то, сколько раз в эксперименте, как целом,
встречаются вместе в одном блоке i-я и 1-я обработки. В част-
частности, при i = I диагональные элементы матрицы пп' равны
просто частотам ги с которыми i-я обработка применяется
в эксперименте.
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
Планы сбалансированных неполных блоков
207
38.49 Проинтерпретируем теперь приведенное в C8.90) урав-
уравнение плана в свете 38.48. Рассматривая уравнение для диаго-
диагональных элементов, имеем
а значит,
r = ak(t— l)/{(k — 1) /}.
Для внедиагональных элементов C8.90) получим
{пп%1 = kalt = Я.
C8.91)
C8.92)
Таким образом, в эксперименте, как в целом, в одном и том же
блоке каждая пара обработок встречается ровно Я раз.
Из C8.91—2) получим
r(k— 1) = Я(/— 1). C8.93)
Поскольку t ^ k, то из C8.93) следует Я ^ г, что и так ясно
из определения этих чисел. Более того, поскольку / обработок
встречаются в эксперименте по г раз, а в эксперименте уча-
участвуют Ъ блоков, в каждом из которых k объектов, то
rt = bk. C8.94)
С использованием C8.92—3) соотношение C8.90) можно пере-
переписать в виде
nn' = {r— Я)/( + Я1A<. C8.95)
Если г = Я, то матрица инциденций C8.46) плана случайных
блоков удовлетворяет соотношению C8.95), поскольку, со-
согласно C8.93—4), в этом случае k = t, Я = Ъ. Это понятно и из
самого определения г и Я. В дальнейшем мы исключим этот
случай и будем рассматривать только случаи, когда г >• Я,
t>k.
Блочный эксперимент, удовлетворяющий уравнению плана
C8.95) и условиям C8.93—4), называется планом сбалансиро-
сбалансированных неполных блоков (СНБ). Эти планы были введены
Иэйтсом A936а). Их характерная особенность состоит в том,
что каждая из / обработок встречается в г из 6 блоков, со-
состоящих из k объектов, а любая пара обработок встречается
в одном блоке в Я из Ь блоков. Мы пришли к плану СНБ
в 38.46—7, исходя из требования, чтобы оценки всех разностей
параметров обработок имели одну и ту же дисперсию 2а2/а,
где а определяется в C8.91—2).
208
ГЛАВА 38
Из условий C8.93—4) следует, что любые три из пяти кон-
констант t, k, к, г, b определяют оставшиеся две. Как правило, ис-
используются первые три из этих констант.
38.50 Условия C8.93—5) являются необходимыми усло-
условиями (которым должны удовлетворять целые числа /, k, к, г,
Ь) для того, чтобы существовал план СНБ. Однако, вообще го-
говоря, они не являются достаточными, поскольку может не су-
существовать матрицы инциденций п, удовлетворяющей уравне-
уравнению плана C8.95) для пп' (см. упражнение 38.11). Можно
привести дальнейшие необходимые условия. Например, из
C8.95) следует, что (t X /)-матрица пп' не вырождена, так
что (/ X Ь) -матрица п должна иметь ранг /, а значит,
•¦t
C8.96)
(отсюда и из C8.94) следует, что г^-k). Этот результат впер-
впервые другим способом получил Р. Фишер. В своем исчерпываю-
исчерпывающем обзоре по данному вопросу Гуерин A965) приводит и дру-
другие, более точные необходимые условия. Ханани A961) дока-
доказал, что условия C8.93—5) являются не только необходимыми,
но и достаточными при k = 3 или k = 4, а также при k = 5
в случае к = 1, 4 или 20.
Если задан некоторый план СНБ, то существует план с теми
же t и k, й X, умноженным на произвольное целое число т.
Этот план получается простым повторением исходного плана
т раз; при этом rub также увеличиваются в т раз. Мы
всегда будем считать т = 1, т. е. брать минимально возможное
Я при любом заданном плане. Однако при заданных / и k мо-
может существовать несколько таких «минимальных» к, соответ-
соответствующих различным планам СНБ. В приведенной ниже в 38.54
таблице фигурируют такие примеры. Более того, для одних
и тех же значений /, k и к может существовать несколько пла-
планов СНБ с существенно разной структурой (не изоморфных).
Это интуитивно понятно из того факта, что значения г и Я яв-
являются только условиями первого и второго порядков на рас-
расположение обработок в блоках. В общем случае они не
ограничивают частоты одновременного появления трех, четы-
четырех и т. д. обработок.
38.51 Если ink фиксированы, то остается возможность вы-
выбора третьей константы плана. План СНБ всегда можно по-
построить, просто взяв в качестве блоков каждое из Г , J сочета-
сочетаний обработок. Тогда
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
209
Такой план СНБ называется неприводимым. Поскольку для
проведения соответствующего эксперимента требуется
bk = rt = tw/(k — 1)!
наблюдений, то неприводимые планы применяются на практике,
только когда k или (t — k) малы.
Если k = 2, то из C8.93—4) следует, что всегда
Для неприводимого плана C8.97) это выполняется только при
к= 1.
Если k = t— 1, то C8.97) сводится к b = t, r = t— 1, к =
= ? — 2. Это пример симметричного плана СНБ (b = t,k = r),
который в указанном случае оказывается также неприводимым.
38.52 Поскольку в эксперименте каждая из / обработок
встречается г раз, а каждый блок фигурирует k раз (см. C8.4)),
то соблазнительно поменять в плане ролями блоки и обработки,
положив /' = b, b' = t, г' = k и k' = г для получения дуального
плана. Однако такой дуальный план сам будет планом СНБ
тогда и только тогда, когда исходный план СНБ является сим-
симметричным (в качестве иллюстрации см. упражнение 38.12).
Если план СНБ можно разложить на г подмножеств бло-
блоков, так что в каждом подмножестве каждая обработка при-
присутствует один раз, то план называется разложимым {resol-
{resolvable). При этом в каждом подмножестве фигурирует дубликат
множества обработок. Для разложимости, очевидно, требуется,
чтобы t = ck, b = сг, где с — целое положительное число. Од-
Однако последние условия сами по себе не являются достаточ-
достаточными для разложимости плана.
Как показал Бозе A942), для разложимых планов СНБ
условие C8.96) можно заменить на более сильное
6>/ + г—1. C9.98)
Последнее условие снова является только необходимым для
существования разложимого плана СНБ, поскольку C8.98)
всегда справедливо, если только t = ck, b = сг (см. упражне-
упражнение 38.13). Равенство в C8.98) достигается тогда и только
тогда, когда для любых двух блоков из различных дубликатов
внутри разложимого плана существует ровно k2/t общих обра-
обработок. В этом случае план называется афинно разложимым
планом СНБ (см. упражнение 38.18).
38.53 Манн A949) приводит обзор методов построения пла-
планов СНБ, восходящих к Бозе. В работе Гуерина A965) описы-
описываются эти и некоторые другие методы построения планов
СНБ. Там же приведена исчерпывающая библиография
«9
a
к
ч
ю
CD
8
V/
V/o,
II
3 Я
? g
о К
ш о
§s
О «I
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
211
= ?§
elf
l
о Е я
° 5 s
S о
2 ч
us
К2.
Щ
V/S.
I
л ^_^
sis
по данному вопросу со списком фундаментальной серии работ
Бозе, начиная с Бозе A939). Вайда A967b) изучает математиче-
математические аспекты этого вопроса. Маллер A965) приводит методы по-
получения планов СНБ из полных множеств ортогональных латин-
латинских квадратов, когда t— целая степень простого числа (см.
упражнения 38.10—11, где даны некоторые примеры такой кон-
конструкции, приведенные в более ранних таблицах Фишера
и Иэйтса). Если t нечетное, а ft не превосходит наименьшего
простого делителя /, то план СНБ всегда можно построить ме-
методом, приведенным в упражнении 38.20. Если t простое, то
этот метод справедлив для любого k <C t.
38.54 В таблицах Фишера и Иэйтса приведен указатель всех
известных планов СНБ для значений k и г с г ^ 10. Там же
приведены комбинаторные методы получения конкретных пла-
планов. Кокрэн и Кокс A957) приводят детальные способы выбора
из этих планов. С. Рао A961) описывает планы и комбинатор-
комбинаторные методы их получения для 11 ^ г ^ 15 (эти планы, а также
их обобщения включены в 6-е издание таблиц Фишера и Иэйтса
за 1963 г.). Спротт A962) описывает планы при 16 ^ г ^ 20;
Такэючи A962) при *<100 и г < 20 (г = 30 для симметрич-
симметричных планов) приводит описание и дает методы построения (см.
исправления Силлитто A964) и Клатуэрти и Левицкий A968)).
В таблице 38.1 приведены при /^ 100, k ^ г ^ 20 значения
Я, для которых известны планы СНБ, не являющиеся неприво-
неприводимыми. Случай k = 2 опущен, поскольку (согласно 38.51)
в этом случае всегда существует неприводимый план с 1=1.
При k — t—1 (опять согласно 38.51) всегда существует сим-
симметричный неприводимый план с K = t — 2, также не"фигури-
не"фигурирующий в нашей таблице. Далее в таблице приводятся только
значения к при k ^ t/2, поскольку (за исключением уже рас-
рассмотренного случая k = f—1) план с k'>t\2 всегда можно
получить из плана с А< t/2. В самом деле, рассмотрим для
каждого блока те обработки, которые в нем не применяются,
в качестве нового, дополнительного блока, содержащего к! =
= t— k объектов. В результате получится дополнительный
план, состоящий из дополнительных блоков. Из C8.93—4) по-
получим, что
?_ _ jt~k)(t-k- 1)
k(k-l)
> 1.
Анализ планов СНБ
38.55 Анализ эксперимента, проведенного по плану СНБ,
можно провести теперь, подставив просто в соотношения из
38.23—6 соответствующие значения, поскольку 38.23—6 спра>
ведливы для любых блочных экспериментов.
212
ГЛАВА 38
Подставляя C8.89) и C8.95) в C8.23), получим с исполь-
использованием C8.93—4) для исключения г и Ъ
— T\It+
t4k-\)
C8.99)
Матрица в C8.99) имеет точно тот же вид, что и в C8.87),
а значит, как может непосредственно проверить читатель, об-
обратная к ней, как и к C8.87), равна
C8.100)
Подставляя C8.100) в C8.29) и используя C8.34), получим
C8.101)
Отсюда следует, что оценки параметров обработок больше не
являются не зависящими от суммарных значений по блокам.
Это и должно быть, поскольку различные множества блоков
связаны с различными обработками. Из определения п и В
видим, что nB/k является (t X 1)-вектором, i-й элемент кото-
которого равен сумме средних значений для блоков, взятой по тем
блокам, в которых применяется 1-я обработка. А значит, пред-
представляющий непосредственный интерес вектор
Та = Т — nB/k C8.102)
может быть назван вектором исправленных сумм для обрабо-
обработок. Соотношение C8.101) принимает вид
т = ¦— Та + ltG/(bk). C8.103)
Используя C8.103) и C8.4), получим, что C8.32) сводится,,
таким образом, к
= B\k-±r n'Ta - \bGI{bk).
C8.104)
Далее, СК разницы между обработками в таблице ДА C8.39)
равна Т'а&Та, а с использованием C8.100) и C8.34) это сво-
сводится просто к
4тТ'аТа. C8.105)
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
213'
В результате получаем следующую таблицу ДА, являющуюся,
частным случаем C8.39).
Таблица ДА для эксперимента СНБ
Источник дисперсии
Разница между обра-
обработками
Эффекты блоков
Остаточная
Генеральное среднее
Полная
СК
—т'т
Xt * *
B'B/k - G2J(bk)
у'у - -jj т'ата - в'в/k
G2l(bk)
y'y
Число
ст. св.
/—1
b—\
bk—t—b+l
1
bk
C8.106)
Читатель может проверить, что C8.106) сводится к таблице
случайных блоков C8.52), если положить k — t, Я = Ъ.
Кокрэн и Кокс A957) и Кемпсорн A952) приводят подроб-
подробные инструкции для проведения ДА для планов СНБ, обращая
внимание на возможные упрощения в разложимом, симметрич-
симметричном и других частных случаях. В их работах учитывается также
использование информации между блоками. Сейчас мы перей-
перейдем к рассмотрению этого вопроса (см. также С. Рао A947)).
38.56 Можно предположить, что результаты 38.55 должны
дополнить наше обсуждение анализа планов СНБ, однако это
не так. Модель C8.6), которая служит основой для всех наших
результатов, является линейной моделью с фиксированными
эффектами, т. е., как и в главе 35, мы проводим анализ по ме-
методу НК, оставаясь в рамках модели I. При рассмотрении пара-
параметров обработок это предположение, вообще говоря, реали-
реалистично. Но, как мы видели в 38.14, блоки в эксперименте яв-
являются обычно мешающими факторами, не имеющими прямого
интереса. Конкретные блоки, используемые в эксперименте, не
оказывают на него влияния. Поэтому при проведении анализа
более естественно рассматривать эффекты блоков как случай-
случайные величины. В терминологии главы 36 нам следует, таким
образом, рассмотреть смешанную модель с фиксированными
эффектами обработок и случайными эффектами блоков. Это
естественно ведет к другому анализу, который, обычно назы-
называется использованием информации между блоками. Проводи-
Проводимый ниже анализ не ограничивается планами СНБ, а справед-
справедлив для любых блочных экспериментов.
-214
ГЛАВА 3S
Смешанная модель для использования информации
между блоками
38.57 Не будем рассматривать теперь Ъ—1 линейно неза-
независимых параметров блоков а из модели в 38.21. Вместо этого
предполагается, что эффектам блоков соответствует случайная
величина, скажем р*). Как обычно, предполагается, что ошибки
Eij имеют нулевое математическое ожидание и дисперсию а2.
Если математическое ожидание р равно нулю, то р не влияет
на математическое ожидание у, а дисперсия р" налагается на
обычную дисперсию ошибки ец. В обозначениях 38.16—21 опи-
описываемая модель имеет вид
где
М (у) = Хх,
X =
{bkXt)
C8.107)
C8.108)
-Следует заметить, что все еще предполагается, что эффекты
блоков и обработок не взаимодействуют.
Теперь ошибки в модели не являются больше некоррелиро-
некоррелированными, поскольку любым двум наблюдениям из одного блока
соответствует одно и то же значение р\ Если обозначить
гр = alia2, то легко видеть, что дисперсионная матрица у равна
А О
| C8.109)
"Здесь вдоль главной диагонали матрицы V стоят Ь одинаковых
матриц
A=h+plkl'k. C8.110)
Предположим сначала, что р известно. (Вопрос об оценивании
р рассматривается в 38.62—4.)
Для оценивания т воспользуемся обобщенной НК-оценкой
из 19.17 (т. 2):
[Х)~'х'у-'у, C8.111)
*) В нарушение обычного соглашения здесь для обозначения случайной
величины, соответствующей блокам, используется греческая буква, поскольку
Ь и В уже использовались выше.
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
дисперсионная матрица которой равна
-I
215-
V (х) = (X'V-1X) . C8.112>
38.58 Матрица, обратная к C8.110), как и в C8.87), имеег
вид
C8113>>
Используя C8.108—9) и C8.113), имеем
Подставляя сюда C8.5) и C8.1), получим
Поскольку из определения следует, что
ь
H
то C8.114) сводится к
C8.115)-
C8.116).
а дисперсионная матрица оценок в C8.112) является обратной;
к C8.116). Далее
что после подстановки сюда C8.18) и C8.1) сводится к
C8.117).
Используя C8.116—17), перепишем C8.111) в виде
. C8.118),
38.59 Если а2.-» 0 (р->0), то C8.118) сводится к
р->0
а дисперсионная матрица т равна тогда c2{diag(r)}~'. Эта
216
ГЛАВА 38
в точности совпадает с результатом, который мы бы должны
были получить, если бы вовсе не учитывали эффекты блоков
(см. ниже C8.123)). Но так и должно быть, ибо при ol—>Q
и М(р")=0 эффекты блоков исчезают.
В другом крайнем случае, когда а\ —*¦ оо (и р—>• оо), соотно-
соотношение C8.118) нужно переписать так, чтобы в нем не содер-
содержалось обращение матрицы, ибо в этом случае р/A + kp)-+ l/k
и матрица {diag(r) — nn'/k} сингулярна (проверка сингулярно-
сингулярности проводится умножением справа на tt и использованием
C8.3—4)). Перепишем поэтому C8.118) при р-+оо в виде
{diag (г) — nn'/k} т = Т — nB/k.
C8.119)
Умножая C3.24) слева на Q-1 и используя C8^31), получим,
что оценка х из C8.29) удовлетворяет соотношению C8.119).
Таким образом, если эффекты блоков велики, то оценка C8.118)
стремится к внутриблочной оценке C8.29). Хотя это может
звучать парадоксально, но обращение к смешанной модели су-
существенно влияет на оценку только тогда, когда эффекты бло-
блоков малы.
Легко видеть, что внутриблочные оценки остаются несме-
несмещенными в смешанной модели. В самом деле, поскольку для
любого фиксированного множества эффектов блоков оценки яв-
являются несмещенными, то они безусловно должны остаться
такими, когда эффекты блоков становятся случайными величи-
величинами. Если эффекты блоков велики, то стремятся применять
более простой анализ между блоками, поскольку, как мы
только что видели, изменение оценок в этом случае мало. Од-
Однако дисперсионной матрицей оценок будет теперь не C8.40),
а обратная к C8.116).
38.60 Совсем не очевидно, что для случайных блоков оценки,
полученные с использованием смешанной модели не меняются
по сравнению с внутриблочными оценками, полученными для
модели с фиксированными эффектами. В упражнении 38.14 по-
показано, что для случайных блоков оценки C8.118) совпадают
с оценками C8.48), но что дисперсионная матрица оценок из-
изменяется так, что их дисперсии возрастают. (Это понятно из
того факта, что оценка любого параметра обработки TJb яв-
является средним из Ь независимых наблюдений с дисперсией,
которая, согласно C8.109—10), равна о2A+р)). Такое изме-
изменение происходит из-за того, что в нашей модели отсутствует
параметр генерального среднего. Если бы он был, то оценки
в обеих моделях имели бы одно и то же распределение (см.
упражнение 38.14).
38.61 Первоначальный подход Иэйтса A939, 1940а) к ис-
использованию информации между блоками был несколько от-
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
217
личным. Сначала отмечалось, что, исходя из суммарных зна-
значений для блоков, можно построить междублочные оценки
параметров обработок. Эти оценки оказывались некоррелиро-
некоррелированными с внутриблочными оценками. Для получения оценки
с минимально допустимой этим методом дисперсией бралась
взвешенная сумма двух приведенных оценок. (В упражне-
упражнении 38.15 читателю предлагается рассмотреть обобщенный ва-
вариант такого подхода.) Но очевидно, что эти два разных под-
подхода к использованию информации между блоками эквива-
эквивалентны. В самом деле, взвешенная сумма двух компонент
в упражнении 38.15 определяется со ссылкой на дисперсионную
матрицу внутриблочных оценок в исходной модели (с фиксиро-
фиксированными эффектами), а дисперсионная матрица междублочных
оценок получена для смешанной модели. Тем не менее в упраж-
упражнении 38.16 показано, что оба метода всегда приводят к одной
и той же оценке.
38.62 МД-оценка т в C8.118) является функцией отноше-
отношения дисперсий р =оЦа2. Обычно бывает нужно оценить само р>
с помощью некоторого р, а затем можно использовать т(р).
Оценим сначала отдельно о| и о2, а затем в качестве оценки
для р возьмем отношение полученных оценок.
Для нахождения подходящей оценки величин а^ и с2 вер-
вернемся к общему анализу из 38.19—24. Теперь мы хотим найти
<Ж, соответствующую блокам, а не разнице между обработ-
обработками, как это было в 38.25. В результате мы получим остаточ-
остаточную СК, скажем S2, когда отсутствуют эффекты блоков. Раз-
Разность 52 — 50 будет тогда равняться СК, соответствующей эф-
эффектам блоков.
38.63 Полагая Р = 0 в C8.32), получим
В— п'х0, C8.120)
где т*0 обозначает (т)^=0. Умножая слева на \'ь и используя.
C8.25) и C8.3), имеем
<3==г'т0.
C8.121)
Если подставить теперь C8.120—1) в C8.24), то с использо-
использованием C8.23) получим
т0 = Q {Г -nn'xQ/k + rr'xo/(bk)} =
= Q{T-f-[Q-1-diag(r)]T0}. C8.122)
Разрешая C8.122) относительно т0, получим
)}"'г- C8Л23>
-218
ГЛАВА 38
В результате C8.33) сводится к
S2 = y'g- Г (diag (г)} Т. C8.124)
Используя первую строчку таблицы ДА C8.39) и C8.37), на-
находим
*S2 - So = Г'т + В'Р - Г {diag (г)} Т =
= (Г - л В/А:)' Q (Г - nB/k) + B'B/k — Г {diag (г)} Г. C8.125)
В результате получилась искомая СК, соответствующая бло-
блокам. Таким образом, альтернативная к C8.39) таблица ДА
.имеет такой вид:
Источник
дисперсии
Эффекты блоков
(с учетом раз-
разницы между об-
обработками)
Разница между
обработками
(без учета эф-
эффекта блоков)
Остаточная <
Генеральное сред-
среднее
Полная
СК
(Г — nBlk)' Q (Г — nB/k) +
+ B'Blk — Т' {diag (г)} Т
Т {diag (г)} Г - G2/(bk)
у'у - 2"t - В'Р
G*/(bk)
У'9
Число
ст. св.
6 — 1
t-\
bk — b—t+\
1
bk
C8.126)
Как и должно было быть, строки, соответствующие остаточной
СК и генеральному среднему, не меняются, а оставшаяся СК
перераспределяется между эффектами блоков и обработок по-
иному, поскольку здесь сначала принимаются во внимание раз-
разница между обработками, а не эффекты блоков. Следует вспо-
вспомнить из примера 35.4, что порядок не имеет значения только
в случае ортогонального анализа.
38.64 Как обычно, о2 можно оценить теперь остаточной СК
*Sq> поделенной на ее число ст. св., поскольку
М (So) = {bk — b — t + 1) or2.
C8.127)
Для оценивания а| заметим сначала, что, согласно C8.124),
СК, обусловленная блоками (скажем SB), может быть nepe^
лисана в виде
52-So = SB = у'у -SQ-Г {diag (г)} Г,
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
так что, используя C8.127), получим
М (SB) =
= М (у'у) - (bk - Ъ - t + 1) о-2 - М [Г {diag (г)} Г]. C8.128)-
Из результатов упражнения 19.3 мы знаем, что если
М(г) = 0 и VB) = o-2W, то М [г'Аг) = о2 tr (AW), а значит,
полагая без ограничения общности т = 0, получим из C8.109—10>
М(у'у) =a2bk(l + p). C8.129)
Из модели C8.107—10) следует, с учетом свойств пп' из 38.48
М (Г) = {diag (г)} т, V (Г) = a2 [diag (г) + рлл'].
Теперь снова можно воспользоваться результатом упражне-
упражнения 19.3 и получить
М [Г {diag (г)} Г] = or2 tr [{diag (r)} {diag (r) + рлл'}] =
= or2 tr [It + p {diag (r)}. »n'] =
C8.130>
C8.131>
C8.132>
Используя определения, легко проверить, что
tr[{diag(r)}-'nn'] = /,
а значит,
M[r{diag(r)}-17']=o2/(l+p),
и C8.129) и C8.131) превращают C8.128) в
М (SB) = (Ь — 1) о-2 + (bk — t) pa2.
В результате из C8.132) и C8.127) получим
Соотношения C8.133) и C8.127) задают искомые оценки.
Пусть р — их отношение. В рассматриваемом контексте мы
интересуемся оцениванием т, и р не обладает никакими свой-
свойствами оптимальности. Иэйтс A939, 1940а) проводил усечение
оценки а^, заменяя отрицательные значения нулем. В резуль-
результате получалась оценка р. Точер A952) дает другие, более
сложные оценки значения о^, которые являются несмещен-
несмещенными квадратичными МД-оценками при условии, что ошибки-
обладают нулевыми эксцессом и асимметрией. На самом деле
нам нужна такая оценка значения р, чтобы при ее подстановке
в оценку параметров обработок C8.118) сохранялась несме-
несмещенность.
220
ГЛАВА 38
Грейбилл и Уикс A959) и Грейбилл и Сэшадри A960) по-
показали, что для планов СНБ оценка т из C8.118) остается
несмещенной при использовании р или р. Сэшадри A966) пока-
показал, что дисперсия меньше, если использовать р. Дж. Рой
и Шах A962) показали, что если оценка параметра р принад-
принадлежит к некоторому типу, определяемому в терминах характе-
характеристических чисел матрицы пп', то несмещенность т сохра-
сохраняется для любого плана неполных блоков такого, что г =
= r\t, причем р принадлежит к требуемому типу. Шах A964)
лриводит другие несмещенные оценки для нескольких хорошо
известных планов экспериментов, включая план СНБ с t > 5.
Стейн A966) рассматривает использование информации между блоками
для планов СНБ, когда эффекты блоков возникают только из-за рандоми-
рандомизации.
Перестановочные распределения для планов СНБ
38.65 После общего обсуждения смешанной модели в
38.57—64 вернемся к модели с фиксированными эффектами для
экспериментов СНБ и рассмотрим критерии перестановок для
эффектов обработок.
Огава A963) показал, что если имеются ошибки объектоь
(см. 36.41 )„ то стандартный F-критерий для обработок может
быть оправдан, как приближение для перестановочного распре-
распределения, если Ъ достаточно велико, а дисперсии ошибок объек-
объектов внутри блоков почти постоянны. А значит, его применение
оправдано, когда Ъ велико, а ошибки объектов отсутствуют.
Если вместо наблюденных значений использовать внутри
блоков ранги, то для эффектов обработок в плане СНБ можно
получить обобщение перестановочного распределения стати-
статистики критерия, рассмотренного в 38.43 и 37.39—41 для слу-
случайных блоков. Результаты, восходящие к Дербину A951),
приведены в упражнении 38.17. Ван Элтерн и Нётер A959)
показали, что по сравнению с обычным /•'-критерием для эффек-
эффектов обработок, для критерия Дербина, использующего ранги,
АОЭ равна k/(k~\-l), умноженному на АОЗ критерия Вилкок-
сона C1.115). В нормальном случае получается 3k/{n(k + 1)}.
Оказывается, что АОЭ зависит от объема блоков, а не от t. Для
случайных блоков см. также П. Сен A967).
Интересно отметить, что точные выражения можно в рас-
рассматриваемом случае получить, вообще говоря, только для пер-
первых двух моментов статистики критерия. Причина состоит в том,
что, как упоминалось в 38.50, условия СНБ не накладывают
никаких ограничений на совместное появление трех и большего
числа обработок.
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
221
Бенард и Ван Элтери A953) приводят «хи»-квадрат-критерий перестано-
перестановок для больших выборок в случае произвольных (не обязательно сбаланси-
сбалансированных) планов неполных блоков, использующих ранги и допускающих по-
повторение и потерю наблюденных значений.
Эксперименты с предпочтением
38.66 Планы СНБ представляют интерес в связи с экспери-
экспериментами с предпочтением (preferenc experiments), когда часто
невозможно измерить степень предпочтения, но известно ран-
ранжирование предпочтений. Если предпочтения должны быть вы-
выражены внутри Ъ блоков, k элементов (обработок) которых вы-
выбраны из возможного числа /, то порядок, в котором рассмат-
рассматриваются эти элементы, может оказаться важным. Поэтому
желательно, чтобы план СНБ принимал во внимание это влия-
влияние порядка. Простейший способ состоит в рассмотрении эле-
элементов в порядке, определяемом столбцами (t X 0 латинского
квадрата. Если использовать первые k столбцов квадрата, то
они определяют t блоков по k элементов, причем каждый из
возможных t элементов появляется ровно один раз в каждом
соответствующем порядку положении. Если b — ct, где с —
положительное целое число, то можно получить полное сбалан-
сбалансирование по порядку, используя указанным способом первые k
столбцов с латинских квадратов размера (t Х0-
Так, например, первые три столбца из C8.71) задают план
СНБ с t = 4, b — 4, k = 3, А, = 2. Каждая из букв А, В, С, D
появляется один раз в каждом столбце.
Используемые таким способом неполные латинские квадраты
известны как планы квадратов Юдэна после того, как их от-
открыл В. Юдэн. Разумеется сбалансированность по расположе-
расположению может оказаться важной для любого эксперимента СНБ
(не обязательно с предпочтениями), в котором «положение»
может относиться к любой переменной, мешающий эффект ко-
которой мы хотим исключить из эксперимента. Так было в исход-
исходном рассмотрении латинских квадратов (см. 38.31 и 38.34).
Парные сравнения
38.67 Частный случай плана СНБ при k = 2 (когда, как мы
видели в 38.51, план неприводим) обычно называется планом
парных сравнений (paired comparisons design). Этот план осо-
особенно важен в экспериментах с предпочтением. В монографии
Дэвида A963), посвященной методам парных сравнений,
имеется глава о соответствующих планах экспериментов. Воз-
Возможно, самыми важными из них являются планы связанных
(linked) парных сравнений, развитые Бозе A956). В этих пла-
планах каждое из t суждений состоит в сравнении г пар элементов
?22
ГЛАВА 38
(выбранных из полного числа п). Сравнение для каждой пары
содержится в k суждениях, причем для любых двух суждений
имеется ровно А, общих пар. Как указывают обозначения, это.
соответствует планам СНБ: суждения соответствуют «обработ-
«обработкам», пары элементов — блокам, «содержащим» k таких обра-
обработок. Всего имеется Ь=-^п(п— 1) таких блоков. Новая черта
планов связанных парных сравнений состоит в том, что тре-
требуется, чтобы каждый из п элементов фигурировал одинаково
часто в г парах каждого суждения, т. е. фигурировал 2г/п = а.
раз. Поэтому из C8.94) имеем
a=k(n—l)/t. C8.134>
Из-за дополнительного условия C8.134) из существования
плана СНБ не следует существование плана связанных парных;
сравнений, хотя из существования последнего, очевидно, сле-
следует существование плана СНБ. Бозе A956) дает методы (вос-
(воспроизведенные Дэвидом A963)) вывода планов связанных пар-
парных сравнений из планов СНБ.
Частично сбалансированные неполные блоки
38.68 Существенной чертой планов СНБ (см. 38.49) яв-
является полная симметрия обработок, которые появляются всего
г раз каждая и К раз совместно с любой другой. Эта симмет-
симметрия— естественное следствие симметричного требования в-
38.46—7 об одной и той же точности для всех оценок разностей
между обработками. Сохранив условие появления каждой об-
обработки ровно г раз, отбросим теперь требование того, чтобы А.
было константой.
Предположим, что для каждой обработки оставшиеся t—1
т
обработок распадаются на т классов объема /„, ^tp = t— 1.
Эти классы называются ассоциированными классами (associate
classes), а любая обработка из р-го ассоциированного класса
называется р-ассоциированной для данной обработки. Наложим
теперь следующие условия:
(а) для двух обработок, р-ассоциированных с данной, су-
существует ровно А.р блоков, в которых они появляются совместно;
(б) если А — р-ассовдирована с В, то В— р-ассоцииро-
вана с Л;
(в) если А я В — /-ассоциированы, то число обработок, ко*
торые одновременно р-ассоциированы для обработки А и ^-ас-
^-ассоциированы для обработки В, постоянно (мы обозначим era
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
223
План, удовлетворяющий этим условиям, называется планом
частично сбалансированных неполных блоков (ЧСНБ). Такие
планы впервые рассматривали Бозе и Нэйр A939). Очевидно,
что они содержат как частный случай планы СНБ; для этого
нужно, чтобы А.р = А. для всех р.
38.69 Планы ЧСНБ содержат много констант. Это, как и ра-
ранее, t, г, Ь, k; m значений Хр; m значений tp и значения PlPQ.
Однако между этими константами существуют линейные соот-
соотношения, которые уменьшают их эффективное чисдо.
Случай двух ассоциированных классов m = 2 подробно
изучался Бозе, Клатуэрти, Шриканде A954), которые приводят
все известные планы для г ^ 10, 3 ^ k ^ 10. Даже в этом про-
простейшем случае имеются пять типов схем ассоциирования (т. е.
схем, устанавливающих ассоциативные соотношения между об-
обработками). Самым важным типом являются делимые на
группы планы ЧСНБ, которые сами состоят из трех подтипов.
Гуерин A965) дает обширный обзор основных результатов
о существовании и конструировании планов ЧСНБ и приводит
исчерпывающую библиографию. См. также математическое из-
изложение Вайда A967). Подробности соответствующих методов
статистического анализа, включая использование информации
между блоками, приводят Бозе, Клатуэрти, Шриканде A954),
Кемпсорн A952) и С. Рао A947).
Структурные обработки: решетчатые планы
38-70 При изложении планов экспериментов мы пока не
предполагали, что между обработками могут существовать ка-
какие-либо соотношения. Предположим теперь, что обработки
в эксперименте классифицированы в некоторые категории. Это
имеет место, например, если обработки соответствуют гс ком-
комбинациям в двухфакторной перекрестной классификации. При
этом сами обработки можно естественно расположить в виде
таблицы с двумя входами. Блочные эксперименты, принимаю-
принимающие во внимание такие классификации, называются решетча-
решетчатыми планами (lattice designs). Впервые они были введены
Иэйтсом A936b, 1939, 1940b). Эти планы имеют особенно боль-
большое значение, когда / велико, ибо таблица в 38.54 показывает,
как мало имеется в этом случае расположений СНБ.
38.71 Предположим, что t обработок представлены в виде
(/ X k) -таблицы с двумя входами, так что t = Ik. Можно рас-
рассмотреть блоки, соответствующие / строчкам с k обработками
и аналогично k столбцам с I обработками. В результате полу-
получится план с / блоками по k объектов и k блоками по I объек-
объектов. Такой план называется прямоугольной решеткой (rectan-
(rectangular lattice). Название возникло из-за того, что обработки
224
ГЛАВА 38
можно представить в виде точек решетки в (/ X k) -таблице.
Чтобы вернуться в рамки нашего обсуждения, имеющего дело
только с блоками равного объема, нужно ограничиться квад-
квадратной решеткой, когда k = I. При двухкратном повторении
обработок, как это было выше, иногда говорят о простой ре-
решетке; при троекратном —о тройной решетке (triple lattice),
при четырехкратном — о четверной решетке (quadruple lattice)
и т. д.
Квадратные решетки не являются сбалансированными пла-
планами в том смысле, в каком таковыми являются СНБ. Хотя
каждая обработка появляется г = 2 раза, неверно, что число
блоков, в которых она появляется совместно с любой другой,
одно и то же. Очевидно, что частота совместного появления Хц
равна единице для обработок из одной и той же строки или из
одного и того же столбца (k X k) -таблицы и равна нулю для
всех остальных пар обработок.
Можно очевидным образом обобщить двумерные (kX,k)-
таблицы обработок на р-мерные таблицы, содержащие №> об-
обработок. Тогда без повторения обработок мы получим ?*-'
блоков по k объектов. Такие р-мерные решетчатые планы снова
не сбалансированы. Для некоторых приложений важна кубиче-
кубическая решетка (р = 3).
38.72 Чтобы избежать усложнений анализа, связанных с от-
отсутствием сбалансированности, можно построить сбалансиро-
сбалансированные решетчатые планы, рассматривая несколько экземпля-
экземпляров простых решетчатых расположений, которые изучались
выше. При t = k% = 9 таблице
1 2 3
4 5 6
7 8 9
C8.135)
соответствует описанный в 38.71 план простой квадратной ре-
решетки с шестью блоками
1
4
5
6
7 | 1
8 4
9 I 7
2
5
8
C8.136)
причем разбиение в C8.136) соответствует двум экземплярам,
содержащим полный набор обработок. Если теперь добавить
два других экземпляра
3 II 1
4 6
8 8
C8.137)
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
225
то, как может проверить читатель, объединение C8.136—7)
является сбалансированным. На самом деле в результате по-
получается план СНБ с / = 9, k = 3, А. == 1, 6=12, г = 4.
Четыре полных экземпляра в C8.136—7) можно использо-
использовать для образования множества решетчатых квадратов, вы-
выводя эти экземпляры, как это описано в 38.71, из C8.135)
и следующей таблицы:
1 5 9
6 7 2 C8.138)
8 3 4
Эти планы более полезны, когда k = t1'* нечетно. В этом случае,
как и в нашем примере, требуется (k -f- l)/2 квадратов. Если k
четно, то для построения множества нужно k-\- 1 квадратов.
38.73 Более подробная теория и анализ решетчатых планов,
изложить которые здесь не позволяет объем книги, приведены
в монографиях Кемпсорна A952) и Кокрэна и Кокса A957).
Для нашего изложения важно, что они приводят нас к рассмот-
рассмотрению реструктуризованных» обработок, как минимум с точ-
точностью до расположения по категориям. Следуя по этому пути,
мы обратим внимание на обработки, которые являются комби-
комбинациями интересующих нас элементов, и придем к совсем
новым вопросам.
Факторные эксперименты
38.74 Если обработки в эксперименте состоят из всех воз-
возможных комбинаций множества интересующих нас факторов,
то он называется факторным экспериментом. Такой экспери-
эксперимент формально совпадает с (полной) перекрестной классифи-
классификацией, детально изученной в 35.15—33 и 35.40—4. В предше-
предшествующих главах мы не использовали терминологию экспери-
экспериментов, поскольку изложенный гам анализ применим также
и к неэкспериментальным ситуациям. Каждая переменная,
определяющая классификацию (т. е. переменная, соответствую-
соответствующая строчкам, столбцам и т. д.), называется в эксперименте
фактором. Значения, которые может принимать фактор, обра-
образующие клетки маргинальной классификации этого фактора, на-
называются уровнями (level) этого фактора. В этом контексте
изученную ранее (г X с) -перекрестную классификацию можно
описать как факторный эксперимент с двумя факторами, у од-
одного из которых г уровней, а у другого с; (г X с X /)-перекре-
/)-перекрестная классификация—это факторный эксперимент с тремя
факторами, по г, с и I уровней соответственно. Приведенные
выше два примера часто называют просто (г X с) -факторным
и (г X сХ 0-Факторным экспериментами соответственно. Если
8 М. Кендалл, А, Стьюарт
226
ГЛАВА 38
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
227
в первом из них г = с, то говорят о (г2)-факторном экспери-
эксперименте и т. д.
38.75 Если по плану случайных блоков проводится фактор-
факторный эксперимент, то естественно возникает желание разделить
СК обработок (с t—1 ст. св.) на компоненты, соответствующие
главным эффектам и взаимодействиям. Так, например, в
(т-Х с) -факторном эксперименте с одним наблюдением в клетке
должно быть t = re и СК, обусловленная разницей обработок
(имеющая гс—1 ст. св.) должна быть, как в примере 35.3,
разложена на члены с г—1, с—1, и (г—\){с—1) ст. св.
В общем случае СК, обусловленная разницей между обработ-
обработками, должна быть разбита, на компоненты, соответствующие
всем главным эффектам и взаимодействиям различных поряд-
порядков, как и в главе 35. Это разбиение мы назовем ДА для об-
обработок.
Из C8.52) видно, что СК, обусловленная разницей между
•обработками, равна {Т'Т—G2/t}/b, так что T'Tjb играет теперь
ту же самую роль для факторного эксперимента по плану слу-
случайных блоков, что и у'у в главе 35. Таким образом, ДА
для обработок можно проводить теми же методами, что
и в главе 35, оперируя суммами по обработкам Г* и заменяя t
на п. Нужно только помнить, что все компоненты СК нужно
делить на Ъ. Разумеется, это деление обусловлено тем, что
каждое Tt представляет собой сумму Ъ наблюдений.
38.76 Из упражнения 38.6 видно, что тот же самый простой
ДА для обработок в терминах 7^ можно проводить для фактор-
дых экспериментов по плану латинского квадрата, причем те-
теперь вместо Ъ делителем будет t, которое снова есть число на-
наблюдений, дающих в сумме Tt. Аналогичное правиле справед-
справедливо для обобщений в упражнении 38.6 на греко-латинский
квадрат и ортогональные квадраты более высоких порядков.
Смешивание
38.77 До сих пор разбиение СК разницы между обработками
было само по себе простым, поскольку в 38.75—6 мы рассмат-
рассматривали только факторные эксперименты (сами простой струк-
структуры) для простейших блочных планов. Откажемся теперь от
обоих ограничений и вернемся к рассмотрению экспериментов
с множеством соответствующих обработок для общего блоч-
блочного плана.
Вглянув на СК разницы между обработками из таблицы
ДА C8.39) для общего блочного эксперимента, читатель убе-
убедится, что теперь нельзя ожидать простоты 38.75—6, поскольку
размещение обработок между блоками существенно влияет на
СК разницы между обработками (это влияние описывается
матрицей В). Приведенные соображения остаются оправдан-
оправданными и для планов СНБ (таблица C8.106)), что следует из
определения Та в C8.102).
Нетрудно понять, что это неизбежно, поскольку в каждом
блоке появляются не все обработки и влияние обработок ока-
оказывается невозможным отделить от влияния самих блоков.
Даже сбалансированности (в смысле СНБ) недостаточно, чтобы
предотвратить это. На самом деле возникает новая проблема,,
поскольку, как очевидно, существует опасность, что окажется
невозможным оценить важные компоненты СК разницы между
обработками (например, главные эффекты и взаимодействия:
первого порядка), поскольку они чрезвычайно тесно перепле-
переплетены с эффектами блоков. В этом случае говорят, что они:
смешаны (confounded) с блоками.
38.78 Не ограничиваясь СК из таблицы ДА, рассмотрим
в самом общем виде оценки р линейных функций от параметров
обработок, скажем, Сх, где С представляет собой (/? X 0 -мат-
-матрицу заданных коэффициентов. В частности, мы интересуемся
сравнениями параметров. В этом случае (см. 35.58) для любой
строки матрицы С сумма элементов равна нулю. Следует по-
помнить, что сравнения включают в себя просто разности, а также
взаимодействия между любыми параметрами обработок.
Из сформулированной в C8.12—14) модели блочных экс-
экспериментов следует, что
Ст==(С;0)9, C8.139)
где 0 представляет собой (рХ(*—1))-матрицу, все элементы
которой равны нулю. Эта матрица служит для того, чтобы
устранить параметры блоков а.
Далее, чтобы при оценивании C8.139) вектор Ly оказался
несмещенным, согласно A9.19) необходимо и достаточно, чтобы
т. е., используя C8.13),
C8.140>
= 0.
Таким образом, если мы сумеем найти (р X bk)-матрицу L_
удовлетворящую C8.140), то между р линейными функциями.
Сх не будет смешивания.
228
ГЛАВА 38
38.79 Уравнения C8.140) налагают p(t-\-b— 1) условий на
pbk элементов матрицы L. При любом р этим условиям заве-
заведомо можно удовлетворить, если t-\-b — \^.bk, т. е. если
b ^ (t—1)/(&—1)- При некоторых значениях р уравнениям
можно удовлетворить и при b<i(t—1)/(&—1). поскольку ус-
условия на L не обязательно независимы. Это зависит от струк-
структуры блочного плана. Случай t — Ыг (когда в эксперименте
используется один экземпляр множества обработок) попадает
в эту категорию, поскольку t/k<i(t—1)/(k—1) при t>k,
а случай t = k в этой ситуации тривиален.
Таким образом, мы видим, что если имеется достаточно
блоков, то можно всегда, если этого пожелаем, избежать пере-
перемешивания для любого множества линейных функций от пара-
параметров обработок. Это интуитивно понятно из того факта, что
если некоторые функции перемешаны для данного множества
блоков, то можно специально добавить еще множество блоков,
в котором они не перемешаны. Это справедливо, в частности,
тогда, когда каждое множество блоков состоит из полного на-
набора обработок. В литературе те функции, которые перемешаны
в части эксперимента, а не во всем эксперименте, называется
частично смешанными.
38.80 До сих пор мы смотрели на смешивание как на
зло, от которого нужно освободиться. Несомненно, оно мешает
нам, делая невозможным оценить некоторые функции от пара-
параметров обработок. Даже в случае частичного смешивания про-
происходит существенное усложнение вычислений, которые могут
оказаться весьма утомительными, в то время как, разумеется,
точность оценок частично смешанных функций должна умень-
уменьшиться.
Однако в факторных экспериментах смешивание играет
также положительную роль. В 35.44 указывалось, что взаимо-
взаимодействия более высоких порядков обычно в практических си-
ситуациях играют малую роль. Поэтому часто при проведении
эксперимента их можно специально перемешать с блоками.
В результате соответствующая им СК (и ст. св.) будет вклю-
включаться в остаточную СК. Разумеется, можно провести точно
такой же процесс объединения, что и для несмешанного ана-
анализа в 35.44. Главным здесь является то, что в рамках дан-
данного эксперимента (t, k и b) может оказаться невозможным
оценить все желаемые линейные функции от параметров обра-
обработок (главные эффекты и взаимодействия). Если некоторые из
них должны быть смешаны, то, вообще говоря, выгодно начи-
начинать с взаимодействий более высоких порядков и перемешивать
как можно меньше главных эффектов и взаимодействий пер-
первого порядка.
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
229
Преследуя эту цель, Фишер A942) рассмотрел факторный
эксперимент с 2т — 1 факторами, каждый из которых имеет два
уровня (всего 22m~i комбинаций). Используя теорию абелевых
групп, он доказал, что если k ^ 2m, т. е. число блоков больше,
чем число факторов, то при наличии одного набора обработок
не нужно смешивать главные эффекты и взаимодействия пер-
первого порядка. Позднее он распространил результат (Фишер
A945)) на факторы с рт уровнями, где р — простое число (см.
также Манн A949)). Кемпсорн A952) дает детальное изложе-
изложение предмета рассматривая также факторы с разным числом
уровней. Кокрэн и Кокс A957) обсуждают применения с по-
подробными примерами расположений смешанных блоков. Иэйтс
A937) приводит много примеров с применениями в сельскохо-
сельскохозяйственном экспериментировании, а Дэвьес, Бокс, Коннор, Ку-
Кузин, Химсворс и Силлитто A954) дают примеры промышленных
экспериментов.
38.81 Одним из важных применений смешивания является
факторный эксперимент с частичным дублированием (fractio-
(fractionally replicated), когда некоторые взаимодействия предпола-
предполагаются равными нулю, чтобы можно было оценить оставшиеся
главные эффекты н взаимодействия, используя только некото-
некоторые блоки плана с перемешанными блоками. Предположения,
по существу, позволяют проводить анализ различия эффектов,
которые иным способом неразличимы. Эти эффекты называются
безразличными (aliases). Кемпсорн A952) излагает теорию,
а у Кокрэна и Кокса A957) приведены некоторые обсуждения.
Дэвьес с соавторами A954) рассматривают планы с частичным
дублированием в применении к промышленным экспериментам.
Эти планы часто бывают полезны, когда нужно исследовать
большое число факторов.
38.82 В настоящее время в распоряжении экспериментато-
экспериментаторов имеется много других факторных планов с перемешива-
перемешиванием. Расщепленные планы (split-plot designs) смешивают
тлавные эффекты, ставя в соответствие каждый уровень фак-
фактора объектам в блоке. Это расположение иногда удобно и даже
необходимо для практического проведения эксперимента. Дру-
Другие более сложные формы смешивания в факторных экспери-
экспериментах (квазилатинские квадраты, «клеточные» квадраты) опи-
описываются и анализируются в уже упомянутых книгах.
Последовательность экспериментов: эволюционная операция
38.83 В книге Кенуя A953а) особое внимание уделяется
задаче планирования и анализа долгосрочных экспериментов
и групп экспериментов (см. также Кокрэн и Кокс A957) и Кэм-
псорн A952)).
230
ГЛАВА 38
Другие, но близкие вопросы, которые начали изучать не-
недавно, состоят в выборе последовательности экспериментов для
нахождения оптимальной комбинации факторов, например для"
максимизации выпуска конечного продукта (или некоторой,
другой величины) у процесса с фиксированными затратами,,
или, что эквивалентно, минимизации затрат при фиксированном
выпуске. Метод состоит в подгонке поверхности отклика (res-
(response surface) к экспериментальным точкам по методу НК.
Затем область экспериментирования сдвигается по направле-
направлению наискорейшего спуска до ближайшей стационарной точки,,
которая изучается с точки зрения исследования характера
поверхности отклика. Для нахождения поверхности отклика,
предложен план эксперимента, обладающий специальными
свойствами симметрии, названный ротатабельным планом. Чи-
Читатель, интересующийся теорией этого метода эволюционного-
планирования и связанных с ним ротатабельных планов, отсы-
отсылается к статьям Бокса и Уилсона A951), Бокса и Хантера
A957), Бозе и Картера A959), Гардинера, Грэндейджа и Хей-
дера A959), Бозе и Дрэйпера A959), Дрэйпера A960а,Ь,с;,
1961) и Бокса и Бенкена A960). Менее теоретическое изложе-
изложение приведено в последней главе Дэвьеса с соавторами A954).
и у Бокса A957)*).
Методы эволюционного планирования не являются после-
последовательными методами в собственном смысле этого слова. Их;
критиковали по той причине, что они не имеют строгого теоре-
теоретико-вероятностного обоснования. Однако практическая важ-
важность этих методов не подвергается сомнению.
Планирование регрессии
38.84 Мы закончим главу разбором планов экспериментов,,
целью которых является проведение регрессионного анализа.
Как упоминалось в 38.2, в примере 28.4 рассматривалась
задача планирования эксперимента для изучения простой ли-
линейной регрессии. Оказалось, что для минимизации дисперсий
НК-оценок двух параметров регрессии нужно половину наблю-
наблюдений проводить при максимально возможном по модулю отри-
отрицательном значении х, а вторую половину при совпадающем:
по модулю, но положительном значении х. Мы указывали там„
*) См. также В. В. Налимов, Н. А. Чернова, Статистические ме-
методы планирования экстремальных экспериментов, «Наука», 1965; Плани-
Планирование эксперимента, сборник под ред. Г. К. Круга, «Наука», 1966;
Ч. Хикс, Основные принципы планирования эксперимента, «Мир», 1967г
В. В. Федоров, Теория оптимального эксперимента, «Наука», 1971; Пла-
Планирование оптимального эксперимента, Сборник под ред..
М. Б. Малютова, вып. 48, МГУ, 1975. (Прим. ред.).
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
231
•что это соответствует тому факту, что отрезок прямой наиболее
эффективно определяется своими конечными точками.
Рассмотрим теперь более общую задачу размещения значе-
значений регрессора х, когда математическое ожидание у является
полиномом от х. В 28.16—20 рассматривалась теория полино-
полиномиальной регрессии; при этом значения х считались заданными
заранее. Теперь мы интересуемся тем, как выбрать значения
jc, чтобы параметры уравнения полиномиальной регресии оцени-
оценивались оптимально.
38.85 Предположим, что значения х должны быть разме-
размещены внутри фиксированного интервала, который без ограниче-
ограничения общности будем считать интервалом (—1, +1). На полино-
полиномиальный случай обобщаются приведенные выше интуитивные
-аргументы, ибо полином степени k определяется значениями
в k -f- I точке. Более того, в полиномиальном случае все еще
можно ожидать, что по одной точке должно быть в каждом
конце интервала. Эти интуитивные соображения оказываются
¦справедливыми асимптотически для общей полиномиальной
регрессии. Кифер A959) показал, что если не принимать во
внимание аналитические сложности, возникающие из-за того,
что п целое (они не возникают при п—юо), то требуется не
•более &-|-1 различных значений х, из которых не более k— 1
значений должны находиться внутри интервала. Характерно,
однако, что точная теория, принимающая во внимание упомя-
упомянутые сложности, не так проста. Нельзя ожидать, что здесь
можно опереться на приведенные выше интуитивные аргументы.
38.86 Рассмотрим теперь выбор k-{-\ различных точек на-
'блюдений Xi < х2 < ... < Xh+i для минимизации обобщенной
дисперсии оценок параметров. В рассматриваемом полиноми-
полиномиальном случае имеем
где матрица X имеет вид
X =
(nX(k + l))
«*
14
— h
... i.
... i.
„fe
, *k+i
C8.141)
Здесь в точке x( (i= l,...,k -j- l) проводится rii наблюдений,
A 1 t
C8.142)
•причем Yi nl = n. Дисперсионная матрица 9 равна
V (9) = о2 {Х'Х)'1 = o2{Z'NZy\
232
где
z
(№+l)X(ft+D)
ГЛАВА
=
1
*1
j.2
xl
**
38
1
X2
к2
X2
x2
... 1
•" ** + l
r2
„*
C8.143)
N
n2
1°
'ft+i
C8.144)
Таким образом, мы видим, что поскольку имеется ?+1 точка
наблюдения и k-\-\ параметр, матрица Х'Х становится произ-
произведением трех квадратных матриц. А значит,
-1
2 (A+I»
-T^W =^r-- = |X/An=|Z'||iV||Z|=|iV||Z|2, C8.145)
и для минимизации обобщенной дисперсии нужно максимизи-
максимизировать C8; 145). Эту максимизацию мы проведем в два этапа.
Каково бы ни было значение |Z|2,
k+i
\N\=Jlni,
а значит, максимум, очевидно, достигается, если все я,- равны.
Теперь остается провести максимизацию выбором xt.
38.87 Нетрудно проверить, что
izi=.П. (**-*/).
так что
C8.146>
Из того, что C8.146) представлено в виде произведения квад-
квадратов, сразу видно, что оно только увеличится, если экстре-
экстремальные точки наблюдений передвинуть в концы интервала..
Более того, максимальное значение выражения C8.146) только
увеличится с ростом интервала. Таким образом, мы видим, что
наблюдения всегда нужно проводить на максимально возмож-
возможном интервале и по одной точке помещать в каждый конец,
этого интервала (мы все еще будем считать его интервалом
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
233
(—1, + 1)). В каждой из к-\- 1 точек нужно проводить равное
"число га/(? + 1) наблюдений.
38.88 Проведем теперь непосредственно максимизацию
C8.146) при малых значениях k. При k=\ имеем линейный
случай, и ничего больше делать не надо, поскольку результат
¦38.87 был подтвержден в примере 28.4. В квадратичном случае
для максимизации C8.146) осталось выбрать х2, поскольку
jci = —1, х3=-\-1. В этом случае C8.146) сводится к
и достигает максимума при х2 = 0. И без приведенных выкла-
выкладок из соображений симметрии должно было быть понятно,
что третья точка наблюдений должна быть нулем.
В кубическом случае используем явно симметрию и сведем
задачу к выбору хъ и х2 = —х3. Соотношение C8.146) превра-
превращается в
|ZP= 16*1A -xiy,
что достигает максимума при х\ = 1/5.
Для полинома четвертой степени из симметрии следует, что
хъ = 0, и остается выбрать только х4 и х2 = —лг4. C8.146) сво-
сводится к
|ZP = 16*2A-*|)«,
что достигает максимума при х2 = 3/7.
Эти результаты, а также два других (для практических це-
целей обычно больше и не требуется) собраны в следующей
таблице.
Степень
полинома
1
2
3
4
5
6
Точки наблюдения
в (—1, +1), в каждой из
которых должно быть
проведено пЦк + 1)
наблюдений
±1
±1; 0
±1; ±0,4472
±1; ±0,6547; 0
±1; ±0,7651; ±0,2852
±1; ±0,8302; ±0,4689; 0
C8.147)
38.89 Хоул A958) показал, что оптимальные точки наблю-
наблюдений, максимизирующие C8.146), выражаются в терминах
полиномов Лагранжа, определенных в. 30.37. Гест A958) рас-
рассмотрел другой критерий оптимальности — минимизацию мак-
максимальной по всем точкам интервала дисперсии подогнанного
лолинома. Оптимальные значения оказались теми же самыми.
234
ГЛАВА 38
Гест показал, что оптимальные • значения можно задать явно,,
как нули производной полинома &-го порядка. Тот же критерий
оптимальности рассматривался в статье К. Смита A918), ко-
который впервые вычислил значения из C8.147). По-видимому,,
это была первая детально решенная задача планирования,,
и самое удивительное заключается в том, что его статья была
более или менее забыта в течение сорока лет. В статье Смита.
содержится также ряд диаграмм, сравнивающих дисперсии по-
подогнанных полиномов в различных точках интервала для слу-
случаев, когда наблюдения проводятся: (а) оптимальным методом;.
(б) методом равномерного размещения наблюдений, которыйг
дает лучший результат в центре интервала и намного более
плохой результат в экстремальных точках; (в) методом (б)
с добавлением группы наблюдений в каждом конце интервала^
чтобы уменьшить ухудшение, имеющее место для чисто равно-
равномерного размещения. Преимущество метода (в) состоит, разу-
разумеется, в том, что он не предполагает знания k и позволяет
экспериментатору исследовать само значение k из наблюдений..
Оптимальным же методом размещения нельзя воспользоваться"
для исследования более высоких значений k — об этом мы уже
говорили в примере 28.4 для линейного случая. В любом случае
кажется разумным использовать значения из C8.147), соответ-
соответствующие наибольшему возможному k из тех, которые готов-
рассмотреть экспериментатор.
К. Смит A918) рассматривает также влияние гетероскедастичности оши-
ошибок на оптимальное размещение. Хоул A958) рассматривает некоторые спе-
специальные случаи коррелированных наблюдений.
38.90 Изучались также и другие критерии оптимальности..
Хоул и Левайн A964) и Левайн A966) рассматривали вопрос
размещения наблюдений в полиномиальной регрессии для ми-
минимизации дисперсии подогнанного полинома в специальной
точке вне интервала наблюдений (—l;-f-l). Оказалось, что это>
оптимальное размещение минимизирует максимальную диспер-
дисперсию на интервале (—l,*), если х достаточно велико. Тейлор-
и Свини A965) изучали минимизацию максимальной дисперсии
и средней дисперсии на любом интервале (не связанном с ин-
интервалом наблюдений) только для линейного случая. Дэзид.
и Арене A959) рассмотрели использование двух точек наблю-
наблюдения в линейном случае для минимизации математического-
ожидания среднеквадратичной ошибки или максимума мате-
математических ожиданий квадрата ошибки, — последний случай от-
отличается от минимизации максимальной дисперсии, поскольку
допускается возможность, что истинная степень полинома мо-
может быть не 1, а 2. В очень общей статье Кифера и Волфовица
A959), не ограничиваясь полиномиальным случаем, приме*
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
235
няются результаты теории игр для подсчета оптимального раз-
размещения при использовании нескольких критериев (см. также
введение к статье Кифера A959)). Хоул A965а) применил эти
методы для получения оптимального размещения в случае дву-
двухмерных полиномов и тригонометрической регрессии. Хоул A965b)
.для случая полиномиальной регрессии с одной переменной на-
находит планы, минимизирующие дисперсию подогнанных значе-
значений для х, «экстраполированных» в интервал, лежащий непо-
-средственно между двумя интервалами, в которых проводятся
наблюдения. Он получает также соответствующие планы для
полиномиальной регрессии от двух переменных, а также для
¦обычной экстраполяции для случая двух переменных.
УПРАЖНЕНИЯ
38.1 В 38.25 проверить совпадение двух выражений C8.38) для СК, соот-
соответствующей разнице между обработками в блочном эксперименте.
38.2 Обобщая аргументы из 38.28, показать, что если разбить оценки па-
параметров обработок на группы и потребовать, чтобы корреляция между чле-
членами различных групп равнялась нулю, то каждый блок должен содержать
•одно и то же число обработок из данной группы. При этом эксперимент мо-
может быть разложен на множество независимых подэкспериментов с меньшим
числом блоков в каждом.
(Точер, 1952.)
38.3 Пусть в 38.28 блочный эксперимент планируется так, чтобы сделать
.дисперсии оценок параметров обработок такими, какими они были бы, если
«бы не было эффектов блоков, т. е. 02{diag(r)}. Показать, что отсюда сле-
Л,ует М = 0, и значит, мы приходим к плану случайных блоков с матрицей
.инциденцин, задаваемой C8.46).
(Точер, 1952.)
38.4 Проверить упрощенные формулы C8.47—51) для планов случайных
'блоков.
38.5 Проверить формулы нз 38.32—3 для анализа по методу Н1< экспе-
эксперимента, при котором сами блоки представлены в виде двухфакторной клас-
классификации. Привести таблицу ДА, аналогичную C8.39).
38.6 Опираясь на общие результаты 38.33 показать в 38.35, что таблица
ДА для плана латинского квадрата имеет вид
Источник дисперсии
Разница между обра-
обработками
Строчки
Столбцы
Остаточная
Генеральное среднее
Полная
СК
Т' T/t - G*/P
R'R/t-&!P
C'C/t — G2lt2
y'y-(T'T + R'R + C'C)/t + 2G2/F
G2/t3
v'v
Число
ст. св.
t— 1
t— 1
t — 1
(t-\)(t-2)
236
ГЛАВА 33
Обобщить это на греко-латинский квадрат и планы ортогональных квадратов-
более высоких порядков.
38.7 В 38.39 показать, что существует не более чем / — 1 латинских ква-
квадратов порядка /, которые могут быть ортогональны в совокупности.
38.8 Проверить, что матрица, обратная к C8.79), имеет вид
Q =
-D
, /д.
где Л
- детерминант матрицы
1 +l'tD~lw ! —\'tl
Вывести отсюда, используя C8.23), что соотношение C8.85) справедливо для-
любой D.
(Точер, 1952.)
39.9 Показать, что если D определено так, чтобы разности параметров
обработок оценивались с одинаковой потерей эффективности (сравнить с си-
ситуацией, когда не нужно устранять эффекты блоков), то C8.85) ведет к урав-
уравнению C8.95) для плана СНБ. Показать, что если потеря эффективности
равна нулю, то это сводится к плану случайных блоков (см. упражнение 38,3) -
(Точер, 1952.).
38.10 Пусть задано полное множество ортогональных латинских квадра-
квадратов порядка Т (например, C8.76) для Т = 4). Тогда для обозначения каждой»
из Т2 клеток таблицы нужна Г + 1 «ссылка», соответствующая, строчке,,
столбцу и одной из Т букв одного из Г — 1 «алфавитов», образующих полное
множество. Будем рассматривать теперь клетки таблицы как обработки и.
считать, что ссылкам соответствуют блоки в некотором эксперименте (сово-
(совокупность блоков разбивается на Т + 1 множеств, состоящих из Т элементов).
Считая, что таблица задает размещение клеток по ссылкам, показать, что в
результате получится план СНБ с
t=T2, 6 = Г(Г + 1), k = T, г=Т + \, Л = 1.
Проверить, что в случае C8.76) результирующий план СНБ имеет вид
Номер
блока
Обработки
в блоках
Получены
из
¦
1
2
3
4
2
5
6
7
8
3
9
10
11
12
4
13
14
15
16
строчек
5
1
5
9
13
6
2
6
10
14
7
3
7
11
15
8
4
8
12
16
столбцов
9
1
6
И
16
10
ел to ел to
И
3
8
9
14
12
4
7
10
13
латинских
букв
13
1
7
12
14
14
2
8
11
13
15
3
5
10
16
16
4
6
9
15
греческих
букв
17
1
8
10
15
18
2
7
9
16
19
3
6
12
13
23
4-
5
11
14
чисел
38.11 Для построенного в упражнении 38.10 плана СНБ рассмотрим
Т -4- 1 дополнительных обработок, соответствующих множествам, на кото-
которые разбиваются блоки-ссылки, и применим к каждому блоку еще одну об-
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
237
работку в соответствии с множеством, к которому этот блок принадлежит.
Добавим наконец еще одни блок, в котором применяются все новые обра-
обработки. Показать, что в результате получается симметричный план СНБ с
t = b = T2 + T+\, k = r = Т + 1, Я = 1. Построить соответствующий
расширенный план для плана, выведенного в упражнении 38.10 из C8.76).
Рассматривая случай Т = 6 (см. 38.39) показать, что выполнение
C8.93—5) недостаточно для существования плана СНБ.
38.12 В упражнении 38.10 показать, что для дуального плана, который по-
получается, если положить f = 6, Ь' — t, k' = г н г' = k, имеет место Я < 1,
а значит, он не может быть планом СНБ. В упражнении 38.11 показать, что
план, дуальный к расширению плана, выведенного из C8.76), имеет вид
Номер
блока
Обработки
в блоках
1
1
5
9
13
17
2
1
6
10
14
18
3
1
¦ 7
11
15
19
к.4
1
8
12
16
20
5
2
5
10
15
20
6
2
6
9
16
19
7
2
7
12
13
18
8
2
8
11
14
17
9
3
5
11
16
18
10
3
6
12
15
17
и
3
7
9
14
20
12
3
8
10
13
19
13
4
5
12
14
19
14
4
6
11
13
20
15
4
7
10
16
17
16
4
8
9
15
18
17
1
2
3
4
21
18
5
6
7
8
21
19
9
К)
11
12
21
20
13
14
15
16
21
21
17
18
19
20
21
Проверить, что это план СНБ.
38.13 Из C8.93) вывести, что для любого плана СНБ
/¦/(/-1)-=(!¦-*)/(/-*).
Используя C8.93—4), показать, что если t = ck, b = сг, как в абзаце, пред-
предшествующем C8.98), то
г(с- О _ г-Х _ Ь-т _ _
где / — положительное целое число. Вывести отсюда C8.98)
(Мэрти, 1961.)
38.14 Используя C8.45—6), показать, что для случайных блоков оценка
C8.118) совпадает с внутриблочнон оценкой C8.29). Обе оценки сводятся к
C8.48), так что в этом случае применение смешанной модели не изменяет
оценки Показать, что дисперсионная матрица оценок C8.112) равна
О2 ( /¦>
-г- i/, + рЬЬК что отличается от внутриблочного результата (C8.40) и
о к * ' '•*
C8.47)). В частности, дисперсии оценок возрастают. Показать, что если за
начало отсчета взять генеральное среднее выборки, то распределение вели-
величины * одинаково для двух моделей.
38.15 В 38.57 показать, используя C8.1), что
М(В)=п'т
и
V(B) = *A + kp)a2lb.
Отсюда следует, что если матрица пп' несингулярна (это может быть, только
если 6 ^ t), то можно несмещенно оценить параметры обработок, исходя из
суммарных значений для блоков, положив
хв = (пп'г~' пВ-
238
ГЛАВА 38
При этом
V (хв) = k (l+*p) а2 (пп'Г1.
Показать, что если за начало отсчета взять G (это соответствует вычи-
вычитанию генерального среднего из параметров обработок), то Хв не коррелиро-
вано с определенным в C8.29) х. Используя обобщенный метод НК из 19.17
(т. 2) и вид дисперсионной матрицы C8.40), показать отсюда, что линейной
комбинацией с наименьшей дисперсией является
что согласуется с C8.29) при р -*-<».
(См. Точер, 1952.)
38.16 Показать, что Xj из упражнения 38.15 совпадает с МД-оценкой т
в C8.118) тогда и только тогда, когда г'т = G. Используя C8.31) (где х
определяется согласно C8.24)), показать, что это соотношение всегда выпол-
выполняется.
38.17 В плане СНБ наблюдения внутри каждого блока заменяются на
их ранги 1, ..., k. Пусть 7\—сумма полученных таким образом рангов, от-
относящихся к i-й обработке и
Максимальное значение S< равно Smax = X2t(t2—1)/12. Обобщая 37.40—1 и
упражнение 37.14, показать, что для W = St/Smax имеет место
ft + 1
IJ
и что величина
-г)
имеет приблизительно распределение дисперсионного отношения с числом
ст. св.
2
Vi=/— 1— —, V2=(/-— I) Vi.
При k = t, X = г это сводится к результату упражнения 37.14, а план СНБ
превращается в план случайных блоков.
(Дербии, 1951.)
38.18 Для любого плана СНБ, разложимого на г дубликатов t обрабо-
обработок показать, что среднее число обработок, общих для двух блоков из раз-
различных дубликатов, раь.э k2/t, а сумма квадратов относительно среднего
пропорциональна b — t — г+1. Вывести отсюда C8.98) и доказать, что оди-
одинаковое число (т. е. k2/t) обработок, общих для двух блоков из различных
дубликатов, будет тогда и только тогда, когда в C8.98) выполняется равен-
равенство.
(Бозе, 1942.)
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТОВ
239'
38.19 Проверить точки наблюдения, приведенные в таблице C8.147) для
k = 5 и k = 6.
(К- Смит, 1918.).
38.20 Пусть t — нечетное, р — наименьший простой делитель / и k sg: p..
Показать, что всегда можно сконструировать план СНБ следующим методом
равных разностей. Обозначим обработки 0, 1, ..., t—1 и построим (t—1)/2
исходных блока, содержащих обработки [0, 1, 2, ..., k—1]; [0, 2, 4, ...
..., 2(ft —1)]; ...; [о, у <'-*)• «-!). •••. \ik-\)(t-\)\ (номера об-
обработок получаются из приведенных здесь чисел взятием вычета по модулю
/). Из каждого исходного блока образуем новый блок, добавив (по модулю-
/) к каждой обработке целое число г. Проделаем это для всех целых ту
1 ^ т ^ /— 1, В результате для каждого исходного блока получится множе-
множество, состоящее нз / блоков.
получившегося плана СНБ Ь==— t (t — 1), r=*
Показать, что для
(Гасснер, 1965.)
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ПЛАНИРОВАНИЕ
241
ГЛАВА 39
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ:
ПЛАНИРОВАНИЕ
Оценивание средних для конечных совокупностей
39.1 В самом начале обсуждения случайного выбора в
9.1—4 т. 1 указывалось, что для применимости теории вероят-
вероятностей к выборочной процедуре необходимо только, чтобы для
каждой возможной выборки можно было определить вероят-
вероятность ее выбора. При этом ни в коем случае не требовалось,
чтобы процедура сводилась к простому случайному выбору,
при котором каждая возможная выборка из генеральной сово-
совокупности имеет одну и ту же вероятность выбора. Мы указы-
указывали далее на различия между выбором без возвращения из
конечной генеральной совокупности, при котором последова-
последовательные извлечения не независимы, и выбором с возвращением,
при котором извлечения независимы.
Во всех трех томах почти всюду мы имели дело (и будем
иметь дело) только с простым случайным выбором. Однако
в этой главе и в следующей нас будут интересовать другие
виды случайного выбора, которые на практике возникают при
выборе из конечной совокупности, т. е. генеральной совокуп-
совокупности с конечным числом членов (которое мы будем всюду
обозначать N). Даже при выборе с возвращением мы сталки-
сталкиваемся тогда с новым явлением, которое возникает из-за ко-
конечности совокупности. Предполагается, что нам заранее из-
известен перечень всех обследуемых элементов совокупности
(в дальнейшем этот факт будет кратко формулироваться как
«опознаваемость элементов совокупности»), а соответствующие
им значения у мы узнаем только в результате извлечения. Так,
что если одно и то же значение появляется в выборке дважды,
то мы знаем, появился ли при этом дважды один и тот же
элемент или два различных элемента с одним значением.
Непосредственной задачей теории выборочных обследований,
как называется этот раздел теории, является почти всегда
оценка средних (или, что эквивалентно, сумм) изучаемых слу-
случайных величин. Тем. не менее мы излагаем ниже несколько
более общую теорию. Так среднее любой функции от перемен-
переменных (например, их квадратов) можно изучать тем же самым
методом. Изучением оценок дисперсий и других величин, свя-
связанных с генеральной совокупностью, мы будем заниматься
лишь постольку, поскольку оно проясняет изучение нашего
основного объекта, оценок средних. Результаты для долей по-
получаются из результатов для средних, если считать, что пере-
переменные принимают только значения 0 или 1. м
Итак, мы приступаем к изучению довольно узкого раздела
статистической теории, но раздела, который интенсивно раз-
развивался не в силу математической привлекательности, а в силу
практической важности. В последние годы в нескольких книгах
приведен обзор и важные дополнения к обширной журнальной
литературе. Особо стоит отметить книги Кокрэна A963), Хан-
Хансена, Гурвица и Мэдоу A953) и Иэйтса A960). Последняя из
упомянутых книг содержит обширную библиографию теорети-
теоретических и прикладных работ по выборочным обследованиям. Со
времени первого издания в 1949 г. она была дополнена ссыл-
ссылками на работы, появившиеся вплоть до 1960 г. Мёрфи A963)
дает обзор дальнейших теоретических исследований.
Мы ограничимся обсуждением теоретических аспектов вы-
выборочных обследований. Наша цель — изложить их в контексте
общей статистической теории. Нельзя надеяться, что при этом
все важные результаты будут изложены красиво, но мы попы-
попытаемся минимизировать громоздкость, присущую этой области.
Случайный выбор с равными вероятностями без возвращения
39.2 Мы хотим оценить среднее ц *) величины у в конечной
генеральной совокупности, состоящей из N элементов, основы-
основываясь на выборке из п элементов, извлеченной случайно, без
возвращения с равными вероятностями выбора. Быть может,
не совсем очевидно, что (при отсутствии какого-либо знания
о виде совокупности) МД-оценкой величины \i является выбо-
выборочное среднее. Для того чтобы показать это, используем метод
наименьших квадратов из главы 19.
Рассмотрим модель
у = 1 (х + е ,
(nXI) (nXl) AX1) (nXI)
C9.1)
где 1 — вектор, все компоненты которого равны единице.
Ошибки е,- соответствуют отклонению наблюденных значений
от среднего генеральной совокупности. Они не являются некор-
*) В этой и следующей главах мы для удобства обозначаем через ц (без
индекса) среднее генеральной совокупности, обозначаемое ранее ц(. При этом
цг, как обычно, обозначает центральный момент порядка г для г > \. Соот-
Соответствующие выборочные моменты обозначаются m (только в этих главах)
И ГПт, Г > 2.
242
ГЛАВА 39
релированными, поскольку выбор не независим. Из соображе-
соображений симметрии следует, что ковариации между любыми парами
наблюдений в выборке совпадают. Обозначим их pjx2. Именно-
эти соображения симметрии позволяют нам надеяться, что наи-
наилучшей оценкой для ц будет выборочное среднее. Итак, дис-
дисперсионная матрица ошибок равна
-1 p
p •
*-р
C9.2)
Согласно 19.17 и упражнению 19.5 несмещенной, линейной МД
оценкой р, является НК-оценка
p. =(l'F-'l)~1 l'V'y C9.3)
с дисперсией
D(A)=^2A'V-11)~1. C9.4)
Чтобы применять C9.3—4), нужно вычислить V. Простым
умножением на V проверяется, что
.{1+(«_2)р} -р . . . -р
— р
1
—р
— р
-р
C9.5)
а значит,
и C9.3—4) принимает вид
\i = m,
C9.6)
C9.7)
Пока что мы не вычислили корреляцию р. Мы умышленно
отложили это вычисление, ибо вышеприведенные выкладки
справедливы при любом р. В изучаемом же случае р легко вы-
вычислить, заметив, что если п = N, то D (р.) обращается в нуль,
поскольку выбрана вся совокупность. Таким образом, из C9.7)
следует, что если n = N, то р = —1/(W—1). Но понятно, что
корреляция между парой выборочных значений не зависит от
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ
243
размера выборки. Таким образом, вообще для случайной вы-
выборки без возвращения
так что C9.7) принимает вид
C9.8)
C9.9)
Моменты выборочного среднего и их несмещенные оценки
39.3 Фактически C9.9), а также значения третьего и чет-
четвертого центральных моментов случайной величины т уже
были получены в примере 12.8, с использованием комбинаторных
рассуждений. При этом с алгебраической точки зрения оказа-
оказалось удобным проводить вычисления в терминах ft-статистик
выборки и совокупности, kr и Кг соответственно, что мы будем
делать и в этой главе. Мы будем называть теперь «дисперсией»
совокупности, величину
N
ex2 = Кг =
N_l
(J-2
а «дисперсией» выборки
S /?2 j /^2>
оставив для ц2 и т2 название «вторые моменты». В этих обо-
обозначениях перепишем результаты примера 12.8 (которые вклю-
включают C9.9)) в виде*)
М (т) = ц,
=^(i— 40-
Напомним, что, согласно A2.109),
M(kp)=Kp.
C9.10)
C9.11)
*) Здесь мы опустили индекс N у оператора математического ожида-
ожидания М. В этой и следующей главах он всегда подразумевается.
241
ГЛАВА 39
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ
245
Поэтому, чтобы получить несмещенные оценки центральных
моментов величины т, можно в C9.10) подставить s2 вместо о2
и kz вместо Кг- В результате получим
C9.12)
Несмещенная оценка для четвертого момента получается не-
несколько сложнее, поскольку соответствующее выражение в
C9.10) нелинейно по Кт- Нам нужна несмещенная оценка для
а* = К\. Из упражнения 12.11 сразу имеем
м
(N — п) (Nn — n — N—l)
— п)
+ 1
К2
что можно переписать в виде
i\==K^ (ЗЭЛЗ>
Подставляя в правую часть последнего равенства в C9.10) слу-
случайную величину, заключенную в фигурные скобки в C9.13),.
вместо а? и k4 вместо Kt, получим несмещенную оценку четвер-
четвертого момента случайной величины т.
39.4 Ничто не мешает нам в любом заданном случае оце-
оценить первые четыре момента т в соответствии с 39.3, а затем
подобрать распределение Пирсона, чтобы получить оценку вы-
выборочного распределения. Ситуация здесь абсолютно анало-
аналогична ситуации при оценивании методом максимального прав-
правдоподобия в 18.20 т. 2. Однако здесь, так же как и там при
подгонке распределения по малой выборке, редко исполь-
используются моменты. И это происходит не по лености, а из-за сча-
счастливого обстоятельства, что для размеров выборок, встречаю-
встречающихся на практике, центральная предельная теорема делает
ненужной соответствующую работу. Хотя мы и не будем дока-
доказывать предельную нормальность т, стоит отметить, что в про-
процессе предельного перехода появляется специфическое для на-
нашей схемы условие. Нельзя просто устремить п к бесконечности,
поскольку оно не может быть больше, чем N. Поэтому Мэдоу
A948), который получил центральную предельную теорему для
этого случая, считает что как п, так и N возрастают при усло-
условии, что n/N остается отделенным от единицы. Из C9.10) легко
проверить, что коэффициенты асимметрии и эксцесса для т
стремятся при таком предельном переходе к соответствующим
значениям для нормальной величины. Гаек A960) приводит
и достаточные условия предельной нормаль-
необходимые
ности т.
Таким образом, для распределения т можно использовать
теорию стандартных ошибок, как это описано в 9.26—9 т. 1,.
и обычным образом проводить проверку гипотетического зна-
значения (Ао для среднего генеральной совокупности или построе-
построение доверительных пределов для \i. Необходимо только, чтобы
п было достаточно велико. Если n/N мало, то мы будем эффек-
эффективно действовать, поступая так же, как и при простом слу-
случайном выборе.
Достаточность в теории выборочных обследований:
опознаваемость элементов
39.5 В 17.31 т. 2 было изложено понятие достаточности. До-
Достаточная статистика содержит всю имеющуюся в выборке ин-
информацию о параметре. Теперь в теории выборочных обследо-
обследований мы не уточняем вид распределения генеральной совокуп-
совокупности, но, следуя Басу A958) и Патхаку A964с), в качестве
параметра совокупности можем взять jV-мерный вектор значе-
значений переменной у. Любая выборка из п наблюдений (с возвра-
возвращением или без) доставляет информацию об п или меньшем
числе компонент iV-мерного вектора параметров. Любые две
выборки (извлеченные по одной и той же схеме выбора), ко-
которые содержат одно и то же множество, состоящее из d (^п)
элементов совокупности, доставляют одну и ту же информацию
о параметре вне зависимости от того., появляются ли эти d эле-
элементов в двух выборках с одинаковыми частотами или нет.
Поэтому такие выборки называются эквивалентными. Множе-
Множество всех возможных выборок, получаемых при данной схеме
выбора, можно разными способами разбить на подмножества.
Если при разбиении каждое подмножество состоит из эквива-
эквивалентных выборок, то такое разбиение называется достаточным.
Если некоторые подмножества достаточного разбиения можно
объединить и в результате получится другое достаточное раз-
разбиение, то последнее называют меньшим достаточным разбие-
разбиением. Если имеется достаточное разбиение такое, что любое дру-
другое достаточное может быть сведено к нему упомянутым про-
процессом объединения подмножеств, то это разбиение называется
минимальным достаточным разбиением (см. 23.16 т. 2).
Любая статистика (вектор) t (т. е. любая функция от вы-
выборочных значений у) индуцирует разбиение множества всех
возможных выборок на подмножества, состоящие из всех вы-
выборок с одним и тем же значением t. Если лндуцируемое таким
образом разбиение достаточно, то сама t является достаточной
статистикой, поскольку ее значения определяют подмножества
246
ГЛАВА 39
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ
эквивалентных выборок. При заданном t условное распределе-
распределение любой другой статистики не даст нам никакой дополнитель-
дополнительной информации о параметрах (т. е. свободно от параметров).
Теперь применима общая теория достаточных статистик из
глав 17 и 23. В частности, справедлив результат Рао — Бле-
куэлла из 17.35 о том, что если задана любая несмещенная
оценка некоторой функции параметров, то ее можно улучшить,
взяв вместо нее условное ожидание при заданной достаточной
статистике.
Как ни прост результат, из него получается неожиданное
следствие. Рассмотрим простейший случай случайной выборки
с возвращением из совокупности, состоящей из N элементов,
для оценки среднего значения совокупности. Интуитивной
оценкой является выборочное среднее т. Однако эту оценку
можно улучшить. В самом деле, среди п выбранных элементов
имеются такие, которые выбраны более одного раза. Как мы
видели, в выборке имеется d ^ n различных элементов, которые
образуют базис эквивалентных выборок. Поэтому векторная
статистика t, состоящая из значений z/(I), ..., z/(d), соответствую-
соответствующих этим различным элементам выборки, является достаточ-
достаточной. Условное ожидание т при заданном t, очевидно, является
-средним значением различных элементов выборки. Обозначим
его rrid- Эта оценка имеет меньшую дисперсию чем т. Радж
и Хамис A958) явно вычисляют уменьшение дисперсии (см.
упражнение 39.1). Здесь, как и в большинстве случаев, вычис-
вычисление дисперсии оценки выборочного обследования, улучшен-
улучшенной по методу Рао — Блекуэлла, довольно сложно.
Как правило, при выборке с возвращением, если при по-
построении любой оценки учитывать только разные выбранные
элементы, а не все выбранные элементы, то точность оценки
всегда улучшается. Однако дисперсию оценки, учитывающей
все элементы, вычислять обычно проще, и она всегда является
верхней границей для дисперсии оценки, учитывающей только
разные элементы. Так что первую дисперсию можно смело ис-
использовать вместо второй. Если n/N велико, то уменьшение
дисперсии редко будет достаточно большим, чтобы оправдать
дополнительную работу, требующуюся для вычисления.
Патхак A961а,b, 1962a,b, 1964a,b,с) провел ряд исследова-
исследований о применении метода Рао — Блекуэлла к различным задачам
теории выборочных обследований. См. также Дж. Рао A966).
Выбор без возвращения с неравными вероятностями
39.6 Обобщим теперь схему случайного выбора без возвра-
возвращения, позволив вероятностям выбора различаться для раз-
различных элементов и от извлечения к извлечению. Пусть (r)Pi —
247
вероятность того, что t-й элемент (со значением у{) выбирается
при г-м извлечении, ? (r)Pi = 1> 1 меняется от 1 до N, а г—от
1 до л. Положим
— JL (r)Pi,
nil = 2и2а (r)Pi
г, s»»l
C9.14)
C9.15)
причем вероятности, соответствующие более позднему моменту
времени в правой части C9.15), взяты при условии, что про-
произошло событие, отвечающее другому сомножителю*). По
определению щ является полной вероятностью того, что уг бу-
будет выбрано при п извлечениях, а пц — совместной вероят-
вероятностью того, что выбрано как у и так и у, (i ?=]')¦ Очевидно,
что множество всех вероятностей (Г)ри как условных, так и без-
безусловных, которое мы будем называть схемой выбора, опреде-
определяет лц и я,-. Но одно и то же множество пц и я» может быть
связано с различными схемами выбора. Обычно трудно подо-
подобрать значения (Г)/?,-, чтобы получить нужные значения я,^- и я,,
однако для схем выбора, описанных в упражнениях 39.5—6, со-
соответствующие уравнения можно разрешить. Фелледжи A963)
дает рекурсивный метод получения (T)Pi> равных при всех из-
извлечениях. См. также Брюэр A967).
Для выбора без возвращения с равными вероятностями, ко-
который мы уже рассматривали, имеем
¦ч— N ' "Н ~~ N(N- 1) '
В общем случае читатель может проверить, что из C9.14—15)
следует
N N N
?я,= л; ? я,/в=(д-1)я,; ? ? яG =я(д - 1). C9.16)
1Ф1 l+I
Примем теперь следующее соглашение об обозначениях. Ин-
Индексы при выборочных значениях у\, ..., уп соответствуют по-
порядку, в котором эти значения извлекаются. Естественно, что
эти индексы, вообще говоря, не совпадают с индексами, соот-
*) Следует обратить внимание читателя на некорректность обозначе-
обозначений, используемых в правой части C9.15). На самом деле для записи услов-
условной вероятности (,)р, при s > г (соответственно (r)Pt при г >¦ s) нужно было
бы использовать другие обозначения. Однако автор предпочитает ограни-
ограничиться соответствующей оговоркой в тексте. (Прим. перев.)
248
ГЛАВА 39
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ПЛАНИРОВАНИЕ
249
ветствующими номеру элемента совокупности, т. е. уь ..., yN,
Так, например, у3 в выборке (т. е. значение, полученное в ре-
результате третьего извлечения) не совпадает с у3 в совокупности
(т. е. со значением, соответствующим элементу с номером 3).
Однако при рассмотрении симметрических функций от выбо-
выборочных значений мы в целях простоты не будем обращать вни-
внимание на это различие.
При взятии математических ожиданий будем рассматривать
выборку как целое (не учитывая порядок извлечения) и считать
шл= Z Hi случайной величиной. Имеется ( ) возможных
выборок. Мы предположим, что они записаны в некотором по-
порядке и обозначены Su ..., Sr, ..., S/n\. По определению
()
Стоящую в правой части этого равенства сумму (_ ) членов,
каждый из которых представляет собой сумму п значений,
можно перегруппировать в сумму N членов (соответствующих
элементам совокупности), причем каждый член, отвечающий
данному элементу совокупности, будет равен сумме f Hi )
значений в соответствии с тем, какие (п—1) из (jV—1) воз-
возможных элементов входят наряду с этим элементом в выборку.
Итак,
nM (m) =
К.
Обозначим т =
-i
Z
N
Z
C9.17)
Таким образом, как и следовало ожи-
i=\
дать, выборочное среднее не является, вообще говоря, несме-
несмещенной оценкой среднего совокупности. Кроме того, имеем
пЮ(т) = D
?
= М
Первое математическое ожидание вычисляется точно так же, i
как в C9.17), и равно ^п^. Второе математическое ожида-
ние является суммой I л I членов, каждый из которых есть,
сумма п(п—1) значений. Эту сумму можно перегруппировать,,
представив в виде суммы N(N—1) членов по Г ~„ J значе-
значений, в соответствии с тем, какие элементы, помимо двух задан-
заданных (из общего числа N(N— 1) пар), входят в выборку. Таким,
образом,
[( ) 1
Е2 P{5r}J yiyi = ZNZnn
а значит,
D (Z у) = пЮ (m) = E ntf + ZZ ЩУ,
N N
= Z яг A - *t)y\ + Eg (ntl - nin^yiyr C9.18>
39.7 Вычисление математических ожиданий C9.17—18), ко-
которое мы сейчас провели, является частным случаем следую-
следующего общего результата. Для любой функции g от наблюдении.
|ee
= xx
C9.19).
, У/)-
Соотношения C9.19) уже не требуют нового доказательства,,
ибо изложенное выше доказательство не изменится, если г/4
и ytyj заменить на произвольные функции.
Теперь можно получить несмещенную линейную оценку для
(л. Если значению у\, соответствующему /-му элементу совокуп-
совокупности, приписать один и тот же вес wt вне зависимости от того,,
когда выбран этот элемент, то мы хотим получить
м
^Ё
250
ГЛАВА 39
а значит, в соответствии с C9.19) при g(Ui)=
N j N
Это соотношение должно выполняться тождественно по р., так
что можно приравнять коэффициенты при yt. В результате по-
получим Wi = \/(Nm), а значит, оценка
п
C9.20)
является единственной несмещенной оценкой указанного вида.
Далее дисперсия величины р. получается из C9.18) заменой уг
на yil(Nni). Таким образом,
. C9.21)
l-l
i.l-l
39.8 Используя C9.19), можно получить несмещенную оцен-
оценку для C9.21). Нетрудно проверить, что такой оценкой является
Эта оценка предложена Хорвитцем и Д. Томпсоном A952), ко-
которые первыми сформулировали задачу, изложенную в 39.6.
С другой стороны, используя C9.16), можно переписать C9.21)
в виде
\rir\f\ 1 V1 V I** tv тг ~ ' У'
N*u (р.) = -п У У \nin/ — ni
i. t—\
C9.23)
А значит, по C9.19) другой несмещенной оценкой для C9.21)
является оценка
предложенная Иэйтсом и Гранди A953).
Если бы мы могли выбрать я< пропорционально yf, то дисперсия C9.23)
я ее оценка C9.24) обратились бы тождественно в нуль. (В упражнении 39.3
показано что это не обязательно так для альтернативной оценки дисперсии
<39 22) ) ' На практике наилучшее приближение к этой ситуации получается
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ПЛАНИРОВАНИЕ
25Г
в случае, когда мы знаем некоторую переменную, сильно коррелированную с-
Уг. Фелледжи A963) н Дж. Рао A963) обсуждают методы получения же-
желаемых значений я< и их влияние на выборочную дисперсию оценки. См..
также Ханурав A967).
Гаек A964) исследует асимптотическую нормальность, дисперсию и оцен-
оценку дисперсии для величины C9.20) в случае выбора с отбрасыванием (ге-
jectiye sampling), когда производится выбор с возвращением с неравными ве-
вероятностями, однако если какой-нибудь элемент извлекается второй раз, то
вся выборка не принимается во внимание.
С первого взгляда не совсем понятно, какая из приведенных
двух оценок дисперсии предпочтительнее. Легко показать, что
оценка C9.22) может принимать отрицательные значения (см.
упражнение 39.3), однако C9.24) также может принимать от-
отрицательные значения (см. упражнение 39.4). Оценка C9.24)
неотрицательно определена только для таких схем, в которых
KiTij — лц ^ 0 для всех i и /. Тем не менее для двух'схем вы-
выбора, которые применяются на практике, оценка C9.24), как
показывают упражнения 39.5—6, никогда не отрицательна, что-
неверно для C9.22). Поэтому не вызывает сомнения, что C9.24)
более предпочтительна, чем C9.22), ибо последняя оценка, так
сказать, более предрасположена принимать отрицательные зна-
значения, а значит, эта оценка величины C9.21) (математическое
ожидание которой необходимо положительно) имеет большую
дисперсию.
Похоже, что не существует оценки дисперсии C9.21), кото-
которая неотрицательно определена для всех схем выбора, однако,,
насколько нам известно, до сих пор нет доказательства этого
факта.
39.9 Однако, взяв линейную оценку, отличную от C9.20) у
мы можем сделать так, что всегда будет существовать неотри-
неотрицательная оценка для дисперсии взятой оценки. Но для этого
мы не должны ограничиваться линейными функциями вида
п
X! WiUi, которые рассматривались при определении р. в C9.20),
i-l
поскольку, как мы видели, р. является единственной несмещен-
несмещенной линейной функцией такого вида.
При построении линейных по множеству выборочных зна-
значений оценок среднего совокупности, коэффициенты, соответ-
соответствующие каждому выборочному ' значению можно считать
зависящими от следующих трех факторов:
(а) от номера того элемента, при выборе которого полу-
получается это значение;
(б) от извлечения, при котором это значение было выбрано;
(в) от всего множества элементов совокупности, вошедших
в выборку, а не от отдельных элементов, как в (а).
Коэффициенты могут зависеть от любого одного из этих трех
факторов, от любых двух и от всех трех факторов (а), (б), (в).
252
ГЛАВА 39
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ
253
В результате получается семь общих классов линейных оценок,
последний из которых включает все предыдущие. Эти классы
изучались и анализировались Годэмбом A955, 1965) и Купом
A963). Получено, что в упомянутом самом общем классе
нельзя указать несмещенную оценку с минимальной диспер-
дисперсией. Это утверждение интуитивно правдоподобно на том осно-
основании, что, зная значения, соответствующие элементам сово-
совокупности, можно всегда построить линейную несмещенную
оценку с нулевой дисперсией, но эта оценка, очевидно, должна
зависеть от самих значений, соответствующих элементам сово-
совокупности. Как показывает упражнение 39.3, примером такой
оценки является C9.20). По существу отсутствие здесь опти-
оптимальной линейной оценки следует из того факта, что мы можем
распознать элементы совокупности и назначаем вероятности
выбора.
До сих пор мы рассматривали только коэффициенты, зави-
зависящие лишь от одного фактора (а). Рассмотрим теперь оценки
с коэффициентами, зависящими от всех трех факторов (а),
(б), (в).
39.10 Пусть теперь у(Г) — значение, соответствующее эле-
элементу, выбранному при r-м извлечении. Пусть р(Г) — условная
вероятность выбрать этот элемент при этом извлечении, при
условии, что он не был выбран до этого. Положим
а-1
1
"==2, ..., п. C9.25)
Каждая величина nzu является несмещенной оценкой для
лоскольку, согласно C9.19),
N
М (z,) = ? У и
а при и ^ 2
r=i
а значит, любая линейная функция
— *
= М {iVn} = N\l,
C9.26)
является несмещенной оценкой для N\i. Наибольшей симмет-
симметрией из таких функций обладает среднее
Как следует из упражнения 39.10, при равных вероятностях вы-
выбора C9.27) не сводится к Nm. Дисперсия оценки z равна
( п
D ®=7^ ] Е
cov
a.o=I
ифл
\ •
Вычисляя ковариацию zu и zv в два этапа, сначала при фикси-
фиксированном zu, а потом при изменении ги, получим сразу, что
cov (zu,zv) = 0 при и ф v. А значит,
М (zuiD) = М (za) М (го) = N2\i2. C9.29)
Таким образом, нам осталось вычислить только дисперсии
в C9.28). В общем случае вычисление D(zu) весьма громоздко
(см. упражнение 39.9), но для D (z) легко получить оценку.
В самом деле,
D (г) = М (г2) - NY,
так, что используя C9.29), получим, что несмещенной оценкой
для D (г) является z2 — zuzv для любых и Ф v. Усреднив эти
оценки по всем п(п—1)/2 различным парам и и v, получим
оценку
5®=г2- „(Дв Z 2«г<- C9-3°)
которая совпадает с
2-i
ы=1
C9.31)
Оценка C9.31) имеет вид s2/n, где s2 — вторая ^-статистика для
наблюдений zu. Таким образом, при описанном подходе, пред-
предложенном Раджем A956), задача выбора z/* (с неравными
вероятностями и без возвращения) сводится к выбору zu и по-
последующему вычислению их среднего значения и оцениванию
дисперсии этого среднего точно так же, как если бы zu выби-
выбирались с равными вероятностями и с возвращением. Это утвер-
утверждение является частным случаем общего результата, приве-
приведенного в упражнении 39.12.
39.11 Нам осталось решить, какую из оценок C9.20) или
Х39.27) использовать. В общем случае об их относительной
254
ГЛАВА 39
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ
эффективности известно мало, но Радж A956) описывает два
выборочных эксперимента с п=2, в которых C9.27) значительно-
предпочтительнее.
Применяя, однако, метод Рао — Блэкуэлла улучшения оце-
оценок (см. 39.5), можно получить оценки, дисперсия которых за-
заведомо не больше, чем у C9.27). Вычислим C9.27) (которое
мы теперь переобозначим Z(.,>, чтобы подчеркнуть зависимость
от порядка извлечения з выборке) для каждой из п\ возможных
перестановок, соответствующих порядку, в котором могли быть
извлечены выбранные значения. Усредним теперь эти п\ зна-
значений с весами, равными относительным вероятностям этих пе-
перестановок, в результате получим улучшенную оценку 2S. Точно-
так же можно пересмотреть оценку C9.31), чтобы получить
улучшенную оценку величины D (гE)). Эти результаты, принад-
принадлежащие Мёрфи, являются непосредственным следствием ре-
результата Рао — Блэкуэлла из 17.35 и приведены в виде упраж-
упражнений 39.30—1. Хотя и не показано, что дисперсия величины zs
имеет неотрицательную оценку для всех схем выбора, что
справедливо для f(S), но Мёрфи показал, что это так при п = 2.
Более того, Мёрфи A957) показал, что в уже упомянутых вы-
выборочных экспериментах Раджа A956) оценка zs более эффек-
эффективна, чем 2(S), и что отклонения несмещенной оценки дисперсии
величины zs меньше, чем у C9.31) для гE). Наконец, улучшен-
улучшенная оценка для D (z(g)) также получает заметное улучшение
эффективности по сравнению с C9.31).
Таким образом, имеются существенные теоретические осно-
основания для использования улучшенной оценки zs. Однако с рос-
ростом п задача вычислений становится очень громоздкой, по-
поскольку нужно рассматривать п\ различных перестановок вы-
выбранных элементов. А даже для вычисления только одного f(,>
определенного в C9.27), нужно вычислить п условных вероят-
вероятностей, что требует большой работы, если размер совокупности
N и размер выборки п велики. Если упростить схему выбора,
как в упражнении 39.31, считая что вероятности пропорцио-
пропорциональны при всех извлечениях, то выражение для zs упро-
упрощается, но все еще остается громоздким для вычислений.
Неравные вероятности при выборе с возвращением
39.12 Если выбор проводится с возвращением, то извлече-
извлечения независимы и существует возможность, что любое ух будет
извлечено более одного раза. Определим щ и лц, как и ранее,
согласно C9.14—15), но теперь нужно определить еще
п
па = S zl (r)Pi •
Г, .1 = 1
255
Теперь я,;- — вероятность того, что как yit так и г/3- выбраны по
крайней мере один раз, а лц — вероятность того, что z/* выбрано
не менее двух раз. C9.16) заменяется на
N N N N
?яг=/г; ? щ, = (я — 1) яг; ? ? п„ = я (я — 1), C9.32)
причем суммы берутся по всем / и j без ограничений. Анало-
Аналогично C9.19) заменяется на
C9.33)
j ?Lg(yt, уд\= Е Znllg(yt, у,),
причем снова в последней двойной сумме в C9.33) на i и / не
накладывается никаких ограничений. Как может проверить чи-
читатель, в C9.18) и C9.21) Щ} может теперь иметь равные ин-
индексы, а члены я^- входят в двойную сумму только с разными
индексами. Если вместо C9.16) использовать теперь C9.32),
то получим, что C9.23) останется без изменения.
В частном случае, когда вероятности выбора одни и те же
при каждом извлечении, то pi можно писать без стоящего впе-
впереди индекса, и теория упрощается. В этом случае щ — при
лц = п(п— l)piPj, оценка C9.20) сводится к
Nn
C9.34)
N
а C9.23) —к
Используя C9.33), получим несмещенную оценку для C9.35)
в виде
Учитывая B.27) т. 1, преобразуем это выражение к виду
где s2 — вторая выборочная ^-статистика
для
определяв-.
256
ГЛАВА 39
мая, как и в 39.3. Простой вид C9.36) основан на том, что
yJiNpi) являются несмещенными оценками ц некоррелирован-
некоррелированными из-за того, что выбор проводится с возвращением, так
что применимо упражнение 39.12.
Планирование выборки: расслоение
39.13 В 39.8 мы видели, что на практике нельзя надеяться
найти схему выбора, которая уменьшала бы выборочную дис-
дисперсию до ее достижимого минимума, равного нулю. Однако,
как там показано, если мы имеем некоторую информацию (хотя,
возможно, и довольно нечеткую) о переменной у или о некото-
некоторой другой переменной, коррелированной с ней, то эта инфор-
информация позволяет нам получить существенное улучшение по
сравнению с простым случайным выбором. Планирование вы-
выборки (т. е. подбор лц, а значит, и it*) преследует цель умень-
уменьшить, насколько это возможно, дисперсию оценки. (В дальней-
дальнейшем мы модифицируем это утверждение, чтобы учесть изме-
изменение стоимости различных процедур выбора.) Если, как это
обычно и бывает, мы имеем дело с несколькими величинами
одновременно, то самое большее на что можно надеяться, это
подобрать некоторый «компромиссный» набор я^, для которого
все используемые оценки имели бы достаточно малую диспер-
дисперсию. Именно эта необходимость компромисса дает толчок к рас-
рассмотрению различных классов схем выбора, цель которых со-
состоит в уменьшении дисперсии.
39.14 Рассмотрим сначала C9.23), когда я* фиксированы,
а подбираются только пц (удовлетворяющие ограничениям,
налагаемым C9.16)). Выражение C9.23) представляет собой
сумму N(N—1)/2 членов, каждый из которых равен коэффи-
коэффициенту (ttjttj — tt,j), умноженному на неотрицательную вели-
/ у у 42
чину I — ] , в которой значения я* теперь фиксированы.
Если значения уг неизвестны, то, как мы уже говорили, нельзя
сказать, какой набор лц будет оптимальным. Но вне зависи-
зависимости от значений у, мы видим, что если положить я,^ равным
ЯгЯ;,-, то соответствующий коэффициент обратится в нуль. Далее
в 39.6 мы видели, что для обычного выбора без возвращения
с равными вероятностями щ=-^г, пи = -^/^ -^ для всех
а значит, пгяу — лц —
)/2
^~^w > О- А- значит, в этом
i^j, а значит, пгяу — лц — ^2 t^^w >
случае каждый из N{N—1)/2 членов в C9.23) вносит положи-
положительный вклад в дисперсию. Отсюда видно, что если положить
все я* равными njN, а некоторые пц равными я*я^ = п2/М2, то
мы уменьшаем до нуля вклад в дисперсию нашей оценки от
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ
257
членов, соответствующих этим парам i, j. Но в силу C9.16)
сумма лц равна п(п—1), а значит, небольшое увеличение не-
п(п — 1) п2
которых лц от значения N' __ ' до -^ должно компенси-
компенсироваться уменьшением других я^, что ведет к увеличению
вклада в дисперсию соответствующих членов. Однако если эти
последние уменьшенные я,^ связаны с меньшими значениями
г — У;
Hi — Уз
, а увеличенные я^- связаны с большими значениями
, то можно ожидать, что в результате получится умень-
шение дисперсии оценки. Более того, поскольку те я^, которые
увеличиваются, изменяются незначительно, то компенсирующее
уменьшение других лц может быть тоже малым, особенно если
число тех лц, которые уменьшаются, не меньше, чем тех, ко-
которые увеличиваются.
Таким образом, мы пришли к следующему принципу улуч-
улучшения дисперсии оценки в случае равных я*. Увеличить лц от
N(N— 1) до ~W' если 1^* — Уз\ велико и уменьшить я^-, если
\Уг — Уз\ мало. Этот принцип делается более понятным, если
обратить внимание на то, что если лц = я4я^, то z/* и гд,- должны
выбираться независимым образом. Поэтому мы исследуем про-
процедуры, в которых схема выбора разбивается на две или боль-
большее число подсхем, причем выбор внутри каждой из подсхем
производится независимо от других. Возвращаясь к обозначе-
обозначениям 39.6, это утверждение можно сформулировать в терми-
терминах схемы выбора в следующем виде:
при 1
при N
Nx
N2
(г)Рг>0 для l<r<
(r)Pi = 0 Для других г;
(r)Pi > О ДЛЯ rt, < Г
<r)Pi = 0 для других г;
П2,
при
N
к~\
{r)pi > 0 для Л Л/ <
(Г)Р,= 0 для других г
C9.37>
В C9.37) N элементов совокупности разбиты на k групп, со-
k
стоящих из Ni элементов, ? Nt= N. Выборка аналогично раз-
к
бита на k соответствующих выборок размеров л(, Y, ni =n. Вы-
бор в каждой подсовокупности проводится независимо от других,.
9 М. К^мдалл, А, С^ыоарт
258
ГЛАВА 39
Из нашего принципа теперь следует, что у^ должны так
разбиваться на группы, чтобы члены разных групп отличались
как можно больше (поскольку в C9.23) парам из разных групп
соответствуют нулевые коэффициенты), а элементы одной
группы должны отличаться как можно меньше (поскольку они
соответствуют парам, для которых пц уменьшается).
Выбор элементов в подгруппах проводится независимо,
а результаты объединяются для получения оценки параметра
полной совокупности. Совокупность элементов, принадлежащих
подгруппе, называется слоем (strata). Эта терминология свя-
связана с геологическими исследованиями, в которых производится
естественное разбиение на слои пород. Для детального изуче-
изучения расслоенного выбора, как будет называться схема выбора
C9.37), нам будет удобно переформулировать задачу заново.
Расслоенный случайный выбор
39.15 Как и в 39.14 предположим, что совокупность разбита
на k слоев и 1-п слой содержит Ni элементов, У, N[ — N. Рас-
Рассмотрим частный случай общей схемы C9.37), считая, что вы-
выбор в каждом слое проводится независимо от других слоев
и что в 1-м слое проводится выборка щ элементов без возвра-
возвращения с, равными вероятностями. Такая схема называется рас-
расслоенным случайным выбором без возвращения. В силу незави-
независимости выбора для различных слоев теория достаточно проста.
Обозначим значения, соответствующие элементам 1-го слоя, че-
через у» и условимся, что первый индекс I всегда будет отно-
относиться к слою.
Очевидно, что для всех i в 1-м слое имеет место я* =
А значит, несмещенная оценка C9.20) принимает вид
1
j\T La Lt n.lN.
N
C9.38)
где mi — среднее выборки в 1-м слое, истинное среднее которого
обозначается \1г *). Поскольку случайные величины mi незави-
независимы, то дисперсия величины р, равна
ю^-^Е^^О""^I C9-39)
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ 259
где C9.10) применяется к каждому слою в отдельности, a of —
дисперсия /-го слоя. Если аналогично обозначить через sf выбо-
выборочную дисперсию в 1-м слое, то из C9.12) получим следующую
несмещенную оценку для C9.39):
s2, / п. \
C9.40)
Если мы хотим, чтобы все Я| были равны, как это было в 39.14,
где мы пришли к понятию расслоенного выбора, то нужно,
чтобы tii/Ni было одним и тем же для всех /. Этот случай назы-
называется выбором с равными долями (ВРД)*). Но нам не обя-
обязательно ограничивать наше изложение этим случаем, по-
поскольку C9.38—40) справедливы при любом выборе пи так что
мы можем рассматривать случай и неравных долей. На самом
деле нас будет интересовать вопрос о том, как наиболее эф-
эффективно выбрать щ или более точно, какими, при фиксирован-
фиксированном п = X ni должны быть целые числа щ, чтобы минимизи-
i
ровать дисперсию C9.39). Наше изложение следует Армитеджу
A947), хотя основной результат впервые был получен Чупро-
вым в 1920 г. и независимо Нейманом A934).
Выбор объема слоев выборки
39.16 Дисперсия C9.39) может быть переписана в виде
?
"A
тт)
t I
C9.41)
Проверка этого равенства проводится простыми алгебраиче-
алгебраическими выкладками. Из трех членов в правой части C9.41)
только второй зависит от объемов слоев выборки щ, причем
этот член неотрицателен, а значит, дисперсия минимальна, если
щ выбрать так, чтобы этот член обратился в нуль, т. е. при
*) Мы не боимся, что читатель перепутает это с обозначением для мо-
моментов цг, поскольку было сказано, что индекс / всегда связывается со
слоем»
= 0
*) В отечественной литературе употребляется также термин «пропор-
«пропорциональный выбор». (Прим. перев.)
260
ИЛИ
ГЛАВА 39
1L = .
N,
Е »i
C9.42)
Таким образом, дисперсия минимальна, если доля выбранных
элементов в каждом слое пропорциональна квадратному корню
из дисперсии этого слоя. Такой выбор щ мы назовем размеще-
размещением, по слоям с минимальной дисперсией, а оценку, соответ*
ствующую этому случаю, обозначим р,мд. Объемы выборок,
определяемые таким способом, как правило, получаются дроб-
дробными, и на практике нужно брать ближайшие к ним целые
числа.
Из вышесказанного следует, что минимальное значение дис-
дисперсии задается соотношением C9.41) с опущенным вторым
членом в правой части, что дает после упрощения
( i (E rf E ад }C9.43)
) " Ж ( i
Как показано в упражнении 39.21, значение дисперсии нена-
ненамного изменяется при малых отклонениях т от значений, опре*
деляемых C9.42).
39.17 Предположим, с другой стороны, что мы взяли все я*
равными, как при первоначальном изложении, положив для
всех I
-Щ^Т- C9.44)
Из C9.38) сразу следует, что в этом случае р, сводится к сред-
среднему полной выборки. Обозначим это среднее р.ВРД-
Теперь легко заметить, что второй и третий члены в правой
части C9.41) равны по величине и противоположны по знаку,
а значит, сокращаются. Таким образом, значение дисперсии,
получающееся в результате ВРД, определяемого C9.44), равно
¦одному первому члену в C9.41). Это выражение больше, чем
минимально возможное, за исключением случая, когда послед-
последний член правой части C9.41) обращается в нуль, т. е. в случае
at
= ?
для всех I.
Это возможно только тогда, когда дисперсии всех слоев равны.
Естественно, что при этом условии C9.44) и C9.42) совпадают.
39.18 Сравним дисперсию при ВРД (см. 39.17) с диспер-
дисперсией, получающейся при случайном выборе с равными вероят-
вероятностями без расслоения. В последнем случае дисперсия за-
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ. ПЛАНИРОВАНИЕ 261
дается соотношением C9.10), которое можно переписать
В ВИД6 j
D («,) = *'О— 4r W
' nN (N —
Это тождество справедливо в силу следующего тождества дис-
дисперсионного анализа:
_ 1)о*^1Г (Nt - 1H
которое есть не что иное, как C5.25) в других обозначениях.
В 39.17 мы видели, что при распределении по слоям, соответ*
ствующим ВРД,
и это выражение надо сравнить с D(tnR). Их разность равна
ОК)°О)
JV-1
N -\
C9.46)
Член в фигурной скобке в правой части C9.46) отрицателен,
поскольку он равен
N(J-l) Z (N* -N)*i< 0- C9.47)
Таким образом, из C9.46) сразу следует, что если последний
член в правой части этого равенства обращается в нуль, т. е.
если все щ равны, то
так что расслоение с ВРД приводит к увеличению дисперсии.
Более того, в 39.17 мы уже видели, что если все d равны, то
ВРД совпадает с размещением, обладающим свойством МД.
Таким образом, если все ai равны и все щ равны, то
D = О(Амд). C9.48)
В этих условиях при любом распределении по слоям получается
увеличение дисперсии оценки среднего всей совокупности.
*) Индекс R соответствует случайному выбору без возвращения с. рав-
равными вероятностями.
262
ГЛАВА 39
Даже если цг различаются, но мало, и oi мало отличаются,
все еще возможна ситуация, аналогичная C9.48), т. е. может
оказаться
ЮО(А)<°(А>
Более подробно см. Армитедж A947); часть его результатов
содержится в упражнениях 39.14—15.
39.19 Случаи, аналогичные C9.48), редко встречаются в вы-
выборочной практике, ибо они связаны с неравенством C9.47).
А левая часть C9.47) имеет при фиксированном k порядок N~l,
в то время как другой член в квадратных скобках правой части
C9.46), равный ^Nidii — iif/(N— 1) имеет порядок единицы,
если Л/; —величины того же порядка, что и N. А значит, при
N—* оо и NJN фиксированных, членом в фигурных скобках
в правой части C9.46) можно пренебречь, а второй член неот-
неотрицателен, так что
DК)> D(Аврд)> D(Амд). <39-49)
причем равенство в левой части достигается в пределе тогда
и только тогда, когда все [Х; равны, а равенство в левой части
тогда и только тогда, когда равны все at.
Соотношение C9.49) соответствует тому, что мы ожидали,
исходя из интуитивных соображений в 39.14. Как там, так
и в более общей ситуации в 39.16—18 мы видели, что именно
различие между цг приводит к улучшению дисперсии при ис-
использовании расслоенной выборки с ВРД. (Дальнейшее улуч-
улучшение при распределении с МД связано с различием среди 0;)-
Это согласуется с общим выводом в конце 39.14, где рассматри-
рассматривался только случай ВРД, о том, что слои должны как можно
больше различаться.
Использование слоев в планировании выборочных обследо-
обследований по понятным соображениям аналогично использованию
блоков при планировании экспериментов (см. 38.14). В обоих
случаях группировка (элементов, экспериментальных объектов)
проводится с целью устранения ошибок (выборочных, экспери-
экспериментальных), возникающих из-за различия групп (слоев, бло-
блоков). Однако наряду с общностью методов имеется разница
в целях. При обследованиях интересуются в первую очередь
оценкой среднего полной совокупности, в то время как при
изучении экспериментальных данных генеральное среднее ред-
редко представляет интерес. Эта разница является отражением
того факта (см. 38.3), что основой для анализа экспериментов
служит гипотетическая, а не реальная генеральная совокуп-
совокупность.
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ 263
Размещение с минимальной дисперсией при фиксированной
полной стоимости
39.20 Перед тем как закончить обсуждение вопроса о разме-
размещении выборки по слоям, мы обобщим формулу C9.42) для
распределения с МД, приняв во внимание различие в стоимости
проведения выбора в разных слоях. Мы специально отложили
это обобщение, поскольку теперь мы можем вывести его как
специальный случай общего результата о распределении с ми-
минимальной дисперсией при фиксированной полной стоимости,
которой, как мы увидим, полезен и в других отношениях.
Предположим, что в данной задаче выбора дисперсия ис-
используемой оценки имеет вид
V^vo + jllj-' C9-5°)
/=i l
где Со и Vi являются функциями только от величин, определяе-
определяемых совокупностью (но не выбором), а дог не являются функ-
функциями величин v. В общем случае полная стоимость проведения
выборочного обследования представима в виде
с = Со +
C5.51)
где со—'«стоимость накладных расходов», a ct — стоимость
внутри 1-го класса. Используя неравенство Коши (см. 2.7). за-
запишем следующее соотношение:
(V - vQ) (С - с0) =
WlCt>
( ?
. C9.52)
Равенство в C9.52) достигается тогда и только тогда, когда
выполняется условие
(-
= const для всех /.
Крайний правый член в C9.52) не зависит от wu а значит, вы-
выбирая wi удовлетворяющим этому условию, которое мы пере-
перепишем в виде
w\ ос vtjct для всех /, C9.53)
мы получим минимально возможное значение (V—v0) (С — с0),
т. е. минимальное V при фиксированном С (минимальное С при
фиксированном V).
264
ГЛАВА 39
39.21 В предшествующем изложении дисперсия задавалась
соотношением C9.39), а значит, стоимость проведения выбороч-
выборочного обследования равна
к
C9.54)
что здесь
N*o\
wt = щ,
а значит, C9.53) дает следующее размещение с МД при фикси-
фиксированном С:
C9.55)
Теперь доли выбранных элементов ntINt пропорциональны квад-
квадратному корню из дисперсии слоя, деленному на квадратный
корень из стоимости одного наблюдения в этом слое. Наша ис-
исходная формула распределения с МД C9.42), не учитывающая
стоимости, является, разумеется, частным случаем C9.52),
когда все с; равны.
Кокэн и Хан A967) дают численный метод минимизации С, когда иссле-
исследуются несколько переменных, каждая из которых оценивается с предписан-
предписанной максимальной дисперсией.
Формирование слоев
39.22 Несомненно, читатель заметил, что в нашем изложе-
изложении, начиная с 39.15 и далее, предполагалось, что заранее за-
заданы к фиксированных слоев, и единственная задача состоит
в распределении выборки по этим слоям. Но на каком-то этапе
должны быть сформированы сами эти слои. Как это сделать
лучше, чтобы в конечном счете минимизировать дисперсию
оценки? Рассмотрим сначала этот вопрос при фиксированном
k, а потом изучим влияние переменного k на ответ.
С учетом выводов 39.19 при формировании слоев нужно мак-
максимизировать разницу между средними слоев. Таким образом,
если бы мы знали распределение переменной у совокупности,
то для образования k слоев нам нужно было бы выбрать k— 1
точек разбиения ее области изменения. Как же выбирать эти
точки? Этот вопрос носит чисто теоретический характер в том
смысле, что на практике истинное распределение у никогда не
известно. Однако мы можем ориентироваться по предыдущим
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ
265
наблюдениям или можем знать значения переменной сильно
коррелированной с у, так что ответ на этот вопрос имеет и прак-
практический, интерес. Основные результаты получены Далэниусом
A950).
39.23 Рассмотрим сначала случай, когда применяется ВРД.
Не учитывая констант п, N и пренебрегая разницей между Nt
и Ni— 1, перепишем дисперсию C9.45) в виде
V =
(у - ц,J f (У) dy,
C9.56)
где f(y) — задает распределение у в совокупности, а ^ у ^ b
и а = с0 < ci < с2 < ... < cft_! < ck = b, так что сь ...
..., Ch-\ — точки разбиения области значений у, определяющие
границы слоев.
Для нахождения величин с, минимизирующих C9.56), по-
положим
так что, если f (ct) ф 0, то решением будет
(fit — ViJ = (ct —
а поскольку щ < С\ < рц+ь отсюда следует, что
1 ,.
.)• C9.57)
Таким образом, точки разбиения нужно выбирать так, чтобы
они были равны полусумгле средних значений тех двух слоев,
границей которых они являются. При заданных f(y) и k не-
нетрудно провести соответствующие вычисления.
39.24 С другой стороны, если после формирования слоев мы
хотим применять МД-размещение объемов выборок в слоях,
то точки разбиения нужно выбирать так, чтобы минимизировать
C9.43). Подставляя C9.42) в C9.39), читатель легко убедится,
что второй член в фигурных скобках в C9.43) играет роль
только в том случае, если доли выбранных элементов nt/Ni
в слоях не являются малыми. Мы будем считать, что эти доли
малы и пренебрегать ими. Поэтому без учета констант п и М,
соотношение C9.43) перепишется в виде
[к * °i
Zf J
1-Х [с^
f (У) dy
C9.58)
266
ГЛАВА 39
Поскольку нам нужно минимизировать D, мы положим
(/=1 А-1)
f(ci) ) (y~»iL(y)dy +
<Ш С?_^ |
дс,
О
f{ci)
'l+i
f(y)dy
Если f(ci)=}^0, то после сокращения на множитель Nt и воз-
возвращения к исходным обозначениям это сведется к
(с, -
C9.59)
Если а| одно и то же для всех слоев, то C9.59), как и должно
быть, сводится к C9.57). Однако в общем случае удовлетворить
этим условиям не так просто, как условиям C9.57), поскольку,
как и следовало ожидать, сюда входят не только средние, но
и дисперсии слоев. Поэтому мы будем искать приближение для
C9.59).
39.25 Если k велико, то можно предположить, что f(y) по-
постоянно внутри каждого слоя и равно, скажем, f;. Тогда
ct-i
т. е. приблизительно равно дисперсии равномерного распреде-
распределения. Рассуждая точно так же, как в 39.24, получим, что для
выражения, которое нужно минимизировать в C9.43), спра-
справедливо
C9.60)
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ПЛАНИРОВАНИЕ
267
Если определить теперь преобразование
у
\
C9.61)
то C9.60) можно переписать в виде
Таким образом, нужно минимизировать сумму квадратов вели-
величин z(c{) — 2(c;_i) при условии, что их сумма фиксирована
и равна z(b) — z(а). Очевидно, что минимум достигается, когда
все z(ci) — z(ci-i) равны. А значит, нужно применить преобра-
преобразование C9.61) и определить точки разбиения как корни урав-
уравнений
z(y)=-j{z{b)-z(a)}, r = \
C9.62)
Далэниус и Ходжес A957, 1959), которые получили это при-
приближение, указали, как проводить вычисления и получили бо-
более точные приближения. Другое приближение, полученное
Экманом A959), можно получить, если записать просто
Из предшествующих рассуждений следует, что X
= const, а значит, минимум C9.63) достигается, если положить
{Nt(cl — Ci-x)Y12 равными, или, что эквивалентно,
Nt {pi — ci-i) = const. C9.64)
Кокрэн A961) приводит численные примеры применения
C9.62) и C9.64) для малых k (равных 2, 3 и 4) и показывает,
что они хорошо согласуются при применении к восьми распро-
распространенным асимметричным распределениям. Им рассматри-
рассматриваются также менее удовлетворительные приближения для
C9.59).
Следует отметить, что для обоих приближенных решений
C9.62) и C9.64) значения NiGi постоянны для всех слоев. Но
в этом случае из формулы C9.42) для распределения с МД
следует, что щ должны быть одинаковыми для всех слоев. Та-
Таким образом, можно ожидать, что для расслоения с одинако-
одинаковым объемом выборки в каждом слое получится дисперсия,
близкая к минимально возможной, если точки деления между
слоями выбрать так, чтобы минимизировать C9.39). В упраж-
упражнении 39.18 читателю предлагается получить соответствующий
268
ГЛАВА 39
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ПЛАНИРОВАНИЕ
269
результат. Кокрзн A961) показал, что при этом ответ мало
отличается от случая, когда используется C9.62) или C9.64).
С. Гхош A963b) обобщил решение задачи о выборе границы слоев на
случай, когда этот выбор основывается на значении двух (коррелированных)
величин.
В упражнениях 40.4—6 рассматривается случайное образование слоев.
39.26 Если мы проводим выбор, применяя всегда ВРД или
распределение с МД, а объемы слоев велики, то C9.49) убе^
ждает нас в том, что мы никогда не получим увеличения дис-
дисперсии, разбивая слои на подслои. Так что логически мы при-
приходим к выводу, что выборка из п наблюдений должна произ-
производиться из k = п слоев по одному наблюдению в каждом слое,
или, если мы хотим использовать C9.40) для оценки дисперсии
(что требует как минимум два наблюдения в каждом слое), то
из k = [л/2] слоев. Если п мало, а мы достаточно точно знаем
изучаемое распределение, то так поступать целесообразно, но
в противном случае необходимые для этого вычисления вряд
ли будут оправданы. Имеется много эмпирических доказа-
доказательств, что при увеличении k минимально возможная диспер-
дисперсия уменьшается все более и более медленно, так что часто 2,
3 или 4 являются почти наилучшими значениями. Это проис-
происходит из-за того, что наше знание изучаемого распределения
довольно неточно. Кокрэн A963) и Далэниус A953) приводят
численные примеры. Детальное эмпирическое изучение влияния
формирования слоев и распределения выборки по слоям на
дисперсию оценки проведено Гессом, Сэти и Балакришнаном
A966).
39.27 Отметим наконец, что влияние любого расслоения на
выборочную дисперсию всегда можно оценить после выбора.
Нужно только использовать C9.40), чтобы оценить дисперсию
величины ?1 и сравнить это с оценкой дисперсии для mR, приве-
приведенной в удобном виде в 39.18. Из этой формулы видно, что
задача сводится к получению оценки для
8
=? ад - w (S nm+Z Z NiN№} •
I К. t 1ФГ )
Поскольку
М (mj) - v\ - D (m,) - %¦ (l - ^
то
а значит, согласно C9.65) несмещенной оценкой для В яв«
ляегся
C9.66)
Таким образом, согласно 39.18 оценкой дисперсии при нерас-
слоенном случайном выборе является
yV-l-l) (?
<39-67>
где В определено в C9.66).
Планирование выборки: группировка (clustering)
39.28 К принципу расслоения мы пришли в 39.14 при обсуж-
обсуждении влияния изменения вероятностей яц при фиксированных
П{, равных n/N. Мы видели, что по сравнению со значениями,
которые получаются при выборе с равными вероятностями, не-
некоторые я,"з выгодно несколько увеличить (и для компенсации
уменьшить другие). Естественно возникает вопрос, а не стоит
ли продолжить это увеличение и сделать некоторые яц на-
настолько большими, насколько это возможно. Из определения
в 39.6 следует, что всегда пц ^ я*, щ так, что если п% = n/N
для всех i, то пц ^ n/N.
Предположим теперь, что мы разбили N элементов совокуп-
совокупности на jVi групп, каждая из которых содержит N2 элементов
(так что NiN2-= N), и что для любой пары /, / из любой за-
заданной группы справедливо пц = я,- = щ = n/N. Внутри каж-
каждой группы имеется N2(N2—1) пар, а значит, всего имеется"
NiNs(N2—l) = N(N2—1) пар i, j, для которых так увеличи-
увеличиваются пц. Из C9.16) следует, что сумма всех N(N — 1) ве-
вероятностей пц в совокупности должна равняться п(п—1). Так
что между оставшимися N(N—1)—N(N2—1) — N(N — N2)
парами i, j, для которых яц не увеличивается до n/N, нужно так
распределить значения яц, чтобы их сумма равнялась п(п — 1}
— N (N2—\)'-jj- = n{n — N2). Если считать все эти л^ одина-
одинаковыми, то каждое будет равняться jy|»~/) • Предположим»
270
ГЛАВА ЗЭ
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ
271
что п мы выбрали кратным N2, скажем, п = ti\N2. Тогда я,/ —
= .?',,,'—гг. Из 39.6 мы видим, что это совпадает со значе-
N 1 (JVi — 1J
ниями пц, которые получились бы, если бы мы проводили вы-
выборку объема «1 из совокупности, состоящей из Л^ элементов,
применяя случайный выбор с равными вероятностями. Если
теперь учесть, что из равенства jt^j и я,- внутри групп следует,
что все группы либо выбираются целиком, либо нет, то не-
нетрудно понять, что описанное планирование выборки заклю-
заключается в следующем. Надо разбить совокупность на Л^ равных
групп (cluster) и случайным образом с равными вероятностями
выбрать п\ из них.
39.29 Частным случаем группового выбора является система-
систематический выбор, при котором элементы совокупности представ-
представлены в виде единой последовательности (исходя из физических
соображений или просто в порядке записи), состоящей из N =
= N\N2 элементов. Среди первых N\ из них выбирается слу-
случайным образом с равными вероятностями выбора один эле-
элемент. Если при этом извлечен р-й элемент, то систематическая
выборка включает элементы с номерами р, р + Л^, p-\-2Nu ...
..., p + (-/V2—1)-/V(. При этом максимально возможное число
выборок равно N\, причем объем каждой выборки равен N2.
Формально имеется полное совпадение между систематическим
выбором и групповым выбором, описанным в 39.28, но в лите-
литературе они различаются благодаря нескольким специфическим
чертам.
Во-первых, тот факт, что систематический выбор порождает
группы, не смежные с физической точки зрения, резко контра-
контрастирует с другими случаями группировки, когда, как показы-
показывает само название, используется множество соседних элемен-
элементов из физической совокупности. Во-вторых систематический
выбор в порядке записи, которая реально проводится в случай-
случайном порядке, часто используется как более простая замена вы-
выбора с равными вероятностями. В этом случае метод называют
иногда квазислучайным выбором. Но самый важный отличи-
отличительный фактор состоит в том, что при систематическом выборе
обычно извлекается только одна выборка из возможного числа
N\, т. е. п\ = 1. Это сразу делает невозможным оценку значения
дисперсии, если не имеется какой-нибудь дополнительной ин-
информации. Кажется более простым наложить условие щ ^ 2,
чтобы была возможна обоснованная оценка значения дис-
дисперсии.
Обсуждение и библиография по систематическому выбору
приведены у Кокрэна A963) и Иэйтса A960), которые внесли
существенный вклад в эту теорию.
Ж
39.30 Как влияет групповой выбор на D (\х) в C9.23) ? Вклад
от пар I, /, принадлежащих к одной группе, теперь отрицате-
отрицателен, поскольку для этих пар я,-я/— я?/-=—j- (l—~u~j-
Вклад от пар, принадлежащих разным группам, положителен,
поскольку для таких пар я.-л^ — nif = -^—' ~ . Теперь
можно применить аргументы 39.14. Если пары элементов с боль-
большими значениями \yi — yj\ отнести к одному классу, где я,-;
максимально возможные, то следует ожидать уменьшения
C9.23) и возможно более существенного, чем в 39.14, поскольку
большие значения лц дают теперь отрицательный вклад, а не
вносят нулевой вклад, как это было в 39.14.
Таким образом, мы приходим к общему принципу разбиения
на группы, который полностью противоположен принципу рас-
расслоения, рассмотренному в 39.14. Нужно разбивать совокуп-
совокупность на группы внутренне неоднородные, чтобы уменьшить
дисперсию группового выбора по сравнению с дисперсией вы-
выбора с равными вероятностями.
Как и в случае расслоения, оставим теперь в стороне общие
рассуждения и перейдем к конкретному изложению деталей.
Но предварительно сделаем два общих замечания.
Основное различие между расслоенным и групповым выбо-
выбором состоит в том, что в каждом слое производится выбор, в то
время как группы сами являются предметами выбора. Именно
на этом факте основывается противоположность принципов для
двух методов. При расслоенной пыборке значение дисперсии
зависит только от различия элементов внутри слоев и слои фор-
формируются так, чтобы минимизировать это различие. При груп-
групповом выборе дисперсия зависит только от различия между
группами, поскольку группы извлекаются целиком, поэтому
группы формируются, чтобы уменьшить именно это различие.
Второе замечание, которое мы считаем необходимым здесь
привести, хотя об этом явно говорилось в 39.14 и 39.28, ка-
касается того, что как при расслоенной выборке, использующей
ВРД, так и при групповом выборе с равными объемами полная
вероятность извлечения я,- не меняется и равна n/N, как и для
случайного выбора с равными вероятностями. Эти методы осно-
основаны только на изменении совместных вероятностей извлечения
я^. Конечно при расслоенном выборе с переменной долей вы-
выбранных элементов сами я1 тоже меняются. Это же верно и для
группового выбора с группами неравного объема. Ниже мы
рассмотрим эту более общую ситуацию. Кроме того, нам будет
удобно провести одновременно обобщение и в другом направ-
направлении.
272 ГЛАВА 39
Многошаговый выбор
39.31 Групповой выбор предполагает предварительную груп-
группировку элементов совокупности, а затем извлечение некоторых
групп. Естественно рассмотреть более общую ситуацию, когда
на следующих шагах проводится выбор внутри извлеченных
групп. Возвращаясь, насколько это возможно, к обозначениям
39.28, дадим четкую формулировку этой более общей ситуации.
Совокупность из N элементов разбивается на N\ множеств
первого порядка (которые раньше назывались группами). Мно-
Множество первого порядка с номером i содержит Ni2 множеств
второго порядка, j-e из которых содержит NiiZ множеств
третьего порядка. Этот иерархический процесс можно продол-
продолжить и дальше, но мы не будем рассматривать более трех ша-
шагов, считая, что множества третьего шага совпадают с элемен-
элементами совокупности. Иногда для наших целей достаточно будет
ограничиться двумя шагами.
При трех шагах имеем
Ni
iJ3.
На первом шаге выбирается щ множеств первого порядка (из
общего числа Ni). Метод выбора пока не уточняется. Внутри
i-ro выбранного множества выбирается ni2 множеств второго
порядка для /-го, из которых проводится выбор пт множеств
третьего порядка, так что объем выборки равен*)
Предполагается, что выбор на любом шаге может быть с не-
неравными вероятностями, что выбор на любом шаге не зависит
от выбора на других шагах и что выбор внутри любого множе-
множества на данном шаге не зависит от выбора внутри других мно-
множеств на этом же шаге.
39.32 Сначала нам нужно определить вид несмещенной
оценки. Здесь применима общая теория выбора с неравными
вероятностями из 39.6—8 и, в частности, C9.20) задает несме-
несмещенную оценку р., а выражения C9.23) и C9.24) остаются вер-
верными для значения дисперсии величины (i и для ее оценки. При
этом Яг и пц в этих выражениях должны соответствовать те-
теперь полным вероятностям извлечения, учитывающим все шаги
выбора. Переобозначим теперь значения yt элементов совокуп-
*) Получающийся при этом объем выборки п является случайной вели-
величиной. (Прим. перев.).
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ПЛАНИРОВАНИЕ
273
ности через уцн', при этом каждый индекс соответствует множе-
множеств 1м данного шага. Так, уме является значением, соответ-
соответствующим элементу, принадлежащему восьмому множеству
первого шага, четзертому (внутри этого восьмого) множеству
второго шага и шестому множеству третьего шага (которое
принадлежит упомянутому четвертому). В этих обозначениях
несмещенная оценка C9.20) принимает вид
пчг
C9.68)
где щнк) — теперь*) полная вероятность извлечения заданного
значения уцк.
Предположим, например, чго выбор на каждом шаге про-
проводится с равными вероятностями. Тогда
_ ni ni2 п'
^/3
и C9.68) сводится к
>ч/з
»-?z?Z--S?z*»- <3969>
Если теперь Nl2 = N2 для всех i, a Ni!3 = N3 для всех /, / и,
кроме того, аналогично ni2 = л2» а паз — пз> то C9.69) сводится к
Е??^*=*. C9-7°)
г / к
т. е. к полному выборочному среднему, поскольку в этом слу-
случае N = NiN2^3 и п = tiiti2nz. Соотношение C9.70) интуитивно
понятно в силу полной симметрии.
39.33 Аналогично, если рассматривать двухшаговый выбор,
то в формуле C9.68) нужно отбросить индекс k и суммирование
по нему. Оценкой для случая равных вероятностей будет снова
C9.69) с заменой {Nij3/nii3)J^ ylik на уц. Сведение к т для
к
симметричного случая аналогично C9.70). Формально любую
формулу для даухшагового выбора можно получить из фор-
формулы для трехшагового, положив Ыцз — nii3 = 1 или N{ =
= я, = 1. Это приводит к тому, что один индекс, а значит,
и суммирование по нему становится ненужным.
39.34 Так же как при изложении расслоенного выбора, нам
будет удобно провести прямое вычисление значения дисперсии
нашей оценки при многошаговом выборе, а не выводить соот-
*) Скобки в индексе употребляются для того, чтобы не перепутать с ис-
используемыми ранее совместными вероятностями Пц.
574
ГЛАВА 29
ветствующее выражение из общей формулы для случая нерав-
неравных вероятностей. Это поможет, например, избежать употреб-
употребление символов типа n{ijhxtuv) для обозначения совместного рас-
распределения выбора двух значений уцн и ytUv Мы подробно рас-
рассмотрим два частных случая, первый из которых соответствует
выбору с равными вероятностями на каждом шаге.
39.35 Рассмотрим дисперсию величины А в C9.69). Очевид-
Очевидно, что выбор на каждом шаге вносит свой вклад в значение
дисперсии величины А- Поскольку выбор при различных шагах
независим, то будем проводить вычисления, используя последо-
последовательность условных дисперсий. Сначала рассмотрим диспер-
дисперсию на последнем шаге при условии, что уже проведен выбор
на всех предыдущих шагах. Затем будем считать переменным
предпоследний шаг и т. д. вплоть до первого шага. Например,
в случае трех шагов, вычислим сначала дисперсию на третьем
шаге, считая, что выбор на первых двух шагах уже произведен
и привел к некоторому (фиксированному) результату. Затем
рассмотрим зависимость от изменения выбора на втором шаге,
а потом позволим изменяться выбору на первом шаге. Симво-
Символически это можно записать в виде
D (А) = М (jx - ИJ = М [М {М (А - цJ}]. C9.71)
1 2 3
Для вычисления C9.71) мы используем общий результат
о дисперсии случайной величины, частные случаи которого мы
уже использовали в предыдущих главах. Докажем теперь этот
результат в общем виде.
39.38 Рассмотрим случайную величину х, и пусть с — усло-
условие, осуществление которого влияет на распределение величины
х. По теореме умножения вероятностей Р(х) = Pi(x\c)P2(c),
где Р, Pi и Р2 — вероятности, определяемые соответствующими
аргументами. Тогда равенство
М(х) = М{М(х\с)} C9.72)
с
выражает символически тот факт, что для нахождения мате-
математического ожидания величины х можно наложить сначала
некоторое условие, вычислить математическое ожидание при
этом условии, а затем устранить влияние условия, взяв мате-
математическое ожидание от самого условного математического
ожидания.
Согласно C9.72) выражение для дисперсии получается на
основе следующего тождества:
М [М (х21 с) - {М (*| с)}2] + М ЦМ (х| с)}2-(М {М (*| с)}J]«
= М [М (х21 с)- (М { М (х| с)}J] = М (х2) - {М (х)}2.
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ,: ПЛАНИРОВАНИЕ 275
По определению первый член в левой части есть математиче-
математическое ожидание от условной дисперсии величины х при задан-
заданном с, а второй член в левой части есть дисперсия от условного
математического ожидания х при условии с. Таким образом,
символически имеем
D(*) = M{D(x|c)}4-D{M(*|c)}, C9.73)
с с
т. е. безусловная дисперсия равна среднему от условной дис-
дисперсии плюс дисперсия от условного среднего. Заметим, что
если М (х\с) не зависит от с, то второй член в C9.73) обра-
обращается в нуль и D (х) превращается просто в среднее от ус-
условной дисперсии.
Этот результат весьма общий. Например, на самом деле он
использовался в 17.35 при выводе метода Рао — Блэкуэлла
улучшения оценок с помощью достаточных статистик.
39.37 Используя C9.73), видим теперь, что C9.71) можно
переписать в виде
{
12 3
{
12 3
C9.74)
где символ «1 2» означает, что фиксируется выбор на первом
и втором шагах. В соотношении C9.74) подсчитываемая дис-
дисперсия разбита на две части, каждую из которых мы вычислим
отдельно.
Рассмотрим сначала значение D(A). На третьем (в более
з
общей ситуации на последнем) шаге выбора из каждого из
X п12 выбранных множеств второго шага производится выбор
с равными вероятностями, при котором извлекается пщ элемен-
элементов из возможного числа Л^3. По существу это расслоенная
выборка, где каждое множество второго порядка играет роль
слоя. Определяя
гпц ==¦
fe=i
мы знаем, что
где о2. — дисперсия совокупности элементов того множества
второго порядка, из которого была извлечена эта выборка
276
ГЛАВА 39
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ПЛАНИРОВАНИЕ
277
объема пт. Из C9.69) следует, что
"«2
° <» " Ш Z {?)' Z "'„ # Г- - #L). C9.75)
Теперь нам нужно вычислить математическое ожидание от
C9.75), когда может меняться выбор на предыдущих шагах.
Меняя только выбор на втором шаге, получим
2 3
Но поскольку выражение в квадратных скобках есть просто
выборочное среднее от соответствующих значений, то его мате-
математическое ожидание равно просто среднему по совокупности
от соответствующей функции, т. е.
А
Аналогично, позволив меняться выбору на первом шаге, получим
Таким образом, мы вычислили первый член в правой части
C9.74).
39.38 Для вычисления второго члена в C9.74) найдем сна-
сначала значение М(р,). Согласно C9.69) оно равно
3
- тй; Z ¦? Z
-йг Z It ?
•C9J7)
где Цч3- — среднее по совокупности, соответствующее выбороч^
ному среднему m,-j. Обозначим N^w = T,j, где 7"ij суммарное
значение игреков в этом множестве с индексами i, j. Применяя
теперь снова C9.73) ко второму члену в правой части C9.74),
получим
D(Ц) = MM {D (ji)} + М [D {М (А)}] + D [М {М (А)}]. C9.78)
12 3 12 3 12 3
Последний член в правой части C9.78) можно теперь получить
из C9.77) поскольку, как и раньше,
а значит,
Но записанная здесь дисперсия является дисперсией выбо-
выборочного среднего, а значит,
Е)[М{М(А)}] = (^J-ф-A-Ж-)' <39-79>
где а\ — дисперсия между суммарными значениями игреков
внутри множеств первого порядка, т. е.
(JVi \2
1 JVi ) '
Ni2
где Tt =
S
Нам осталось вычислить средний член в правой части
C9.78). Согласно C9.77)
где от.. — дисперсия между суммарными значениями для мно-
множеств второго порядка, взятая по t-му множеству первого по-
порядка, т. е.
°ги = -щгп
¦278 ГЛАВА 39
Из C9.80) теперь получаем
12 3
g
39.39 Подставляя теперь C9.76), C9.79) и C9.81) в C9.78),
получим окончательно
Как это было понятно из C9.78) и из интуитивных рассужде-
рассуждений, C9.82) показывает, что вклад в дисперсию оценки проис-
происходит на каждом шаге выбора. Рассмотрим частный случай
C9.82), когда имеется полная симметрия, т. е.
-Ni2 = N2 для всех i; Nijz = N^ для всех г,/; N = N,N2N3.
Л;2 = «2 Для всех i; Л(у3 = Лз Для всех i, j; n = tiin2n3.
•Согласно C9.70)оценка р, сводится к полному выборочному
среднему. Соотношение C9.82) сводится к
C9.83)
Если определить теперь
цг=7У(Л^3),
ЛГ, JV,
JV»
JVi
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ПЛАНИРОВАНИЕ 279
то для рассматриваемого симметричного случая C9.83) можно
переписать в виде
П1П2П3
C9.84)
Из C9.84) понятно, как в симметричном случае получить об-
обобщение на большее число шагов. Общая формула для р ^ 2
шагов имеет вид
~7^0-5г)' <39-85>
где
N, №,
гг2 =-.
39.40 Если какая-нибудь доля выбранных элементов nr/Nr
равна единице, то соответствующий член в C9.82) обращается
в нуль. В частности, если я^з/Л^з = 1 для всех i, j, то послед-
последняя сумма в правой части обращается в нуль, а оставшиеся
два члена соответствуют D(p,) для двухшагового выбора. Если,,
кроме того, лг-2 = Nii для всех i, то остается только первый
член в правой части C9.82), и мы получаем общее выражение
для группового выбора с группами, не равными по объему.
Аналогично первый член в C9.84) соответствует групповому
выбору с равными объемами.
На самом деле нетрудно понять, как следует обобщить
C9.82) на случай выбора с большим числом шагов. Для чет-
четвертого шага к правой части добавится член
C9.86)
а а?, в C9.82) нужно будет заменить на о% , определение ко-
которого является естественным обобщением определения а\
и ol .
ти
Однако на практике при многошаговом выборе чрезвычайно
редко используют выбор с равными вероятностями. Причина
совсем проста. Дисперсия в C9.82) является дисперсией между
суммарными значениями переменной у из различных множеств.
Если объемы этих множеств существенно различаются (т. е.
содержат существенно разное число множеств следующего
280
ГЛАВА 39
шага), то это делает дисперсию р. очень большой. Как мы уже
видели, этого не происходит в симметричном случае, когда на
каждом шаге все множества имеют одинаковый объем и дис-
дисперсию можно переопределить как дисперсию между средними
значениями. Однако в общем случае мы вынуждены искать
иные схемы выбора, чтобы уменьшить величину дисперсии до
приемлемого уровня. На самом деле мы достигнем желаемого,
если используем выбор с переменными вероятностями. Разу-
Разумеется, можно использовать произвольное множество вероят-
вероятностей на каждом шаге, определить р. по C9.68) и вычислить
D (р.) из C9.78). Однако в общем случае члены в C9.78) будут
более сложными, поскольку они должны отражать изменение
вероятностей на каждом шаге.
Вполне общее выражение для D(p.) выводится формально
ниже в C9.97—8) для получения оценок дисперсии. Но сначала
мы рассмотрим один способ выбора, который важен на
практике.
Выбор с вероятностями, пропорциональными объему
39.41 Посмотрев на C9.68), убеждаемся, что если все ni2
равны п2, все п^3 равны Пз, а все пщъ.) равны n/N, то оценка ц.
сводится к выборочному среднему т, как и для симметричного
случая с! равными вероятностями в C9.70). Чтобы получить
все щто равными, потребуем только, чтобы вероятность вы-
выбора i-ro множества на первом шаге была равна mA^IN, ве-
вероятность на втором шаге выбрать /-е подмножество из г-го
множества первого шага равнялась бы п%А?}1 А\ \ а вероят-
вероятность, извлечения на третьем шаге г/да, равнялась бы -->л..
Тогда
A? _^_Jh ^
" Л»» ~ N ¦
Внутри каждого множества предпоследнего шага выбор на
последнем шаге производится с равными вероятностями, но
эти вероятности, вообще говоря, различны для разных множеств
предпоследнего шага. В качестве Л(«п и Af} можно взять лю-
любое множество чисел, соответствующих некоторой схеме выбора.
Описанная схема выбора, для которой Щци) = n/N, называется
равновзвешивающей (self-weighting), поскольку для нее р, яв-
является средним всех выбранных значений (с равными весами).
Просто и удобно положить
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ПЛАНИРОВАНИЕ
281
Тогда для каждого множества первого шага вероятность из-
извлечения пропорциональна числу элементов, которое' оно со-
содержит, аналогично и для второго шага. Выбор на последнем
шаге проводится с равными вероятностями. В этом случае мы
будем говорить, что извлечение проводится с пропорциональ-
пропорциональными объему вероятностями на всех шагах, кроме последнего,,
и с равными вероятностями на последнем шаге.
Легко видеть, что при любом числе р ^ 2 шагов, если вы-
выбор проводится с пропорциональными объему вероятностями
на всех шагах, за исключением последнего, где используются
равные вероятности, то полная вероятность извлечения отдель-
отдельного элемента равна njN.
Впервые такой выбор исследовался Хансеном и Гурвицом
A943). Фактически это был первый случай изучения неравных
вероятностей выбора.
39.42 Самый простой способ получения описанного в 39.41
равновзвешивающего выбора с пропорциональным объему ве-
вероятностями состоит в следующем. Надо выбрать с возвраще-
возвращением п\ множеств первого порядка, используя при каждом из-
n12
влечении вероятности р1/'= X Af..3/Af. Затем, используя при
каждом извлечении вероятности pfj = Nij31 J] ^(. -3, выбрать
с возвращением по п2 множеств второго порядка из каждого
из п\ выбранных множеств первого порядка. И наконец, с рав-
равными вероятностями pfk = l/Nl/3 выбрать без возвращения по
Пз элементов из каждого из ntn2 выбранных множеств второго
порядка. Использование выбора с возвращением на первых
двух шагах выбора с пропорциональными объему вероятно-
вероятностями позволит нам применить ниже более простую теорию
из 39.12.
Запишем оценку в виде
'
L
'
Дисперсия этой оценки задается соотношением C9.78), и те-
теперь мы вычислим соответствующие члены.
39.43 Поскольку на последнем шаге выбор проводится с рав-
равными вероятностями, то, так же как в 39.37, имеем
?*-«>-?0-
Nil3
282
так что
а значит,
ГЛАВА 39
М [D (А)] = -
2 з
- ? М [-L У a? f
1 -
C9.87)
На втором шаге из ?-го множества, извлеченного на первом
шаге, извлекается с возвращением п2 (из общего числа Ni2)
множеств с вероятностями Nil3 2j Мцз при каждом извлече-
/ /-1
яии. А значит, C9.87) принимает вид
2 3
ntlt
Аналогично
У
C9.88)
Это первый член в правой части C9.78). Далее
[
где {ij, как и ранее, — среднее значение у, взятое по i-му
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ
множеству первого шага. А значит,
28$
D [М {М (?)}] = d(^
12 3 1 \nl
t=l
C9.90>
где суммарное число элементов в t-ы множестве первого шага
#12
обозначено Nir = X А^/3. C9.90) соответствует последнему
члену в правой части C9.78). Согласно C9.89) средний член
равен
Аи
I
C9.91)
Подставляя C9.88), C9.90) и C9.91) в C9.78), получим
о*./ - и,-J
i2
/1
<39-92>
39.44 Следует обратить внимание на то, что C9.92) имеет
почти такой же вид, как и формула C9.84) для дисперсии
в симметричном случае при выборе с равными вероятностями.
284
ГЛАВА 39
И в самом деле, помимо возможного упрощения, вызванного
тем, что на первых двух шагах выбор проводится с возвраще-
возвращением, единственным отличием является то, что каждая компо-
компонента дисперсии берется с весом Nij3, как и должно было быть
в силу неравного объема множеств. Вводя очевидные обозна-
обозначения, соотношение C9.92) можно переписать в виде, анало-
аналогичном C9.84)
_2 _2 _2
C9.93)
1 /ll«2«3
где все дисперсии берутся между средними, а не между сум-
суммарными значениями, как это было в C9.82). Таким образом,
рассмотренный выбор с пропорциональными объему вероятно-
вероятностями приводит к тому, что устраняется влияние переменного
размера множеств на всех шагах вплоть до предпоследнего.
Очевидно, что аналогичный результат справедлив для лю-
любого числа шагов. Результат для двух шагов получается из
C9.92), если считать пх = N\ = 1, и сделать соответствующие
изменения в обозначениях. В упражнении 39.24 читателю пред-
предлагается показать, что в этом случае при очевидном определе-
определении символов имеет место
(з9-94)
Оценки значения дисперсии в многошаговом выборе
39.45 Как указывалось в конце 39.40, общая формула для
D (ji) при полностью произвольных вероятностях выбора на
каждом шаге весьма громоздка и не имеет практического ин-
интереса. Однако стоит отметить, что легко получить общий ме-
метод получения несмещенной оценки величины D (р,) при мно-
многошаговом выборе. Причем эта оценка имеет очень про-
простой вид.
Предположим, что имеется произвольное число шагов вы-
выбора и что выбор на первом шаге проводится без возвращения,
причем вероятность того, что 1-е множество войдет в число tii
извлеченных множеств, равна п\1), а совместная вероятность
того, что на первом шаге окажутся извлеченными как ?-е, так
и /-е множество, равна я'Л». Используя C9.73) для любой
оценки (не обязательно величины ц), получим
C9.95)
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ
285
где нижний индекс «>1» указывает на все шаги выбора после
первого. Предположим, что оценка 6 может быть записана
в виде
Оценка C9.68) удовлетворяет этому условию, так же как
и в более общей ситуации оценка C9.20) при произвольном
числе шагов. Если для выбора на первом шаге использовать
альтернативную оценку C9.27), подставляя п\ вместо п и рас-
рассматривая У(Г) как сумму игреков, взятую по r-му множеству
первого шага, то и эта оценка будет представима в указанном
виде. То же относится и к улучшенной форме оценки в 39.11.
Поскольку внутри каждого извлеченного на первом шаге
множества выбор на последующих шагах проводится незави-
независимо, то
D (в) = Е D (/,),
>i i=i>i
а значит, используя C9.19), соотношение C9.95) можно пере-
переписать в виде
= D { Z M ft) } + E я</> D (*,). C9.96)
1 ki-i >i ) i~\ >i ч '
Применяя C9.18) к первому члену в правой части C9.96) и под-
подставляя соответствующие выражения для дисперсий во втором
члене, получим
D (в) = Е я«) A - я?>) { М (*,)}* +
Е
«?»[М (<?) - {
[
м(<
Е Е (я<у - пш») м
и/-1 ч ' ' '>i
1Ф1
= C9.97)
м
C9.98)
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ПЛАНИРОВАНИЕ
286
ГЛАВА 39
287
39.46 Мы хотим теперь получить несмещенную оценку для
C9.98). Поскольку tt и tj независимы при проведении выбора
на следующих после первого шагах, то в первых двух членах
правой части C9.98) нужно просто при построении оценки за-
заменить М (fi) на ft, a M (t{) M(tj) на titj. Если сделать это, то
> 1 >i >i
первые два члена окажутся также равными первым двум чле-
членам в C9.97), где М (tt) заменено на гг. Но поскольку первые
>i
два члена в C9.97) равны D \ ? М (/,) [ в C9.96), то, значит,
1 (,г=1>1 )
= D (б).
C9.99)
Последний член в правой части C9.98) также легко оценить,
так как, если
>i
то, согласно C9.19),
[л, -1 N
Ея|цо(/,) =5
i=l >1Ч ' 1 I-
Используя C9.99), видим, что C9.98) есть математическое ожи-
ожидание величины
D'(e) = D (ё) + Z яУ>б (tX C9.100)
Ho C9.100) пока что не статистика, ибо нам нужно получить
еще оценку для D(9). Если 6F) — несмещенная оценка для
D(9), то в результате несмещенной оценкой для C9.98) будет
Ь (ё) =
1>б
>i
C9.101)
Впервые утверждение, соответствующее C9.101), сформулиро-
сформулировал в самом общем виде Дербин A953). До этого некоторые
частные случаи рассматривал Иэйтс. Мы сформулируем это
общее утверждение в виде следующего правила.
Несмещенная оценка значения дисперсии при многошаговом
выборе, когда выбор на первом шаге проводится без возвра-
возвращения, может быть получена в виде суммы двух компонент.
Первая компонента оценивает дисперсию, как если бы имел
место только выбор на первом шаге. Вторая компонента яв-
является взвешенной суммой оценок (внутри выбранных мног.
жеств первого шага) для дисперсий, соответствующих после~
дующим шагам выбора (при фиксированном выборе множеств
первого шага). При этом веса равны вероятностям извлечения
соответствующих множеств первого шага.
39.47 Для того чтобы выражение C9.101) было легче ис-
использовать, процесс разбиения на компоненты можно продол-
ni2
жить. Если считать, что ti = ?tt{, то C9.101) можно приме-
нить к б (ti) и получить
>1
nj2
б
2
/=1 *'
я«>б
>2
C9.102)
где nff — вероятность того, что внутри выбранного на первом
шаге t-ro множества будет извлечено /-е множество. Подстав-
Подставляя C9.102) в C9.101), получим
D (в) = D (в) + ? я</>б (*,) + ? я^ ? яй> 6 (/, ). C9.103)
Теперь понятна схема дальнейших обобщений. Для р
гов оценка представима в виде
2 ша-
C9.104
Из C9.104) следует, что если все я^1' достаточно малы,
чтобы ими можно было пренебречь (что может быть только
в случае, когда число N\ множеств первого шага велико), то
существенный вклад в значения D@) вносит только первый
член. В этом случае методы извлечения на следующих за пер-
первым шагах не влияют на форму приближенной оценки для зна-
значения дисперсии, хотя, конечно, эти методы влияют на само
значение, поскольку для разных методов будут получаться
разные значения.
39.48 Для полностью симметричного случая с равными ве-
вероятностями, для которого значение D (ji) было приведено
в C9.85), оценка величины D (Д), соответствующая C9.104),
288
равна
39.25)
ГЛАВА 39
(как читателю предлагается показать в упражнении
r=2
.JVT Щ
где
C9.105)
V
Z_/
является выборочным значением, соответствующим а2, кото-
которое определяется равенством, следующим за C9.85). Соотноше-
Соотношение C9.105) имеет ту же структуру, что и C9.85), с единствен-
единственным отличием. Все члены после первого умножаются на произ-
произведение долей выбранных на предыдущих шагах элементов,
т. е. ~^~'17~- • • • Так же как и в конце 39.47 здесь можно убе-
убедиться, что если величиной tii/Ni можно пренебречь, то :
б(А) = 4т- C9.106)
вне зависимости от методов извлечения на следующих за пер-
первым шагах.
39.49 Если на первом шаге выбор проводится с возвра-
возвращением, то C9.104) нужно видоизменить так, чтобы принять
во внимание, что C9.19) заменяется на C9.33). Достаточно
пересмотреть вывод соотношения C9.101), из которого следует
C9.104). Отметим сначала, что, поскольку C9.96) основывается
на том, что выбор на последующих шагах проводится незави-
независимо для различных множеств, извлеченных на первом шаге,
то схема выбора должна удовлетворять следующему условию.
Если какое-то множество первого шага было выбрано г > 1 раз,
то на последующих шагах из этого множества нужно г раз про-
провести независимый выбор.
Как уже указывалось в 39.12, при выборе с возвращением,
в соотношении C9.18) нужно в двойной сумме добавить член
пц (но не niztj) с равными индексами. При этом член с ri\ из
первой суммы можно присоединить ко второй сумме. В резуль-
результате убеждаемся, что C9.97) нужно заменить на
d (в) = Е *у> {м (/,)}• + ZZ «/ - я?>я«>) м (*,) м (*,) +
Е
> М
Е\
М
М
C9.107)
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ
289
что является аналогом C9.98). Как и в C9.99), видим, что это
равно математическому ожиданию от
р (в) = Е Ж»/? + Е Ё (я«> - я}«>я«>) tttr C9.108)
А значит, в этом случае статистикой, дающей несмещенную
оценку, является вместо C9.101) просто
Ь(в) = 6(9), C9.109)
1
Таким образом, последующие шаги выбора не вносят никакого
вклада и влияют только на значения D (в), а не на ее форму
записи. Очевидно, что приведенное соотношение служит также
для замены формулы C9.104). Таким образом, если на первом
шаге выбор проводится с возвращением, то правило Иэйтса —
Дербина, приведенное в конце 39.46, упрощается. Нужно учиты-
учитывать только первую компоненту, фигурирующую в этом
правиле.
Если выбор на первом шаге проводится с равными вероят-
вероятностями, то C9.109) сводится к C9.106), которое превращается
теперь в точное равенство. И вообще, с учетом замечания
в последнем абзаце 39.47 мы видим, что C9.109) можно рас-
рассматривать как предельный случай соотношения C9.104), когда
все я',1* стремятся к нулю. Это соответствует тому, что оценка
дисперсии при одношаговом простом случайном выборе с воз-
возвращением может быть получена из соответствующей формулы
для выбора без возвращения, если положить n/N —>0.
39.50 Если при каждом извлечении первого шага вероятно-
вероятности выбора одни и те же, то общая формула C9.109) может
быть на самом деле выписана явно, поскольку в этом случае
можно использовать выражение для оценки дисперсии в одно-
шаговом выборе с возвращением с неравными вероятностями,
полученное в 39.12. При этом вместо C9.34) нужно взять
П1 ¦ ¦ ¦ ¦ ¦
оценку 9 = Е U> так что взамен C9.36) мы будем иметь
C9.110)
i l
Таким образом, для многошагового выбора с произвольным
числом шагов в случае, когда на первом шаге выбор проводится
с возвращением и с неизменными вероятностями при каждом
извлечении, оценка значения дисперсии имеет очень простой'
вид. При этом никаких условий на последующие шаги (за ис-
исключением . упомянутых в первом абзаце 39.49) не накла*;
дывается.
Ю М. Кевдалл, А, Стьюарт
290
ГЛАВА 39
Размещение с минимальной дисперсией при многошаговом
выборе
39.51 Ограничимся сначала изучением случая, когда на каж-
каждом шаге выбора из каждого множества предыдущего шага
извлекается одно и то же число элементов. (Для случая трех
шагов это означает, что пг-2 = «г. пц3 — пз-) В этом случае как
общая формула C9.82) для равных вероятностей, так и ре-
результат C9.92) для пропорциональных объему вероятностей
имеет вид
C9.111)
1 П\П?Пг
где vi — функции только от величин, определяемых совокуп-
совокупностью (но не выборкой). Во многих ситуациях весьма правдо-
правдоподобно, что функция затрат при трехшаговом выборе имеет
вид
С = с0 + пхс{ + щп&ъ + Щп2п3съ, C9.112)
где Со — накладные расходы, a ct— стоимость извлечения од-
одного множества 1-го шага. Соотношения C9.111—12) имеют
тот же вид, что и C9.50—1) с wi = ti\ ... щ, из C9.53) сле-
следует, что при фиксированном С значение D (р.) будет мини-
минимальным (или при фиксированном D(?) величина С), если
взять
(л,... niJ ос vi/ct, 1=1,2,3. C9.113)
Рассматривая отношения C9.113) при последовательных зна-
значениях /, получим
о3
02
С2
01
C9.114)
при этом щ определяется из C9.114) и того из выражений
C9.111—12), которое фиксируется. На этот результат стоит
обратить внимание. Из него следует, что объемы выборок на
последующих шагах определяются только стоимостью и вели-
величинами, зависящими только от совокупности, вне зависимости
от полного объема выборки, равного /Zi«2rt3. Так что, если ме-
меняется количество отпущенных средств (или желаемая точность
оценки), то это приводит к изменению только пу. Очевидно,
что аналогичное утверждение справедливо при произвольном
числе шагов р ^з= 2. При этом C9.113) выполняется тогда для
1=±\, ..., р, ар—1 отношений с последовательными значе-
значениями I, так же как в C9.114), определяют п^, п%, ..., пр, а п\,
как и выше, определяется по величине полных затрат или по
желаемой точности выводов.
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ- ПЛАНИРОВАНИЕ
291
39.52 В 39.51 рассматривался случай, когда объем выборки
зависит только от номера шага, и изучался вопрос о наилучших
объемах выборки на разных шагах при заданных вероятностях
извлечения. Так что схема выбора фиксировалась, а определе-
определению подлежал только объем выборок. Теперь, следуя Хансену
и Гурвицу A949), можно поставить более трудный вопрос. Ка-
Какими должны быть сами вероятности извлечения, чтобы при
фиксированных затратах значение дисперсии было минималь-
минимальным? В 39.8 мы видели, что если бы в одношаговом случае ве-
вероятности я, можно было выбрать пропорциональными значе-
значениям ух, то дисперсия тождественно равнялась бы нулю. Как
указывает общая формула для дисперсии C9.98), в многоша-
многошаговом случае ситуация более сложная, поскольку на результат
влияют вероятности последующих шагов. Однако, если на пер-
первом шаге выбор проводится с возвращением, то C9.97) заме-
заменяется на C9.107). Более того, если (как читателю предла-
предлагается показать в упражнении 39.27) при каждом извлечении
на первом шаге используются одни и те же вероятности, то
C9.107) сводится с применением C9.32) к
D (§) =
М (/,)>* - JL
M
«•-1
C9.115)
а это выражение зависит только от л;^1* на первом шаге.
39.53 Ограничимся теперь двухшаговым выбором, когда на
первом шаге проводится выбор с возвращением и с одними
и теми же вероятностями извлечения (так что справедлива
C9.115)), а на втором шаге проводится выбор с равными ве-
вероятностями и с равновзвешивающей схемой (см. 39.41), так
что для всех элементов совокупности полная вероятность из-
извлечения одна и та же. Как и в 39.42, это выбор с пропорцио-
пропорцио-г~- = -тт-
нальными объему вероятностями, и
= -тт-, так что
C9.116)
10*
292
ГЛАВА 39
Рассмотрим теперь несколько более общий вид функции за-
затрат, чем двухшаговый эквивалент C9.112), а именно:
С=со
?
с2
J
C9.117)
Здесь второму шагу соответствуют две компоненты. Одна про-
пропорциональна полному объему извлеченных множеств первого
шага, а вторая — объему выборки. (Ni2c2 можно рассматривать
как затраты на подготовку ?-го множества первого шага к про-
проведению последующих извлечений.) Если Сг = 0 и Пц = п2 для
всех ?, то C9.117) снова превращается в C9.112). В соответ-
соответствии с C9.116) соотношение C9.117) можно переписать в виде
C9.118)
Но C9.118) представляет собой случайную величину, значение
которой нельзя фиксировать заранее, поэтому вместо C9.118)
мы будем рассматривать ее математическое ожидание, равное
в соответствии с C9.33)
М
(С) = с0 + п,с, + с2 Е M'W/2 + пс'%.
Поскольку, согласно C9.32), Ея(,1) = я., перепишем это в виде
М (С) - с0 - пс2 = .Е я«> (с, + Nt2c2). C9.119)
Так как выбор равновзвешивающий, то, согласно 39.41,
«1
H ni2
а значит, в соответствии с C9.116) можно положить
ni2 "чг
' * 1 N m
<¦>•
Таким образом, в рассматриваемом случае C9.115) принимает
Вид
>
}. C9.120)
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ПЛАНИРОВАНИЕ 293
39.54 Выше мы видели, что математическое ожидание функ-
функции затрат — линейная функция от я(Д а дисперсия — линейная
функция от обратных к nf] величин. Таким образом, мы нахо-
находимся в ситуации C9.50—1), и справедливы рассуждения из
39.20 с заменой wt на nf\ ct на (с, + Ni2c2~), a vl — на
{М (Ni2m^2}. Из C9.53) сразу следует, что я*.и, минимизирующие
при фики М (С)
39
{ у у, , минимизирующие
D (ji) при фиксированном М (С), определяются соотношениями
(«И
AЛ2
ос
C9.121)
Знаменатель в правой части равен полным затратам на извле-
извлечение i-ro множества первого шага и на его подготовку к про-
проведению извлечений второго шага. Числитель соответствует от-
отклонениям внутри i-ro множества первого шага. Как и следо-
следовало ожидать, результат носит общий характер.
f2
f2
Если л,-2 = Ni2, то NBmts= Е Уц- Если, кроме того, с2 = 0,
то C9.121) совпадает с одношаговым результатом: я'11 должны
быть пропорциональны суммарным значениям игреков в »-м
множестве. И вообще, если значением Ni2c2 можно пренебречь
по сравнению с clt а /п» меняются мало, то приближенно мы
должны иметь л;^1* ос Ni2, т. е. выбор проводится почти с про-
пропорциональными объему вероятностями. В противоположном
случае, когда можно пренебречь С\ по сравнению с Ni2C2, то
при мало изменяющихся mt- получим приближенно я^1' ос N\?.
Для большинства практических ситуаций эти случаи являются
крайними.
39.55 Вычисление относительной эффективности одношаго-
вого и многошагового выбора и даже просто получение оценки
эффективности многошагового выбора, вообще говоря, суще-
существенно сложнее, чем аналогичная задача для расслоенной вы-
выборки, которая рассматривалась в 39.27. Иэйтс A960) рассмат-
рассматривает несколько частных случаев. При многошаговом выборе
значение дисперсии редко уменьшается, на самом деле причи-
причиной применения многошагового выбора является желание
уменьшить затраты, а не значение дисперсии, при этом допол-
дополнительные ресурсы можно конечно использовать для увеличе-
увеличения объема выборки. Результат 39.51 делает это утверждение
понятным. Там показано, что одношаговый случайный выбор
наиболее эффективен в том случае, когда решение C9.114)
таково, что п2 и тг3 принимают максимально возможные значе-
значения, т. е. п2 = Ni2, Пз = Nw- Поскольку Ni2 и Nij3 обычно сами
велики, то такое решение требует очень больших затрат (
294
ГЛАВА 39
и отношений C9.114), которые почти никогда на практике не
достигаются.
39.56 Отметим, наконец, кратко, что та выгода от использо-
использования расслоения, которую мы обсуждали в 39.13—27,
имеет место и для каждого шага многошагового выбора. При
этом на практике часто схема многошагового выбора объеди-
объединяется с расслоением, особенно на первом шаге, который часто
дает наибольший вклад в величину дисперсии. Вся приведен-
приведенная выше теория применяется отдельно внутри каждого слоя,
включая правило Иэйтса — Дербина из 39.46 и 39.49 для оценки
дисперсии.
УПРАЖНЕНИЯ
39.1 Проводится я извлечений при случайном выборе с возвращением из
совокупности, состоящей из N элементов. В выборке оказалось d различных
элементов. Доказав неравенство
показать, что среднее соответствующих d значений является несмещенной
оценкой для среднего совокупности и что дисперсия этой оценки при я > 2
меньше (а при я = 2 равна) дисперсии для полного выборочного среднего.
(Радж и Хамис, 1958. Результат остает-
остается верным, если d фиксировано, а я слу-
случайно.)
39.2 Из совокупности, состоящей из N элементов, проводится выбор без
возвращения двух элементов. Вероятность, что при первом извлечении выби-
выбирается i-й элемент, равна р<, где J^ pt = 1. Если при первом извлечении был
1—1
выбраи »-й элемент, то вероятности того, что при втором извлечении будет
выбран /-й элемент (/ ф »), пропорциональны
_
1
1
Показать, что
N
I -2рг
.-2р.
что Q)pjpi симметрично по i и /, а значит, р< равно также безусловной вероят-
вероятности того, что при втором извлечении будет выбран t-й элемент. А значит,
в 39.6 л* = 2pi и
_J | ' Уму pi N"'
-2Pj+T=2p-;){1 + Li-2pk
(Дербин, 1965. Сэмпфорд A967) обоб-
обобщи» метод на случай л > 2).
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ 295
39.3 Показать, что если в C9.23) вероятности я< пропорциональны зна-
значениям у г (которые считаются положительными), то D (Д) = 0. Показать так-
также, что в этом случае оценка дисперсии C9.24) также равняется нулю, а
оценка дисперсии C9.22) принимает вид
б, (А) =
где т — выборочное среднее. Вывести отсюда, что D! (ji) может принимать
отрицательные значения.
39.4 В C9.24) показать, что если пх. = я2, = -^
и в результате двух наблюдений получены у\ н у2, то
62 (А)=
ДЛЯ ВСеХ
1> 2
Показать отсюда, что б2 (Д) может принимать отрицательные значения.
(Дербнн, 19S3.)
39.5 Показать, что если при первом извлечении проводится выбор без
возвращения с неравными вероятностями, так что вероятность извлечения
t-ro элемента равна pt > О, J] pt = 1, а при всех последующих извлечениях
вероятности выбора равны, то в обозначеииях 39.6 получим
а значит, оценка дисперсии C9.24) всегда положительная для этой схемы
выбора.
(А. Сен, 1953.)
39.6 Пусть N ^ 3, я = 2 и первое извлечение, так же как в примере
39.5, проводится с вероятностями pi. Пусть для оставшихся (N — 1) вероят-
вероятностей при втором извлечении выполняются те же пропорции, что и при пер-
первом извлечении. Показать, что
и что при фиксированных t и / сумма в выражении для я< минимальна,
когда
\-pr
/)
Вывести отсюда, что для этой схемы выбора оценка дисперсии C9.24) всегда
положительна.
(А. Сен, 1953.)
296
ГЛАВА 39
39.7 Показать, что для схемы выбора из упражнения 39.5 при любом
я — 1 . тт
множестве р< должны выполняться неравенства я. > -jj =- для всех t. Ис-
Используя C9.16), показать что не более чем одно nt может равняться еди-
единице.
39.8 Показать, что для случайного выбора без возвращения с равными
вероятностями, как C9.22), так и C9.24) сводятся к оценке дисперсии D(m)>
задаваемой C9.12).
39.9 Показать, что zu, определенное в C9.25), имеет дисперсию
A)
B)
(u-1)
A)
B)
(U-1)
Г-1
u>2'
где каждая сумма берется по всем возможным прн указанном извлечении
элементам. Используя этот результат, показать, что при я = 2 статистика
C9.27) имеет дисперсию
B)
¦я-
Эти я
веса.
(Радж, 1956.)-
39.10 Показать, что если прн выборе с равными вероятностями z, опреде-
определяемое C9.26), нужно свести к выборочному среднему т, помноженному на
N, то веса должны удовлетворять соотношениям
с jyCu-i)
~= {N-2Y«-»' 2<"<«"
• 1 условий, наряду с равенством 2си = 1 однозначно определяют
(См. Радж, 1956.)
39.11 Рассмотрим следующую процедуру отбора я элементов из совокуп-
совокупности, содержащей N элементов у, с использованием вероятностей ка (s =,
= 1,...,Л0:
A) Возьмем число М, которое больше или равно максимальному из зна-
значений я3, скажем ятах- Случайным образом с равными вероятностями выбе-
выберем число г между 0 и М. Аналогично выберем целое число S\ среди целых
чисел от 1 до N. Если г < nSt, то включим ySi в выборку. Если г > KSt, то
повторим процедуру заново.
B) Выберем далее значения st последовательно без возвращения из со-
совокупности целых чисел от 1 до N. Для этой последовательности включим
в выборку те значения ys , для которых последовательные суммы г + 2_, я«
впервые превзойдут одно из значений М, 2М, ,.., (я— \)М.
Показать, что еслнМ< _?ах> то описанная процедура приводит к
выбору без возвращения с требуемыми вероятностями. Показать, что повто-
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ
297
рение я раз операции A) приводит к выборке 'с возвращением с задан-
заданными я».
(Лахири, 1951;- Гранди, 1954.)
39.12 Пусть xi хп — некоррелированные случайные величины с оди-
одинаковым средним ц и не обязательно равными дисперсиями. Показать, что
л
х= J] xJn является несмещенной оценкой для ц и что J] (*,- ~ хJ/{п (га— 1)}
*=1 <
является несмещенной оценкой дисперсии величины х.
39.13 Показать, что обобщения биномиального и пуассоновского выбора,
рассмотренные в 5.10, являются частными случаями расслоеннрго выбора. По-
Получить отсюда выражения для дисперсий E.26) и формулу, следующую за
E.27).
39.14 В 39.15—18 показать, что
*> - D <««) ~ D (Амд) - пРф-
где
1
1 nN2(N — 1)
(P-Q-R),
Отсюда Р = 0 тогда и только тогда, когда все Oi равны. Используя C9.46),
показать теперь, что если N -*¦ оо, a Ni/N фиксированы, то выполняется
C9.49).
Показать далее, что если Р — 0, а га достаточно мало, то D — отрица-
отрицательно. Если N — я достаточно мало, то также
•>(**)<•> (Амд)-
(Армитедж, 1947.)
39.15 В упражнении 39.14 показать, что если Oi достаточно различаются,
то Р — R, как правило, будет положительным и что тогда D — убывающая
функция я, так что уменьшение дисперсии, вызванное расслоением, убывает
с возрастанием п. Вывести отсюда, что если какое-нибудь т, отвечающее
размещению с МД, превосходит соответствующее ему №, то мы увеличим
выгоду от стратификации, если положим я; = Ni, а оставшиеся я — Ni на-
наблюдений будем проводить в соответствии с размещением с МД.
(Армитедж, 1947.)
39.16 Показать, что если планирование выборки таково, что выборочное
среднее т является несмещенной оценкой для среднего совокупности ц, то
где о^ = М (у — цJ. Проверить утверждение для случайного выбора без воз-
возвращения с равными вероятностями,
(Этот результат получил Киш.)
298
ГЛАВА 39
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ПЛАНИРОВАНИЕ
299
39.17 Показать, что если в 39.24 имеется k = 2 слоя, причем второй слой
извлекается полностью (ла = JV2), то лучшим выбором точки разбиения С\ об-
области изменения у для минимизации дисперсии C9.30) является
(См. Далэниус, 1952.)
39.18 Показать, что если объем выборки щ в каждом слое один и тот
же, то точки разбиения области изменения у, минвмизирующие C9.39), удо-
удовлетворяют соотношениям (см-. 39.25)
Nt
N
l+X
. (Кокрэн, 1961.)
39.19 После извлечения большой случайной выборки элементы совокуп-
совокупности разбиваются на k слоев. Показать, что если использовать в этих об-
обстоятельствах оценку среднего совокупности, основанную на расслоении (эта
оценка задается C9.38)), то ожидаемое значение дисперсии этой оценки (при-
(принимая во внимание случайные отклонения объемов выборок внутри слоев)
приблизительно равно D (р.врд)> которое определялось в C9.45).
39.20 Показать, что если объем выборок в слоях выбрать так, чтобы ми-
минимизировать дисперсию оценки величины D (ц), т. е. C9:40^, и если при
этом значениями «i/A/j можно пренебречь, то формула C9.42), описывающая
распределение с МД заменяется, на
a,(P2,-i)
-i)
Nt
где Р2г — отношение моментов |*4/^l2 №Я '"го слоя- Таким образом, если Р2?
не постоянно дли всех /, то это распределение отлнчается от C9.45).
(Росс, 1961.)
39.21 Показать, что если объемы выборок в слоях отличаются от объ-
объемов при распределении по слоям с МД (определяемых C9.42)) иа Дяг, то
D (р.) возрастает по сравнению с D (Амд)> так что их отношение равно при-
приблизительно
1+1
39.22 Используя 39.2, показать, что если при групповом выборе с груп-
группами равного объема выбрать одну группу объема я, то C9.7) задает зна-
значение двсперсии выборочного среднего, причем р — внутригрупповой коэффи-
коэффициент корреляции для групп (см. 26.25—6, т. 2).
39.23 Показать, что обобщенные биномиальный и пуассоиовскнй выбор,
рассмотренные в 5.11, являются частным случаем двухшагового выбора. Вы-
Вывести отсюда формулы для дисперсий E.29) и E.30).
39.24 Вывести C9.94) из C9.92).
39.25 Показать, что C9.105) является частным случаем C9.104).
39.26 Используя упражнение 39.12, получить C9.110) для оценки диспер-
дисперсии при многошаговом выборе, для которого на первом шаге проводится вы-
выбор с возвращением с одним и тем же множеством неравных вероятностей
при каждом извлечении,
(Дербин, 1953.)
39.27 Используя C9.32), показать, что если при каждом извлечеяяи пер-
первого шага применять выбор с возвращением с одними и теми же ие обяза-
обязательно равными вероятностями, то средний член в правой части C9.107) равен
а значит, разность между дисперсией C9.107) для выбора с возвращением н
дисперсией C9.97) для выбора без возвращения можно записать в виде
D -
(<
«) f - ЕЕ «ид
<<<> я
Показать, что это выражение может быть как положительным, так и отрица-
отрицательным, но если на первом шаге выбор проводится с равными вероятностями,
то D > 0.
Показать, что если оценку дисперсия C9.110), справедливую для выбора
с возвращением, применить в случае, когда на самом деле выбор проводится
без возвращения, то у этой оценки будет смещение, равное ITT^' ^ак
что, если при выборе без возвращения получается меньшая дисперсия
(D > 0), то применение оценки, справедливой для выбора с возвращением
завышает значение дисперсии.
(Дербии, 1953.)
39.28 Пусть задана многошаговая схема выбора такая, что выбор на
s-м шаге E > 1) проводится с возвращением, а выбор на шаге с номером
(s + 1) проводится с равными вероятностями. Показать (см. упражнение
39.27), что если для множества, выбранного на s-м шаге г раз, просто уве-
увеличивать объем выборки на шаге с номером s + 1 в г раз, то дисперсия
оценки C9.68). для среднего совокупности будет меньше, чем если на шаге
с номером 5 + 1 сделать г независимых выборок заданного объема внутри
этого множества.
39.29 Пусть задана многошаговая схема выбора такая, что выбор на
s-м шаге E^1) проводится с возвращением. Показать, что если для мно-
множества, выбранного на s-м шаге г раз, проводить на шаге с номером s+1
выборку заданного объема один раз, а результат взять с весом г, то диспер-
дисперсия оценки C9.68) для среднего совокупности будет больше, чем если на
шаге с номером 5 + 1 сделать г независимых выборок заданного объема вну-
внутри этого множества.
39.30 Пусть из совокупности, содержащей N элементов, проводится вы-
выбор я элементов без возвращения с неравными вероятностями. Вероятность
того, что фиксированные п элементов будут извлечены, причем в фиксирован-
фиксированном порядке, обозначим. /><«>. Пусть ps — вероятность того, что эти же я
элементов будут извлечены в произвольном порядке. Тогда ps = ]jP p,sy где
(s)
сумма берется по всем п\ возможным перестановкам этих элементов. При этом
/ />s = l, где сумма берется по всем ( ) возможным выборкам объема я.
s ^п '
Если Z(s) — такая статистика, в которой принимается во внимание порядок
выбора, a zs = ]?] P(s)z(sJlps> то используя C9.72—3), показать, что
(s)
М (г,) = М (z(s)), D {zs) ^ D
300
ГЛАВА 39
причем равенство возможно только тогда, когда все значения 2(,> совпадают.
Используя этот результат, показать, что оценка z(S), определенная в C9.27),
может быть улучшена и что б B(S))» определенная в C9.31), аналогично мо-
может быть улучшена.
(См. Мёрфи A957) и Патхак A961а).)
39.31 Проводится выбор без возвращения с неравными вероятностями.
При первом извлечении вероятности выбора для N элементов совокупности
равны (п/>1, i = \, ..., N. При последнем извлечении для вероятностей выбора
оставшихся к этому моменту элементов остаются те же пропорции, что и при
первом извлечении. Показать, что в этом случае C9.25) можно записать в
виде
г=1
Уи
U)pu
Г=>1
и — 2,..., п,
а значит, улучшенный вариант оценки z(S), описанный в упражнении 39.30,
можно записать в виде
где psjf условная вероятность выбора наблюденных значений при условии,
что при первом извлечении отбирается yt.
(Мёрфи, 1957,).
ГЛАВА 40
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ:
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ
40.1 В главе 39 мы изучали задачу планирования выборки.
Теперь мы обратимся к вопросу, который возникает при любой
схеме выбора, а именно к улучшению эффективности оценки.
В 39.8 и 39.13 мы столкнулись с тем фактом, что знание пе-
переменной, сильно коррелированной с изучаемой, может помочь
нам назначить вероятности выбора или сконструировать слои,
чтобы уменьшить значение дисперсии оценки. Такая дополни-
дополнительная информация о вспомогательной переменной может быть
использована непосредственно для изменения вида оценки
с целью улучшения ее эффективности *).
«Оценки-отношения» и их модификации
40.2 Предположим, как и в 39.2, что проводится выбор без
возвращения с равными вероятностями из конечной совокуп-
совокупности. Пусть нам нужно оценить среднее значение по совокуп-
совокупности переменной у, которое мы обозначим теперь \iv, а мы
знаем значение среднего по совокупности для переменной х, ска-
скажем цх, причем при извлечении мы узнаем как значение х, так
и значение у. Желательно, чтобы мы имели возможность исполь-
использовать это дополнительное знание. Мы предполагаем, что цх ф 0
Двумя интуитивно обоснованными оценками величины \ьу яв*
ляются
тх D0.1)
D0.2)
где т с соответствующим индексом обозначает выборочное сред-
среднее той переменной, которая указана в индексе. В D0.1) исполь-
*) Не следует смешивать с использованием дополнительной информации
(инструментальных переменных) для получения возможности раздельной
оценки параметров, как это было в 29.33—46 т. 2. Это скорее аналогично ис-
использованию сопутствующих переменных в ковариационном анализе (см.
35.67—8), поскольку последние уменьшают остаточную дисперсию.
300
ГЛАВА 39
причем равенство возможно только тогда, когда все значения Z(,> совпадают.
Используя этот результат, показать, что оценка z(S), определенная в C9.27),
может быть улучшена и что б B<S)), определенная в C9.31), аналогично мо-
может быть улучшена. .
(См. Мёрфи A957) и Патхак A961а).)
39.31 Проводится выбор без возвращения с неравными вероятностями.
При первом извлечении вероятности выбора для N элементов совокупности
равны <i)/>i, i = 1, ..., N. При последнем извлечении для вероятностей выбора
оставшихся к этому моменту элементов остаются те же пропорции, что и при
первом извлечении. Показать, что в этом случае C9.25) можно записать в
виде
u-1
г=>1
И = 2 л,
а значит, улучшенный вариант оценки z<S), описанный в упражнении 39.30,
можно записать в виде
л
*s = Б ^Л I t/Ps'
где ps | г условная вероятность выбора наблюденных значений при условии,
что при первом извлечении отбирается oj.
(Мёрфи, 1957.)
ГЛАВА 40
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ:
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ
40.1 В главе 39 мы изучали задачу планирования выборки.
Теперь мы обратимся к вопросу, который возникает при любой
схеме выбора, а именно к улучшению эффективности оценки.
В 39.8 и 39.13 мы столкнулись с тем фактом, что знание пе-
переменной, сильно коррелированной с изучаемой, может помочь
нам назначить вероятности выбора или сконструировать слои,
чтобы уменьшить значение дисперсии оценки. Такая дополни-
дополнительная информация о вспомогательной переменной может быть
использована непосредственно для изменения вида оценки
с целью улучшения ее эффективности *).
«Оценки-отношения» и их модификации
40.2 Предположим, как и в 39.2, что проводится выбор без
возвращения с равными вероятностями из конечной совокуп-
совокупности. Пусть нам нужно оценить среднее значение по совокуп-
совокупности переменной у, которое мы обозначим теперь iiy, а мы
знаем значение среднего по совокупности для переменной х, ска-
скажем ц-с, причем при извлечении мы узнаем как значение х, так
и значение у. Желательно, чтобы мы имели возможность исполь-
использовать это дополнительное знание. Мы предполагаем, что р.х ?= О
11уФ0.
Двумя интуитивно обоснованными оценками величины iiv яв-
являются
iiy=lixmy/mx D0.1}
и
?„ = иЛя, D0-2>
где m с соответствующим индексом обозначает выборочное сред-
среднее той переменной, которая указана в индексе. В D0.1) исполь-
*) Не следует смешивать с использованием дополнительной информации
(инструментальных переменных) для получения возможности раздельной
оценки параметров, как это было в 29.33—-46 т. 2. Это скорее аналогично ис-
использованию сопутствующих переменных в ковариационном анализе (см.
35.67—8), поскольку последние уменьшают остаточную дисперсию.
302
ГЛАВА 40
зуется отношение выборочных средних, а в D0.2) среднее выбо-
выборочных отношений величин у и х в качестве «корректирующего
множителя» к известному значению ц*.
Математические ожидания оценок D0.1—2) получаются
сразу, если заметить, что, согласно определению ковариации С,
D0.3)
mx)=м (ш^ ~ м О м {ntx)=^ ~ ~к м (Д
а значит,
Аналогично
так что
M(A,) =
2=1
Из D0.3—4) следует, что, вообще говоря, обе оценки являют-
являются смещенными. Далее, поскольку (согласно неравенству Коши —
Буняковского *)) ковариация между двумя величинами не может
быть больше чем произведение их стандартных отклонений, то
1/2
1/2
D0.5)
Из D0.5) следует, что между оценками имеется существенное
различие. Если объем выборки п стремится к бесконечности,
то D (my/mx) и D (пгх) будут дисперсиями выборочных средних,
имеют порядок п.-1, а значит, такой же порядок имеет и сме-
смещение оценки fry. Для fry это несправедливо, поскольку D (у/х)
и D(x) вообще не зависят от п. На самом деле из самих
определений в D0.1—2) легко видеть, что fry является состоя-
состоятельной оценкой, поскольку my-+\iy, mx-*\ix. В то же время
р, -*-iixl*-y,x, что, вообще говоря, не совпадает с ц.^,. Смещение
оценки fry будет подробно рассмотрено ниже в 40.9. Но сначала
мы посмотрим, как можно избавиться от смещения у оценки \iy.
40.3 Из D0.4) понятно, что для устранения смещения оцен-
оценки \iy нужно получить несмещенную оценку величины С (у/х, х).
Поскольку у/х наблюдается при каждом извлечении, можно вы-
*) См, сноску на стр. 67 (Прим. ред.)
ТЕОРИЯ ВЫБОРОЧНЫХОБСЛЕДОВАНИИ: ДОПОЛНЕНИЯ
303
числить выборочную ковариацию величин у/х и х. Рассматривая
аналог A2.109) для двух переменных, убеждаемся, что несме-
несмещенной оценкой для /Си в случае конечной совокупности яв-
является ^-статистика &ц, а значит, несмещенной оценкой для зна-
значения ковариации ло совокупности является
5D,
N.-X
N — 1
1
— ту/хтх).
D0.6)
В результате из D0.2) и D0.4) получаем, что несмещенной
оценкой ру является оценка
К =
Т=Т К
впервые данная Хартли и Россом A954). Если
близко к единице, то D0.7) сводится к
D0.7)
D0-8)
40.4 Устранение смещения для fry менее важно, поскольку
в 40.2 мы видели, что эта оценка состоятельна. Тем не менее
этот вопрос стоит рассмотреть, поскольку оценки-отношения
иногда используются при малых значениях п. Тот прием, кото-
которым мы воспользовались в 40.3, теперь применить нельзя, по-
поскольку подлежащей оценке ковариацией в D0.3) является
С(ту/тх, тх), а выборка доставляет нам только одно значение
nty и тх. Однако легко получить простое приближение.
Если п = 1, то С(ту/тх, тх) совпадает с С (у/х, х). Кроме
того, ковариация между выборочными средними для двух слу-
случайных величин обратно пропорциональна объему выборки (это
следует, например, из правила 10 для ^-статистик в 12.14 или
может быть легко доказано непосредственно). То же самое при-
приближенно справедливо и в рассматриваемом случае, когда
ищется ковариация одного выборочного среднего и отношения
другого среднего к первому. Таким образом,
и, используя D0.6) из D0.3), получим приблизительно несме-
несмещенную оценку
_, 1 -(У \ ту N — \ 1
^ = ^ + Т С\Т' V = •** ~т-х + —JT- • ТТЛ (Щ-
D0.9)
304
ГЛАВА 40
Этот результат другим методом получил Нието де'Паскуаль
A961). Отсутствие множителя л во втором члене D0.9) по срав-
сравнению с D0.7) снова иллюстрирует разницу порядков в величи-
величинах смещения в D0.1—2).
40.5 Теперь нам нужно рассмотреть дисперсии альтернатив-
альтернативных модифицированных оценок-отношений D0.7) и D0.9), чтобы
знать, какую из них использовать в разных обстоятельствах.
Рассмотрим только случай, когда N-^-oo, т. е. выбор практик
чески является простым случайным выбором. Используя D0.6)
перепишем D0.7) в виде
e + V D0Л°)
где kn представляет собой ^-статистику величин у/х и х. А зна-
значит,
D (К) = ДО (т,л) + 2ц,С (ту/х, kn) + D (*„), D0.11)
что в обозначениях 13.2 т. 1 переписывается в виде
Далее, используя C.80) т. 1, получим, согласно 12.14,
»(J !)-*-¦?¦• <«•'»
в то время как A3.7) и C.81) дают
1 1 ^22, 1*21I*02 (Д-2)ц!,
*
n(n-l) '
где моменты и семиинварианты в D0.13—14) относятся к совме-
совместному распределению у/х и х. Таким образом, в этих обозначе-
обозначениях D0.12) можно переписать в виде
о (а;)=»*§ii*wn+Чл./"+
М } D0.15)
¦Формула D0.15) допускает полезное упрощение. Заметим сна-
сначала, что по определению
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ДОПОЛНЕНИЯ 305
в обозначениях D0.15), которое, таким образом, эквивалентно
«D (А^) = ц>20 + 2№l + D { (-f- - цу/х) (х - цх) } +
Рассмотрим теперь тождество
-1**) = У - V- D0-17)
Если взять дисперсию левой части D0.17), то легко убедиться,
что она в точности совпадает с тремя первыми членами в правой
части D0.16). Таким образом, эти члены можно заменить дис-
дисперсией правой части D0.17). В результате
«D (А;) = D (у - цу/хх) + -^
и, возвращаясь к нашим исходным обозначениям,
nD (Ai) = D (у) + fL'ulxD (х) - 2»у1хС {у, х) +
ц?,)
Этот результат получили Гудмэн и Хартли A958). При п-*-оо
членом в фигурных скобках в D0.18) можно пренебречь, а зна-
значит,
п
D (у) +
(х) -
'(У,х).
D0.19)
Самый простой способ получения оценки для D0.18) состоит в
следующем. Надо переписать D0.12) в терминах семиинвариант
тов и использовать Л-статистики для их оценки. Гудмэн и Хартли
A958) приводят формулы для вычислений.
Робсон A957) приводит обобщение D0.18) и ее несмещенной
оценки, принимая во внимание конечность совокупности.
40.6 Подобным же образом можно получить дисперсию вели-
величины D0.9), которую по аналогии с D0.10) мы перепишем
в виде
mu
D0.20)
Отсюда
306
ГЛАВА 40
Так же, как это делалось при выводе оценки \i'y в 40.4, восполь->
зуемся следующим приближением:
так что, согласно D0.11),
Все три дисперсии в правой части D0.21) имеют порядок п~х, а
значит, второй член по сравнению с первым членом в правой ча-
части D0.21) имеет относительный порядок п~2. Таким образом,
наше приближение можно записать в виде
D0.22)
Поскольку смещение у исходной оценки \лу имеет порядок п~1
(это было показано в 40.2), то смещение у &'у не больше по по-
порядку, а значит, квадрат смещения по порядку не больше чем
п~2. А значит, средняя квадратичная ошибка (которая, учиты-
учитывая смещенность у!у, больше, чем^ дисперсия, подходит для выво-<
дов) может быть записана в виде
{(К ~ ».У) - й° О {1 + ° От)} •
D023>
Нието де'Паскуаль A961) приводит более точное приближение.
Главный член в D0.22) и D0.23) представляет собой дисперсию
немодифицированной оценки &у. Ее легко оценить до порядка
п~\ используя соотношение A0.17) т. 1, которое в нашем слу-
случае дает
D(y)
2С (у, х)
V-yV-x
\
D0.24)
Отсюда D0.23) принимает вид
«М (ГД'„ - и.Л -
1-2-^-С(у,х). D0.25)
V-x
Но D0.25) можно оценить с небольшим смещением, заменяя
Иу/ц-с на т,у/тх, а дисперсию и ковариацию их несмещенными
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ДОПОЛНЕНИЯ
307
оценками. В результате получаем следующую оценку средней
квадратичной ошибки:
40.7 Сравним теперь D0.19) и D0.25). Следуя Гудмэну и
Хартли A958), разность можно записать в виде
С(у,х)\2
)
D0-26)
Из D0.26) понятно, что модифицированная оценка отношения
средних Ду является более эффективной, чем модифицирован-
модифицированная оценка среднего отношений р,'7 или менее эффективной в за-
зависимости от того, будет ли коэффициент линейной регрессии у
на х, равный $ух = С {у, x)/D (x), ближе к отношению средних,
взятых по всей совокупности, или к взятому по совокупности
среднему отношений. На практике первая ситуация является,
по-видимому, более типичной, так что имеющая небольшое сме-
смещение оценка D0.9) является более предпочтительной, чем не-
несмещенная оценка D0.7).
Оценка D0.9) более эффективна, чем обычное выборочное
среднее ту тогда и только тогда, когда правая часть в D0.25)
меньше своего первого члена, т. е. если
D0.27)
т. е.
или
Таким образом, мы охарактеризовали эффективность оценки \х,'у
по сравнению как с &у, так и с ту в терминах относительной
величины регрессионного коэффициента $ух и отношения взятых
по совокупности средних \ivl\ix- Это совпадает с тем, что и сле-<
довало ожидать, поскольку существенным элементом оценки \i'y
является отношение выборочных средних ту/тх.
308
ГЛАВА 40
рлкин A958) обобщил результаты о немодифицированной оцен-
оценке |я„ на случай, когда х — вектор. См. также П. Рао и Мудхолкар,
A967).
40.8 Приближенно несмещенная оценка D0.9) была полу-
получена прямым оцениванием смещения \iv, вычисленного в D0.3)«
С другой стороны, можно уменьшить порядок величины смеще-
смещения, иснользуя метод Кенуя, описанный в 17.10 т. 2. Этот метод
состоит в подсчете jxy для каждой из п различных выборок объ-
объема (п—1), получающихся исключением одного наблюдения,
усреднении этих значений и применении A7.10) для получения
модифицированной оценки. Тогда смещение имеет порядок п~2,
а дисперсия не меняется вплоть до порядка пг1 (см. упражнение
17.18). Как мы убедились, то же самое выполняется для ji'
в D0.23).
Дербин A959а) применил упрощенный вид метода Кенуя
для модификации оценки-отношения общего типа, имеющей вид
r = ty/tx (частным случаем которого является D0.1)). Предпо»
лагалось, что смещение при оценке М (^)/М (tx) имеет порядок
п.-1. Если ту же самую статистику г вычислить для первых /г/2
и следующих /г/2 наблюдений (п четное) и обозначить соответ-
соответственно Г] и г2, то рассматривалась следующая модифицирован-
модифицированная оценка:
t (г) = 2г - -1 (г, + г2). D0.28)
Если регрессия tv на tx линейна с постоянной дисперсией по*
рядка п~\ а само tx распределено нормально с дисперсией по-
порядка п~1, то показано, что смещение оценки D0.28) имеет по-
порядок п~2, а дисперсия с точностью до п-1 совпадает с диспер-
дисперсией г, но асимптотически меньше последней, если принять во
внимание члены порядка п~г и меньше. Аналогичный результат
справедлив, когда tx имеет гамма-распределение.
Дж. Рао A965) и Дж. Рао и Уэбстер A966) показали, что применение
исходного метода Кенуя дает даже меньшее смещение и среднеквадратичную
ошибку, как в случае нормального, так и в случае гамма-распределения,
Дж. Рао A967) показал, что эта оценка всегда имеет меньшую среднеквад-
среднеквадратичную ошибку, чем D0.7), D0.9), D0.28) и другие оценки.
Приведенный выше результат является более общим, чем это
кажется с первого взгляда, поскольку ty и tx в силу центральной
предельной теоремы обычно имеют асимптотически двумерное
нормальное распределение с дисперсиями порядка пг1. По край-
крайней мере это выполняется для пц и тх из D0.1), а значит, вы-
выполняются предположения линейной регрессии. Отсюда следует,
что ничего не теряется при использовании смещенной оценки
,D0-28).
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ДОПОЛНЕНИЯ
30»
Значения (х, у) в совокупности: B,2), B,6), D,6) и F,10)
Оценка
Уравнение
D0.28), D0.1)
D0.9)
D0.7)
D0.1).
D0.2)
(выборочное среднее)
Среднеквадратичная
ошибка
0,38
0,44
0,56
0,92
2,41
2,67
D0.29)
читателю предлагается проверить правильность при-
40.9 Если переписать D0.1) в виде
. тх~У-х
V-x
¦) D0.30)
и разложить (l+OT*~ti*)~1 в ряд Тейлора, сходящийся с ве-
вероятностью единица при N, п-»оо, то, взяв математическое
ожидание, получим
D0.31)
где М может относиться как к N, так и к п. А значит, оценка
с точностью до первого порядка устраняет смещение оценки-
ту/тх. В D0.32) выборочные дисперсия и ковариация как.
сбычно, имеют делителем (п—1).
Теперь можно непосредственно, хотя это и несколько гро-
громоздко, вычислить среднее значение и дисперсию оценки и, ис-
используя следующие соотношения (первые три из которых при-
приведены в A2.117), A2.119) и A2.121), т, 1, а остальные выво-
3jQ ГЛАВА 40
дятся методами примера 13.2):
М (тх — lixK — («а — Щг) К
М (тх - цхL
*>'
О
= (а2 ^-
0 (»
D0.33)
М \{тх — ИхJ (ту —
м [К - ^K К - ^K=
М [D - ^20) (тУ - 1*»)] =
М [(тж — }Ал) (s^ — Кп)\ =
М 1(яя, - К и) {тУ — М =
Здесь аг = {nr^-N-), как и в A2.116), причем как в этой так
и в предыдущей главе мы опускаем индекс N у М. Пш (lyoo;
лриводит соответствующие значения с точностью до п :
М (я) = (-^) { 1 - Bа, - ^f) (С21 - С,) - За'С, (С20 - См) } ,
^ D0.34)
О (Ы) = (^-
а,
- 2С„)
+ af B4, - 4СаС„ + С\х + С^) +
Щ-
2С21 + С12) } ,
D0.35)
где
Точно таким же образом Тин A965) получает результаты для
исходной оценки \ivl\t.x = ту/тх:
^-Y { a, (C20
V-x/ У
+ «f (8C|, -
+ 3a?C20(C20-C11)}, D0.36)
- 2С„) +
c,, + scf, + зс^Си) -
} D0.37)
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ДОПОЛНЕНИЯ 31Г
в то время как для tl——), определяемого D0.28), он находит
и)}. D0.38)
Ш
IT
D0-39>
Из этих результатов понятно, что смещения оценок и и t(my/mxy
очень малы и не содержат члена, имеющего порядок п~1, в отли-
отличие от смещения оценки ту/тх. Все три дисперсии имеют один
и тот же главный член, который мы уже подсчитали в D0.24),
При этом мы видели, что он является главным членом и для
среднеквадратичной ошибки оценки Р^/м^. определенной в
D0.9). В упражнении 40.13. читателю предлагается показать, что
для приближений следующего порядка выполняется
а значит, и, определяемая D0.32), оказывается более предпочти-
предпочтительной, чем другие рассмотренные здесь оценки, как из сооб-
соображений смещения, так и из соображений среднеквадратичной
ошибки.
Тнн A965) рассматривает также другие оценки, близко связанные с и
(см. упражнение 40.14), и проводит сравнение этих оценок в случае двумер-
двумерного нормального распределения и в других случаях.
Регрессионные оценки
40.10 При условии, что мы знаем среднее по совокупности
цх дополнительной переменной, как это было в 40.2, естественно-
рассмотреть применение теории регрессии для повышения эф-
эффективности оценивания рьу. Простейшей является оценка с ли-
линейной регрессией
НУ = ту + Ъ (цх — тх). D0.41)
Эта оценка обобщает D0.1). Она сводится к последней, если
положить Ъ = ту/тх. Однако обычно Ь выбирается как коэффи*
циент регрессии у по х по методу НК.
312
ГЛАВА 40
Если бы зависимость между у и х подчинялась предположе-
предположениям линейной модели A9.8), то можно было бы применять тео-
теорию метода НК из главы 19 т. 2 и из пунктов, следующих за
28.12. Однако в изучаемой ситуации мы имеем дело с конечной
совокупностью и во всяком случае во многих применениях х яв-
является случайной величиной, так что применение метода НК не
является строго обоснованным. Вместо этого заметим, что со-
совместное распределение ту и тх имеет средние \iy, \х.х, диспер-
дисперсии D {x)jn, D{y))n и ковариацию С (у, х)/п. А значит, из D0.41)
следует, что если не учитывать обусловленную выборкой ошибку
в значении b вне зависимости от того, каким способам мы полу-
получили это Ь, то
«D (pLg) = D (у) + ЬЮ (х) - 2ЬС {у, х). D0.42)
Соответствующая несмещенная оценка имеет вид
6 <м =«(»'
Приведенная ниже соотношения D0.25) асимптотическая фор-
формула для оценки среднеквадратичной ошибки Д/ (совпадающей
асимптотически с дисперсией ^ и с дисперсией немодифициро-
ванной оценки Ду), получается из D0.43), если, как и выше, по-
положить Ь = ту/тх. В силу центральной предельной теоремы ту
и тх обычно асимптотически нормальны, а значит, &у также
асимптотически нормальна.
40.11 Соотношение D0.42) представляет собой только асим-
асимптотическое равенство, поскольку только тогда можно пренеб-
пренебречь обусловленной выборкой ошибкой в значении Ъ. Мы видим,
что регрессионная оценка \лу более эффективна, чем оценка ту,
равная выборочному среднему, если правая часть в D0.42) мень-
меньше, чем ее первый член, т. е. если 2ЬС (у, х) > b2D (x).
Если выбрать Ь по методу НК, то при п-*-оо Ъ стремится
is С {у, x)/D(x), а значит, приведенное условие всегда выполняет-
выполняется, если С (у, х) Ф0. Аналогично, сравнивая D0.42) с D0.25),
убеждаемся, что условием, гарантирующим большую эффектив-
эффективность \лу по сравнению с ji', является
}<2С{у, х){ь~^-). D0.44)
Если Ь получается по методу НК и стремится к С {у, x)/D{x), то
D0.44) сводится асимптотически к
«(»-¦?)'
D0.45)
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ДОПОЛНЕНИЯ
313
Но это не выполняется только при b = \iy/]ix, когда D0.41)
асимптотически сводится к D0.1). Таким образом, по крайнейг
мере асимптотически, мы ничего не теряем, используя регрес-
регрессионную оценку, полученную методом НК.
40.12 Регрессионная оценка D0.41), разумеется, является
смещенной. Для устранения этого смещения рассмотрим общие
методы построения несмещенных оценок, предложенные Микки
A959) и У. Уилльямсом .A961, 1962). Эти методы сделают также
более понятными рассмотренные нами ранее вопросы с оцен*
ками-отношениями.
Несмещенные оценки с дополнительными переменными
40.13 Для начала заметим, что для любой константы
а оценка ¦
ти-^а(тх — 11х) D0.46)
является несмещенной оценкой \ty, однако это, вообще говоря,,
не так, если а — статистика, вычисленная по той же самой вы-
выборке, что и тх: Предположим теперь, что выборка из п наблю-
наблюдений разбита случайным образом на подвыборку из р наблю-
наблюдений и «оставшуюся» выборку из п — р наблюдений. (Чтобы
быть более точным, можно в качестве подвыборки взять первые
р наблюдений в порядке их извлечения). Используем теперь под-
подвыборку для определения а в D0.46), а средние ту и тх вычис-
вычислим только для оставшейся выборки. Поскольку оставшаяся вы-
выборка является случайной выборкой из совокупности, содержа-
содержащей Af — р членов, не вошедших в подвыборку, то в результате
мы получим несмещенную оценку для среднего «оставшейся»
совокупности. Более того, средние значения по оставшейся вы-
выборке и по оставшейся совокупности мы можем выразить в тер-
терминах средних по всей выборке и по всей совокупности и сред-
средних по подвыборке. Для различения мы будем писать последние
с аргументом (р). Таким образом, D0.46) приводит к оценке
tlttly — рГПу(р)
п — р
птх — ртх (р)
п — р
е — ртх (р)
N — р
}¦
которая является несмещенной оценкой для {N\iy — рту(р)}[
/(N — р). В результате несмещенной оценкой для самого цу бу-
будет {(N — р)ир + pmy(p)}/N. Эту оценку мы запишем в виде
N — р
= —jr~
— а
N — n
N п —
{p) - а (р) (тх (р) -
D0.47>
314
ГЛАВА 40
Мы можем выбрать произвольное число р такое, что 1 ^ р ^
sg: п—1. При данном р функция а(р), определяемая по подвы-
борке, также произвольна. В результате мы получили большой
класс несмещенных оценок параметра \iy, основанных на нашем
знании параметра ц*.
Те же самые рассуждения справедливы и в многомерном слу-
чае, когда х— вектор.
40.14 Общий класс оценок D0.47) обладает следующим не
очень удобным свойством: они зависят от порядка, в котором
проводятся извлечения в выборке. Можно избавиться от этого,
рассматривая tp для каждой из п\ возможных упорядочений вы-
выборки и усредняя их. Получающаяся в результате усредненная
оценка ?р иногда имеет простой вид и не требует больших вы-
выкладок при ее вычислении по выборочным значениям. (Этот про-
процесс усреднения в точности совпадает с проведенным нами
в 39.11 по тем же причинам. Однако там результаты не получа-
получались простыми для вычислений, поскольку выбор проводился
с неравными вероятностями). Упражнение 39.30, доказательство
которого в рассматриваемых условиях упрощается, поскольку
выбор проводится с равными вероятностями, показывает, что
усредненная оценка tp имеет дисперсию не большую, чем любая
отдельная оценка tp.
р
40.15 Если в D0.47) положить a(p)
и /7 = 1, то оценка сводится к
У i
Г
N
где г/i и Xi — значения, соответствующие первому наблюдению.
Усредняя по всем п\ возможным упорядочениям выборки, полу-
получим оценку
t=t
К -
которая совпадает с \и'у, определенной в D0.7). Более того,
если мы возьмем любое другое значение р и то же самое а(р),
что и выше, то усредненное значение ?Р будет тем же самым, что
и в D0.48), хотя, конечно, само tP будет отличаться. Таким об-
образом, если а(р) —ГПу/х(р), то мы получаем несмещенную
оценку, основанную на tnv\x.
Эти результаты подсказывают нам, что точный несмещенный
вариант оценки типа D0.1) разумно искать, положив а(р) =>
= ту{р)/тх(р). В этом случае D0.47) принимает вид
ту(р) , (М-р)
тх(р)
¦+
ту{р)
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ДОПОЛНЕНИЯ
315
что после усреднения имеет тот же вид с ту(р)/тх(р), заменен-
замененным на его среднее значение. При /7=1 это, конечно, совпадает
с D0.48), поскольку в этом случае а(р) совпадает с рассмотрен^
ным ранее. Другим простейшим выбором является р = п—\,
когда среднее значение величины tny(p)/mx(p), взятое по всем:
1 \-1 (пти — Уг\ „ г,
перестановкам, сводится к — > [— ] = /?. В этом случае
?„_, = \ixR +
Ш~р) j~
- Rmx)
D0.49)
является несмещенной оценкой цу.
40.16 Обращаясь теперь к регрессионной оценке, естественно
рассмотреть а(р) = Ьух(р). Тогда D0.47) сводится к
tp = ту — Ьух(р) (тх — iix) —
- ШпП) jf—p) i(my (р) - ту) - Ьух (р) (тх (р) - тх)}. D0.50)
Усреднение приводит просто к замене Ьух(р) на соответствую-
соответствующее среднее значение. Значение р = 1 теперь невозможно, по-
поскольку тогда Ьух не имеет смысла. Как и ранее, другим про-
простейшим случаем является р = п—1. В этом случае нужно п.
раз вычислить коэффициент регрессии, каждый раз не принимая
во внимание последовательно одно из наблюдений, а затем
усреднить, чтобы получить Ьух(п — 1). Тогда D0.50) сведется к
Ьух (п —
(тх —
J
D0.51)
где Хг под знаком суммы соответствует значению наблюдения,
не принятого во внимание при подсчете того Ьух(п— 1), на ко-
которое Xi множится. Оценка D0.51) эквивалентна обычной ре-
регрессионной оценке D0.41), если все Ьух{п— 1) совпадают. Но
в общем случае это не так. Однако если л велико, то Ьух(п— 1)
может меняться очень мало и соответственно оценки мало от-
отличаются.
Оценивание дисперсии
40.17 Для несмещенной оценки D0.47), вообще говоря,
нельзя выписать значение дисперсии, поскольку все зависит or
выбора а(р). Однако если несколько видоизменить схему оцени-
оценивания, то можно получить такую оценку, дисперсия которой
тоже может быть оценена.
316
ГЛАВА 40
Предположим, что п наблюдений разбиты на k подвыборок
в порядке их извлечения, так что r-я подвыборка содержит пг
наблюдений и zZ пг=п- Обозначим частные суммы У,пг = п+а,
так что rt+i = щ, a n+h = п. Оценку D0.47) будем обозначать
теперь t(p, n), чтобы подчеркнуть, что подвыборка объема р
взята из выборки объема п. Рассмотрим последовательность, со»
стоящую из k— 1 оценок t(п+ъ п+1), t(п+2, п+3),..., ^ra+^.i), п+к),
В каждой из этих оценок в качестве подвыборки берется вся
выборка предыдущей оценки. Все эти оценки не коррелированы,
поскольку математическое ожидание может быть представлено
в виде последовательности условных математических ожиданий
(см. 39.35) в соответствии с разбиением на k подгрупп и для
М {t (n+r, П-Мг+1)) t (n+s,
= М ... M{t (n+r,
I Г+l
) M
r+2
M .
. M [t (n+s, n+is+\))]} =
k
I*,} = l*:
Теперь, чтобы получить оценку дисперсии среднего значения по-
последовательности несмещенных некоррелированных оценок
t(n+r, n+(r+1)), можно воспользоваться результатом упражнения
39.12. При этом сами оценки не обязаны иметь такой же вид.
40.18 В 40.17 мы не требовали, чтобы k подвыборок были
одного объема. Предположим теперь, что это выполняется, так
что nr = n/k. Если каждую из подвыборок использовать после-
последовательно для вычисления а(р) — a(n/k) в D0.47) и каждый
раз вычислять соответствующее t(n/k, n), то эти k значений не
будут теперь некоррелированными, как это было в 40.17. Их
среднее значение равно
N — п
"^ Nk{k—\)
где черта над буквой означает усреднение по k полученным зна-
значениям. Первые два члена в правой части D0.52) имеют в точ-
точности такой вид, как и D0.46), но теперь они не являются не-
несмещенной оценкой, поскольку a (n/k) вычислено на основе той
же самой выборки, что и тх. Математическое ожидание этих
двух членов равно \j.v — C{a(n/k), mx). Последний член в D0.52),
очевидно, является несмещенной оценкой для этой ковариации,
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ДОПОЛНЕНИЯ
317
N
если рассматривать совокупность как состоящую из , ',',. групп
объема n/k, и считать, что случайным образом проводится вы-
выборка k таких групп.
Модификация схемы выбора для устранения смещения
40.19 До сих пор в этой главе все наши рассуждения о рег-
регрессионных оценках и оценках-отношениях были направлены на
то, чтобы видоизменить вид оценок для устранения или умень-
уменьшения смещения, при выборе без возвращения с равными ве-
вероятностями. Другой способ достижения той же цели состоит
в изменении схемы выбора так, чтобы сами исходные оценки
становились несмещенными.
Из C9.20) следует, что при любых вероятностях извлечения
Лг выражение jf^~- задает несмещенную оценку \iy. Предпо-
ложим теперь, что мы взяли
л{ =
N
D0.53)
причем теперь нужно предполагать, что вспомогательная пере-
переменная х положительна, чтобы D0.53) задавало соответствую-
соответствующее множество вероятностей. В этом случае сразу получим, что
Цх/Пу/х будет несмещенной оценкой цу. Иными словами, для
такой схемы выбора оценка р.у, определенная в D0.2), является
в точности несмещенной. С другой стороны, можно рассматри-
J возможных выборок как совокупность,
из которой должен быть извлечен один элемент. Пусть (ту)г и
(tnx)i, i — I, ..., f J, средние для соответствующих выборок.
Если упомянутое одно извлечение провести с вероятностями
D0.54)
= (тх)А J] (тх), =
/
то рассуждения, аналогичные вышеприведенным, показывают,
что оценка C9.20) принимает вид
fftt
= цхту1тх,
так что, как впервые отметил Лахири A951), оценка \ку, опре»
деленная в D0.1), становится в точности несмещенной.
318
ГЛАВА 40
Дисперсии этих оценок и несмещенные оценки этих диспер-
дисперсий получаются, как обычно, из C9.23—4), Разумеется, для
того чтобы в случае &у можно было оценить дисперсии, нужны
по крайней мере две выборки (или случайная подвыборка из
одной выборки).
Нанджамма, Мёрфи и Сэти A959) рассматривают общую за-
задачу модификации схемы выбора, чтобы сделать оценки-отно-
оценки-отношения несмещенными с применением к некоторым типам выбо-
выборочных обследований. См. также Патхак A964а).
Расслоенный и многошаговый выбор
40.20 Как оценки-отношения, так и регрессионные оценки
можно применять отдельно к каждому из некоторого числа
слоев при условии, что для каждого слоя известно среднее по
совокупности переменной х. С другой стороны, конкретную
оценку-отношение, или регрессионную оценку, можно применить,
используя объединение результатов для всех слоев. Следует
ожидать, что первая из упомянутых процедур будет, вообще
говоря, более эффективной. Кокрэн A963) рассматривает бо-
более подробно смещенные оценки-отношения и регрессионные
оценки.
Несмещенные расслоенные оценки-отношения рассматривали
в одномерном случае Нието де'Паскуаль A961) и У. Уилльямс
A961), а в многомерном — Олкин A958). Робсон и Витхаясаи
A961) рассматривали ситуацию, аналогичную расслоенной,
когда у и х могут быть представлены в виде суммы k соот-
соответствующих компонент. Киш и Гесс A959) получили асим-
асимптотическую формулу для дисперсии смещенной комбини-
комбинированной оценки-отношения при расслоенном многошаговом
выборе.
40.21 Дербин A953) указал, что поскольку из D0.30)
ту йу .
тх ~~ v-x
mil —
D0.55)
то отношения выборочных средних асимптотически линейны по
г = у— (мУц*)*, так что
п
D0.56)
ту \iy ^_ I yi
~тх~ V-x ~ n Lj
/m«\
Отсюда следует, что для оценки D\-^-\ в случае многошаго-
многошагового выбора асимптотически применимы рассуждения 39.45—50
m«
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ДОПОЛНЕНИЯ
319
и в случае больших выборок можно применять правила
Иэйтса — Дербина из 39.46 и 39.49. Это справедливо также
внутри каждого слоя многошаговой схемы. То же самое можно
применить к регрессионным оценкам.
Двухэтапная выборка
40.22 Как при обсуждении расслоенного выбора в 39.15—27,
так и при использовании вспомогательной переменной для улуч-
улучшения эффективности оценки в этой главе предполагалось, что
мы обладаем некоторыми знаниями о совокупности, позволяю-
позволяющими нам строить несмещенные оценки. В последнем случае мы
предполагали, что нам известно \ix, а в первом — относительный
объем слоев NJN, который нужен для вычисления оценки
C9.38). Если у нас нет соответствующей информации, то в
практических ситуациях сама собой напрашивается следующая
процедура. Провести предварительный случайный выбор с рав-
равными вероятностями для получения такой информации, а затем
использовать ее при проведении основной выборки, направлен-
направленной на достижение исходной цели — оценивание среднего со-
совокупности. Очевидно, что такая процедура будет экономически
приемлемой только в том случае, когда затраты на предвари-
предварительную выборку малы по сравнению с результирующей выго-
выгодой в эффективности, получающейся в основной выборке. Ниже
мы сформулируем это утверждение более точно.
Схема выбора такого вида называется двухэтапной выбор-
выборкой (two phase sampling). (Мы не употребляем применявшегося
ранее термина «двойная выборка» («double sampling»), по-
поскольку этот термин мы уже использовали в главе 34 для обо-
обозначения последовательного метода, целью которого было полу-
получение доверительного интервала заданной длины. Сейчас у нас
иная цель. Мы хотим в первую очередь улучшить эффективность
оценки на втором этапе, получив на первом этапе нужную ин-
информацию). Двухэтапная выборка отличается от двухшагового
выбора тем, что в нем на каждом этапе извлекаются одни и те
же объекты.
40.23 Следуя Нейману A938), который впервые решил со-
соответствующую задачу, рассмотрим сначала задачу расслоения.
Мы хотим провести разбиение на фиксированное число k задан-
заданных слоев, но не знаем пропорции Nt/N = Wi, в которых эле-
элементы совокупности входят в эти слои, а значит, не можем ис-
использовать оценку C9.38). В соответствии с этим мы делаем
предварительную выборку объема П\ с равными вероятностями
Пусть частоты попадания в соответствующие k слоев оказались
«м, •••, «и, где ? tin=nl. Тогда пропорции wu =
320
ГЛАВА 40
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ДОПОЛНЕНИЯ
321
являются, разумеется, несмещенными оценками пропорций Wt
в совокупности. Поэтому в качестве оценки параметра ц есте-
естественно взять
Z
D0.57)
где m,2i—; выборочные средние слоев во второй (основной) вы-
выборке, имеющей объем п2 и пп наблюдений в 1-м слое. Теперь
возникает вопрос, должны ли п-а. быть подвыборками Пц или они
должны извлекаться независимо. Для практических ситуаций
больше подходит первый случай, поскольку, если Ni неизвестно,
то никакого полного описания слоев быть не может и выбор на
втором этапе проводится на основе случайной выборки из каж-
каждого слоя, полученной на первом этапе. Более того, хотя первый
этап логически предшествует второму, но если на втором этапе
используются подвыборки первого, то оба этапа могут иногда
проводиться одновременно.
Предположим, во всяком случае, что пц настолько велики
по сравнению с предполагаемыми значениями п21, что наблюден-
наблюденные значения пц заведомо больше, чем фиксированные заранее
значения n2i.
40.24 Используем теперь (см. 39.35) символ М для обозна-
2
чения математического ожидания по второму этапу при условии,
что результат первого этапа фиксирован, а через М обозначим
математическое ожидание по первому этапу. Используя C9.72)
получим, что математическое ожидание оценки D0:57) равно
M(A12) = M{M(Ai2)}
1 2
Z
? M {wuM (m2l)}
t 1 2
D0.58)
так что р.12 — несмещенная оценка. Согласно C9.73) ее диспер-
дисперсия равна
M{p()} + D{M(?)}. D059)
Первый член в правой части D0.59) можно вычислить, заметив,
что так же, как в C9.39),
а значит,
М
D0<60)
Если предположить теперь, что все Ni очень велики, то послед-
последним множителем в правой части D0.60) можно пренебречь. Бо-
Более того, выборка на первом этапе дает оценки вероятностей
в мультиномиальной схеме, так что применимо E.80), и D0.60)
принимает вид
¦+*?
) П21
D0.61)
Используя A0.16) и E.80), получим, что второй член в правой
части D0.59) равен
1ФР
«1
WtWp
I. p
1фр
D0.62)
Подставляя D0.61—2) в D0.59) и используя-равенство ? Wl\nt=\i,
i
получим
D (й„) =
D0-63)
Напомним, что согласно C9.46) и 39.19, последний член в пра-
правой части D0.63) выражает выигрыш в точности расслоенного
выбора при ВРД по сравнению с нерасслоенным выбором, когда
объемы всех слоев велики и объем выборки равен щ.
40.25 Если щ -»¦ оо, так что WL, по существу, можно считать
известными, то D0.63) сводится к обычной формуле C9.39) для
дисперсии при расслоенном выборе. Даже при не очень больших
«1 членом Wi{\ — Wi)/nu который не превосходит l/Dni), можно
обычно пренебречь по сравнению с W\. Вспоминая из 39.18, что
при больших Nt справедливо Л Wt (ц/ — цJ Ф о2 — X Wio\ мож-
можно D0.63) приближенно переписать в виде
11 М. Кендалл, А. Стьюарт
322
ГЛАВА 40
Почти несмещенная оценка для D0.64) получается, если подста-
подставить Wu вместо Wi, s2 вместо а2 и s2 вместо a2t.
40.26 Предположим теперь, что функция затрат при двух-
этапном выборе имеет вид
С = со +
Z
D0.65)
Соотношения D0.64—5) имеют тот же самый вид, что и
C9.50—1). Но тогда из C9.53) следует, что для объемов выбо-
выборок, минимизирующих D(p,,2) при фиксированном С (или на-
наоборот), имеет место
2 V* т 2 tw2_2
D0.66)
п\ ос
А^ОС
при этом коэффициент пропорциональности получается из
D0.65) или D0.64) в зависимости от того, какая из этих вели-
величин фиксируется.
Из D0.66) следует, что на втором этапе наблюдения должны
быть распределены между слоями так же, как и при обычном
расслоении в C9.55) (при этом следует помнить, что этот про-
простой результат получился в результате пренебрежения членами
порядка if1). Объем выборки на первом этапе прямо пропор-
пропорционален числителю первого члена в правой части D0.64) (ко-
(который соответствует добавке к дисперсии, обусловленной оце-
оцениванием на первом этапе) и обратно пропорционален затратам
на проведение выбора. Оба эти утверждения согласуются с ин-
интуицией.
40.27 Двухэтапная выборка проводилась для улучшения эф-
эффективности оценки с помощью расслоения. Напомним, однако,
что, согласно 39.18, если даже Wt в точности известны, наилуч-
наилучшее расслоение все равно может привести к потере эффективно-
эффективности. Впрочем, как мы видели в 39.19, это не так, если все Nt до-
достаточно велики. Однако дополнительная компонента к значе-
значению дисперсии, обусловленная оцениванием Wi на первом этапе
выборки, может привести теперь к потере эффективности даже
при больших значениях NL.
Пусть после извлечения с равными вероятностями нерас-
слоенной выборки объема п оказалось, что щ наблюдений при-
принадлежит /-му слою. Естественно предположить, что накладные
расходы при проведении такой выборки равны тому же самому
Со, что и в D0.65), и что затраты на проведение наблюдения
в /-м слое также остаются неизменными и равными Сц. В этом
случае функция затрат равна
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ДОПОЛНЕНИЯ
323
причем теперь щ — елучайные величины с математическим ожи-
ожиданием nWi, так что нужно рассматривать математическое ожи-
ожидание затрат
М (Ся) = с0 + п Ц W,c2l. D0.67)
Если М (Сд) должно равняться значению С из D0.65), то должно
выполняться равенство
Г21
а значит, дисперсия нерасслоеиной оценки будет (при боль-
больших N)
п
D0.68)
Из D0.64) и D0.68) следует, что отношение дисперсий при двух-
этапной расслоенной и при нерасслоенной выборке равно
Р(А»)
DK)
D0.69)
Числитель в D0.69) равен произведению О(Д,2)(С —с0), которое
минимально, если «i и /г# удовлетворяют D0.66). Но, согласно
C9.52), для этого минимально возможного значения имеет
место
min D (А12) [{(а2 - ? У,а?) с,}* + ? W^ff
~~Ш " D0'70)
По-видимому это наиболее полезная форма записи отношения
дисперсий. Рассматривая снова числитель D0.70), убеждаемся,
что, согласно неравенству Коши, он не больше чем
{{а2 - ? IF,*?) + E W^} {Cl +
а значит, из D0.70)
minD(Ai2)
01
D0.71)
Таким образом, если с\ — 0, то двухэтапный расслоенный вы-
выбор с распределением объемов выборок с МД никогда не
11'
324
ГЛАВА 40
хуже, чем нерасслоенный выбор с теми же самыми ожидаемыми
затратами. Но если ci = 0, то Wi можно вычислить точно с ну-
нулевыми затратами, так что, по существу, мы получим обычный
расслоенный выбор. Таким образом, мы получили перефрази-
перефразировку результата 39.19, рассмотрев дополнительно случай раз-
разных затрат на наблюдения в разных слоях.
Если Ci > 0 в D0.70), то может оказаться, что нерасслоен-
ная выборка более эффективна, но D0.70), очевидно, — возра-
возрастающая функция от Си и если с\ мало по сравнению со взве-
взвешенным средним Yj Wfat, то правая часть D0.71) не может
быть намного больше единицы. Так что в самом плохом случае
двухэтапная расслоенная выборка с соответствующим распреде-
распределением по слоям может привести лишь к небольшой потере
в эффективности. Простой числовой пример неблагоприятной си-
ситуации получается, если положить С\ = 1, сц = 6 для всех /,
<т^=10, erf = 6 для всех /. Тогда D0.70) дает значение
B + 6J/(ЮХ6)= 1,07. Если же сп = 9. то D0.70) дает
A+7,35J/(ЮХ9) = 0,77.
40.28 Если первый этап выбора проводится для оценки
среднего вспомогательной переменной цх, чтобы на втором этапе
построить регрессионную оценку, или оценку-отношение, то, так
же как в 40.24, при вычислении дисперсии используется C9.73).
Рассмотрим только простейший случай, когда применяется сме-
смещенная оценка-отношение D0.1). При двухэтапной выборке по-
получим
где верхний индекс указывает на этап. Если два этапа представ-
представляют собой независимый выбор с равными вероятностями, то,
используя 40.2, получим
м (л12) = м
м
о (V)]} = »у + о («->) •
Пренебрегая членами порядка п^1 и выше получим, согласно
C9.73),
D (jl12) = М {D (Д18)} + D {М (Д12)} =
/m*)} + D
М {«>J D
- <40-72>
Таким образом,
) {D («(•)) + ц
^)f D
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ДОПОЛНЕНИЯ 323
Используя теперь D0.24), получим
Первый множитель при 1/га2 в правой части D0.73) есть просто
D0.25), примененное к выборке второго этапа. Как и в D0.63),
выборка первого этапа приводит к появлению второго множи-
множителя, у которого член при l/n^ дает увеличение дисперсии, и
к появлению еще одного слагаемого порядка 1/гаь Поскольку мы
уже пренебрегли членами, меньшими по порядку чем \/th, то
(поскольку предполагается, что «i>n2), пренебрегая членом,
имеющим порядок l/«i«2» получим приближение
D0.74)
Если выборка второго этапа не независима, а является подвы-
боркой первого этапа, то в D0.72) нужно \1у/цх заменить на
myjmx^' так что втор°й член в правой части D0.72) становится
просто D(m^) = D(y)/nu Если щ очень велико по сравнению
с га2, то первый член D0.72) в нашем приближении имеет тот
же вид, что и раньше. Если же гц/щ не очень мало, то прибли-
приближение улучшается введением корректирующего множителя
fl -J к первому члену D0.74), так что в результате полу-
получается
D (М Н-^-^г
D (
С (у,
D0.75)
40.29 Кокрэн A963) и Иэйтс (I960) приводят подробности применения
двуэтапных методов для регрессионных оценок. При этом для получения по-
полезных формул для дисперсии необходимы некоторые ограничительные пред-
предположения.
Двухэтапиая выборка естественным образом обобщается иа многоэтап-
многоэтапную выборку. Но для этой более общей процедуры имеется очень мало как
теоретических, так и прикладных работ.
С. Гхош A963а) рассматривает тип двухэтапной выборки, когда целью
первого этапа является образование групп для выбора иа втором этапе.
Радж A964) рассматривает случай, когда первый этап служит для опре-
определения вероятностей извлечения, используемых на втором этапе. Сиигх
A967) показывает, что в этом случае оценка C9,27) предпочтительнее, чем
некоторые другие оценки.
326
ГЛАВА 40
Области изучения
40.30 При рассмотрении оценок-отношений мы считали, что
вспомогательная переменная х имеет самый общий вид. На
практике одним из самых важных является случай, когда х при-
принимает только значения 0 или 1, указывая на то, принадлежит
ли соответствующий элемент совокупности к некоторой под-
подгруппе. Этому случаю соответствуют, например, следующие си-
ситуации:
(а) Проводится выбор из всей совокупности, а нас интере-
интересует, исходя из некоторых посторонних соображений, только
часть совокупности. Например, выбор проводится из созокупно-
сти людей в возрасте от 21 года и выше, а нас интересуют толь-
только люди в возрасте от 21 до 65. В этом случае объем выборки п.
из интересующей нас совокупности является, очевидно, случай-
случайной величиной и выборочное среднее для любой измеряемой
п I п
в этой совокупности переменной имеет вид zl у&А ? хг, где Хи
как и выше, принимает значения 0 или 1. Если известно среднее
значение для совокупности переменной х (т. е. доля людей в воз-
возрасте от 21 до 65), то можно применить всю приведенную выше
теорию.
(б) Нас интересует вся совокупность, из которой проводится
выборка, но некоторые выбранные элементы не доставляют ин-
информации из-за утери записей, неполного обследования или
просто уклонения от ответа (особенно в совокупности людей).
Снова п — случайная величина и применимо замечание в конце
(а)*).
(в) Мы имеем результаты наблюдений для всей выборки из
интересующей нас совокупности, но хотим вычислить параметры
для подгрупп этой совокупности. Например, имеется выборка из
совокупности людей, а мы хотим вычислить значение некоторой
статистики только для мужчин или только для женщин. Если
слои в выборке соответствуют мужчинам и женщинам, то ника-
никаких новых моментов не возникает, ибо объемы выборок, соответ-
соответствующих мужчинам и женщинам, будут фиксированными. Од-
Однако обычно такое расслоение невозможно, так что эти объемы
выборок являются случайными величинами (хотя в рассматри-
рассматриваемом простом случае их сумма не случайна). И вообще, объем
*) В случае уклонения от ответа существует осложнение, поскольку ук-
уклонение от ответа может быть коррелированным со значением у, так что от-
ответившая группа не может доставить несмещенную оценку среднего значения
у для всей совокупности в целом,
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ДОПОЛНЕНИЯ 327
выборки для любой не заданной заранее подгруппы должен
быть случайной величиной.
40.31 Интересующие нас подгруппы называются областями
(изучения). Разумеется, сами слои могут быть областями, но
тогда не нужно никакой новой теории. Мы будем говорить об
областях, подразумевая, что выборочные частоты соответствую-
соответствующих подгрупп случайны вне зависимости от причин, приводящих
к этой случайности.
Часто области пересекаются со слоями и множествами раз-
различных шагов в выборке. И именно в этих случаях возникают
новые вопросы. Иэйтс (I960) (как и в более раннем издании его
книги) приводит несколько формул для областей, пересекающих
слои. Кокрэн A963) дает вывод некоторых из этих формул. Дер-
бин A958) рассматривает как указанную, так и несколько мно-
многошаговых ситуаций. Хартли A959) также выводит некоторые
результаты Иэйтса для ковариаций средних по областям и при-
приводит некоторые дальнейшие результаты. Наше изложение сле-
следует Дербину A958).
Области пересекающие слои
40.32. Как и в главе 39, предположим, что мы имеем k
слоев с частотами Nt, I = 1, ..., k и J] Ni = N, в то время
как частоты слоев в выборке равны щ, а 2^щ =п. Рассмотрим
некоторую область, скажем d. Обозначим через Nt' частоту,
1-го слоя в области, так что ? N(id) = Nw, где N^ частота
области во всей совокупности. Пусть nSf) и м№ = ? n\d)—опре-
n\d)—определенные аналогичным образом величины для выборки. Заме-
Заметим, что, в то время как частоты слоев в совокупности из-
известны, частоты слоев в области, вообще говоря, неизве-
неизвестны. Конечно, иерасслоенному случайному выбору соответ-
соответствует k = 1.
Пусть ^ равно наблюденным значениям у для элементов,
принадлежащих области, и равно нулю для других элементов.
Тогда
где
1 внутри области,
I вне области.
D0.76)
I
D0.77)
328
ГЛАВА 40
В результате имеем
= Z
g Z
D0.78)
V
Определим далее средние значения по области внутри слоев
D0.79)
Z
и среднее значение по всей области
' fiw)=Z E^?/#(d> = E
D0.80)
40.33 Мы хотим теперь найти оценку величины ц№ в D0.80).
Рассмотрим сначала случай, когда выбор проводится с равными
вероятностями с использованием ВРД, скажем f=n/N, как в
главе 39. Оценка-отношение
rri
Ad)
= Z Z yfflnW = 1, Z
D0.81)
является выборочным аналогом |x(d>. По существу, это оценка
D0.1), где числитель и знаменатель суммируются отдельно
внутри слоев, т. е. мы получили пример «комбинированной»
оценки-отношения, упомянутой в 40.20. Используя аналоги D0.3)
и D0.5), убеждаемся, что приближение первого порядка дает
с использованием D0.78) и D0.80)
м
= м
Z
Е
Z А17) == ^.
D0.82)
40.34 Для нахождения дисперсии m'd> положим
«I/ = Кг {Mi, ~ V{d)) = У!? - VW)«
так что, применяя D0.78) и D0.81), получим
щ
тю — цЮ = Z Z
D0.84)
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ДОПОЛНЕНИЯ
Но D0.84) асимптотически сводится к
329
Таким образом,
D0-86)
Дисперсия в правой части D0.86) совпадает с дисперсией сред-
среднего значения при расслоенной выборке с использованием ВРД.
А значит, согласно C9.45), имеем
rNl \2
С§--)
Nt
5 D0.87)
при этом мы пренебрегли тем, что в определении oj(z) в каче-
качестве делителя фигурирует Nt—1, а не Nt. Согласно D0.83) со-
соотношение D0.87) можно, с использованием D0.78—9) и того
факта, что /*// = /*//, переписать в виде
tf,
I !_/ = !
N,
. D0.88)
Сумма по / в правой части D0.88) может быть переписана
в виде
(yt{ - vS«y -
Z
= Е (У?/ - Hi*)8 hlt + #<«> (ц<«> - ц«Л)«. D0.89)
Подставляя D0.89) в D0.88), получим
D0.90)
330
ГЛАВА 40
40.35 Ограничившись рассматриваемой нами точностью
ближения, можно написать n/N = nW/NW, а тогда первый член
в правой части D0.90) перепишется в виде
Как следует из нашего вывода D0.87) из C9.45), соотношение
D0.91) в точности совпадает с «дисперсией», которую мы бы по-
получили, если бы считали выборочные частоты слоев в области
фиксированными (на самом деле это не так). А значит, второй
член в D0.90) указывает на увеличение дисперсии, соответ-
соответствующее тому, что nf* — случайные величины. Этот член ве-
велик, если средние по области внутри слоев ц(/*> различаются су-
существенно и в особенности, если доли слоев, принадлежащие об-
области, N?4Nt, малы.
( N^\
Если убрать множитель 11 W~) в0 ВТОРОМ члене правой
части D0.90) и воспользоваться приближением D0.91), то все
выражение D0.90) в рассматриваемом приближении будет сов-
совпадать с первой формулой в 39.18, которая, как мы видели, за-
задает дисперсию для не расслоенного выбора. Таким образом,
если все доли N\d)/Nt малы, то существование у ni ' ненулевой
дисперсии, по существу, сводит на нет всю выгоду в эффективно-
эффективности оценки, получающуюся в результате расслоения. Только в
том случае, когда по крайней мере для некоторых слоев объемы
области в них велики, сохраняется большая часть выгоды.
Оценку дисперсии D0.90) можно получить точно так же,
как была получена и сама формула D0.90). В упражнении 40.15
читателю предлагается проделать соответствующие выкладки.
40.36 Если выбор проводится не с равными долями, то оцен-
оценку D0.81) нужно видоизменить, чтобы должным образом учесть
вклады слоев. Вместо D0.81) положим
D0.92)
В упражнении 40.16 читателю предлагается показать, что г-
асимптотически несмещенная оценка n<d) с дисперсией
D(r)^77^Xj^-[l-^-)Y\zli--i^-), D0.93)
i
1
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ДОПОЛНЕНИЯ
331
что обобщает D0.87). После подстановки значений ztj это сво-
сводится к
- <40-94>
что обобщает D0.90). Читателю снова предлагается вывести
в упражнении 40.16, что оценкой D0.94) служит
ь «-(Z ? <f? мШ 0 - # [Z w - <>)Ч,
D0.95)
Области при многошаговом выборе
40.37 Мы ограничимся разбором случая, когда на первом
шаге из общего числа 5 множеств извлекается с возвращением
s множеств. При этом разрешается любое число шагов (вклю-
(включая нуль), однако мы ограничимся далее равновзвешивающей
схемой^ (см. 39.41), для которой выборочное среднее является
оценкой соответствующего среднего по совокупности ц.
Мы хотим оценить среднее по всей области, обозначенное
как и ранее, ц,№, где
¦полная частота области
a hij ... р, как и в D0.77), принимают значения 0,1.
40.38 Оценкой является выборочный аналог ц№
где
Л • • • 1иУи
D0.96)
D0.97)
D0.98)
D0.99)
332
ГЛАВА 40
Как и в D0.82), приближение первого порядка дает
= /?? • • • ?<>... Р//? ? .• • Ел(/..,р=им, иолов)
где общий м}южитель / у числителя и знаменателя равен пол-*
ной вероятности извлечения для каждого значения у из сово-
совокупности.
40.39 Так же как и в D0.83), определим
zH...p Уц...р
и, как и в D0.84), получим, что
D0.101)
D0.102)
Отсюда, переходя сразу к оценке дисперсии величины тС), по-
получим
D(mw>) - {-^^щ}2 б (г), D0.103)
где г — среднее от s значений z,—? • • • ?¦?«;... р- Далее из
C9.109)
б B) = б (г),
и, в частности, если вероятности выбора одни и те же для каж-
каждого извлечения первого шага, то из C9.110) получим в этом
случае с ti = z\js
Отсюда D0.103) принимает вид
6
D0Л04)
Так же как в D0.87—8), используя D0.101) и определения у^
и nf) в D0.98—9), преобразуем сумму квадратов в D0.104)
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ: ДОПОЛНЕНИЯ
333
к виду
(mw)
2 ш D0.105)
Предполагая, что nid) -~ M (ra(d>), из D0.104—5) получаем
6 {
?
, D0.106)
и в рассматриваемом приближении математическое ожидание
второго члена в правой части D0.106) равно г D (mw>).
Перенося его в левую часть, найдем
D0.107)
Соотношение D0.107) все еще не статистика, поскольку оно за-
зависит от n<d). Но в рассматриваемом приближении ц(<*> можно
заменить на m(d\ так что окончательно получим оценку
6 (mW)) =
D0.108)'
Если после первого шага не проводится никакого выбора, то
в рассматриваемом приближении D0.108) согласуется с резуль-
результатом упражнения 40.15.
40.40 Если бы мы считали nf> фиксированными (что не так),
т® для оцениваемой дисперсии величины mW) мы должны были бы,
согласно C9.110) с tt = yW/nW, положить
О -
i=\
<4ОЛО9>
Сравнение D0.108) и D0.109) показывает, что случайность р
приводит к тому, что в выражении для дисперсии средняя ча-
частота области ra(rf'/s в множестве первого шага заменяется на
конкретные частоты области в множествах первого шага nS*\
Возрастание дисперсии велико только в том случае, если п?}
очень значительны и если они отрицательно коррелированы
с yf*, что неправдоподобно в практических ситуациях.
334
ГЛАВА 40
УПРАЖНЕНИЯ
40.1 Из D0.7) и D0.9) показать, что
\хх
является приближенно несмещенной оценкой для цу
(См. Мёрфи и Нанджамма, 1959.)
40.2 Показать, что оценка-произведение
jig = тутк/]1х
являющаяся аналогом оценки-отношения D0.1), имеет смещение С$ту, тх)/цх,
а значит оценка
Г А ) I
п'= { n(N — \)m,mr — (N — n) У у.х/п > {N{n— 1)ц*}
У I У" f^x )/
несмещенная. Показать далее, что при N -*¦ оо
Р(У) Р(лг) [ 2С(у, .
+
п-\{-
JJ'
Вывести отсюда, что если С (#, х) < 0, то Д^ более эффективна, чем \ху,
чья средняя квадратичная ошибка задается D0.25). Показать также, что
(см. D0.27)) Д^ более эффективна, чем выборочное среднее ту, если $ух <
1 1
Т1^
(См. Робсон, 1957.)
40.3 Проводится обратный выбор (см. примеры 9.13 и 34.1) с неравными
вероятностями и с возвращением из совокупности, состоящей из N элементов,
причем извлечения продолжаются до тех пор, пока не будут извлечены
(г _(- 1) различных элементов. Пусть на это потребовалось (я+1) извлечений
(л ^ г). Последнее извлечение не учитывается и в результате получается г
различных значений у и наблюденных соответственно rti раз, так что V ni=n.
г
Показать, что / = —} niyl является несмещенной оценкой среднего
совокупности и что (см. упражнение 39.12)
является несмещенной оценкой дисперсии оценки t.
(Сэмпфорд A962); Патхак A964b) улуч-
улучшил оценку — см, 39.5.)
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ДОПОЛНЕНИЯ
335
40.4 Показать, что если k слоев фиксированных объемов JV< образованы
случайным делением совокупности объема N, а затем проводятся п извлече-
извлечений с равными вероятностями без возвращения с использованием ВРД, то
дисперсия оценки C9.38) для указанной процедуры в точности совпадает с
дисперсией для среднего при нерасслоенной выборке того же объема и из
той же совокупности.
Показать далее, что если использовать не ВРД, а любое другое распре-
распределение по слоям, то дисперсия C9.38) увеличивается.
40.5 Рассматривается следующая схема выбора, состоящая из одного илн
большего числа шагов. Выбирается с возвращением п множеств первого шага
из одного слоя, состоящего из N множеств с использованием неравных ве-
вероятностей рг
E"-)
при каждом извлечении. На последующих ша-
шагах выбор проводится независимо внутри каждого извлеченного множества
первого шага. Эта схема видоизменяется предварительным случайным раз-
разбиением N множеств первого шага на п групп, содержащих N\ Nn мно-
множеств и выбором по одному элементу из каждой группы с теми же самыми
относительными вероятностями, что и в первой схеме, т. е. Pr/Pi., гДе Pi.
равно сумме рТ по i-й группе. Последующие шаги не меняются. Показать,
п
что tM(z)= 2_j Pi.zi Для видоизмененной схемы имеет то же самое матема-
п
тическое ожидание, что и /о (г) — — / г, для исходной схемы, и что
п /_/ '
N(N -1)
D,
где D — компонента D{to(z)}, обусловленная последующими шагами.
40.6 Показать в упражнении 40.5, что если Nt выбрать равными, то для
одношагового выбора /M(z) никогда не менее эффективна, чем to(z). В то
же время такой выбор JVj соответствует наилучшей возможности, чтобы при
многошаговой выборке получить не меньшую эффективность (см. упражне-
упражнение 40.4).
(Результаты этого и предыдущих двух
упражнений получены Стьюартом A964).
Он рассматривал обобщения модифици-
модифицированной схемы выбора. См. также Дж.
Рао, Хартли и Кокрэн A962).)
40.7 Совокупность состоит из N элементов. Случайной выборкой с рав-
равными вероятностями извлекается п элементов, причем только П\ из них дают
ответ о значении переменной у. Для оставшихся п — п.\ = «2 элементов, не
давших ответа, проводится подвыборка по одному на каждые k элементов,
так что объем подвыборки r2 = n2/k. Затраты иа всю процедуру равны
С2«2-
Оценкой и» является
336
ГЛАВА 40
где mi и тц— средние значения для давших ответ в исходной выборке и со-
соответственно для подвыборки из не давших ответ в первый раз. Используя
C9.72—3), показать, что Д.» — несмещенная оценка с дисперсией
(Ар):
»2
Я
где о2 — дисперсия у, взятая по всей совокупности, а ог| — дисперсия, взятая
по потенциально не дающим ответ элементам совокупности, доля которых в
совокупности равна IF2. Используя 39.20, показать, что D (Ар) минимально
при фиксированном математическом ожидании полных затрат, если k удовле-
удовлетворяет соотношению
k2
мд
(См. Хансен и Гурвиц, 1946.)
40.8 Пусть в упражнении 40.7 k = 1, т. е. все не давшие ответ извле-
извлекаются во второй раз, и пусть сг2 = сг|, N -> оо и математическое ожидание
полных затрат то же самое, что и для выборки с МД, т. е. при k = &мд.
Показать, что эффективность в этом случае задается соотношением
Показать, что если W2 = <3,& и Амд^З, то эффективность для k= 1 состав-
составляет более 94%. Это иллюстрирует относительную нечувствительность эффек-
эффективности к отклонению от б^д.
(Дербин, 1954.)
40.9 Из очень большой совокупности последовательно извлекаются две
выборки с равными вероятностями, причем наблюдение ведется за разными
переменными. Дисперсия обеих переменных одна н та же и равна а, а кор-
корреляция между ними равна р. Первая выборка имеет объем га и дает сред-
среднее первой переменной /щ. Во второй выборке сохраняется доля f от первой
выборки (среднее первой переменной оказывается равным т\, а среднее вто-
второй переменной т^), а оставшиеся гаA—/) членов первой выборки (со сред-
средним первой переменной, равным т?) заменяются на новую выборку, дающую
среднее значение т2' второй переменной. Для среднего значения второй пере-
переменной имеются две независимые оценки. Одна из них тг, а вторая
т'г
62i
— двухэтапная регрессионная оценка, основанная иа наблюденном коэффи-
коэффициенте регрессии 62i значения второй переменной на значения первой пере-
переменной для nf сохраненных элементов. Показать, что
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ДОПОЛНЕНИЯ
а значит, линейная комбинация |112 и т" с МД равна
А =
337
/ , A-П {!-(!-,
— ( I — h2 аЧ ^1г "** II — П — Л2 о
Я»2
с дисперсией
40.10 В упражнении 40.9 показать далее, что независимыми оценками
разности между средними значениями двух переменных служат йх = т2 — т[
или d2 = m"— mj. Показать, что линейная комбинация с
вид
, i , , A — /)d- р)
2 — т[
н d2 с МД имеет
а ее дисперсия равна
(I-P)
2сг*
га {1 — р A
/)} *
(Иэйтс A960); Паттерсои A950) изла-
излагает теорию для нескольких переменных;
Вое A964) приводит формулу для дис-
дисперсии при выборе, одновременном по
времени и пространству.)
40.11 Простым случайным выбором извлекается га элементов из бесконеч-
бесконечной совокупности, состоящей из k слоев. Доля /-го слоя в совокупности равна
pi, а в результате выбора нз /-го слоя оказываются извлеченными raj элемен-
элементов, J] ni == п- Д° выбора фиксируются намеченные объемы выборок пц из
/-го слоя. Для тех слоев, для которых т( > га() внутри этих слоев независимо
проводится простой случайный выбор объема гщ — щ. Пусть затраты на от-
отдельные извлечения в исходной выборке равны с, в дополнительной выборке
внутри /-го слоя ci> с, а затраты иа лишние члены в 1-й слое (в намечен-
намеченной выборке) равны с\ < с. Показать, что математическое ожидание затрат,
необходимых для получения намеченной расслоенной выборки, равно
М (С) = пс + J] Р {nl < mz} M {т1 — п{ | га, < т^ с1 +
{t[ > mt} M {mt — я, | щ > mi) С/],
и что если т достаточно велики, то это приближенно равно
М (С, Ф пс + ? („ - с0[(«, - nPl) О {[n"l~Zll)r }
338
ГЛАВА 40
где G — стандартное нормальное распределение, a g— его плотность. Пока-
Показать, что если га увеличивается на единицу, то изменение М (С) равно
ДМ (С) - с - ^ [Р {га, < тг} (с, - е\) + <] рР
и что для наименьшего га, для которого ДМ (С) > 0, приближенно выполняет-
выполняется равенство
— с'А Pi
И-?*'}'""
В случае с^^О (т. е. когда затраты на лишние наблюдения во всех слоях
равны нулю) это равенство сиодится к
а если все ct равны, все с\ равны и все Pi = -r, то к
Р/ < С~С''
(Н. Джонсон A957); Янг A961) рассмо-
рассмотрел аналогичную последовательную схе-
схему, в которой выбор проводится из всей
совокупности до тех пор, пока из каждо-
каждого слоя не будет извлечено нужное чис-
число mi элементов.)
40.12 Используя D0.33), проверить выражения D0.44—9) для математиче-
математических ожиданий и дисперсий трех статистик, рассмотренных в 40.9.
40.13 Выписать разности Dl — 1—^|'\ —
в 40.9 и показать, что они положительны.
40.14 В 40.9 показать, что оценка
(Тии, 1965.)
ту
тхту
тх
с точностью до пг2 имеет математическое ожидание
М F) =
и ту же самую дисперсию, что и в, определенное в D0.32), так что фактиче-
фактически Ь и и эквивалентны,
(Тии A965)—оценка принадлежит Билу.)
ТЕОРИЯ ВЫБОРОЧНЫХ ОБСЛЕДОВАНИИ: ДОПОЛНЕНИЯ
40.15 Показать, что оценкой для D0.90) служит
W - п) ^_
-/-1
339
где mSJ — выборочный аналог ц^\
(Дербин, 1958.)
п ажненте 40^5 ВЫВеСТН D<Ш)> об°бщающее D0.90), и D0.95), обобщающее
(Дербин, 1958.)
40.17 Проверить численные значения среднеквадратичных ошибок для ше-
шести оценок из D0.29).
ГЛАВА 41
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИЙ
41.1 С определенной точки зрения почти весь этот том посвя-
посвящен многомерному анализу, т. е. анализу систем, каждый эле-
элемент которых характеризуется значениями многих подлежащих
измерению или классификации величин. Однако пока нам
обычно удавалось упрощать задачи: или (как при выборочном
обследовании) мы начинали с того, что интересовались оценкой
какого-либо одного параметра, например среднего, или (как при
планировании эксперимента) мы упорядочивали переменные в
уравнениях регрессии так, чтобы оценки коэффициентов регрес-
регрессии становились ортогональными, что приводило к тому, что при
классификации отдельные эффекты удавалось индивидуализи-
индивидуализировать.
Теперь мы пойдем дальше и изучим системы большей общно-
общности, характеризуемые зависимыми между собой величинами.
В этой главе мы обсудим несколько характерных задач о рас-
распределениях. Если не оговорено противное, первоначальные (или
основные) распределения мы будем считать многомерными нор-
нормальными. К сожалению, отличительной чертой обсуждаемой
тематики является то, что в других случаях найти точные рас-
распределения интересующих нас статистик очень трудно.
41.2 Вт. 1, главе 15 мы приводили две формы записи р-мер-
ного нормального распределения
( р р
dF ос ехр \ — т
/=1, 2,
где ц., а?— математическое ожидание и дисперсия ;-и величины,
а—матрица, обратная матрице рассеяния, а Л° —
<x
я°
(
элгменты
матрицы <я°, обратной к корреляционной матрице
В главе 15 мы мало касались проблемы выборок. Теперь мы
будем различать между собой теоретические и выборочные ха-
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИИ
341
рактеристики, т. е. параметры и их оценки. Пусть ajh — выбороч-
выборочное значение щъ, Cjh — выборочная ковариация, соответствую-
соответствующая теоретическому значению \jk. Тогда
У Ik = Ру*стуаь D1.3)
cik = rjkSjSk. D1.4)
Матрицу рассеяния, которую мы в главе 15 обозначали V, здесь
обозначим символом у, так что
«=Y-'. D1.5)
Из A5.15) (т. 1) следует, что характеристическая функция рас-
распределения D1.2) равна
Ф (/) = ехр {- tV/2} ехр {it'»}.
D1.6)
41.3 Выборочные значения хп, 1= 1, 2, ..., п, дают нам зна-
значение функции правдоподобия, которая равна произведению п
сомножителей типа D1.1). Логарифм этой функции будет сум-
суммой п слагаемых. Символом S обозначим суммирование по
элементам выборки, символом ? — суммирование компонент
многомерных величин. Тогда
что приводит к уравнению
ЙМ**-А*) = О. D1.8)
Так как а0 не вырождена, р таких равенств эквивалентны тому,
что
?* = *"*, А = 1, 2, .... р. D1.9)
В том, что выборочное среднее является оценкой МП теорети-
теоретического среднего, нет ничего удивительного.
41.4 Для параметра а3ь получим
-fift) = 0. D1.10)
Пусть /ljft — алгебраическое дополнение щк в |сс|. Заменяя jij
соответствующим ему х, получим
jkA а | = -i- S (х/ — A/) (xk — Аа) = с]к
D1.11)
342 ГЛАВА 41
Отсюда следует *), что
Y/* = c/Jk. D1.12)
В частности, выборочные дисперсии являются оценками МП
теоретических дисперсий, а для коэффициентов корреляций по-
получим
Все сказанное справедливо, когда оцениваются все параметры.
Иных случаев мы не будем касаться, так как они серьезного
практического интереса не представляют. Можно рекомендовать
читателю примеры 18.14—15 (т. 2) и упражнение 18.14, где рас-
рассматривается двумерный случай.
41.5 Строя доверительные интервалы для параметров, мы,
желая получить распределения типа Стьюдента или х2, сталки-
сталкиваемся с теми же трудностями, что и в одномерном случае.
Кроме того, мы сталкиваемся с новой проблемой, связанной
с построением доверительных интервалов одновременно для
всех компонент вектора. В качестве примера рассмотрим оцени-
оценивание средних в случае, когда теоретическая матрица рассея-
рассеяния известна.
В главе 15 мы видели, что линейным преобразованием слу-
случайные величины в D1.1) могут быть приведены к независимым
нормальным случайным величинам с единичными дисперсиями.
Отсюда следует, что величина
(х — ц)' х(х — ц)
имеет ^-распределение с р степенями свободы.
В пункте 41.6 мы бегло докажем, что распределение средних
многомерной нормальной выборки совпадает с распределением
исходных переменных с той только разницей, что матрица рассея-
иия здесь равна а/га. Отсюда и из D1.5) следует, что величина
п(х — mOY (x — ц) D1.14)
имеет х2-РаспРеДеление с р степенями свободы. Следовательно,
и при заданном уровне вероятности Р справедливо утверждение
D1.15)
Р (я (ж - ц)' Y-1 (ж - ц) > %%) = Р.
*) Вероятно, это не совсем очевидно. Мы использовали здесь просто до-
доказываемую теорему (см. 8.9) о том, что если <pi, .... <pm — функции пара-
параметров 9i, ..., 9m, то оценки МП величин <р получаются, если в функцио-
функциональных связях параметры в заменить их оценками МП.
Отсюда также следует, что оценки МП частных и множественных кор-
корреляций даются соответствующими выборочными статистиками.
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИИ
345
Так как, по предположению, у известно, последнее неравенства
и дает нам доверительную область. Последняя ограничена
р-мерной поверхностью второго порядка. Практическое исполь-
использование полученных результатов требует некоторой осторожно-
осторожности. Вопрос о смещении оценок мы обсудим в следующей главе,,
поскольку сейчас нас интересуют распределения.
Распределение Уишарта
41.6 Займемся исследованием совместного распределения
выборочных средних и характеристик рассеяния для многомер-
многомерного нормального случая. Предположим, что мы располагаем
случайной выборкой, состоящей из п независимых векторов.
Пусть хц — 1-е наблюдение у'-й координаты. Тогда
^п
х22
D1.16)
Распределение выборки дается формулой
dxi
~~2 S Z! ai^xfl~i1{)(Xki — P'i
1 = 1 l,k*°X
D1.17).
Из примера 11.7 и 16.25 (т. 1) нам уже известно, что при /7=1,2
это распределение можно «разложить» на два независимых рас-
распределения: одно для средних и другое для ковариаций. Прежде-
всего мы докажем, что то же самое верно и при любом р. Вос-
Воспользуемся известным алгебраическим тождеством
S Z
553 S Z a,ft (xji — Xj) (xkl — xk) + ra ? a,h (x, — цу) (xk — \ik). D1.18>
Тогда экспоненциальный член в D1.17) разлагается на два со-
сомножителя. Обратимся теперь к дифференциалам. Здесь удобно-
применить к переменным ортогональное преобразование Хель*
мерта того же типа, что использовалось в примере 11.3 (т. 1):
У\ = (*i —
2,
- 2*3)/У 6,
У п-\ = {хх +х2
У,г = {*1 + *2
*„_,— (п—
п{п— 1),
D1.19)
344
ГЛАВА 41
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИИ
345
(Индексы означают номера выборок.) Обратные соотношения
таковы:
Уп-l | Уп
Xi
if I i if 2
V2 V6
+ ... +
V« (« -1)
x2
?l
Уг
I I У2 I I
0П-1
Уп
хп =
/n— 1 4 T= •
D1.20)
Так как |/| =1, дифференциальный элемент в D1.17) равен
просто
dy».
D1.21)
Обратившись к D1.18) и вспоминая, что yn — -\jnx, мы видим,
что второй сомножитель зависит лишь от yin (/==1, ..., р).
В силу D1.20) первый сомножитель зависит только от у,, . .., {/„_,.
Следовательно, мы можем выделить в первоначальном пред-
представлении сомножитель, соответствующий второму члену в
D1.18), а также соответствующий дифференциальный элемент.
Подобрав необходимый постоянный сомножитель, получаем, что
для средних
р
~х,). D1.22)
В формулах присутствует величина п, во всем остальном совме-
совместное распределение для средних совпадает с распределением
исходных переменных.
41.7 Таким образом, распределение выборочных дисперсий
я ковариаций сосредоточено на произведении (п — 1)-мерных
пространств, ортогональных вектору выборочных средних. Так
как ортогональное преобразование представляет собой просто
поворот координатных осей, оно не меняет расстояния и углы.
А поскольку лишь от них зависят дисперсии и ковариаций (см.
пример 11.7 и 16.24), последние также остаются неизменными.
Из D1.18) и D1.22) получаем, что «недифференциальная часть»
распределения равна
е
Bя)(
(п.—1) р/2
К 1к
ехр(— -f-
D1.23)
Наша основная задача — выразить дифференциальный элемент
на языке с,ъ. Пусть
{иу1, ...,и,,„_!)} (/=!,...,/>) D1.24)
— результат некоторого ортогонального преобразования (вид
которого мы уточним позднее) (и—1)-мерного вектора
{УП'---'Уип-\^- Тогда ковариация cjk дается формулой (см.
также D1.20))
п—1
nclk = S
ii
D1.25)
Заметим, что здесь и в дальнейшем мы будем понимать под п
не степень свободы характеристик рассеяния, а размер выборки.
Потребуем, чтобы п — 1 ;$= р.
Следуя рассуждениям 16.24 (т. 1), рассмотрим р (п—1)-
мерных гиперплоскостей, по одной для каждого и. Точки, соот-
соответствующие выборкам, обозначим Pi, ..., Рр. Будем по оче-
очереди варьировать Рь затем Р2 при условии, что Р{ фиксиро-
фиксировано, затем Р3 при условии, что фиксированы Р2 и Ри и т. д.
Для того чтобы изучить полную вариацию Pi, ..., Рр, объеди-
объединим полученное.
Рассмотрим Рт при заданных Pi, ..., Рт-\- Пусть О — на-
начало координат. Представим себе, что наши пространства (ги-
(гиперплоскости) совмещены. При фиксированном ОРт и фикси-
фиксированных углах РтОРи РтОР2, .... РтОРт-х точка Рт распо-
расположена на сфере размерности п — т. Пусть tm — длина
перпендикуляра, опущенного из точки Рт на гиперплоскость,
порожденную О, Pi, ..., Рт-\. Тогда «объем», в котором проис-
происходят допустимые изменения Рт, равен «поверхности» (п — га)-
мерной гиперсферы радиуса tm, которая равна *)
n—m—1
D1.26)
Нам нужно умножить это на «дифференциальный элемент», со-
соответствующий направлениям, перпендикулярным гиперсфере.
В m-мерном пространстве, порожденном О, Р\, ...,Рт, рас-
рассмотрим преобразование, основанное на D1.25):
п—1
%т} = ncmj — О ип
/ = 1, 2, ..., т. D1.27)
При этом ортогональное преобразование, соответствующее ве-
величинам и (см. D1.24)), будем считать как раз таким, чтобы
величины umi, ..., итт соответствовали координатам рассмат-
*) См. Kendall M. G., A course in the Geometry of n Dimensions,
стр. 42,
346
ГЛАВА 41
риваемого /л-мерного пространства. Тогда якобиан преобразо-
преобразования D1.27) равен
г__
д («mi Umm)
«п
«21
«12
«22
/П
«2/П
2«mi
2ия
2«„
. D1.28)
Последнее равно 2vm, где ито — объем параллелепипеда (т-мер-
ный параллелограмм), порожденного О, Рх Рт. Следова-
Следовательно, дифференциальный элемент равен
D1.29)
Умножая это на D1.26), получаем, что полная вариация Р
равна
-(я—m)/2in—т
—I m
Но
и в силу D1.27)
Т{(п-т)/Щ vm lld%""l-
*т = Vm/Vm-U
,=== vn,
D1.30)
D1.31)
D1.32)
где 11*/ l(m) — определитель матрицы (lkj) при &, / = 1 m.
To же относится и к | ukj |(/n). Таким образом, D1.30) равно
_(n—/n)/2 „n—m—2
Г{(я-т)/2}
D1.33)
Перемножим теперь выражения типа D1,33) при т— 1, 2, ...
..., р. Степени и сократятся, за исключением о0 (которое равно
единице) и vp, и мы придем к выражению
Я'
р Bп—р—1)/4
/п р
D1.34)
Из D1.32) следует, что
°Pe|6,»|-»'|«/*|- <41;35>
Объединяя D1.34—5) и D1.23), получаем распределение ха-
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИИ
347
рактеристик рассеяния:
J „ (п/2)р ("-'>/21 а[("-1)/2
а г —
Д
яР(Р-1)/4ДГ{(я_/)/2}
X ехр { - f
e/Jkc/fc
-36>
/<ft
Это распределение Уишарта A928). Равенство (П.41) в при-
примере 11.17 соответствует р = 1, A6.54) — слегка преобразован-
преобразованное выражение, соответствующее р = 2.
Читателю, который найдет наше «геометрическое» доказа-
доказательство сложным, можно рекомендовать обзор иных доказа-
доказательств, содержащийся в статье Уишарта A948). С самых:
разных точек зрения описанное распределение можно рассмат-
рассматривать как обобщение ^-распределения на /7-мерный случай.
41.8 Отметим ряд дополнительных, но немаловажных свойств
распределения:
(а) Показатель экспоненты в D1.36) содержит суммы по
всем у, k, и, так как «*3- = ctjft, ckj = cih, все члены суммы по-
появляются парами, за исключением случая j = k. Поэтому су-
существует ровно р членов типа а.цСц и ровно р(р—1)/2 членов
типа a.\2Ci2. Например, при р = 2 показатель экспоненты равен
— п (аиси + 2щ2с12
(б) Дифференциальный элемент содержит /?(/?+ 1)/2 сомно-
сомножителей, а не р2. Так, при р = 2 этот элемент равен dcudci2dc22-
(в) Каждое из с^ может меняться от 0 до оо, для осталь-
остальных с область изменения определить нелегко, так как мы
связаны условием положительной определенности матрицы
(Cjh)- Поэтому довольно трудно провести интегрирование по
каким-либо отдельным переменным для того, чтобы получить
распределение остальных.
(г) Определяя выборочные дисперсии и ковариации, мы де-
делили соответствующие суммы произведений на п. Можно про-
производить деление и на га— 1; в этом случае надо соответствую-
соответствующим образом откорректировать D1.36). Читатель может
встретить этот вариант в литературе, поскольку общеупотре-
общеупотребительного подхода здесь нет.
41.9 Мы можем теперь вычислить характеристическую функ-
функцию распределения Уишарта. Употребляя один знак интеграла
для обозначения интегрирования по всей области изменения
величин с, из D1.36) получаем
J | с |("-р-2)/2ехр {-raj] afkctk/2 } JJ dcJk - k | а Г<"-1)/2, D1-37)
348
ГЛАВА 41
где k — некоторая постоянная. Если мы заменим ccj,- на а,-;—¦
— 2Qjj/n, txjh на а.,* — 8jA/«, / Ф k, a под обозначением 8,й бу-
будем понимать обычную мнимую переменную itjk, выписанный
интеграл даст нам х. ф. для с. Производя соответствующую
замену в правой части D1.37) и подбирая постоянную так,
чтобы ф равнялась единице при 8 = 0, получаем
а„-2в„/я о12 - 912/я ... а1р— 9,р/я '-<п-1)/2
/дч __ | ЛП—Ч14 _ | <*2I — 92l/n «22 2922/Я . .. игр 62р/Я
— вр]/л ор2— вр2/я ... арр-~2вРр/п
D1.38)
Этот прием замены, позволяющий избежать непосредствен-
непосредственного интегрирования, весьма полезен и будет использоваться
в дальнейшем.
Пример 41.1
В двумерном случае (р = 2), используя обычные обозначе-
обозначения (дисперсии единичны), имеем
V I = 1 - Р2,
л ^
Таким образом, D1.36) сводится к виду
dF =
(п/2)
п—1
ft—4 _гс —4 t
ч(п-4)/2
Г {(я _ 2)/2}
X ехр { 2(Г-Рз) E? - 2Prs,s2 + 4)}
X
(si) d (rSls2).
Используя формулу удвоения
Г {(п - 1)/2} Г {(п - 2)/2} = я1'2 Г (п - 2)/2;
п—3
получаем
*г**гЧ1 - rin-m
4яГ(п —2)
X
X
s>) d №) d (
-39)
Последнему выражению легко придать форму, встречавшуюся
в 16.26.
ТЕОРИЯ МНОГОМРРНЫХ РАСПРЕДЕЛЕНИЙ
349
Пример 41.2
Займемся вычислением моментов распределения ковариаций
при р = 2. Из D1.38), положив 6ц = 922 = 0, получаем
ф(812)сс
1-р2
1 — Р2
1
Ql2
п
-(П-1У2
D1.40)
Вычислив определитель и подобрав постоянную из условия
<р@)= 1, получаем
Беря логарифм и вычисляя коэффициенты при 9i2, находим
я- 1 .
+Р2),
2(га-1)
D1.42)
D1.43)
D1.44)
D1.45)
При стандартной нормировке и га, стремящемся к бесконечно-
бесконечности, распределение сходится к нормальному. При конечном га
4 Р*C + рТ D146)
Г
р2K '
' + 6Рг +
Так что, даже если р = 0, распределение хотя и симметрично,
но не является нормальным.
В примере 13.3 (т. 1) мы получили эти результаты иным
путем.
Уишарт A929) получил точные формулы, вплоть до четвер-
четвертого порядка, для jo^8.
Аддитивное свойство распределения Уишарта
41.10 Следует отметить свойство распределения Уишарта,
аналогичное одному свойству %2 в одномерном случае.
Предположим, что мы располагаем двумя независимыми
выборками размера п\ и п2, соответствующими одному и тому
*) Под pi и 02 — 3 автор подразумевает соответственно коэффициенты
асимметрии и эксцесса, см. т. 1, стр. 125. (Прим. ред.)
350
ГЛАВА 41
же многомерному распределению. Если мы объединим их, ха-
характеристики рассеяния объединенной выборки будут, конечно,
подчиняться распределению Уишарта для выборки размера
п\ + П2. Но мы можем рассмотреть также распределение ха-
характеристик рассеяния для каждой выборки. Образуем новую
матрицу рассеяния, складывая соответствующие характери-
характеристики:
где верхние индексы соответствуют номеру выборки. Тогда
распределение cjft совпадает с распределением Уишарта, если
в последнем п заменить на щ + «2— 1-
Наиболее просто это, пожалуй, получить, исследуя харак-
характеристические функции. Если рассмотреть совместное распре-
распределение величин с<'> и с&> и выписать соответствующий аналог
D1.37), то легко увидеть, что х. ф. величин с сама представима
в виде D1.38).
41.11 Выборочная теория характеристик рассеяния стала
бы более полной и более красивой, если бы нам удалось, от-
оттолкнувшись от распределения Уишарта, получить распределе-
распределения каких-либо функций от дисперсий и ковариаций, интегрируя
по соответствующим областям так, чтобы исключить ненужные
нам переменные. К сожалению, в общем случае задача оказы-
оказывается исключительно сложной. Однако мы можем, как и в при-
примере 41.2, вычислить моменты и смешанные моменты характе-
характеристик рассеяния. Как правило, этого оказывается достаточным,
и точные распределения не нужны. Тем не менее существует
еще ряд ситуаций, где можно добиться определенного успеха.
Моменты определителя рассеяния (обобщенной дисперсии)
41.12 Рассмотрим распределение определителя рассеяния \с\.
В силу D1.36) взятый по дисперсиям и ковариациям интеграл
$/„/9чР(п-1)/2|а|(п-1)/2| |(л-р-2)/2 f _, •» ТТ
Ш* Щ Ш ехр { - n? aikclk/2 } Д dcIk = 1.
яр(р-.)/4дг{(я_/)/2}
Пусть гаа/4 —Pyft. Тогда
5"^^—_Jp-n/4 exPi —
пр(р-1)/4
= 2
Р {п~m
D1.49)
in*»-
Дг{(п-/)/2}. D1.50)
\ !
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИИ 351
Заменим я на п +2t и разделим все на |Р1'. Имеем
D1.51)
Если мы теперь заменим p/fe на nalk и разделим все на
2р(л~1)/2ПГ {(п —-/)/2}, мы получим слева математическое ожи-
ожидание | с \*. Итак
D1.52)
D1.53)
П
'' Пг««
2?'
Upt'
Г {< + (я - 0/2} j v |t
Отсюда можно получить моменты и семиинварианты какого
угодно порядка. Отметим, что прием замены переменных снова
помог нам избежать вычисления весьма громоздких интегралов.
41.13 Следует отметить еще одно следствие из D1.53). Пусть
djk равно сумме произведений отклонений от среднего, так что
djk = ncjh. Тогда
<(
Моменты относительно нуля случайной величины %2 с v степе-»
нями свободы равны
,,r_9t Г(/ + у/2)
Pt—Z r(v/2) •
Правая часть D1.54) равна произведению р таких сомножите-
сомножителей с v = п— 1, п— 2, ..., п — р. Вспомнив, что момент произ-
произведения независимых случайных величин равен произведению
их моментов, получаем, что |d|/|v| может быть представлено
как произведение р независимых сомножителей, распределен-
распределенных как х2 с п — 1, ,.., п — р степенями свободы.
Пример 41.3
При р = 1 мы сталкиваемся с тем известным фактом, что
нормированная (точнее, деленная на теоретическую дисперсию)
сумма квадратов наших величин распределена как %2 ел—1
ст. св.
352
ГЛАВА 41
При р = 2 для |d|/|v| из D1.54) находим, что
Используя формулу удвоения для гамма-функций
Г (ж) Г (х + 1/2) = л1/2Г B^/2^-',
приводим D1.55) к виду
D1.55)
D1.56)
- 2). D1.57)
Последнее является моментом порядка 2t величины, имеющей
гамма-распределение с параметром п — 2 (см. пример 4.4 т. 1).
Поэтому момент порядка / величины 2|^|/|у| равен моменту
порядка 2/ величины %2 с 2 (га—2) ст. св. Это частный случай
результата примера 11.9 т. 1.
Корреляционный определитель
41.14 Значительный интерес представляет изучение совмест-
совместного распределения выборочных корреляций. В общем случае
(ненулевых теоретических корреляций) распределение весьма
сложно даже при р = 2 (см. 16.26—7). В «нулевом» случае,
т. е. в случае, когда теоретические корреляции равны нулю,
можно добиться некоторого успеха. Распределение Уишарта
D1.36) тогДа сводится к распределению
dF= {^^i^Z^{-ntctii2\ Цdc"- Di-58)
Перейдем к новым переменным с помощью равенств типа
Cjk = sjSkTjk- D1.59)
Якобиан
/ = 2рП*р. D1.60)
Он не зависит от rik, так же как и показатель степени з
D1.58). Следовательно, члены, зависящие от s, могут быть
факторизованы (выделены в качестве сомножителей), в резуль-
результате чего мы получим распределение корреляций:
[Г {(п - 1 )/2}]р
яр(р-1)/4ПГ{(я_/-)/2}
ТТ
Ц
D1.61)
где \г\ — определитель выборочной матрицы корреляций, а по-
постоянная подобрана так, чтобы интеграл от плотности был ра-
равен единице. Дальнейшему прогрессу вновь мешает сложность
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИИ
353
области интегрирования. Однако мы можем найти моменты
|г|, поступая в духе пункта 41.12. Моменты
Ml г Г tr«*D/2}F М
{(я - J)I2)
Пример 41.4
Обозначив L = log| r |, v = (га— 1)/2, /п= (/— 1)/2, из D1.62)
получаем, что
М (РИ\ _ ГГ Г (у) Г (у - т + t) (M доч
М(б )==llr(v+0" r(v-m) • DL63)
Правда, последнее было доказано только для целого t, но
к общему случаю всех t можно перейти с помощью аналитиче-
аналитического продолжения. Если мы теперь будем рассматривать t как
мнимую величину, D1.63) даст нам характеристическую функ-
функцию L. Тогда производящая функция семиинвариантов равна
р
?
Воспользуемся разложением
logr(x) =
D1.64)
D1.65)
При больших v подстановка в D1.64) даст нам для члена
в скобках представление
Положим теперь т = (j— 1)/2 и возьмем сумму по / от 1 до р.
Получаем
ф = - р (р — 1) t/4v + О (ф2) + р(р—\) fi/8v2 + О (v-3). D1.67)
Отсюда
4V
O(v~2),
Далее
f-f-yiogrw--
D1.68)
D1.69)
D1.70)
12 М. Кендалл, А, Стьюарт
354
ГЛАВА 41
Следовательно, из D1.64), положив (/— 1)/2 = /п, с точностью
до «больших степеней v» получаем, что
р
dt«
t=Q
= (- 2v)~* 2* (& - 1)! p (p - l)/2. D1.71)
Сравнение с равенством A6.4) (т. 1) показывает, что при
подходящем выборе начала координат величина —2vlog|r|
асимптотически распределена как х2 с р (р — 1)/2 степенями
свободы. Из D1.68) видно, что с точностью до порядка v~l
среднее (иначе сказать, новое начало отсчета) равно нулю.
Итак, величина —(га—l)log|r| асимптотически распреде-
распределена как х2 с Р(р— 1)/2 ст. св. Бартлетт A951) получил более
тонкий результат: он показал, что
— {л — Bр + 1)/6} log | г |
распределено как х2 с />(/>—0/2 ст- св- Дополнительный член
получается, если учесть в среднем члены порядка пг1. Для
практики такое уточнение не имеет большого значения.
Пример 41.5
Интересно сравнить полученные в предыдущем примере ре«
зультаты для определителя корреляций в «нулевом случае»
с теми, что мы получили в 41.13 для определителя рассеяния.
Не теряя общности, предположим, что теоретические дис-
дисперсии равны единице, а теоретические коэффициенты корреля-
корреляции— нулю. Тогда, из 41.13 получаем, что величина
я" | с | = (ras2) (ns2) ... (ns2p) | г | D1.72)
равна произведению р независимых ^-величин с га—1,
п — 2, ..., га — р степенями свободы, в то время как вели-
величина — (п— l)log|r| асимптотически распределена как %2 с
р(р— 1)/2 степенями свободы.
Теперь, применяя B7.61) к выборочному, а не теоретиче-
теоретическому распределению, получаем, что в наших обозначениях
l-R?\2...P) = \r\JRu, D1.73)
где /?iB... р)— множественный коэффициент корреляции вели-
величины xi по отношению к х2, ¦ ¦ ¦, хр, a Rn — алгебраическое до-
дополнение Гц (=1) в определителе корреляций. Многократно
используя эту формулу, каждый раз переупорядочивая индексы,
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИИ
355
получаем, что
{1 — /?p(i2...(p-i))}{l — /??p_i)(i2... (р-2))} ... {l
где /?§A)
= \r\, D1.74)
() то же самое, что и корреляция нулевого порядка г|.
Кроме того, все х независимы, и, следовательно, все сомножи-
сомножители в левой части D1.74) независимы (см. 27.30).
Распределение U = 1—R2, основанное на выборке п и q
величин, равно (см. B7.74))
В {(</-
dU.
D1.75)
2, (n-q)l2)
Таким образом, |г| распределен в точности как произведение
р—1 независимых бетта-величин с параметрами ((га—а)/2,
(\)l2) 2
Поступая так же, как и в предыдущем примере, мы можем
найти моменты U, а следовательно, и характеристическую
функцию log U. На самом деле известно, что —(п—1) log f/
распределено приблизительно как х2 с Я— 1 степенями свободы.
Таким образом, —(га—l)log|r| приближенно равно сумме
р независимых х2-величин с (р — 1), ..., 1 ст. св., а следова-
следовательно, равно х2-величине с р(р—1)/2 ст. св. Это согласуется
с результатом, который мы получили в предыдущем примере.
Отношение \r\/Rn равно также (см. B7.34)) s2.2... p/sf- В Ru
соответствующее отношение равно 4-з...р/4 и т- Д- Итак, из
D1.72—4) получаем
Суммы квадратов типа ras2(ft) представляют собой остатки, кото-
которые независимы и имеют соответственно га — р, га — jo+1, ...
..., га — 1 ст. св.
Таким образом, яр|с| равно произведению независимых х2-
величин с теми же степенями свободы. Это подтверждает ре-
результаты 41.13.
Г2-статистика Хотеллинга
41.15 Рассмотрим теперь полученное Хотеллингом обобще-
обобщение отношения t Стьюдента*). Пусть, как и в 41.13 djk — ncjh,
a (Djh)—матрица, обратная (djk). Положим
D1.77)
E
*) В данном параграфе автор подразумевает (не оговаривая этого), что
вектор теоретических средних исследуемой многомерной нормальной величины
является «нулевым». (Прим. ред.)
12*
356
ГЛАВА 41
При р = 1 имеем
dn = ns\, Dn=l/(ns>),
Г2 п(п — 1)х2 (п — 1)х2 ,2
f
яв,
Мы видим, что в одномерном случае Т сводится к статистике
t Стьюдента. Пусть гп^ — суммы произведений отклонений от
начала координат:
D1.78)
Определитель | {nijk) | может быть записан в виде
JCiV« х2л/п ...
О dn+nx2t dl2+nxxx2
О d2l+nxtx2 d^ +nx\
nxlxp
p2'
¦nxpx2 ...
D1.79)
Вычитая из второй строки первую, помноженную на xt -yj~n, из
третьей строки первую, помноженную на х2л/п, и так далее,
находим
1 Х\
\(m,k)\=
d2l
d2p
dpP
D1.80)
Раскладывая по первой строке и первому столбцу, получаем
I (mlk) I = | (dlk) | + E nDlkx,xk • | (d,k) I.
Тогда из D1.77) следует, что
D1.81)
D1.82)
41.16 Обратимся к геометрической интерпретации получен-
полученного результата. При р = 1 числитель и знаменатель D1.82)
равны соответственно d\\ и шц, т. е. соответственно квадрату
расстояния от выборочной точки Р\ (в м-мерном выборочном
пространстве) до ее проекции на единичный вектор с равными
направляющими углами, и квадрату расстояния от Pi до на-
начала координат О. Отношение равно квадрату синуса угла
между OPi и «единичным вектором». Это и есть то геометриче-
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИИ
357
ское истолкование, к которому приводило нас распределение
Стьюдента в примере 11.8 (т. 1).
В общем случае рассмотрим р совмещенных выборочных
пространств, которые уже изучались при выводе распределения
Уишарта в 41.7.
Из соотношения, аналогичного D1.32), получаем, что | (mik) |
равен квадрату объема многомерного параллелепипеда с одной
вершиной в начале координат и со сторонами, параллельными
ОРи ..., ОРР.
Далее, если Н — гиперплоскость, перпендикулярная «еди-
«единичному вектору», и О' — точка пересечения вектора с плос-
плоскостью, то, как легко видеть, проекции Ри .... Рр на Н, ска-
скажем, Р\, ..., Р'р таковы, что djk как раз равны суммам квад-
квадратов или попарных произведений отклонений в Я от О', как
начала координат. Поэтому | (djk) | равен квадрату объема па-
параллелепипеда в Я, а отношение | (djh) | к | (mjfe) | равно квад-
квадрату косинуса угла между Н и гиперплоскостью ОР\ ... Рр.
Обозначив этот угол 0, имеем
*9 <4>
Далее, если выборочные точки Р,- случайным образом рас-
распределены в n-мерном пространстве, гиперплоскость, которую
они порождают, образует случайный угол с любым фиксиро-
фиксированным вектором, в частности с тем единичным вектором, ко-
который рассматривался выше. Выборочное распределение 9
представляет собой тогда распределение угла между фиксиро-
фиксированным вектором и случайной гиперплоскостью. Но это то же
самое, что и распределение между фиксированной гиперплос-
гиперплоскостью и случайным вектором. Задачу о нахождении послед-
последнего распределения мы с несколько иной точки зрения решали
в связи с множественным коэффициентом корреляции R. Мы
видели B7.26 т. 2), что R может рассматриваться как синус
угла между «остаточной» величиной л:,.2 р я пространством,
содержащим остальные величины х2, ..., хр. Если одно не
зависит от другого, мы можем что-то одно зафиксировать. Та-*
ким образом, можно написать, что
.) = 1-J?2- D1'84)
При этом мы должны помнить, что в распределении величины
R2, а именно в формуле
dti
ВЦп-р)/2, (р-1)/2) ^"
/j — полное число всех величин, а при составлении уравнения
регрессии значения переменных центрируются их средними.
358
ГЛАВА 41
Применяя D1.85) к распределению Хотеллинга, мы должны уве-
увеличить р на единицу, так как к имеющимся величинам добав-
добавляется еще одна — «единичный вектор». Мы должны увеличить
на единицу и п, так как варьирование не ограничивается откло-
отклонениями от среднего.
Осуществив эти изменения и проведя замену в D1.85) со-
согласно D1.84), получаем распределение Т2:
dF =
В {(я - р)/2, р/2} {1 +Г"/(в-1)}я
n-
86)
Иначе говоря,
(п - Р) Т2
Р(п-Х)
имеет распределение F(p, n — р). D1.87)
Чтобы изложенная выше теория оставалась строгой, мы, как
и для распределения Уишарта в 41.7, требуем, чтобы п— 1 ^ р.
Полученное распределение можно очевидным образом исполь-
использовать для проверки того, что исследуемый вектор имеет сред-
среднее Цо- Для этого надо измерять х относительно ji<) как начала
координат и воспользоваться распределением D1.87).
41.17 Этот же результат можно получить, используя прием
замены из 41.12. Заметим, что если в распределении Уишарта
смешанные моменты относительно средних заменить теми же
моментами относительно начала координат, скажем, с', рас-
распределение не меняется, за исключением того, что появляется
дополнительная степень свободы. Тогда
ехр( — - У aikc' /2 IП dc' D1.88)
dp (n/2)pn/2\а\п'2] с';<«—р—»>/а
— пр <P-W4nr {(/t + 1 — /)/2}
Как и в D1.53), находим
Теперь мы можем выписать также D1.88) в форме, подсказан-
подсказанной первоначальным видом распределения Уишарта:
(я + 1 - /)/2)
D1.89)
| |(n-p-2)/2
Х
D1.90)
Если мы умножим это на \с'\* и проинтегрируем, мы получим
правую часть D1.89). Заменим п на п + 2и и разделим на
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИЯ 359
j Р/21". Разделив еще на соответствующую постоянную, по-
получим
2Р С +«)
t+u
п
Напомним,
D1.91). Тогда
что
Г {и + (я + 1 -1I2} Г {(я - /)/2}
с|/|с'| = |d|/|m|. Положим
D1.91)
= —и в
<>« и«Iг -
__ Т(п/2)Т{и+(п-р)/2}
~~ Г (и + я/2) Г {(я - р)/2}
_ Д {и + (w - р)/2, р/2]
Это ы-й момент распределения
dF = [В {(я — /?)/2, р/2}]-1
D1.94)
которое однозначно определяется своими моментами. Следова-
Следовательно, D1.94) — распределение отношения |d|/|m| и переходя,
согласно D1.82), к Т, мы приходим к D1.86).
Существенной чертой статистики Т% является то, что она
представима в форме z'V~lz, где z — многомерный нормальный
вектор с нулевыми математическими ожиданиями и матрицей
рассеяния V, а V — оценка МП для V, подправленная таким
образом, чтобы было устранено смещение. Выше z равнялся х,
а V = d/n(n—1). Аналогично мы можем определить стати-
статистику критерия для случая двух выборок (обобщая критерий t2
Стьюдента для двух выборок), положив z—(x{—х2), V =
= Р (/if1 + rtjf1), где Р — несмещенная оценка общей матрицы
рассеяния двух совокупностей, вычисленная по объединенным вы-
выборкам. Условие, соответствующее условию п—1 ^ р в 41.6,
здесь имеет вид tti + п% — 2^/7. Противоположный случай см.
у Дэмпстера A958).
41.18 До сих пор мы обобщали на /7-мерный случай резуль-
результаты теории выборочных распределений для средних, характе-
характеристик рассеяния и отношений Стьюдента в нормальной схеме.
Естественно выяснить, будет ли аналогично обобщаться кри-
критерий Фишера для отношения двух независимых дисперсий. Мы
¦отложим обсуждение этого вопроса до следующей главы, где
он естественно возникнет в задачах проверки гипотез. Отметим,
однако, что точные распределения величин, соответствующих.
360
ГЛАВА 4|
например, величине z Фишера, получить трудно, но моменты
могут быть вычислены так же, как и в 41.12. Представляет не-
некоторый интерес также тот факт, что в обобщениях диспер-
дисперсионного анализа в качестве статистики критерия появляется
не отношение двух независимых определителей рассеяния, а от-
отношения типа |ci \l\c\ + с2\, где с\ и с2 независимы.
В одномерном случае перейти от s2js\ к s\j{s\+ s|) просто,
но это уже не представляется возможным при двух и более
измерениях.
Результаты для больших выборок
41.19 Даже в нормальном случае, когда мы не имеем дело
с семиинвариантами порядка большего двух, существует обе-
обескураживающее обилие параметров: р средних, р дисперсий,
(р—1)/?/2 ковариаций (или корреляций), т. е. всего р(р + 3)/2
параметров. Даже при таком малом р, как 5, число параметров
равно 20, а при р— 10 их 65. Поэтому в общем случае задача
о распределениях практически неприступна, хотя, ограничи-
ограничиваясь, например, случаем независимых величин, когда все кор-
корреляции равны нулю, мы можем избавиться от большого числа
параметров.
В такой ситуации не следует пренебрегать результатами, ка-
касающимися больших выборок, хотя это часто и делают.
Учитывая лишь первый порядок по п, имеем
Mcjk =
С точностью до того же порядка
Г п. п \
=n-2M \ ? xiaxka ? xibxmb \ .
I. a=l 3 = 1 J
D1.95)
D1.96)
При а =7^= Р элементы в двух суммах справа независимы. Суще"
ствует ровно п{п— 1) таких случаев, и для них математиче"
ские ожидания равны У{кУш- При а = р появляются п членов
типа M(xjaxkaxlaxma). В общем случае такое выражение содержит
семиинварианты четвертого порядка, но при нормальном рас-
распределении, обращаясь к х. ф. для х
Ф = ехр ( —
? Z
находим, что
М (xlaxkaxlaxma) = yikyim + У1тУы +
Подстановка в D1.96) дает нам, что
М {cikClm) = П-1 (Y/mYftZ + Y/jYfc
D1.97)
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИИ
361
и, следовательно,
cov(c,k, с1т) = п~1 (Y/mYft< + Y/zYftm)- D1.98)
В частности, если }=k — l — m=\, мы получаем известный
результат:
Dcn = 2Y?,/n = 2<J4{/n. D1.99)
Пример 41.6
В наших обозначениях безразлично, используем ли мы сим-
символы, соответствующие выборочным или теоретическим распре-
распределениям *),
Г.2 = Yl2/(YllY22I/2.
rfVia dyn dy22
—H—^Г~
Точно так же
dyn dy33
D1Л00)
D1.101)
Перемножая D1.100) и D1.101) и беря математические ожи-
ожидания, получаем
cov(ri2, rl3) __ cov(y12, y13) соу(уц, Via)
Y12Y13 2VllYl2
cov(Y22, Y13) соу(узз, Yi2) . Dya
2Y22Y13
.
I COvCvn, Узз) , СОу(у„, у22) СОУ(угг, Y33) .
+ 4уиузз + 4YllY22 H 4Y22Y33 ' D
Используя связи типа D1.98), приводим это к виду
(.2> г.з) = Г2зA-г?2-г?з)+г12г13(г?2+г|3 + 13-1)/2. D1.103)
Корреляцию ri2 и г\3 легко определить из тех соображений, что
п D г = A — г2J.
Собственные числа матрицы рассеяния
41.20 В последующих главах мы столкнемся с ситуациями,
где нам понадобятся собственные числа случайных матриц.
Если (Cjh)—матрица рассеяния, мы будем стремиться изучить
поведение корней уравнения
\clk~ Я6уь| = |с-Я/|=0, D1.104)
*) Приведенные инже выкладки имеют приближенный (асимптотически
по п точный) смысл, так как автор весьма произвольно заменяет (там, где
это ему удобно) теоретические коэффициенты корреляции (е) выборочными
(г) и наоборот. (Прим. ред.)
362
ГЛАВА 41
где 6jfc — символ Кронекера, равный нулю, если / Ф k, и еди-
единице, если / = k.
Мы воспользуемся тем фактом из теории матриц, что если
с—положительно определенная матрица, все ее собственные
числа действительны и неотрицательны. Лишь в исключитель-
исключительных случаях эти числа равны, и если q из них равны нулю, с
вырождена и имеет ранг р — q.
41.21 По сути дела D1.104) является частным случаем урав-
уравнения
\с,к — Щк\=*0, . D1.105)
где b и с — независимые матрицы рассеяния, основанные на т
и п наблюдениях соответственно.
Мы можем придать D1.105) другую, эквивалентную форму:
\u(c,k + blk)-bik\ = 0, D1.106)
где
„=1/A+Я), Я = A -»)/». D1.107)
Сложность задачи о распределении связана с тем, что корни Я
(или и) не являются алгебраическими функциями элементов
матриц рассеяния. Легче получить выборочные распределения
симметрических функций этих корней, чем распределения самих
корней.
41.22 Предположим, что теоретическое распределение нор-
нормально с единичными дисперсиями и нулевыми коэффициен-
коэффициентами корреляции. Из D1.58) находим, что плотность совмест*
ного распределения с& и bjh
I „ |(п-р-2)/2 , h ,(m-p-2)/2
М Ш exp
/сх
Г {(я - /)/2} Г {(«- /)/2}
i-n ?
D1.108)
В главе 43 мы увидим, что. каждому корню уравнения
D1.106) соответствует собственный вектор lj такой, что
{b — Uj(b + c)}ti=O, D1.109)
и мы можем выбрать // так, что
|J F+ <?)*/=!• D1.110)
Если / — (р X /?)-матрица собственных векторов, то из D1.109)
получаем
Ы = (Ь + с) tu, D1.111)
где и — диагональная матрица с диагональными элементами
щ, ..., ир. Предположим теперь, что щ расположены в порядке
убывания: щ ^ .,. ^ ир.
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИИ
Из D1.109) получаем
363
и, транспонируя (бис симметричны),
D1.112)
Таким образом,
W = «^F + <0'r D1-113)
Из D1.112) и D1.113) следует, что если и}фии, то
lUb + c)lj = O. D1.114)
Умножая D1.111) слева на /' и используя D1.110), получаем
1'Ы = и. D1.115)
Из D1.110) и D1.114) следует, что
l'(b + c)t = I, D1.116)
и, следовательно,
Ь + с=AТ1Г1.
Точно так же из D1.115) получаем
6 = (Г) иГ\
D1.117)
и, следовательно,
с = i
D1.118)
D1.119)
41.23 Возвращаясь к D1.108), мы видим, что преобразова-
преобразования D1.118—19) приводят плотность вероятности к виду
/ос
(n-p-2)IZ
(т—р—21/2
ПГ {(п. - 1I2) Г {(т - 0/2}
X
X {функция от /}. D1.120)
Рассмотрим якобиан преобразования.
Впоследствии выяснится, что распределение и не зависит от
распределения /, и вклад последнего в общее распределение мо-
может быть «факторизован» (выделен в качестве сомножителя).
Из D1.118) и D1.119) получаем, что 6 и с в отдельности
содержат р(р-\- 1)/2 переменных, всего р(р-\- 1). С другой сто-
стороны, имеется р2 переменных в I и р переменных и—всего
снова р(р-{- 1). Якобиан для 6, с такой же, как и для b, b -f- с.
364
ГЛАВА 41
Обозначив в D1.118) и D1.119) /-' символом g, рассмотрим
якобиан преобразования
b=g'ug, D1.121)
b+c=g'g. D1.122)
Мы докажем, что якобиан делится на величину и\ — и%. Хотя
наши соображения носят общий характер, ради ясности приве-
приведем точные выкладки для р = 2.
В этом случае матрица Ь становится равной
D1.123)
положить равными
а Ь -f- с представляется так же, если
единице.
Для якобиана получаем
д fon, bi2, b22, (b + c)n, {b + c)ia, (b + cJ2} __
д {«I., «2, gll, gl2, g2l, g22)
sb Ul 2gll"l ° 2g-21«2
gllgl2 g2lg22 gl2Ul giiUl
?12 822 ° 2gl2u1
0 0 2gn 0 2g-2i 0
0 0 gi2 gn g22 g21
0 0 0 2gl2 0
0
0
При Ui = «2 мы можем вычесть из трех верхних строк три ниж-
нижних, умноженных на и, в верхних рядах уничтожатся все члены,
кроме первых двух, и станет ясно, что определитель равен нулю.
Отсюда следует, что якобиан делится на каждое «3- — uh,
j > k. Произведение всех таких членов имеет степенной поря-
порядок {р—1)р/2. Якобиан не может содержать никакие другие
члены, зависящие от и, поскольку он не может иметь более вы-
высокий степенной порядок.
Таким образом, только для и мы получаем из D1.120)
f-rr /1 \ч(п—р—2)/2 frr« \(m—р—2)/2
^ = * { ПГ{(л-/)/2}Г{и-/)/2} П <«/ - «*> nd"/' С41 Л24)
где К — некоторая константа. Определить ее непосредственным
интегрированием трудно. Мы можем использовать следующий
обходной прием. К определяют те элементы первоначальной
плотности и якобиана, которые включают в себя р и т-\- п,
а не только одно т. Запишем К как К(р,т-\- п). Заметим, что
\b\ = Huj. Если мы увеличим в D1.124) т на It и проинтегри-
проинтегрируем, мы получим t-й момент \Ь\ с точностью до множителя
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИИ
365
K{p,m-{-n-\-2t). Следуя 41.12, можно найти этот момент, что
приводит к выражению
К (р, т + я f 2t) _ тт Г {< + (д + я - » - 1I2} .
Отсюда следует, что
D1.126)
Функция /((/?) зависит только от р. Для того чтобы вычислить
последнюю, заменим в D1.124) и, на 2vj/n и устремим п к бес-
бесконечности. Наше распределение принимает вид
dF = (nO/)(m-"-2)'2 exp (- ? О/) П (О/ - vk) П do, X
Г {(л - у)/2} Г {(я - j
Последнее может быть вычислено путем последовательной за-
замены типа
и выбора на каждой стадии т так, чтобы коэффициент при
Пи, равнялся нулю, что можно сделать, так как результат нг
зависит от т. Находим
~ =1. D1.128)
р-1) р/2
Используя формулу удвоения D1.56) для гамма-функции, на-
находим
Объединяя все полученное, окончательно приходим к распре-
распределению
Эта замечательная формула получена в 1939 г. Фишером,
Сюем, С. Н. Роем и Гиршиком и независимо Мудом (см. Муд
Г {(л - /)/2} Г «л - 1I2} Г {(р + 1 - 1I2} ~
X ТТ («;- - uk)TLdu,. D1.129)
366 ГЛАВА 41
A951)). Распределение Xj получаем с помощью простой замены
/(+)
41.24 В случае D1.104), когда матрица Ь равна единичной
матрице, получен несколько иной результат. Приведем распре-
распределение корней Xj для указанного случая.
Читателю достаточно просмотреть предыдущие доказатель-
доказательства и внести там, где это необходимо, некоторые изменения,
чтобы получить следующее:
(п-р—2I2 . _
р Л: ехр < —
ОГ оР {п.—1I1 11 Г {(Я — /
X
X Д (Л,-Л»)Пей,,, D1.130)
где в убывающем порядке расположены теперь величины Xj.
Пример 41.7
За исключением ряда простых случаев, эти распределения
весьма трудны в обращении. Рассмотрим случай р = 2. Из
D1.130) получим
D1Л31)
С помощью формулы удвоения D1.56) для гамма-функций, это
распределение сводится к виду
2. D1.132)
Взяв интеграл по А,2 от 0 до Х\, получим для Х\ неполную гамма-
функцию. С другой стороны, для функций
х = XjA^, у = Xi -\- Х%
1/J =\Х1 — Х2\ и распределение принимает вид
х(п-4)/2е-у/2 dx dy
dF ~ 4Г (я - 2)
Интегрируя по х, получаем
T(n-l)
D1.133)
D1.134)
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИИ 367
Действительно, определитель D1.104) в этом случае равен
sf — А. *[«/
*!-*
-r2) = 0. D1.135)
Сумма корней здесь равна сумме двух независимых случайных
величин и имеет х2 распределение с In — 2 степенями свободы.
41.25 Свойства собственных чисел в случае больших выборок
мы обсудим в главе 43.
Нецентральные распределения
41.26 Точно так же, как и в случае одномерных %2, t и F (от-
(отношение дисперсий), мы здесь сталкиваемся с необходимостью
изучения нецентральных многомерных распределений, особенно
при рассмотрении функций мощностей критериев, основанных
на статистике Т2 или родственных ей.
Как и следовало ожидать, получающиеся в результате рас-
распределения оказываются очень громоздкими.
Отметим, в частности,
(а) нецентральное распределение Уишарта (см. Т. Андерсон
A946), последующие статьи и его книгу A958));
(б) нецентральное ^-распределение. Так как распределение
Т2 имеет ^-форму, фактически это нецентральное ^-распределе-
^-распределение (см. 42.22 ниже).
41.27 В заключение мы коснемся некоторых вопросов, кото-
которые не можем развить детально за недостатком места.
A) Распределение D1.129) собственных чисел при р = 1 сво-
сводится к бетта-распределению. Поэтому Фостер и Рис A957—8)
назвали D1.129) «обобщенным бетта-распределением». Следуя
методике, восходящей к С. Рою A945) и Пиллаи A956), они
табулировали процентные точки наибольшего собственного чис-
числа при р = 2, 3, 4 и 5. Пиллаи A960, 1967а), улучшив методику,
составил таблицы A964, 1965, 1967b) вплоть до р = 7. Сугияма
A967,а, Ь) получил точные формулы для распределения наиболь-
наибольшего собственного числа в случае D1.130) и для распределений
наибольшего и наименьшего собственных чисел в случае
D1.129).
B) Уэйгл A961), изучая распределения, пошел дальше и
провел выборочные эксперименты на вычислительной машине.
Задача отнюдь не простая, но при р = 2, 3, 4 для всех собствен-
собственных чисел были получены вполне удовлетворительные резуль-
результаты. Вычисления для больших р требуют лишь большего ма-
машинного времени.
C) Индийская школа, начиная с работ Махаланобиса A930)
о сходстве рас, получила ряд интересных работ, основанных на
368
ГЛАВА 41
том, что сейчас называют /^-статистикой. Смотрите, например,
работы Бозе A936), Бозе и С. Роя A938) и многие другие, бо-
более поздние статьи С. Роя. ?>2-статистика может быть опреде-
определена формулой
D2= ? t <4k(*u — Ь/Нъь — Хп), D1.136)
где две выборки Х\ и х% взяты из двух р-мерных генеральных
совокупностей, а (а,к) —обратная матрица объединенной мат-
матрицы рассеяния. Соответствующий параметр
А2 =» S a/ft 0*!, - М (ц14 - ц») D1.137)
иногда называют обобщенным расстоянием Махаланобиса.
Фактически D2 является простой функцией от статистики
Хотеллинга Тг, определенной выше (см. D1.17)) для случая двух
выборок, иначе говоря,
D) Если имеющие распределения Уишарта матрицы сх и сч
основаны на р-мерных выборках объемами п{ и п2, то суще"
ствует такая нижняя треугольная матрица V, что с{-\- c2 = W'
(см. упражнение 41.16). Если L определяется из уравнения
ct = VLV, то V и L независимо распределены, и плотность
вероятности L равна
/ ос | L I*"'-"-2»/2 \I — L fn^-P~2^.
Этот результат впервые был получен Сюем A939).Смотрите так-
также работу Кширсагара A961). Распределение L иногда назы-
называют многомерным бетта-распределением.
E) Обзор работ по собственным числам можно найти у
Джеймса A964). Смотрите также работы Джеймса A966)
и ГТиллаи A966).
41.28 Чеймберс A967) развил методику ассимптотнческих приближений
для многомерных распределений, включая разложения Эджворта (см. 6.18
т. I) и теорию возмущений. Эта методика обобщает методику 10.6.
УПРАЖНЕНИЯ
41.1 х— среднее р-мерной выборки из нормальной совокупности с мате-
математическим ожиданием ц и матрицей рассеяния \. Показать, что форма
(o)
имеет нецентральное ^-распределение с р степенями свободы и параметром
Ьецентральиости
где |*о — заданный вектор.
(Бозе, 1936.)
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИЙ
369
41.2 Х\ и х2 — выборочные средние из двух />-мерных нормальных сово-
совокупностей со средними Hi н ц2 н общей матрицей рассеяния V- Показать,
что если у — хх — *2 и v = (*i — (i2, а я„ п2 — объемы выборок, то нера-
неравенство
(я, + «г)
(у - v)' v (У — v) > у,2
дает доверительную область для v.
41.3 Показать, что в 41.4 х и выборочная матрица e(=c~1) являются до-
достаточными статистиками для Ц и V-
41.4 Показать, что для четырехмерного нормального распределения кор-
корреляция между ковариациями с12 и с34 равна
(Р13Р24 + Р.4Р23>/{A +
(Уишарт, 1929.)
41.5 Среднее многомерной нормальной генеральной совокупности равно ц,
все дисперсии равны а2, и все корреляции равны р. Пусть
(я-о ?** =
(п - !) (р - I) р*г =
Показать, что величины
-*<)*•
i) (**/ -
t, = s2(l -г)
имеют совместное распределение
dF ex u^>2v~l +<"-'> ("-»/2 «р
где
2{1
1 (и -!)(?
Вывести отсюда, что uQ/(va) имеет F-распределение с п—1, (р—1)(«—1)
ст. св., и получить доверительные интервалы для р.
(Гейссер, 1964.)
41.6 с имеет распределение Уишарта, соответствующее генеральной сово-
совокупности с матрицей рассеяния у- Показать, что h'ch, где А — произвольная
невырожденная (р X Р) -матрица, распределено также с соответствующим па-
параметром h'yh.
41.7*) Показать, что если х имеет распределение Л^@,\), иначе говоря,
нормальное распределение с нулевым средним и матрицей рассеяния у. а М—
ортогональная матрица, то у = Мх имеет распределение N@,M\M'). Пока-
Показать, в частности, что если М — матрица Хельмерта из 41.6, то с люжет быть
представлена в виде
я—1
S
S
1=1
где yt независимы и имеют распределение М @, МуМ').
*) Изложение этого упражнения несколько отличается от оригинала.
(Прим. ред.)
370
ГЛАВА 41
Вывести отсюда аддитивное свойство матриц Уишарта, описанное в
41.10.
41.8 Воспользовавшись примером 41.3, показать, что функция плотности
величины {|с|/|у|}'Л' приближенно дается формулой
ар (п-р)/2у
где
а = пр {1 _ (р _ 1) (р - 2)/2пI/р.
(Хоул, 1937.)
41.9 Показать, что если с — выборочная матрица рассеяния, то при боль-
больших выборках {|с|/|у| — lJrt'A имеет распределение с приблизительно нуле-
нулевым векторным средним и дисперсией 2р.
(Т. Андерсон, 1958.)
41.10 Пусть некая выборка принадлежит л-мерной нормальной совокуп-
совокупности, случайные переменные сгруппированы по k классам:
*!,...,*,,; х
Рассмотреть функцию
где ''/i=!'. a f^u равно нулю, если переменные принадлежат различным
классам и равны корреляциям г{/, если переменные принадлежат одному и
тому же классу.
Показать, что статистика критерия ОП независимости k классов равна
/ = Wn/2
Г {(я - /)/2}
Т{г + (п-))/2}
ш
ГН(д- j)/2)
Г {(я - /)/2}
(Уилкс, 1935.)
41.11. Рассматривая частный случай последнего упражиеиия, показать, что
если одна переменная Х\ не зависит от остальных (х2, ..., xv), то
..' nm _ Г «я - 0/2}Г{г+(я-р)/2}
Найти отсюда распределение множественного коэффициента корреляции
при равеистве иулю теоретических коэффициентов.
(Уилкс, 1935.)
41.12. Показать алгебраически, что статистика Хотеллиига Т1 инвариантна
относительно любых линейных преобразований р переменных.
41.13 Рассматривая пару нормальных величии с корреляцией р и опреде-
определив v как
0 — р2),
показать, что функция плотности для v равна
ТЕОРИЯ МНОГОМЕРНЫХ РАСПРЕДЕЛЕНИЙ
371
при v > 0 и тому же выражению с заменой в фигурных скобках v на v
при v < 0 (здесь К — функция Бесселя второго рода с мнимым аргументом).
(Уишарт и Бартлетт, 1933.)
41.14 Используя D1.129), показать, что при р = 2 распределение у =
= A — и,) A — а2) дается формулой
I, .... р; *= I «,—
41.15 Проверить D1.62).
41.16 (разложение Бартлетта). Пусть х,*,
независимые N@, 1)-величины;
У\ =*t.
Пусть все У/ ортогональны, т. е. y'jyk=Q, j ф k. Тогда
Пусть b>k — {y'kV kf12 b'ik. Показать, что
где В — треугольная матрица
{у\ухI12
*2i
о
0
о
0
Показать, что bfk, k = l, ..., (р — 1), —независимые N @, 1)-величины,
и, следовательно, каждое ykyk является х -величиной с п — k + 1 степенями
свободы, независимой от всех Ь н остальных у .у..
(Бартлетт, 1933; ср. Кширсагар, 1959.)
41.17 В предшествующем примере, вчяв определители в р-л.енстве х'х =
= ВВ', показать, что ykyk равно отношению двух определителей «сумм про-
произведений». Вывести отсюда, что fe-й диагональный элемент матрицы, обрат-
обратной матрице х'х, распределен так же, как величина, обратная х2 с п — k + 1
степенями свободы.
(Вейсман, 1957; см. также Кширсагар,
1959.)
41.18 Используя предыдущий пример, доказать утверждение из 41.13 о
том, что |oc|/|y| равно произведению р независимых х2"сомножителей со сте-
степенями свободы ft — 1, п — 2, ..., ft — р.
(Вейсман, 1957.)
41.19 Проверить результат D1.130).
41.20 Используя D1.53), показать, что \с\ —смещенная оценка |у|-
Показать также, что смещение остается, если мы, для того чтобы полу-
получить ковариации, разделим «суммы произведений» не на ft, а на п—1.
ГЛАВА 42
ПРОВЕРКА ГИПОТЕЗ
В МНОГОМЕРНОМ АНАЛИЗЕ
42.1 Современный уровень знаний таков, что пока точному
многомерному анализу, за редкими исключениями, поддаются
лишь задачи, где рассматривается нормальный случай. В этом
случае, как мы видели в предыдущей главе, оценки МП для
средних и характеристик рассеяния совпадают с соответствую-
соответствующими выборочными статистиками. Общая же теория оценива-
оценивания, опирающаяся не только на обычный метод МП, пока мало
пригодна для практического использования. Методы, основанные
на байесовских априорных вероятностях или соображения фиду-
циального характера обсуждались в литературе, но приводили
порой к довольно аномальным результатам (см., например,
Дэмпстер A966)). Мы будем довольствоваться нормальными
оценками МП, которые, во всяком случае, внушают определенное
доверие.
Обсудим теперь вопрос о смещении. Рассмотрим, например,
определитель рассеяния \с\ как оценку теоретического |y|. Из
равенства D1.53) при t = 1 находим
С точностью до порядка п,-
в правой части равен
р
D2.1)
мультипликативный сомножитель
0/2п.
D2.2)
Смещение можно теперь оценить, а можно и просто убрать
(или, по крайней мере, уменьшить до порядка п~2) или, умно-
умножая |с| на величину, обратную правой части D2.2), или исполь*
зуя прием, принадлежащий Кеную A7.10, т. 2). Если |с|„ —
определитель рассеяния, основанный на п наблюдениях, а
|с|п-1 — такой же определитель, основанный на л — 1 наблю-
наблюдениях, мы строим оценку *)
Est| y I = «I с \п - (п - 1) Av| с !„_!, D2.3)
*) Символ Est X означает оценку X.
ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ
373
где среднее (символ Av) в правой части берется по всем п
возможным определителям, получающимся после отбрасывания
одного наблюдения. Отсюда, с точностью до порядка п~х, полу-
получаем
M{Est|Yl} _,
171 -'
и оценка становится несмещенной с точностью до порядка п~х.
Наша идея совершенно прозрачна; трудности ее использования
заключаются в большом объеме вычислений, в том числе и в вы-
вычислении определителей рассеяния, хотя для электронно-вычис-
электронно-вычислительных машин последнее не непреодолимо.
42.2 В оставшейся части главы мы обсудим задачи проверки
гипотез. Обзор, касающийся доверительных областей, толерант-
толерантных областей и областей предсказания для многомерных нор-
нормальных распределений, дан Чу A966).
Критерии однородности
42.3 Естественное обобщение обсуждавшегося в главе 35
дисперсионного анализа возникает, когда мы рассматриваем вы-
выборки из k различных р-мерных генеральных совокупностей и
интересуемся, идентичны ли теоретические распределения. Обыч-
Обычно рассматривают три типа гипотез:
Н: Генеральные совокупности идентичны, т. е. имеют одина-
одинаковые средние и ковариации.
Н\: Генеральные совокупности имеют одинаковые характе-
характеристики рассеяния, но отличаются средними.
Н2: Известно, что генеральные совокупности имеют одинако-
одинаковые характеристики рассеяния. Гипотеза состоит в том, что оди-
одинаковы и средние.
Существуют, разумеется, и смешанные гипотезы. Например,
некоторые характеристики рассеяния заданы — требуется опре-
определить, одинаковы ли остальные.
42.4 Для проверки простых гипотез лемма Неймана — Пир-
Пирсона из 22.10 (т. 2) используется в многомерном анализе без из-
изменений. Также и метод отношения правдоподобия нз главы 24
может быть с той же уверенностью использован как статистиче-
статистический критерий для проверки сложных гипотез.
Следует отметить одно свойство процедуры максимизации.
Если мы максимизируем, скажем, /(8ь 82) по переменным 9i и
6г, мы можем одновременно решать уравнения
= 0.
D2.4)
374
ГЛАВА 42
Это эквивалентно, однако, решению уравнения -^§- = 0 относи-
относительно 0ц подстановке в / и затем решению уравнения ¦^0- = О-
42.5 Рассмотрим теперь k многомерных нормальных гене-
генеральных совокупностей со средними цц (/ = 1, ... р, t = 1, ...
..., k) и характеристиками рассеяния ущ или, что то же,
Pj
Пусть объем выборки из t-й генеральной совокупности равен
nt. Если {ащ} есть обращение {yju}, общая функция правдопо-
правдоподобия всех выборок равна
. D2.5)
Если все ц и у равны, соответствующая функция правдоподобия
равна
тде
|а
Г/BяГ/2
ехр
{-¦4-S S
(JC/ — Ц/) (xt
-m)j.
D2.6)
D2.7)
¦Следуя обычной процедуре (глава 24), оценим параметры в
D2.5) методом МП, подставим полученные оценки и найдем без-
безусловный максимум Lu Для того чтобы получить условный мак-
максимум Lo, точно так же поступим с D2.6). Отношение I = L0/Li
или некоторая монотонная функция от него и будет служить
нам статистикой критерия.
Логарифм функции правдоподобия равен сумме слагаемых
и, поскольку последние независимы, их можно максимизировать
.отдельно.
Как и следовало ожидать,
— aitt,
У lit
D2.8)
D2.9)
D2.10)
"Подстановка в экспоненциальный член в D2.5) дает постоянную,
поскольку
Zamcllt=l. D2.11)
ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ
375-
Отсюда с точностью до постоянной
k
Точно так же из D2.6) получаем
и = цсп Г,
D2.12>
D2.13>
где Cjt — характеристика рассеяния объединенной выборки (по-
(полученной путем объединения всех k выборок в одну).
Тогда статистика критерия
h = LJLt = П | cjU \nt'2h с и f2 = П {\c,tt I/! сп | }п*1\ D2.14>
Как и в одномерном случае, 1н меняется от 0 до 1. Чем ближе
1н к единице, тем более мы склоняемся к тому, чтобы принять
гипотезу о равенстве всех средних и характеристик рассеяния-
42.6 Та же техника приводит нас к критериям для проверки
Нх и #2. Мы приведем результаты без доказательства.
Пусть Cjia — средние характеристики рассеяния по всем ге-
генеральным совокупностям, а именно, пусть
__ ' V V /• - w - \
С]1а — ~ 2_i 2-i ^Xju Xji' ^Xla Xlt''
< = 1 a-1
Тогда для
а для Н2
k
П
D2.15>
D2.16>
1„2 = {\сИа\/\сп\}т. D2.17>
Заметим, что, так же как и в одномерном случае (см. упраж-
упражнение 24.6),
1н = 1н,1н, D2.18>
Таким образом, наши статистики равны отношениям опреде-
определителей рассеяния.
42.7 Чтобы использовать рассмотренные выше критерии,
надо знать распределения их статистик. В некоторых случаях:
можно получить точные выражения для этих распределений, и
во всех случаях, используя методику 41.12, можно вычислить мо-
моменты. Однако для практических целей достаточно ограничиться
приближениями Уилкса, использующими тот факт, что (—2 log I)
распределено как %2 с числом степеней свободы, равным числу
связей, налагаемых гипотезами, т. е. числу оцениваемых пара-
376
ГЛАВА 42
метров в безусловной форме без числа оцениваемых параметров
в условной. Доказательство сводится к простому обобщению
сказанного в 24.7 (т. 2).
Мы оставили статистики в той форме, в какой они естествен-
естественно возникли. Ясно, что и любая степень / хорошо служила бы
нашим целям. В частности, возведенная в степень 2/п стати-
статистика для #2 в D2.17) превращается в отношение определите-
определителей, а умноженный на (—п) логарифм этого отношения распре-
распределен как х2-
42.8 Рассмотрим теперь моменты статистики ОП D2.14) для
проверки Я. Имеем
1 о ,
Я \J '
п
k
— ' V Q^r
ц Л п* (*t* ~~
t-l п,
= cf[a + c,im, D2.19)
где Cjim — характеристики рассеяния выборочных средних отно-
относительно средних по объединенной выборке. Следуя приему, ис-
использованному в 41.17, мы можем выписать функцию правдопо-
правдоподобия характеристик рассеяния в двух видах: первый будет со-
содержать \с\, ВТОрОЙ— \Cjia\ И |Cjim|. ТоГДЭ
М (Г ) = П (JL\Prnt'2 TT Г{[М'+Г>-/]/2} . Г {(я-/)/2}
D2.20)
Этот и следующие результаты принадлежат Уилксу A932),
в чьей статье можно ознакомиться со всеми подробностями.
Аналогично показывается, что
г)-/]/2}
г {(в - ft + 1 - /)/2}
К-0/2} 1±Г{[яA+г)-,
D2.21)
М (f \ _TTT{ln(l+r)-k+l- /]/2} Г {(я - П/2) .. .
~" /=, Г {(я - ft + 1 - J)I2) Г {[я A + г) - /]/2} * ^Z-ZZ)
Заметим, что (так же как и в упражнении 24.6) моменты 1н
равны произведению моментов остальных двух величин I. Это
ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ
377
означает, что /я, и /я, независимы, если справедлива Н. По-
Последнее вполне естественно, поскольку средние и характеристики
рассеяния независимы.
42.9 Укажем попутно на один из возможных источников
заблуждений. В наших обозначениях п является объемом вы-
выборки, а не числом степеней свободы. Та форма функции плот-
плотности, что приведена, например, в D2.5), содержит символ п
только в стоящих впереди постоянных. Если бы степенной пока-
показатель сводился к квадратичной форме, которая преобразуется
в сумму р — q квадратов, в соответствующих постоянных стояло
бы не р, а р — q. А если бы сумма выборочных величин соответ-
соответствовала не п, а п — q величинам, мы должны были бы в по-
постоянных заменить п на п — q. Показатель степени в D2.5) и
D2.6) зависит от того, как определены характеристики рассея-
рассеяния. В наших выкладках делитель всегда равен п. Некоторые
авторы в определении характеристик рассеяния используют
vt^=nt — 1 вместо нашего nt и v = п — k вместо п. Поступают
так по той причине, что, как отмечено в примере 24.6 т. 2, кри-
критерий в этом случае становится менее смещенным.
42.10 При р = 1 наши распределения, конечно, сводятся к
распределениям, уже знакомым нам по одномерной теории. Чи-
Читатель может убедиться в этом, проделав все необходимое в ка-
качестве упражнения. При р = 2 находим из D2.22) для момен-
моментов 1Нг
Г{(я-2)/2}
Гг — г {(я — k)/2] Г {[я A + г)]/2 - 1} Г {(я — k -
D2.23)
Формула удвоения для гамма-функции D1.56) позволяет свести
последнее к виду
,_ г{яA+г)-А!-1}Г(я-2)
Рг — г (п - k - 1) Г {я A + г) - 2} ~~
= В{п{\ +r) — k—l, k— \}/B{k— 1, n—k— 1}. D2.24)
Моменты Aн,I1"> иначе {| Cjla |/| Сц |}1/2 те же, что и у распреде-
распределения
dF=(\—x)k~2xn-k-2dx/B(k—\, n — k—l). D2.25)
Если р четно, то, используя формулу удвоения для гамма-функ-
гамма-функции, можно моменты Z-статистик выразить в виде произведений
бетта-функций; при этом сами статистики оказываются произве-
произведениями некоторых независимых величин типа I. Это позволяет
получить законченную форму для функций распределения, когда
или р, или число связей, налагаемых гипотезой, четно (см. Шат-
цов A966b), где приведены поправочные таблицы для асимп-
асимптотических %2-шшроксимаций).
378
ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ
ГЛАВА 42
42.11 На практике наиболее полезными оказываются резуль-
результаты, связанные с асимптотическими разложениями. Следуя
Боксу A949), мы разовьем общий метод, опирающийся на идею
примера 41.4 предыдущей главы. По существу, этот метод при-
пригоден для широкого класса статистик, зависящих от отношения
лравдоподобия. Пусть величина W такова, что
М [W*) = const
-I t
И'",1
-где
D2.26)
D2.27)
1/ нас Xj и у, будут велики, порядка общего объема выборки п,
и мы будем писать О (я) как для О(х), так и для О (у).
Пусть
N = — 2 log W. D2.28)
"Найдем характеристическую функцию величины рЫ, где р — ле-
лежащая между 0 и 1 постоянная масштаба, которую мы выберем
позднее из соображений удобства. Пусть t — аргумент х. ф.
Тогда х. ф. величины pN равна
4р @ = М (exp itpN) = M (W~2pit) =
k _ -2pit m
= const- -^ i=J . D2.29)
П
Г {yt (I - 2рй) + пу}
Положив теперь
A—р)дс/ =
D2.30)
¦лолучим производящую функцию семиинвариантов для
s виде
где
[т
Z Xj log Xj
Jl
log t/y
+ E log Г {px, A - 2//) + Э/ + I,} -
- E log Г {py, A - 2it) + e; + л/}. D2.31)
379-
Используем теперь разложение гамма-функции (справедливое
для комплексного аргумента)
log T(x + h)= log л/2я + (х + Л — 1/2) log л: — л: —
D2'32>
где величины В — полиномы Бернулли первого порядка
C.25, т. 1). Учитывая D2.31) и соответствующее разложение для
g@), получаем
¦ (*) = - y f log A - 2it)
где
/(/+1)
{A - 2ИГ1 - 1}. D2.33>
D2.34)
D2.35>
Мы должны помнить, что, как видно из D2.30), р и е имеют по-
порядок п, пока 1 —р не мало. При р = 1 имеет toi = О(п~1).
Таким образом,
¦ @ = - т f log (I - 2it) + О (ft-1),
D2.36>
и, следовательно, с точностью до этого порядка —2 log W рас-
распределена как %2 с f степенями свободы.
Делая в аппроксимации еще один шаг, находим, что, по*
скольку
В2(х)=х*-х-1/6,
~t{
}}
Последнее с помощью D2.30) сводится к виду
380
ГЛАВА 42
Выбирая теперь р так, чтобы toi = 0, получим
+ (') = - (у) f log A - 2/0 + О (п~2). D2.38)
Итак, в общем случае существует постоянная р такая, что с точ-
точностью до порядка п~2 —2р log W распределено как %2 с f
степенями свободы.
Бокс продвинулся в своих исследованиях значительно даль-
дальше, но, как мы уже отмечали, грубая аппроксимация D2.36)
обычно достаточно хороша для практического использования.
(См. также Лоли A956b), чья работа кратко излагалась
в 24.9 т. 2.)
Пример 42.1
Найдем х2 — аппроксимацию для распределения 1н, чьи мо-
моменты даны в D2.20). Сравнение с D2.26) показывает, что они
имеют требуемую форму
k — p, yi = n/2, 11;= —//2; / = 1, 2, .... р;
m=pk, Xj=nf/2, tt = —у'/2; t=l, 2, ..., k.
В качестве первого приближения полагаем, что —2 log / распре-
распределено как, х2 с числом степеней свободы, данным в D2.34),
иначе говоря,
- (- 1/2) A/2) р (р + 1) - A/2) (pk - р)} =
D2.39)
Фактически это число параметров в функции правдоподобия
D2.5) без числа параметров в D2.6), т. е. число связей, нала-
налагаемых гипотезой.
Переходя ко второму приближению, из D2.37) находим, что
О = - A - р) A/2) F - 1) р(р + 3) +
+ Р (Е A/я/) - A/я)) Bр2 + 9р + 12)/12,
D2.40)
Анализируя выражения такого рода, нужно помнить, что в на-
наших предположениях п$ и п — объемы выборок. Как отмечалось
выше, иногда в литературе приводятся результаты для стати^
стик, основанные на числах степеней свободы: vj = tij—1 и
ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ
381
v = п — k. Последнее не влияет на D2.39), но меняет второй
член в D2.40). В этом случае %}- равно A —/)/2, т^ = (k — /)/2,
а выражение, соответствующее D2.40), имеет вид
2Р2 + Зр - 1 ,
р = }- >,-?—v
Критерии независимости
42.12 За несколькими исключениями, построение всех рас-
рассматриваемых здесь критериев основано на использовавшихся
ранее идеях: обращение к некоторой статистике правдоподобия,
вычисление ее моментов, аппроксимация критерием %2 или ка-
каким-нибудь другим, более точным. Поэтому нет необходимости
тратить время, отвклекаясь на детали, проверка которых может
быть предоставлена читателю.
Прежде всего рассмотрим критерий независимости. Как
обычно, нам дана выборка объема п из р-мерной нормальной со-
совокупности и задано некоторое разбиение компонент (или коор-
координат) наблюденного вектора на q групп, содержащих ру, ..., ря
элементов. Требуется проверить гипотезу о независимости каж-
каждой группы от всех остальных. Мы будем особенн-о интересо-
интересоваться случаями q = 2 и q = р.
Если теоретическая матрица рассеяния v разбита на q2 ча-
частей:
'Yn Y12 ... YiA
i
Y21 Y22 ••• \2q I
D2.42)
то проверяемая гипотеза состоит в том, что
Y/4 =0 ]фк.
D2.43)
Полагая альтернативой к D2.43) общий вид D2.42), находим
статистику ОП
D2.44)
ПК-/Г
где, как обычно, (Cjk) — выборочная матрица рассеяния. По-
Последнее перепишем в эквивалентной форме:
,2/п _ \с\
D2.45)
й1'
382
ГЛАВА 42
Если гипотеза справедлива, статистика / не зависит от ее зна-
знаменателя, a |cjj| не зависит от |гй^|. Тогда из D1.53) получаем
а Рк
k = l
1М>-'>
q Рк
. D2.46)
k=l
Отсюда — 2 log / распределено приблизительно как х2 с
, 1
i-1
D2.47)
ст. св. При более точной аппроксимации имеем
D2.48)
В случае pj = 1 для всех /, т. е. в случае, когда мы проверяем
независимость всех р компонент,
f=p{p-\)/2
р=1-{Bр+11)/6п}.
D2.49)
D2.50)
Статистика в этом случае равна возведенному в степень п/2 от-
отношению \с\ к произведению диагональных элементов, т. е. дис-
дисперсий, или, что эквивалентно возведенному в степень п/2 кор-
корреляционному определителю.
Обобщая работу Уилкса A935), Консул A967а) получил точное распре-
распределение величины D2.45) для q = 2, рх sg 6 и всех рь а также для многих
случаев при q = 3. См. также Т. Андерсоп A958). Дейли A940) и Нарайн
A950) показали, что рассмотренный критерий ОП для проверки независимо-
независимости является несмещенным.
Критерий сферичности
42.13 Теперь займемся проверкой гипотезы о том, что выбо-
выборочная матрица рассеяния соответствует генеральной совокуп-
совокупности, теоретическая матрица рассеяния которой пропорцио-
пропорциональна некоторой данной матрице \. Поскольку \ известна, ли-
линейным преобразованием мы можем свести ее к единичной мат-
ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ
383
рице. Обозначив символом с соответствующим образом преоб-
преобразованную выборочную матрицу, мы должны теперь проверить,
действительно ли матрице с соответствует теоретическая мат-
матрица а2/, где а2 неизвестно. По понятным причинам последнее
называют проверкой сферичности (Мочли, 1940). Рассмотрим
статистику критерия
= r_l?i_T
L
12
.{(trc)/pPJ •
Моменты величины Р/п даются формулой
м тгМ _ „г„ Г{Р(п-1)/2}
(«-/)/2}
и, как обычно, —nlogl2 распределено как %2 с
D2.51)
D2.52)
D2.53)
Используя вторую аппроксимацию, имеем
[у • D2.54)
Консул A967b) поолучил точное распределение D2.51) для
Р — 2, 3, 4 и 6. Глезер показал, что критерий сферичности не
смещен.
Аналогично можно проверить, что \ равно некоторой заданной матрице
Yo- Распределение статистики ОП для этого случая рассматривал Корин
42.14 Критерии однородности могут быть использованы для
обобщения на р-мерный случай одномерных критериев ДА. Роль
дисперсий теперь будут играть обобщенные дисперсии, т. е. оп-
определители рассеяния.
Пример 42.2
Следуя Пирсону и Уилксу A963), рассмотрим один случай
двумерного ДА (р = 2). В нашем распоряжении находятся
пять выборок, в каждой по 12 членов (k =.5, nt = 12 для всех
t, n = 60), являющиеся результатом двух типов испытаний над
алюминиевыми отливками.
По каждому из 60 образцов были измерены предел прочно-
прочности при растяжении (в 1000 фунт, на 1 кв. дюйм), который мы
обозначим х, и твердость (в единицах Роквелла), которую
384
ГЛАВА 42
обозначим у. Данные могут быть суммированы следующим об-
образом:
Номер
выборкя
t
1
2
3
4
5
среднее
33,399
28,216
30,313
33,150
34,269
X
(в. д.)'/»
2,565
4,318
2,188
3,964
2.715
у
среднее
68,49
68,02
66,57
76,12
69,92
(в. д.I/»
10,19
14,49
10,17
11,18
9,88
Корреляция
0,683
0,876
0,714
0,715
0,805
Проверим прежде всего гипотезу Н{ о равенстве характерна
стик рассеяния *).
Получаем следующие результаты:
t
1
2
3
4
5
Всего
Суммы квадратов отклонений
от среднего
X У
78,948 1247,18
223,695 2519,31
' 57,448 1241,78
187,618 1473,44
88,456 1171,73
636,165 7653,44
Сумма
произведений,
отклонений
от средних
214,18
657,62
190,63
375,91
259,18
1697,52
Обобщенная
дисперсия
(определ.
рассеяния)
365,204
910,401
243,029
938,451
253,281
lOgio
обобщенной
дисперсии
2,56254
2,95923
2,38566
2,92741
2,40360
13,28844
Для средних характеристик рассеяния (относительно соот-
соответствующих средних) по всем генеральным совокупностям
имеем
сПа = 636,165/60 = 10,6628,
с22а= 127,5573,
с12а = 28,2920,
\clka\= 552,018.
Согласно D2.16) статистика имеет вид 12/п. Окончательно
5
| log / = 1 ? {log | c}tt I - | c}la 1} = 1,91473,
*) В оригинале «that dispersions are homogeneous». (Прим. перев.)
ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ
385
где логарифм берется по основанию 10. Отсюда Р ==0,8217
и — п log Р/п = 11,78. Число степеней свободы равно 3(&— 1),
т. е. 12. Наблюденное значение статистики критерия не про-
противоречит предположению об однородности.
Предполагая теперь равенство характеристик рассеяния, пе-
перейдем к проверке гипотезы о равенстве средних (Н2). Для про-
проверки этой гипотезы следует обратиться к D2.17). Вычислим
дисперсию объединенной выборки. (В качестве среднего берем
теперь среднее объединенной выборки.) Данные таковы:
Источник
Межвыборочные
Внутривыбор оч-
очные
Всего
Ст. св.
k — 1 = 4
« — k = 55
n — 1 = 59
Сумма
квадратов
X
306,089
636,165
942,254
Сумма
квадратов
У
662,77
7653,44
8316,21
Сумма
произведений
ху
214,86
1697,52
1912,38
Определитель рассеяния объединенной выборки равен тогда
1160,77, и значение статистики равно
— 60 log E52,018/1160,77) = 44,59.
Число степеней свободы равно 2(k—1) =8. Этот результат от-
отвергает #2> так как иначе был бы слишком мал размер кри-
критерия.
Мы приходим к выводу об отсутствии однородности среди
средних. Проверим теперь х и у отдельно.
Межв ыборочные
Внутривыбор очные
Оценки дисперсий
х У
76,522
11,566
.165,69
139,15
Ст. св.
4
55
Обычный ^-критерий с однопроцентным уровнем значимости
показывает, что неоднородность связана с различиями в преде-
пределах прочности на растяжение, а не с различиями в твердости:
Многомерная регрессия
42.15 Предположим теперь, что наши величины х линейно
связаны с некоторыми фиксированными величинами г соотноше--
нием
х = Р г + е . D2.55)
р X п
р X д q X п р X п
13 М. Кендалл, А. Стьюарт
386
ГЛАВА 42
Здесь р — (рХ<7)-матрица коэффициентов, а е — (рХ«) -матрица
ошибок. Если бы векторы-строки ei, ..., ер были независимы,
мы бы имели дело с р независимыми регрессиями, по одной для
каждого вектора х. Мы такой независимости предполагать не
будем. Приписывая переменной Z\ единичное значение, мы мо-
можем рассматривать ее как «фиктивную» переменную. Тогда ве-
величины pjiZt можно рассматривать как средние и, следовательно,
считать, что средние элементов е равны нулю (см. пример 19.1),
Наша цель — оценить р и матрицу рассеяния величин е, которую
обозначим о. Пусть а = а*1.
В других обозначениях D2.55) представляет обобщенную на
р-мерный случай общую линейную модель, изложенную в гла-
главах 19, 24 и далее. Здесь, однако, мы предполагаем нормаль-
нормальность с самого начала.
42.16 Как и в одномерном случае, оценим р, максимизируя
функцию правдоподобия
D2.56)
где индекс t относится к выборке.
Чтобы получить оценки МП для Ра, выпишем уравнения
= - S
Положим
sk
ZktXst =
= 0. D2.57)
D2.58)
D2.59)
Из D2.57) получаем
Ea/Sf«,ft-Epsm^) = 0'
и, поскольку о не вырождена,
1
Psmvmk = 0.
Последнее можно переписать в виде
р = и v~l.
РХ4 р Хя Ч X я
D2.60)
D2.61)
ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ
387
Оценку для а получим из уравнений
д log L 1 Ajk
да,. ~~2П lal 1
D2.62)
где Ajk — алгебраическое дополнение a.jh в |a|. Помня, что о —
обращение о, находим
>* - г S (
Последнее можно переписать в виде
г .63)
- рг)\ D2.64)
42.17 Поскольку величины г — фиксированы, из D2.61) по-
получаем
Мр = {Ma} v~l = (Mx)z'v~l = pzz'v-1 = p. D2.65)
Обозначая временно символом V обращение v, из D2.61) по-
получаем
P/fe — Lu ujmv mk' \44.OO)
m
Учитывая D2.55), умножая на Zu и суммируя по t, а затем ум-
умножая на Vik и суммируя по /, получаем
D2.67)
Следовательно,
Р/4 = Е ЩтУтк — S E
P/fe — P/fe = S
D2.68)
Вспоминая, что гц и еии независимы, пока t не равно и, и сум-
суммируя по соответствующим вспомогательным индексам, нахо-
находим
- Pi«) = M (S E
= <*п S E E zM2^ti/ifeF^m =
ft = onVkm. D2.69)
Имеется р^ величин р. Характеристики рассеяния оценок р от-
относительно средних р даны в D2.69). D2.69) можно записать
в эквивалентной форме
М (Р/ - Р/)' (g, - Р,) = anv-\ D2.70)
13*
388
ГЛАВА 42
Будучи линейными функциями от х, величины р имеют совме-
совместное нормальное распределение.
Положив р=Л и транспонируя все матрицы в D2.55), мы
возвращаемся к теории НК главы 19, в чем читатель может убе-
убедиться, обратившись к D2.61) и D2.70).
42.18 Имеем
S (*/ — Е
- Е fy
S E (Ри-Р
и так как сумма перекрестных произведений равна нулю, и по-
последнее выражение равно
S (X, - Е Р/Л) (Xk - Е Pft
- Ы (Pfcm ~ fam) Vlm.
D2.71)
Последнее аналогично разложению в одномерном случае суммы
квадратов ошибок на сумму квадратов остатков (отклонений от
оцененной линии регрессии) и члена, описывающего отклонения
оценок параметров от их истинных значений — ср. A9.42) т. 2,
Исходя из тех же соображений, что привели нас к D2.69),
можно показать, что математическое ожидание последнего члена
правой части D2.71) равно Ojk. Первый член правой части
D2.71) представляет собой квадратичную форму от х, которые
имеют многомерное нормальное распределение. Проверяя гипо-
гипотезы, мы, однако, будем сравнивать не один член с другим, как
в одномерном случае, а первый со всем выражением.
42.19 Для осуществления нашего плана нам потребуется тео-
теорема о том, что оценки характеристик рассеяния (о) из D2.64)
имеют распределение Уишарта с заменой п на п — q. Из D2.64),
. D2.58), D2.59) и D2.60) получаем эквивалентную формулу
= {хх' - Рг»Р'}/п.
D2.72)
Мы будем действовать в том же направлении, что и в 27.22 т. 2,
где было показано, что в нормальном случае частные корреля-
корреляции имеют то же распределение, что и обычные корреляции,
лишь с меньшим числом степеней свободы. Рассмотрим про-
пространство п измерений, (q Xra) -матрица г задает в этом про-
пространстве q векторов, скажем, ОР\, .... OPq, которые сами по
себе лежат в ^-мерном подпространстве. Далее ;'
Слагаемые в правой части ортогональны в /i-мерном простран-
ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ
389
стве. Действительно,
п
») Zmt =
= Е U
) (P/m — P/m),
и первая скобка справа обращается в нуль в силу D6.58—60).
Таким образом, векторы х — 0г ортогональны к <7"меРному
Бодпространству. Наши основные векторы е представимы в виде
суммы двух слагаемых: первое лежит в ^-мерном подпростран-
подпространстве, второе — в ортогональном дополнении к этому подпрост-
подпространству.
В нашем n-мерном пространстве ортогональность влечет ну-
нулевую корреляцию, что в свою очередь влечет независимость для
нормальных величин. Таким образом, оба слагаемых в правой
части D2.71) независимы.
Отсюда следует, что в системе, представимой векторами
х — ftz, характеристики рассеяния имеют распределение Уишар-
Уишарта, но не с параметром га, а с параметром п — q\ при этом рас-
распределение сосредоточено в подпространстве, ортогональном
^-мерному подпространству.
42.20 Теперь мы можем заняться проверкой гипотез, касаю-
касающихся регрессии. Обычно требуется узнать, вносят ли суще-
существенный вклад в формирование х все р. Иначе говоря, если мы,
используя обычную ковариационную технику, «исключим влия-
влияние» на х части величин р из какого-то подмножества, будут ли
остатки существенно зависеть от оставшихся величин (pz)?
Рассмотрим q величин р и проверим гипотезу о том, что пг
из них (m ^ q) равны нулю.
Предполагая, что это не так, оценим q величин р и or и произ-
произведем подстановку в функцию правдоподобия D2.56). Теперь,
если мы умножим D2.62) на а^ и просуммируем по /, k, мы по-
получим, что показатель степени в функции правдоподобия ста*
новится равным постоянной. Итак, функция правдоподобия
D2.56) с точностью до постоянной, сводится к | а \п/2.
Предполагая справедливость гипотезы о равенстве нулю пг
величин р, мы точно так же получаем, что в этом случае функ-
функция правдоподобия сводится к некоторому числу, умноженному,
скажем, на | ат \п'2, где ат — обращение оценки матрицы рассея-
рассеяния D2.64), или, что то же самое, D2.72), с тем исключением,
что оценивается q — пг величин р.
Таким образом, отношение правдоподобия равно
|Л/2
D2.73)
393
ГЛАВА 42
D2.73) распределено как отношение двух определителей Уишар-
та, основанных на выборках объемов п — q и п— (q— т). Кро-
Кроме того, те же соображения, что использовались в 42.19, указы-
указывают на то, что векторы, соответствующие q — т ненулевым
величинам р, ортогональны в ^-мерном пространстве векторам,
соответствующим т величинам р, которые предполагаются нуле-
нулевыми. Следовательно, функции, составляющие &от, представляют
независимое подмножество среди тех, что входят в а.
Таким образом, статистика / может быть использована так
же, как другие /-статистики, обсуждавшиеся раньше в этой
главе. Проиллюстрируем метод следующим примером.
Пример 42.3 (Данные М. Барнард A935) и Бартлетта A947)).
Мисс Барнард располагала четырьмя группами черепов егип-
египтян; 91 относились к додинастическому периоду, 162 — к пе-
периоду между шестой и двенадцатой династиями, 70 — между
двенадцатой и тринадцатой династиями и 75 — к династии Пто-
ломеев. Всего 398. Над каждым из черепов производилось че-
четыре измерения (в миллиметрах) :
Xi — максимальная ширина,
х2 — длина основания альвеол,
х3 — высота носа,
х^ — высота вдоль темени.
Средние для групп, полученные Барнард, таковы:
х2
х3
Группа I
П.-Э1
133,582418
98,307692
50,835165
133,000000
Группа 11
п2 = 162
134,265432
96,462963
51,148148
134,882716
Группа 111
Пз=70
134,371429
95,857143
50,100000
133,642857
Группа IV
«4=75
135,306664
95,040000
52,093333
131,466667
D2.74)
Для сумм квадратов и произведений внутри групп C94
ст. св.) имеем:
Хз
9661,997440
445,573301
9073,115207
х,
1130,623900
1239,221990
3938,320351
2148,584219
2255,812722
1271,051662
8741,508829
D2.75)
ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ
391
Те же суммы для всех наблюдений вместе C97 ст. св.) даны
в следующей таблице:
Хз
X,
9785,178098
214,197666
9559.460890
Xi
1217,929248
1131,716372
4088,731856
xt
2019,820216
2381,126040
1133,473898
9382,242720
D2.76)
Наконец, суммы квадратов между классами C ст. св.) таковы:
D2.77)
Xl
Хз
Xl
123,180658
х,
—231,375635
486,345863
х.
87,305348
— 107,505618
100,411505
—128,763994
125,313318
— 137,580764
640,733891
Прежде всего мы можем проверить данные на однородность,
в частности, проверить, есть ли существенные различия между
средними разных групп. Соответствующий критерий даегся ста-
статистикой h D2.17), т. е. отношением определителей D2.75) и
;<42.76). Имеем
ll'n = 2426,898/2954,474 =0,8214.
Отсюда выражение —nlog/f", где п = 397 — число степеней
свободы, равно 77,3. Число степеней свободы для соответствую-
соответствующего х2-критерия равно 3-4=12. Таким образом, мы заклю-
заключаем, что данные не однородны даже по средним.
Теперь возникает сразу несколько вопросов, на которые хо-
хотелось бы иметь ответ. Например, D2.76) ясно показывает, что
внутри групп есть значительная корреляция между величинами.
Спрашивается, определяются ли различия между средними
влиянием всех четырех величин или, например, Хз и xt вносят
свой вклад в эти различия лишь в силу коррелированности с Х\
и лг2? Для того чтобы ответить на это, вычислим регрессии Хз и
Х4 по Xi и х2, исключим их из общей схемы и подвергнем про-
проверке остаточные матрицы. Таким образом, х3 и х± у нас будут
давать матрицу зависимых величин (л: из 42.16), а х{ и х2 играть
роль величин г.
392
ГЛАВА 42
В нашем конкретном примере матрица рассеяния х\, х2 (см..
D2.75)) равна
1 Г 9661,977 040 445,573 301 1
394 L 9073,115 207 J'
Матрица, обратная ей, равна
^-4 Г 1,037 332 —0,050 942 1
1,104 659 J'
Из D2.72) получаем, что вариация, обусловленная регрессией
х по г, дается формулой
' = (uv-1) (v) (v~lY и' = uv-W.
394- 10~4[
D2.78)
D2.79)
В нашем случае х относится к х3 и лг4, а г — к хх и х2, так что
для последнего выражения получаем
_4 Г 1130,623 900 1239,221 990 Г 1,037 332 —0,050 942 Т
1 1.2148,584210 2255,812 722 JL— 0,050 942 1,104 659 J ^
Г 1130,623 900 2148,584 210-1
L 1239,221 900 2255,812 722 J
Г 287,967 620 534,238 796-]
|_ 534,238 795 991,621 041 J '
Вычитая это из матрицы, порожденной х3 и х*, получаем в каче-
качестве остатка
Г 3650,353731 736,8158361 (АО Л1\
L 7749,887 788 J' D2.» 1)
с 394—2 = 392 ст. св.
Точно так же обрабатывая D2.76), для полных сумм произ-
произведений получаем остаток
Г 3809,335 190 611,698 381 Л
L 8393,755 848 J'
D2.82)
Возникает вопрос: существенно ли отличаются матрицы D2.81)
и D2.82)? Последнюю можно рассматривать как остаток в рег-
регрессии х3 и Xi по хх и х2 плюс вектор средних, у первой же счи-
считать средние исключенными в каждом классе. Отношение опре-
определителей D2.73) равно
1*" = 0,277 469/0,316 003 = 0,8781.
При п = 392 величина —п log t2/n = 51,39, а соответствующее
число степеней свободы равно 3X2 = 6. Однородность, таким
образом, отвергнута, и мы приходим к выводу, что влияние ве-
величин х3 и х^ существенно в том смысле, что различие между
средними определяется не только величинами Х\ и х%.
Далее мисс Барнард интересовалась, может ли каждая из
этих величин иметь линейную регрессию по времени. Введем
в рассмотрение время. Интервалы между четырьмя сериями
предполагались взятыми в пропорции 2, 1, 2. Тогда для удоб-
удобства можно величине времени приписать значения —5, —1, 1, 5.
ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ
393
•Сделав это, получаем
S(t — if= 4307,663 32,
SXiit — I) = 781,76286,
Sx2 (t—i) = — 1407,260 75,
Sx3(t — I) =— 410,10194,
Sxtit — t) =— 733,427 58.
Рассмотрим теперь регрессию каждого из х по величине
иного типа — по времени. Суммы квадратов и произведений,
обусловленные регрессией A ст. св.), равны
Х\
119,930358
-234,810812
459,734449
68,428625
-133,975163
39,042852
—122,377258
149,601596
—69,824358
124,874099
D2.83)
Здесь, например, член в первой строке и втором столбце равен
Sx,(t— t)Sx2(t— i) G81,762 86) (— 1407,260 75)
S(t — tJ ~~ 4307,663 32
Исключим регрессию по времени из основной матрицы, вычитая
D2.83) из D2.76). Получаем остаток:
х2
х3
xt
9665,247740
449,088478
9099,726441
х,
1149,501013
1265,691535
4049,689004
2142,197474
2231,524444
1203,298256
9257,368621
D2.84)
Число ст. св. здесь равно 396.
Проверим теперь остаток на однородность, сравнивая рас-
рассеяние внутри серий, которое дается D2.79), с D2.84). Отноше-
Отношение определителей равно 12/п = 0,9031; — п log l2ln = 40. Число
ст. св. равно 2X4 = 8. Гипотеза об однородности отвергается.
Мы приходим к выводу, что если регрессия по времени ли-
линейна, существует различие между сериями, обусловленное не-
невременными эффектами.
Шатцов A966b) и Консул A966) получили в законченной форме точное
распределение для I отдельно для случаев четного р или т и для случая
J0sg4
394
ГЛАВА 42
42.21 Статистики правдоподобия, которые мы рассматривали
до сих пор, представляют собой отношения определителе?! рас-
рассеяния того или иного вида и алгебраически относительно сход-
сходны между собой. При проверке гипотез могут оказаться по-
полезными также статистики, представляющие собой одно или
несколько собственных чисел матрицы рассеяния. Например, ра-
равенство двух матриц рассеяния А и В зависит от близости к еди-
единице корней уравнения \А— %В\. Поэтому критерий, основан-
основанный на отношениях типа |Л|/|В|, каким-то образом связан
с собственными числами. Однако, как отмечалось в 41.27, соот-
соответствующие распределения еще плохо затабулированы, и хотя
для больших выборок мы и можем получить некоторые прибли-
приближения, последние не так хороши, как в случае критериев прав-
правдоподобия, где методами 42.11 можно добиться любой степени
точности. В действительности некоторые из наших статистик
отношения правдоподобия являются симметрическими функ-
функциями собственных чисел. Так, произведение всех корней урав-
уравнения \А — ХВ\ равно |А|/|В|, в чем легко убедиться, заметив,
что А = АВ~1В. Задачи, где мы будем больше интересоваться
отдельными корнями, появятся в следующей главе.
Пример 42.4 (Фостер и Рис, 1957. Данные Эштона, Липтона и
Хил и, 1957)
Рассматриваются данные двух типов измерений (р = 2) над
тремя группами особей мужского пола (человек, шимпанзе и
орангутан). Измерения касались длины (xi) и ширины (х2) вто-
второго верхнего малого коренного зуба; результаты были пролога-
прологарифмированы для того, чтобы стабилизировать рассеяние.
Суммы произведений таковы:
Межгрупповые
Внутригрупповые
Всего
Ст. св.
2
154
156
Суммы произведений
0,544941
0,137786
0,682727
0,525765
0,069342
0,595107
4
0,509075
0,092792
0,601867
D2.85)
Чтобы проверить однородность, можно рассмотреть корни урав-
уравнения
\А~ХВ\,
где Л — «межгрупповая» матрица, а В — общая матрица. В ре-
ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ
395
зультате приходим к квадратному уравнению с корнями
А,, = 0,856 543,
ht = 0,020 238.
В качестве статистики возьмем наибольший корень. Чем он
больше, тем с большей уверенностью можно ожидать однород-
однородность. Из таблиц Фостера — Риса (см. 41.27 A)) следует, что
99-процентный уровень равен приблизительно 0,08. Наблюден-
Наблюденное значение гораздо больше.
Что касается средних для групп, то они оказались такими:
Человек
Шимпанзе
Орангутан
Размер
группы
59
55
43
1,846
1,865
1,985
1,981
2,008
2,119
Если же мы не знаем, что матрица В «больше» А, чтобы про-
проверить гипотезу о равенстве А и В, мы должны, кроме того,
проверить, насколько мал меньший корень. В общем случае мы
здесь сталкиваемся с теоретическими трудностями, так как со-
совместное распределение большего и меньшего корней неизвестно.
Однако можно ожидать, что при больших р эти величины асимп-
асимптотически независимы.
Мощность критериев
42.22 Мы уже отмечали обескураживающее обилие параметров, появляю-
появляющихся в многомерной ситуации. Статистики наших критериев их ие содер-
содержали, но если мы захотим точно задать альтернативы, чтобы установить мощ-
мощность критерия, положение несколько осложнится.
Для основанного на статистике Т2 критерия проверки значений среднего
(см. 41.16) мощность может быть установлена по существующим таблицам.
Действительно, если теоретический вектор средних равен ц, а Т2 базируется
иа другом векторе цо, т. е.
Г2 = «(*-цо)'с->п-цо), D2.86)
распределение статистики Т2 имеет нецентральное F-распределение с р, я— р
степенями свободы и параметром иецеитральности п(ц — (*o)'Y~'((* — [*<>)•
Следовательно, можно воспользоваться нецентральным ^-распределением или
одной из его аппроксимаций (см. 24.32) (при условии, если точно определено
у). Можно также показать (Симаик, 1941), что Т2 равномерно наиболее мо-
мощен в классе критериев, чья мощность зависит только от параметра нецеи-
тральности (одномерный случай см. в 24.36). Аналогичные замечания спра-
справедливы и для случая двух выборок (см. 41.17).
42.23 Для более детального изучения распределений и критериев в много-
многомерном случае можно обратиться к книгам Т. Андерсона A958) и Лемаиа
{1959).
396
ГЛАВА 42
Обобщение на многомерный случай задач, связанных с критерием Верен-
са — Фишера различия двух средних в случае неравенства дисперсий,' поро-
порождает целый ряд спорных вопросов н парадоксов (см. Молдон A955)). Мы
в 21.15 т. 2 отмечали, что задача иа самом деле может быть решена методом,,
восходящим к Шеффе, которому удалось избежать присущих этим задачам
трудностей. Этот метод был обобщен Беннетом A951) на многомерный слу-
случай. Смотри также Т. Андерсон A958, пункт 5.6) и A964) и упражнение 42.12.
О функциях мощностей можно прочесть у Себера A964b), Дэрроча и Снлвн
A963) и Хогга A961). Дас Гупта, Т. Андерсон, Мудхолкар A964), а также
Т. Андерсон и Дас Гупта A964а, Ь) установили монотонность, функций мощ-
мощностей ряда критериев для поверки некоторых многомерных гипотез.
Арнольд A964) изучал влияние на распределение Т2 перестановок, Хол-
ловэй н Данн A967) рассматривали устойчивость этого распределения по от-
отношению к различиям между характеристиками рассеяния в случае двух вы-
выборок. Ито и Шулль A964) обсуждали вопрос об устойчивости 7д-критерияг
а также принадлежащие Лоли A939) и Хотеллиигу A951) обобщения на
случай нескольких выборок двухвыборочного Т2-критерия для проверки равен-
равенства векторных средних. Соответствующее распределение изучал Константин
A966). Пиллаи и Джаячаидран A967) вычислили мощности Г^-критерия ОГТ
D2.17) и других критериев. Эти критерии асимптотически эквивалентны; а
случае малых выборок они отличаются, ио несущественно. Шатпов A966b)
сравнивает критерии, использующие различные статистики и приходит к вы-
выводу, что различие между D2.17) и Т\ несущественно. Пиллаи и Джаячанд-
ран A967) пришли к сходному выводу для критериев независимости, где
D2.14) является критерием ОП.
Постен и Баргман A964) предложили метод для вычисления мощности
критерия ОП, который одинаково пригоден для всех гипотез, налагающих
одну или две связи.
42.24. Тамура A966) построил асимптотическую теорию для свободных от
распределений критериев равенства векторных параметров расположения в
классе непрерывных многомерных распределений, отличающихся лишь сдви-
сдвигом. Бхаттачария A967), изучая их эффективность, пришел к выводу, что
методы, использующие систему нормальных меток, предпочтительнее.
П. Сен и Пурн A967) получили одновыборочный многомерный критерий
расположения, использующий ранги.
УПРАЖНЕНИЯ
42.1 Показать, что прн р = 1 использование статистики lHi из 42.6 экви-
эквивалентно использованию F-критерия.
42.2 Рассматривая процесс максимизации по различным множествам па-
параметров, показать, что D2.18) всегда верно.
42.3 Следуя примеру 42.1, показать, что для статистики /Я| величина
—2plog/ приблизительно распределена как %г с (*—1)Р(Р+1)/2 ст. св. и.
р
42.4 Показать, что Z2'" из D2.45) может быть представлено в виде про-
произведения независимых величин t/jk:
где
ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ
у.к — бетта-величины с параметрами (п — р"; — k)/2, p /2;
397
42.5 Получить равенство D2.41).
42.6 Получить равенства D2.52) —D2.54).
42.7 Выборка объема п взята из одной р-мерной нормальной совокупно-
совокупности. Рассмотреть гипотезы:
Н: Средние для всех координат равны, все характеристики рассеяния
рэвиы.
Я,: Независимо от значений средних все характеристики рассеяния рав-
ны (т. е. все дисперсии равны и все ковариации равны)
Н*. При заданном равенстве характеристик рассеяния средние равны
показать, что статистики отношения правдоподобия даются формула-"!
I cik I
(р _ 1) г)
2 р
где s есть средняя дисперсия J] s2.lp,
/1 '
а s0> го — Дисперсия и корреляция, вычисленные
точнее говоря,
«по всем координатам»
Показать, ^что -2 log/, -2 log/,, -2 1og/2 распределены приблизительно
как х2 с — р (р + 3) - 3, — р (р + 1) - 2, р - I ст. св. соответственно.
(Уилкс, 1946.)
42.8 Используя распределение D2.25), подтвердить вывод примера 42 4
42.9 Проверить результаты 42.12. '
42.10. Получить 72 как критерий отношения правдоподобия в форме
а' также получить его распределение для больших выборок в нулевом
случае. J *
42.11 Показать далее, что в общем случае, при р-мерной выборке из
?) и . F
398
ГЛАВА 42
распределение Я (я — р)/(« — 1) Р имеет нецентральную^/'-форму с р, п — р
ст. св. и параметром иецентральностн т2 = «(ц — f*o)'Y (Ц — Цо)-
42.12 х{р (/=1, 2 «О, *f* (/ = 1' 2 л2) -выборки из двух
р-мерных совокупностей N (ць Yi)> N (Иг. Уг)- Пусть
/
так что у = дс(" — *B).
Показать, что матрица ковариации у
Определив W равенством
показать, что T2=nly'W iy распределено как Т2 с (п\ — 1) ст. св.
(Беннет, 1951.)
42.13 Показать, что критерий, основанный на Т2, инвариантен относи-
относительно любого невырожденного линейного преобразования величин с некото-
некоторой матрицей М. Рассматривай преобразование, сводящее матрицу рассеяния
с к единичной, показать, что единственной инвариантной функцией, завися-
зависящей только от х и с, является х'сх.
42.14 Обращаись к упражнениям 42.11, 42.13, показать, что распределение
Т2 может быть записано в виде постоянной, умноженной на
ехр
с
Заметив, что наиболее мощный критерий, использующий Т3 для проверки
того, что х = 0, представляет отношение соответствующей плотности к ее
значению при т = 0, показать, что такой критерий равномерно наиболее
мощен.
42.15 В случае многомерной регрессии рассмотрите разбиение р на pilb
с <7i и qi столбцами соответственно. Проверяя гипотезу Н: Р, =Pi> показать,
что возведенное в степень 2/я отношение правдоподобия может быть записано
в виде
.9/« I ПО I
ПРОВЕРКА ГИПОТЕЗ В МНОГОМЕРНОМ АНАЛИЗЕ
399
где vn,2==vxi~v\i2Vn^2\' и все ^ есть Разбиения матрицы V D2.59) на
<7ь <?2 строк и столбцов, т. е. в виде
У
21 22
(Т. Андерсон, 1958.)
42.16 Показать, что в предыдущем примере в случае справедливости ги-
гипотезы Н моменты I даются формулой
(Уп Vl2).
Р
М(/<)=П
7
Г {4 («-
-/) + Л
Г{ \(n-q2 + \^-j)
Lir{j(a-«, + l+/)Jr({((i-«, + !-H<}'
(Т. Андерсон, 1958.)
ГЛАВА 43
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ*)
43.1 Кроме проблем, которые ставит математика распреде-
распределений, многомерный анализ сталкивается с одним серьезным
препятствием и в сфере практического использования. Мы имеем
в виду трудности, связанные с описанием сложной внутренней
зависимости между случайными величинами и интерпретацией
результатов анализа. Эти трудности заставляют нас пытаться,
с одной стороны, уменьшить число рассматриваемых величин,
а с другой — свести их к независимым. Методы настоящей главы
и служат какой-то одной или обеим указанным целям.
Анализ главных компонент
43.2 Как обычно, рассмотрим л-мерные векторы-строки
Xj, ;=1,2,'..., p, компонентами которых являются наблюдения
над /-и компонентой исходной р-мерной случайной величиной
хщ, k = 1, 2, ..., п, так что в результате имеем (р X «)-матрицу
х. Нам часто будет удобно полагать каждую компоненту Xj цент-
центрированной средним по всем ее л значениям. В этом случае
наблюденная матрица рассеяния дается формулой
с = ^хх'. D3.1)
Напомним, что если ранг с равен т ^ р, то на х наложено
р — т линейных связей. Последнее означает, что существует по
крайней мере одно линейное преобразование, приводящее к но-
новым величинам, число которых равно т. Можно сказать, что ис-
истинная размерность равна т и меньше р. Этот результат следует
из того просто доказываемого факта, что ранг произведения мат-
матрицы на транспонированную к ней совпадает с рангом самой
матрицы.
*) В оригинале — Canonical variables. Перевод предполагает, что прила-
прилагательное «случайные» опускается. Вариант «канонические переменные», по-
видимому, хуже, так как в русской литературе переменными обычно назы-
называют аргументы функций. (Прим. перев.)
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
401
Пример 43.1
Рассмотрим (рХр) матрицу
1 р р
Р 1 р
р Р Р
D3.2)
Сложим столбцы и вынесем общий множитель 1 + (р— 1)р.
Первый столбец, состоящий из единиц, умножим на р и вычтем
из остальных. Тогда мы немедленно получим, что определитель
матрицы равен
A-P)p~'{l+(P-I)p}. D3.3)
За исключением специальных случаев р= 1 и р. ==—1/(р—
— 1), D3.3) не равно нулю и, следовательно, ранг D3.2) равен
р. Итак, мы не можем свести одинаково коррелированные вели-
величины к меньшему чем р числу величин.
Отметим без доказательства (которое можно найти у Ледер-
мана, 1937), что число независимых связей, налагаемых на сим-
симметрическую матрицу, при которых она имеет ранг ю, равно
(l/2)()(l)
)(p)(p)
43.3 Геометрически матрицу х можно понимать двояко.
Можно определить р-мерное евклидово пространство размер-
размерность которого совпадает с размерностью случайного вектора и
в котором точка задается выборочной последовательностью Xjk
(у = 1, ..., р) так, что вся наша выборка представляет собой
«гроздь» из п точек. Можно также определить л-мерное про-
пространство, размерность которого совпадает с числом наблю-
наблюдений, в котором вся выборка представлена р векторами (ле-
(лежащими в некотором р-мерном пространстве, вложенном в
л-мерное). В любом из указанных пространств вырожденность
х до ранга m < р означает, что п выборочных точек лежат в не-
некотором m-мерном подпространстве.
43.4 Рассмотрим переход к новым величинам
% = ах, D3.4)
где а — некоторая матрица коэффициентов.
Ограничим наше внимание лишь такого рода линейными
преобразованиями, так как нелинейные ситуации значительно
более трудны для рассмотрения. Если возникает подозрение, что
мы столкнулись именно с такой ситуацией, следует сначала по-
попытаться линеаризировать данные, например, логарифмируя их.
Более того, потребуем, чтобы матрица а была ортогональной,
в дальнейшем обозначая ее V = Aтк)- Итак,.
IV = П=/. , D3.5)
402
ГЛАВА 43
Для характеристик рассеяния ?, скажем V(Q, имеем
V(%) = t'cl. D3.6)
Отсюда, конечно, следует, что
|V(|)|=|c|. D3.7)
Имеется р2 коэффициентов /. Равенство D3.5) налагает на
них р(р-|-1)/2 связей: р(р— 1)/2— на недиагональные-произ-
недиагональные-произведения и р— на диагональные. Следовательно, преобразова-
преобразование обладает р(р—1)/2 степенями свободы. Геометрически это-
означает вращение в нашем р-мерном пространстве.
Имеется по крайней мере одно такое преобразование, что все
величины g не коррелированы. Последнее условие налагает
Е § 2 |
а|
рр
р(р— 1)/2 связей. Если такие § имеют дисперсии а2,
представленные диагональной матрицей 2, то
I'd = 2,
и, следовательно, в силу D3.5)
с = Ш',
что эквивалентно
с/ = /2.
Рассмотрев первый столбец равенства с/ = /2, имеем *)
Е C«*Z>* = a*Z>»' m = 1, 2, ..., р,
или
вде
(c-af/)/, =0,
— первый столбец /. Следовательно,
\с-оЧ\=0.
D3.8)
D3.9)
D3.10)
D3.11)
D3.12)
D3.13)
Аналогичные равенства справедливы и для остальных а?. Сле-
Следовательно, р значений а2 являются собственными числами с.
Величины ? будут соответствовать проекциям на собственные
векторы матрицы с. Мы будем называть такие величины глав-
главными компонентами.
43.5 В общем случае существует р различных собственных
чисел X матрицы с. Ниже мы увидим, что их удобно располагать
в порядке убывания, т. е. считать, что а\~^а\~^ ... ^ог|. Ранг
матрицы с равен р — q тогда и только тогда, когда последние q
чисел равны нулю. Таким образом, по собственным числам
можно построить критерий для ранга матрицы. Можно пойти
*) В оригинале в формуле D3.11) и в некоторых текстовых пояснениях
к ней были неточности. (Прим. ред.)
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
403
дальше и утверждать, что если а*р мало, все изменения осуществ-
осуществляются в (р — 1)-мерном пространстве и т. д. Из хода предыду-
предыдущих рассуждений ясно, что все оси в нашем р-мерном простран-
пространстве первого типа ортогональны. Но мы перешли к некоррелиро-
некоррелированным величинам. Следовательно, и в нашем р-мерном про-
пространстве второго типа D3.3) соответствующие векторы ортого-
ортогональны. Очевидно, что примененное преобразование единственно,
так как, за исключением вырожденного случая, у с имеется
лишь одно множество собственных чисел. Следовательно, только
наше' преобразование одновременно порождает ортогональность
в обоих р-мерных пространствах.
43.6 Рассмотрим дисперсию &:
D6; =/;«/,, D3.14)
где I,- — /-Й столбец в I. Предположим, что мы стремимся ее
максимизировать с учетом условия
Введем множитель Лагранжа X и будем искать безусловный
максимум выражения
I'iCli — Xl'flj. D3.15)
После дифференцирования
к системе уравнений
по Г,/,, k=\, 2,
, р, приходим
D3.16)
Сравнение с D3.13) показывает, что величины X снова оказы-
оказываются собственными числами.
Из D3.14) и D3.16) следует, что максимальное значение
D?j фактически является соответствующим собственным чис-
числом. Таким образом, наша новая величина |t имеет максималь-
максимальную дисперсию среди всех линейных функций от х, ?г будет об-
обладать максимальной дисперсией среди всех линейных функций,
ортогональных к ^ (некоррелированных с Si) и т. д.
43.7 Поучительно рассмотреть ту же задачу с геометрической
точки зрения. В нашем р-мерном пространстве первого типа
рассмотрим п выборочных точек, координаты которых центриро-
ванны своими средними и нормировании так, что дисперсии
равны единице. Итак
п
-У*2
0,
1.
D3.17)
D3.18)
ot-l
404
ГЛАВА 43
Рассмотрим некоторую прямую с текущими координатами
Xj и направляющими косинусами «j, так что для некоторых чи*
сел nti
2-т2 = ^ = Хр - тр ^ Dзлд^
«1
и2
Пусть S — сумма квадратов расстояний от наших п точек да
прямой. Тогда
S = S Г t (*/« - mif -li,u, (xJa - m,) X] . D3.20)
Пусть числа my и Uj таковы, что S минимально. Равенство нулю
частных производных D3.20) по каждому из m.j дает
— S (х/а — ту) Ч- S «/ Z «/. (х]а — mi) — О-
а а j—\
В силу D3.17) отсюда вытекает, что
т,
—L = const,
1 = 1, 2, . . ., p.
D3.21)
D3.22)
Следовательно, начало координат находится на прямой D3.19),
и мы можем положить все т равными нулю. Впрочем, то, что
прямая проходит через «центр тяжести» точек, можно было ожи-
ожидать. Отсюда, используя D3.18), имеем
П / р \2
5 = РП — S I Z «/*/а ) •
D3.23)
Величины и подчинены условию 2«?=1. Будем искать безу-
безусловный минимум выражения
D3.24)
Дифференцирование по uh ведет к тому, что
или
i-i a-i
p
— huk = 0.
D3.25)
D3.26)
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
405-
Исключая и, снова имеем
| г- XI | = 0. - D3.27)
Итак, рассматриваемое X является собственным числом кор-
корреляционной матрицы. Если бы мы не ввели нормировку, после
которой дисперсии становятся единичными, мы получили бы соб-
собственные числа не корреляционной матрицы, а матрицы рас-
рассеяния.
Более того, из D3.23) и D3.25) находим, что
S = (p — X)n. D3.28)
Отсюда следует, что собственное число, при котором S мини-
минимально, является наибольшим собственным числом. Наша пря-
прямая соответствует |i и такова, что сумма квадратов расстояний
от выборочных точек до нее минимальна.
Мы можем теперь спроектировать все наши точки на гипер-
гиперплоскость, перпендикулярную прямой D3.19) и повторить про-
процесс, строя такую прямую в этой гиперплоскости, что сумма
квадратов расстояний от проекций точек до этой прямой мини-
минимальна. Наша прямая в (р—1)-мерном пространстве будет за-
задаваться вторым по величине корнем уравнения D3.27). Послед-
Последнее очевидно не сразу. Однако мы видели в 43.5, что второй соб-
собственный вектор ортогонален первому и, следовательно, лежит
в нашем (р — 1)-мерном пространстве, а также то, что он полу-
получен путем максимизации дисперсии, что эквивалентно миними-
минимизации суммы квадратов расстояний до прямой.
43.8 Краткого упоминания заслуживают следующие факты:
A). Все собственные числа матрицы рассеяния действи-
действительны и неотрицательны. Это вытекает из неотрицательной
определенности матрицы. Формальное доказательство можно
найти в большинстве учебников по теории матриц. Обратите
внимание, однако, на предупреждение в 43.36.
B) Вообще говоря, собственные числа не равны. Но в част-
частных случаях некоторые из них, и даже все, могут оказаться рав-
равными. В случае равенства не существует основанного на вели-
величине дисперсии критерия, выделяющего одну из компонент
(среди группы с равными собственными числами) как имеющую
какой-то приоритет. В любом ортогональном к указанной группе
множестве компонент это можно сделать.
C) Из D3.13) следует, что сумма собственных чисел равна
сумме диагональных членов матрицы рассеяния, т. е. следу. По-
Подобно этому произведение собственных чисел равно определи-
определителю матрицы рассеяния.
D) Если А и В — две невырожденные матрицы рассеяния,
собственные корни уравнения \А — ХВ\ =0 такие же, как и у
\В~1А — ЯХ| —0. В частности, при Л = / мы видим, что.
•406
ГЛАВА 43
собственные числа обратной матрицы равны величинам, обрат-
обратным собственным числам исходной.
E) Величины /, соответствующие какому-либо собственному
числу, определяются однозначно, за исключением того, что все
•они могут одновременно изменить знак.
43.9 Вопрос нормировки требует большего внимания. При-
Принято, особенно в работах по психологии, нормировать матрицу
.рассеяния путем деления на соответствующие (выборочные) стан-
стандартные отклонения и, следовательно, сводить ее к корреляцион-
лой. В этом случае сумма дисперсий величин |:- равна размер-
размерности р. Такая процедура приводит к тому, что все р компо-
лент |j имеют одинаковый порядок наблюдаемых значений и их
случайного рассеяния.
Однако собственные числа и векторы не инвариантны относи-
относительно изменения масштаба. Так, в геометрической картине из
43.7 перпендикуляры, опущенные из точек на прямую, после
указанного изменения перестают быть таковыми. Таким обра-
образом, в общем случае мы получаем различные результаты в зави-
зависимости от того, менялся вначале в системе масштаб или нет.
Этот факт иллюстрируется ниже в примере 43.4. Окончательное
решение о желательности нормировки следует принимать, исходя
.из нестатистических соображений. С точки же зрения статисти-
статистика, нормировка, особенно при выборочных обследованиях, прив-
-носит ряд неудобств, так как осложняет анализ распределений.
43.10 Численное решение уравнения D3.13) с помощью на-
настольных компьютеров весьма утомительно. Описание процесса
приближений к решению можно найти у Кендалла A961 Ь). По-
Появление электронно-вычислительных машин полностью изменило
-ситуацию. Большинство машин могут самостоятельно опериро-
оперировать весьма большими матрицами и вычислять соответствующие
¦собственные числа и векторы. Поэтому проблемы вычислений
мы здесь касаться не будем.
Пример 43.2 (Лоли и Максвелл, 1963)
123 индивидуума были подвергнуты пяти психологическим те-
тестам. Корреляции между результатами различных тестов таковы:
D3.29)
1
1
2
0,438
1
Тест
3
—0,137
0,031
1
4
0,205
0,180
0,161
1
5
—0,178
—0,304
0,372
—0.013
1
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
407
Собствен-
Собственные
числа
1,75714
1,33070
0.78086
0,70916
0,42214
*|
0.55550
-0,18568
0,21597
0,64078
0,44688
Коэффициенты
Хг
0,56470
—0,24745
0,43969
—0,30765
—0,57611
—0.27СОЭ
—0,66199
0,32041
—0,39839
0,47696
при
х*
0,23572
—0,55654
—0,7870
-0,1481
—0,12266
Xt
-0,49403
—0,39538
0,19478
0,57950
—0,47523
Анализ главных компонент дает нам следующие собственные
числа и векторы:
D3.30)
Матрица / дается пятью столбцами справа. Например,
|, = 0,55550*! + 0,56470л:2 — 0,27000*3 +
Ч-0,23572д:4 — 0,49403л:5, D3.31>
или, читая сверху вниз,
х, — 0,555501] — 0,18568|2 + 0,21597|3 +
Ч- 0,64078g4 Ч- 0,44688|5. D3.32>
Конечно, вряд ли исходные данные отражены в этих результа-
результатах с точностью до пятого знака. Тем не менее нам будет удобно
оставить эти результаты в целях проверки. В работах по психоло-
психологии принято рассматриваемые коэффициенты представлять в мо-
модифицированной форме. Вместо величин ? рассмотрим
С/ = S//VV D3.33)
так что все величины ? имеют единичную дисперсию. Матрица
коэффициентов при * для величин g тогда такова:
1
2
3
4
5
0,73635
0,74855
-0,35790
0,31247
-0,65488
—0,21419
—0,28545
—0,76364
—0,64200
—0,45609
0,19084
0,38855
0,28313
-0,69548
0,48801
0,53961
-0,25908
-0,33349
-0,12247
0,48801
0,29035
—0,37432
0,30989
—0,07969
—0,30877
Так, например,
х, = 0,73635?! - 0,21419?2 + 0,19081?3 +
+ 0,53961?4 + 0,29035?5. D3.35)
В тех случаях, когда величины ? рассматривают как факторы,,
определяющие структуру ситуации, а коэффициенты — как веса»
408
ГЛАВА 43
с которыми эти факторы участвуют в различных величинах, эти
коэффициенты называют коэффициентами (или факторами) на-
нагрузки.
Вопросами проверки и оценивания мы займемся впослед-
впоследствии. Рассматривая данные так, как они расположены, мы ви-
видим, что дисперсии величин % (которые по определению не кор-
релированы) составляют по порядку номеров 35, 27, 16, 14 и 8
процентов от общей суммы. Эти числа получаются делением
собственных чисел на р (в нашем примере на 5). Довольствуясь
приближенным анализом, мы можем опустить последнюю слу-
случайную величину, так как в этом случае дисперсии оставшихся
четырех составляют 92 процента. Можно опустить даже послед-
последние две величины, так как дисперсии оставшихся трех состав-
составляют 78 процентов. Но для того, чтобы вычислить оставшиеся
три величины ?, мы должны измерять все пять величин х.
43.11 Мы уже отмечали, что собственные числа определяются
матрицей рассеяния единственным образом. Из D3.16), неза-
независимо от того, фигурируют там выборочные или теоретические
величины, ясно, что I, также определяются единственным обра-
образом, если не учитывать возможность смены знака. Последний
можно всегда определять так, чтобы, например, 1ц было поло-
положительным. Таким образом, установлено взаимно однозначное
соответствие между собственными числами и собственными век-
векторами с одной стороны, и матрицей рассеяния и векторами
средних — с другой. Так как в нормальном случае выборочные
значения последних являются оценками МП соответствующих
теоретических значений, выборочные значения собственных чи-
чисел или векторов являются оценками МП соответствующих тео-
теоретических величин.
Вопрос о смещении рассматривал Дэмпстер A966). Точные выражения
довольно сложны.
Проверка статистических гипотез о собственных числах
43.12 В силу ряда причин трудно построить точную теорию,
позволяющую исследовать собственные числа. Распределения
здесь сложны, нормировка, как уже отмечалось, еще более
усложняет дело. Кроме того, могут оказаться интересными те
специальные случаи, когда собственные векторы не определены
в том смысле, что некоторые из собственных чисел оказываются
равными.
Выясним, какого типа гипотезы мы хотим проверять. Прежде
всего будем интересоваться тем, является ли обсуждавшееся
выше преобразование само по себе ценным, точнее говоря, отли-
отличаются ли собственные числа друг от друга. Если нет, то с точки
зрения представлений исходные значения х не хуже, чем вели-
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
409*
чины ?. Иначе, мы хотим выяснить, являются ли значения х
независимыми.
Один критерий для проверки этой гипотезы уже обсуждался
в 42.12. Статистикой там служил корреляционный определитель,
логарифм которого, умноженный на —п, распределен приблизи-
приблизительно как %2 с yP(P~~ 0 ст- св- Более же точно, как %2 рас-
распределена случайная величина
'Пример 43.3
Для данных нз примера 43.2 величина корреляционного опре-
определителя (будучи произведением собственных чисел) равна
0,54659, п равно 123. Таким образом, —123 log 0,54659 = 74,3
приближенно является значением х2 с Ю ст. св. Результат
крайне неблагоприятствует принятию гипотезы.
Пользуясь более точным приближением, получаем, что
¦(«- 2р+П ) log | г | =» 72,2
является значением %2 также с 10 ст. св. Вывод остается тем же.
Это один из критериев независимости. Если же мы хотим
сразу проверить и независимость и равенство дисперсий, нам
следует использовать критерий сферичности из 42.13, приме-
примененный к матрице рассеяния с. Статистика здесь,равна
— л {log И — plog(trc/p)}. D3.36)
Число ст. св. равно -jp(p-\- 1) — 1. Чтобы получить более
тонкий критерий, надо, используя D2.54), заменить п на
2р2 + р + 2
п —
D3.37)
43.13 Критерии такого типа показывают, дает ли нам пре-
преимущество переход к каноническим величинам ?.
В некотором смысле для проверки отличия собственных чи-
чисел от нуля не требуется никакого критерия. Ни одно большее
нуля значение не может быть получено из генеральной сово-
совокупности, у которой соответствующее теоретическое значение
равно нулю: в частности, если бы некоторые из теоретических
собственных чисел равнялись нулю, то область изменений ис-
исследуемой случайной величины лежала бы в некотором под-
подпространстве, и ни одна выборочная точка не могла бы лежать
вне этого подпространства. Это не обязательно так, если
значения наблюдаемой переменной подвержены ошибкам
410
ГЛАВА 43
наблюдения и измерения. Однако рассмотрение этого случая нам
следует отложить до того момента, когда мы будем изучать
факторный анализ.
43.14 Естественно, однако, задать следующий вопрос. Пред-
Предположим, что некоторые собственные числа велики и состав-
составляют большую долю дисперсий. Значительно ли отличаются
друг от друга оставшиеся числа или они характеризуют под-
подпространство, где соответствующие величины сферичны или по
крайней мере не коррелированы? Другими словами, являются
ли оставшиеся а и связанные с ними собственные векторы раз-
различимыми"?
Бартлетт A954 и более ранние работы), исходя из отчасти
эвристических соображений, предположил, что такого рода ги-
гипотезу можно проверять приближенным х2-кРитеРием- Предпо-
Предположим, что мы выделили первые k собственных чисел и хотим
проверить, равны ли оставшиеся р — k некоторому неизвестному
числу. Допустим, что выборочные ошибки настолько малы по
сравнению с различиями между At, ..., Аь, что мы можем уста-
установить почти точное соответствие между выборочными и тео-
теоретическими значениями а,- при / = 1, ..., k. Поскольку опре-
определитель рассеяния равен произведению собственных чисел,
представляется разумным сравнить этот определитель с тем,
что получается, если последние р — k чисел положить равными.
В том частном случае, когда рассматривается корреляционный
определитель, последний равен
D3.38)
1Л2 • • • Ajs
p-k
Предлагаемая статистика является отношением двух опреде*
лителей и равна
D3.39)
(Aft-l-lAft+2 • • • Лр) ^ р ~ k
где все л—выборочные значения. Последнее можно рассматри-
рассматривать как возведенное в степень р — k отношение арифметиче-
арифметического и геометрического среднего чисел Xh+i, ..., лр.
Предположение состоит в том, что логарифм D3.39), умно-
умноженный на некоторый множитель, включающий п, может слу-
служить статистикой критерия, подчиненной х2 распределению с
у(р — k— \)(p — k + 2) ст. св.
D3.40)
Лоли A956а) показал, что если в качестве множителя взять
ь 1 1 j
2(p-k? + p-k+2
—i
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
41Г
а л оценивать, как среднее от Аь+1, ...., Хр, статистика имеет
моменты, совпадающие с моментами %2 распределения с точ-
точностью до О(п~3). Если Ai, ..., Ак велики по сравнению с Хг
последний член в D3.41) можно опустить.
43.15 Строго говоря, эти результаты применимы к матри-
матрицам рассеяния с единицами по диагонали. Применение их к кор-
корреляционным матрицам ухудшает точность, поскольку мы
производим нормировку с помощью выборочных дисперсий.
Оказывается, что в этом случае статистика не подчиняется
^-распределению. Однако за неимением лучшего можно при-
примириться и с грубым критерием, используя результаты 43.14„
как если бы они применялись к корреляционной матрице.
В связи с этим рассмотрим снова данные примеров 43.2
и 43.3. Предположим, что мы решили, что два наибольших соб-
собственных числа достаточно велики, чтобы быть уверенными, что
соответствующие теоретические значения отличны между собой
и отличны от остальных.
Произведение оставшихся трех чисел равно 0,23376, а их
среднее 0,63739. Множитель D3.41) без двух последних членов-
равен 120 и значение статистики равно
120 {3 log 0,63739 — log 0,23376} = 12,3.
Числп ст. св. в силу D3.40) равно 5. Наблюденное значение пре-
превышает 5-процентный уровень, но не превышает 1-процентный.
Возникает подозрение, что последние три числа в действитель-
действительности не равны.
Статистическое исследование собственных чисел
в случае больших выборок
43.16 Мы продвинемся дальше, если рассмотрим асимптоти-
асимптотическую теорию, а именно стандартные ошибки и ковариации
в случае, когда все теоретические собственные числа различны.
Результаты были впервые получены Гиршиком A939).
Точность наших приближений будет такова, что нам будет
безразлично, фигурируют ли в формулах выборочные или тео-
теоретические значения. Будем использовать выборочные значе-
значения. Тогда
Z/ / —
ЧаЧкх —
а=>1
D3.42)
D3.43).
412
ГЛАВА 43
и, используя, как и раньше, символ Кронекера, получаем из
D3.43), что
р р
? Е clalkalkm = lk6,m. D3.44)
'Переходя к дифференциалам в D3.43) и рассматривая случай
к = /', получаем
. D3.45)
Не ограничивая общности, можно теперь предположить, что оси
совпадают с «g-осями», так что с„ — Xj и cjk = 0 при / ф k.
Тогда первые члены в D3.45) слева и справа взаимно уничто-
уничтожаются и
dcn^dkj. D3.46)
Таким образом, cov{Xj,Xh) = cov(cj,, chh), откуда, используя
D1.98), получаем, что в нормальном случае
^-й,к. D3.47)
D3.48)
Следовательно, при / ф k Xj и Xh не коррелированы и
2Я.
При нашей точности аппроксимации это означает, что
D (log Я,;) = 2//г.
D3.49)
Это удобная форма, так как дисперсия не зависит от парамет-
параметров X.
43.17 Здесь снова результаты для корреляционной матрицы
по сравнению с матрицей рассеяния могут оказаться значи-
значительно более сложными. Приведем результаты Гиршика A939):
D3.50)
COV
а.р
D3>51)
где гар означают корреляции.
43.18 Тем же методом можно получить дисперсии и ковариа-
ции координат собственных векторов. Мы приведем эти резуль-
результаты, поскольку они интересны, но следует помнить, что на'
лрактике нам вряд ли может понадобиться исследование от-
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
413
дельных направляющих косинусов.
4и п
4X1
... +
D3.52)
Ъ Л
D3.53)
Величина cov(//ft, lmk) задается D3.53) с заменой каждого 1%
nalislms.
По поводу некоторых более поздних результатов см. Т. Аидерсон A963).
Им доказана асимптотическая нормальность распределений собственных чисел
И векторов и исследован случай, когда некоторые из собственных чисел равны
между собой *).
43.19 Как инструмент статистики анализ главных компонент,
sno-видимому, наиболее пригоден при нахождении «эффектив-
«эффективной размерности», или при исследовании того, насколько «до-
«доминантна» та или иная линейная комбинация величин. Суще-
Существует случай, когда в использовании такого анализа пошли
дальше, возможно, даже переходя границы допустимого. Пред-
Предположим, что наибольшее собственное число доминирует, со-
составляя скажем 70 или 80 процентов от сумм дисперсий. Можно
действовать довольно жестко и отбросить остальные компо-
компоненты, так сказать, пустив все изменения в направлении пер-
первого собственного вектора. Но может случиться так, что такой
..образ действий лишь субъективно желателен. Например, если
значения х означают индексы **) деловой активности, банков-
банковские вклады, стоимости перевозок, характеристики импорта
и т. д., мы можем просто желать, чтобы показатель общей де-
деловой активности выражался одним числом, определяемым зна-
значением первой главной компоненты. Значение gi становится
¦тогда просто взвешенным индексом **) и х выступают как со-
составляющие взвеси. Является ли индекс искусственной харак-
характеристикой или действительно отражает некоторую «реальную»
•силу деловой активности, есть вопрос интерпретации. Решается
.он в свете знаний об экономической структуре изучаемой
.системы.
Кендалл A961 в), показал, как ранговыми методами можно достигнуть
гхорошего приближения к упорядочению, связанному с выделением первой
.главной компоненты.
Еще меньше известно об использовании в каноническом анализе методов,
.свободных от распределений.
*)См. также П. В. Архаров, О предельных теоремах для характери-
•стических корней выборочных ковариационных матриц при больших размерно-
«стях. Сборник «Статистические методы классификации», вып. 2, МГУ, 1972.,
^Прим. ред.). ¦ . ¦ ..
**) Здесь индекс — экономический термин. (Прим. перев.). .
414
ГЛАВА 43
Бил, Кендалл и Д. Манн A967) дают численный метод уменьшения раз-
размерности от р до некоторого заданного д, состоящий в максимизации наи-
наименьшего из множественных коэффициентов корреляций между каждой и»
«отбрасываемых» величин и оставшимися величинами. Авторы сравнивают
их методику с анализом главных компонент.
Пример 43.4 (Крэддок, 1965 + дополнительная информация, лю-
любезно переданная им в частной переписке)
Мэнли A953 и позже) построил замечательно длинный ряд.
месячных температур Центральной Англии с 1680 по 1963 г.
Гемпература измерялась в градусах по Фаренгейту с точностью-
до десятой градуса. Для удобства анализа будем считать, что
год начинается в ноябре и кончается в следующем октябре.
Каждый год представлялся 12-мерным вектором, по одному
значению на каждый месяц. Таким образом, проблемы мае*
штаба не возникают. Случайные величины центрированы не
отдельными месячными средними, а средним всего ряда. Эта
сохраняет картину изменения температуры в течение года, так
что годовые вариации основных показателей нас не должны
удивлять.
Таким образом, имелось 283 набора среднемесячных темпе-
температур, охватывающих период с ноября 1680 по октябрь 1963 г.
Ранее в этой главе мы предполагали, что значения каждой
компоненты х центрированы средним этой компоненты. Если
мы центрируем какой-либо другой величиной, наши деленные
на п суммы произведений являются уже не коварнациями,
а моментами второго порядка. Анализ остается верным, но мы
должны ожидать, что одна из компонент, возможно первая,
соответствует направлению от нового среднего до выборочного
среднего.
Матрица смешанных моментов дана в таблице 43.1.
Первые десять собственных чисел этой матрицы таковы:
Номер
собственного числа
1
2
3
4
5
6
7
8
9
10
Сумма первых десяти
Процент
от общей суммы
92,38
2,05
1,12
0,98
0,67
0,58
0,49
0,45
0,41
0,36
99,47
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
ев
и
wj —¦
CO о
•—• ю
в о
а
is.
<°
II
Is
О. CL>
>. Я
H О
3
S
«Я
а а
о =с
s а.
к
о.
СО Ф К
о> о су
П ION
! I I
I I
GO О
i 7
о со о
777
з s е
от со оо
Ю ОО О
S 5 Я
U? ^* СО
OJ " сч
(а Я) to
s a s
s a" s
•о о. л
,&о а
>о и я
к и ш
Ч Ч •-.
ю м ^
OO tO OO
I I !
О OO W
7 ' '
(Я ОО О)
—' OO (N
I ' '
852
О С4 ^
S" is a
i i i
s"
3 П 2
Ul ю П
is i
s e gf
^ ¦* <3
от от <гз
SCO —
а з 2
152
сч* nT —
- s"s"
Й 32
* О OO
S SI
1 I 7
i 7
§ 5 i
s s" s
i i 7
e 2 2
? S S
S S2S
CD О N.
QJ О ОТ
Фом
S <Й »
^g*
; s 2
I OO CO
I 1
SffS
I
IIS
s" ts f
7 l '
i i
415
I
<: и о
s
8°
416
¦ ГЛАВА 43
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
417
<N
4
«3
s
4
ce
H
о
I
о
00 X
Ю S
— я
о-а.
V2 О
¦s о
II
га в)
и
К 0)
p
то
m
S
S
S~" к. m
ю оо
S § й
о о о
t? (D g
I*- l*- СЧ
CO C4 О
О О О
¦"*• <О О
S| 2 S
О) Ю М
О -" *¦*•*
111
о -? -&
-(MS
о Й S
to — о"
л о. л
аи о,
О И Я
ки
to с* со
о о о
s * к
о о о
<м со м
ю В ¦*
h~ <o t4»
о о о
оо ю су
л ао^ in.
Ю О) «1
СС (N М
Ю О О>
со" ьС -"
СМ ОО -Ч1
со со со
— т ю
—* СО —
ев Ч
о. 5? о»
to 2- о.
Ш * И
"ч О> О»
О СО Л
1О С* W
о - •»
— см со
s s fe
a s s
о" о" о
о о а
г о
л л
ев ч
S S
S S
ISS
S S IS
п « О
* CJ Ч»
to о п
чг t- U5
—Г о о
5? SK
оо s_ v
о о о1
<D 1С (О(
о о о"
о о —"
к. О) со
о сэ ~
о* о о
1Ъъ
Й S 5
49,16
55,86
59,96
60,59
57.75
52,1
46,25
41,37
38,91
37.51
39.27
42,68
Месячиые
средние
2,24
2,04
1,94
2,06
1,96
(О
6.
2.32
2.65
3,34
3,75
3,09
2,46
Дисперсии
Величина дисперсии, относящаяся к первому собственному век-
вектору, необычно высока, но на это, конечно, есть причина — ос-
основное изменение происходит за счет смены сезонов. Коэффи-
Коэффициенты при первых четырех собственных векторах даны в таб-
таблице 43.3 (ниже). Если выписать коэффициенты при первом
собственном векторе рядом с месячными средними, приведен-
приведенными в таблице 43.2, можно увидеть, что они почти точно сле-
следуют тенденции сезонных изменений.
В психологических или экономических работах мы вряд ли
стали бы тратить усилия на рассмотрение остальных собствен-
собственных чисел. Однако настоящий пример интересен тем, что о фи-
физической системе, которую характеризуют наши данные, мы
знаем достаточно много, чтобы сделать попытку дальнейшей
интерпретации. Крэддок, в статье которого читатель может
найти интересующие его подробности, отождествляет вторую
компоненту с климатическими изменениями средней годовой
температуры, третью и четвертую — с изменением зимней тем-
температуры.
В таблице 43.2 приведены ковариации, причем при их вы-
вычислении величины центрировались месячными средними.
Первые четыре собственных числа этой матрицы таковы:
Номер
собственного вектора
1
2
3
4
Сумма первых четырех
Процент
от общей суммы
27,50
15,20
10,84
10,78
64,32
Теперь после удаления сезонных компонент картина остаточных
изменений значительно менее ясна. Из таблицы 43.3, где даны
коэффициенты при собственных векторах, видно, что первый
вектор (чьи коэффициенты все положительны) характеризует
изменения типа вековых (за весьма большие периоды), второй
и третий характеризуют колебательное движение в течение
года и, аналогично с анализом таблицы 43.1, по-видимому, свя-
связаны с изменениями типа изменений зимней температуры.
Интересно посмотреть, как изменится наш анализ, если, ис-
используя нормировку перейти от ковариации таблицы 43.2
к корреляциям.
14 М. Кендалл, А, Стьюарт
418
со
со
cd
S
ГЛАВА 43
S
се
-О-
s
Is
53 2
15
If
ш оо
nj tD
<J
t=( -a
id. \O
П 8
S =
S 5
Si
I
О. я
a
i
s
о
s
О О О О
Й ^" СО Ю
см с^ о о
О о" о" О
СП СО Ч* ГО
QJ -^> — Q
со со о о
о о о о
— — ч^ (?>
S 833
о о о о"
I I
о о о" о
- « О CS
о" о о" о
о о о о
00 СП О 00
¦«*• СО СО СО
(N CN ¦* <N
i-Г о о о
i
(^ N О СО
со со "э е^
о о о о
1 I
о
si a
sis
oats °
|В8
Ь- СО Ю JC
со S - га
С5 * 1О *
о о" о о
I I I
о" о" о" сэ
о со со ел
CS1 О —^ ¦*
о о" о о
I I
СО Ю W S
« О — СП
«" CN -^ О
2 Р 1
о о о о
1 I I
^- СП ^*
з щ. s
о о о
III
о о о
I I I
— h» СП
§ s &
о о о
О N N О5
= s a s
о" о о о
I I I
N S (О Ш
?- \а •*? со
о^ —^ csi еч
о" о о о
I I !
О) СО ^- t^
N (N N «
1- м м о
о о о о
I I I
о" о о о
! I I
_i -ч}" <О О>
ю и- w. t
о о" о о
О СО СП "*¦•
SS58
о" о о о"
- П (О
ОО ОО А К
S S S Й
о о о о
О О *
1О W СО
S* 1О О
si
-r О
П R 1 .
о о о о
— Ю S Ю
fe S S &
о" о" о о
1 I I
in со ю оо
« °г ".CI.
о о о о
I I I
J
о о о
I I
СО CN — ^
о" о о о
О О О О
о" о о о
s « « а
О О О О
О 00 Г* СО
-^ СП Ю СО
о* о о о
N Ю О S
<о со ю со
еч t» ¦* f
о о о о
¦>*• М -** Ю
,j. id s -
tN W * О
о о о о
о с5 о о"
¦^» -- О) СО
Ю Ю CN в»
а" = s «
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
Соответствующие результаты таковы:
419
Номер
собственного числа
Процент
от общей суммы
22,54
11,51
10,29
8,93
Сумма первых четырех
53,27
Хотя различия не столь велики, они все же ощутимы. Сле-
Следовательно, даже в том случае, когда все р компонент вектора
измеряются в одних и тех же единицах измерения, нормировка
меняет дело. Мы должны были бы ожидать еще больших изме-
изменений, если бы компоненты измерялись в единицах разного
масштаба.
Канонические корреляции
43.20 Преобразование совокупности величин х к канониче-
канонической совокупности величин | по сути является преобразованием
квадратичной формы к сумме квадратов. Обратимся теперь
к общей теория связей между двумя совокупностями случайных
величин: хи ..., хр и xv+l, ..., xp+q, причем р ^ q. Следуя Хо-
теллингу A936) покажем, что всегда найдется линейное преоб-
преобразование к таким случайным величинам.^, ..., %р; 2-р+ь ¦••
...., lv+q*), что:
(а) все | имеют единичную дисперсию и нулевое среднее;
(б) каждое | в «р-группе» не коррелировано с любым \ из
этой же группы;
(в) каждое | в «^-группе» не коррелировано с любым % из
этой же группы;
(г) корреляции между любым \ из р-группы и любым | из
^-группы равны нулю, за исключением р корреляций рь ..., рр,
которые можно считать корреляциями между |j и |р+ь 1г
и %р+2, ¦ • ¦. ?р и |гр-
В этом случае говорят, что величины | представлены в ка-
канонической форме, а все р называют каноническими корреля-
корреляциями. Мы уже обсуждали канонические корреляции в связи
с анализом категоризованных данных в 33.44—9 т. 2.
*) Имеется в виду, что совокупность хи ..., хр преобразуется в совокуп-
совокупность %i ,,,, %р, а Хр+и ,,., xp+q — в |р+ь ,.., |р+д. (Прим. перев.)
14*
420
ГЛАВА 43
В -случае единственной совокупности мы могли перейти
к такой совокупности величин 1, что их значения, рассмотрен-
рассмотренные по очереди, говорили нам о полной вариации столь много,
сколь это возможно. Теперь этого сделать уже нельзя. Опти-
Оптимизация здесь на самом деле ограничена тем, что число
ненулевых корреляций не может быть меньше некоего мини-
минимально возможного числа.
Предположим, что наши величины х имеют нулевые средние
и характеристики рассеяния Vift- Характеристики рассеяния
в р-группе обозначим греческими индексами: \а$, а в д-группе—
латинскими индексами: yjk. Для ковариации «р-величины»
и «^-величины» введем обозначение с одним греческим и одним
латинским индексом: yaj.
Для упрощения обозначений будем опускать индексы, отно-
относящиеся к выборке. На самом деле мы можем пойти дальше
и опускать другие индексы, идентифицирующие | и ц (см. ниже)
и соответствующие коэффициенты в преобразовании. Рассмот-
Рассмотрим теперь какую-либо пару величин (по одной на каждую
группу), определенную соотношениями
Е =
а= 1, .... р,
D3.54)
a
D3.55)
Потребуем, чтобы у них были единичные дисперсии, т. е. чтобы
D3.56)
_ = 1. D3.57)
а, Ь
Будем теперь искать условие на коэффициенты lam, при кото-
котором корреляция между ? и т^
R = ? 1атаУаа, D3.58)
а. а
как функция от коэффициентов I и т принимала стационарное
значение, иначе говоря, точка (I, т) была бы стационарной
точкой для R. Взяв два, пока неопределенных множителя Х/2
и (г/2, обратимся к безусловной стационарности выражения
Л v- . , I» V _-.... D3.59)
D3.60)
Дифференцирование приводит к уравнениям
? faYaa — Ц ? ГПьУаЬ = 0,
а
?
— Я.
= 0.
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
421
Умножая первое уравнение на та, а второе на 1а и суммируя
в первом случае по а, а во втором по а, получаем в силу
D3.56)--D3.58), что
# = А, = ц. D3.61)
Тогда уравнения D3.60) разрешимы относительно I n т,
если соответствующий определитель равен нулю. Заменив ц
на X, имеем (порядок определителя равен (p + qJ):
Yaft
= 0,
а, р = 1, .. ., р,
a, b = 1 q.
Умножая первые р строк на —Я. и деля последние q столбцов
на —Л, получаем
/ , \q~P I ^2Yap Yau
V ^ lYaB Va6
=0.
D3.62)
D3.63)
Если мы умножим левую часть D3.63) на другой определи-
определитель порядка (p + qJ, равенство сохранится. Мы будем умно-
умножать на
lp ~
Ь
Поскольку определитель произведения равен произведению
определителей, D3.63) переходит в уравнение
(-*.)«-'
или
= 0
D3.64)
Последнее уравнение имеет порядок p-{-q. q — р корней равны
нулю. Оставшиеся появляются парами, после того как прирав-
приравнять (р X р) -определитель из D3.64) нулю. Мы можем запи-
записать ненулевые корни в виде ±рь .... ±рР. Выберем в качестве
корней те, что неотрицательны, и докажем, что они и являются
теми каноническими корреляциями, что мы определили выше.
43.21 То, что | удовлетворяют условию (а), было получено
в начале 43.20. Подставляя в D3.60) простой корень уравнения
D3.64), получаем коэффициенты /йоте точностью до знака.
Если корень /-кратный, коэффициенты определяются с «точ-
«точностью до (/— 1)-й» неслучайной «постоянной»; этот результат
без доказательства мы заимствуем из теории алгебраических
форм.
Нам осталось доказать, что | в каждой группе не коррели-
рованы и что, за исключением канонических корреляций, | из
422
ГЛАВА 43
одной группы не коррелировано с г) из другой. Допустим, что
мы выбрали некоторый корень р*, определили соответствующие
постоянные /4 и ти а следовательно, и пару соответствующих
величин gj и t]i. Тогда из D3.60) получаем
И^аУаа = P. Z "^"V^, D3.65)
Е ЩаУаа = P. Z ЪцУау D3.66)
Такое же равенство получим для второй пары gj и r\j. Между
этими четырьмя величинами существует шесть корреляций; две
из них pi и р,-. Достаточно показать, что оставшиеся четыре —
нулевые. Они таковы:
м (hll) = ? W/pYap. М (Л,Л/) = Е miam}byab, D3.67)
М (S.-ti/) = ? liamIbyab, M (|;т14) = ? ljatnibyab. D3.68)
Умножим D3.65) на т3-а и просуммируем. В силу D3.68) имеем
М(|/Л/)=Р^М(ЛгЛ/). D3.69)
Точно так же, умножая D3.66) на lja, находим, что
M(|/n,) = P,M(I(g/).
Переставляя i и /, из D3.69) и D3.70) находим, что
Переставляя i и / в D3.71), получаем
Отсюда, если р| ф р2.,
D3.70)
D3.71)
D3-72)
D3.73)
Аналогично показывается равенство нулю и других ковариаций.
Нам осталось, просматривая доказательство, убедиться, что
если р имеет кратность t, все остается в силе. Это следует из
того, что мы можем в этом случае выбрать все наши I и т под-
подчиняющимися условиям ортогональности, которые обеспечивают
равенство
Тогда из D3.72) будет следовать равенство нулю всех ма-
математических ожиданий, если только не равны нулю одновре-
одновременно р, и pj. Но и в этом случае в силу D3.69) и D3.70) два
математических ожидания оказываются нулевыми. Тогда мы
можем выбрать наши «неслучайные» постоянные так, чтобы
и остальные математические ожидания были нулевые.
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ 423
43.22 Если переменные приведены к канонической форме,
матрица рассеяния становится равной матрице
Pi
0
Р2
•
0
0
рр
:
| Pi
0
Р2
•
h
0
0 1
?
:
:
|
On '*
Рр =
\
;
;
:
:
:
:
!
;
| 1
0
0
tq-,
D3.74)
с определителем, равным
О-рОО-рЭ-О-р».
D3.75)
Пример 43.5 (Хотеллинг A936), данные принадлежат Т. Келли)
140 школьникам седьмой ступени были предложены четыре
теста: а) на скорость чтения; б) на способность к чтению; в) на
скорость вычислений; г) на способность к вычислениям. Тре-
Требуется найти канонические величины для двух тестов по чтению
и двух тестов по арифметике.
Корреляции между случайными величинами таковы:
х2
х3
Xt
Xi
1,0000
0,6328
0,2412
0,0586
Xt
0,6328
1,0000
—0,0553
0,0655
0,2412
—0,0553
1,0000
0,4248
X*
0,0586
0,0655
0,4248
1,0000
Определитель D3.62) является здесь симметричным опреде-
определителем:
-А (-0,6328) Я, 0,2412 0,0586
— А — 0,0553 0,0655
— А (— 0,4248) X
-А
D3.76)
424
ГЛАВА 43
Отсюда @,491 370)Я4 — @,078 803 4) Я.2 + 0,000 362 490 = О
и
Л2 = 0,155 635 или 0,004 740;
т. е.
к = 0,3945 или 0,0688.
Чтобы найти сами преобразованные величины, используем
D3.60). Например, если корень к = 0,3945, имеем
/, + @,6328) 12 + @,6114) /я, - @,1485) т% = 0, D3.77)
@,6328) /, + 12 + @,1402) /л, - @,1660) т2 = 0, D3.78)
- @,6114)/, + @,1402)/2+ /я, + @,4248)т2 = 0, D3.79)
— @,1485) /, —@,1660) /2 + @,4248) m, + m2 = 0. D3.80)
Последнее уравнение линейно зависит от трех других и, следо-
следовательно, ничего не дает. Из оставшихся трех получаем отно-
отношения для / и т:
/,: 12: /п,: т2 = — 2,7772 : 2,2655 : — 2,4404 : 1.
Итак, преобразованные величины таковы:
fe,E, «= — 2,7772л:, +2,2655х2, D3.81)
k2y\x = — 2,4404^3 + х4, D3.82)
где k\ и k2 при желании можно выбрать из условия единичности
дисперсий. Такие же уравнения, порожденные корнем 0,0688,
приведут нас к другой паре канонических величин. Те, что мы
получили раньше, имели максимальную корреляцию, другая
пара имеет минимальную, так что представляет меньший ин-
интерес.
43.23 Стандартные ошибки можно получать в духе 43.16.
Начнем с того, что
? татьсаЬ = 1,
Беря полные дифференциалы, получаем
2 Z cabma dmb + ? mamb dcab = 0,
D3.84)
D3.85)
D3.86)
D3.87)
dr — Yu 'o^o dc<xa + 2 aaa а ]? dla. D3.88)
He ограничивая общности, можно предположить, что вели-
величины представлены в канонической форме. Все I, т, за исклю-
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
425
чением 1Х и mit равны нулю, так что имеем
dc
p+up+1
=0,
rfr, = г, {dml + dlx) + dcu P+I.
D3.89)
D3.90)
D3.91)
Осуществляя подстановку из первых двух уравнений в третье,
получаем
drl=dcUp+i—\r1(dcl{+dcp+Up+l). D3.92)
Сходные уравнения используются и для других простых корней.
Например,
dr2 = dc% p+2 — у r2 (dc^ + dcp+2, p+2). D3.93)
Перемножив D3.92) и D3.93), взяв математические ожидания
и используя D1.98), находим, что
Точно так же
cov(n, г2) = 0.
D3.94)
D3.95)
Аналогичные формулы верны и для других корреляций. Следует
отметить, что эта формула аналогична формуле для смешан-
смешанных моментов в случае больших выборок.
Хотеллииг A936), которому принадлежат эти выкладки, показал, что
если р = 2, q > 2, а нулевой корень имеет кратность t, то пгг распределено
как х2 с t—1 ст. св. Если каноническая корреляция равна нулю и р = q,
D3.95) справедливо с той оговоркой, что мы допускаем, что выборочные зна-
значения возле нулевого корня могут быть положительны или отрицательны,
или что распределение г совпадает с распределением модуля нормальной ве-
величины. Лоли A959) получил выражения для третьего и четвертого семи-
семиинвариантов г. Там же рассматривалось включающее arctgr преобразование,
стабилизирующее рассеяние, но результаты не столь удовлетворительны, как
результаты для смешанных моментов в 16.33 (т. 1).
43.24 Из D3.64) следует, что все р2 являются корнями урав-
уравнения
|Р"-^.,^вР|-0, D3.96)
или
Vn'Y^XI-O, D3.97)
где
матрица, соответствующая р-величинам хи
426
ГЛАВА 43
Y22 — такая же матрица для хр+\, ..., хр+я; у12 — ковариацион*
ная матрица между р-величинами и ^-величинами, a Y21 опреде-
определяется аналогично vi2- Таким образом, р2 — собственные корни
произведения матриц в D3.97).
43.25 Результаты анализа канонических корреляций труднее
интерпретировать, чем даже результаты анализа компонент.
Эти результаты лучше всего рассматривать как вспомогатель-
вспомогательные, помогающие осознать структуру изучаемой многомерной
системы. В любом случае они говорят, какой может быть мак-
максимальная корреляция линейных функций от двух групп пере-
переменных. В литературе по этому вопросу содержится немного
примеров полезного практического применения; см. например,
работу Барнетта и Льюиса A963), в которой с этих позиций
проводятся некоторые педагогические исследования. По этой,
причине оставшиеся теоретические факты мы отметим бегло и
без доказательства.
(а) Для простоты изложения мы полагали q ^ р. Если
q < p, мы должны просто группы величин поменять ролями.
(б) Заменив матрицы в D3.97) их МП-оценками, мы полу-
получим МП-оценки канонических корреляций.
(в) Рассматривая матрицы, входящие в D3.64), мы видим,
что одна из них дает нам рассеяние в /?-группе, а другую (про-
(произведение трех) можно интерпретировать как вклад от ре-
регрессии р-группы по g-группе. Таким образом, теория регрессии
D2.15—20) здесь используется. Распределение собственных
корней р2 в D3.97) такое же, как и у Я. в 41.22—3 при условии,
что р-группа и ^-группа независимы. К сожалению, это наиме-
наименее интересный случай.
(г) Бартлетту A947) принадлежит критерий, аналогичный
критерию из 43.14 и основанный на представлении корреляцион-
корреляционного определителя как произведения р сомножителей 1 — р2-
Если предположить, что k канонических корреляций не равны
нулю, то статистика критерия для проверки того, что остальные
равны нулю, такова:
log П A-г2). D3.98)
Последнее распределено приближенно как %2 с (р — q) (q — k)
ст. св. Лоли A959) исследовал этот критерий, получив весьма
удовлетворительные результаты.
(д) В одном случае, а именно, когда все канонические кор-
корреляции, за исключением одной, равны нулю, в практическом
использовании можно ожидать некоторого прогресса. (См.
¦Бартлетт A947)),
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
(е) Дэмпстер A966) методом Кенуя решал задачу устране-
устранения смещения у оценок канонических корреляций (ср. 17.10 т. 2).
Единое изложение канонического анализа и связанных с ним проблем
многомерности дано у Е. Унлльямса A967).
Факторный анализ
43.26 До сих пор в этой главе мы обсуждали методы, при-
приспособленные к изучению системы с точки зрения структуры,
которой она обладает. Теперь мы возьмемся за изучение проб-
проблемы, так сказать, с другого конца.
Более конкретно, предположим, как обычно, что у нас есть
(р X п) -матрица п наблюдений над (р X 1)-вектором х; пред-
предположим, что наблюдаемые х в действительности являются
линейными функциями от некоторых величин ?, которые подле-
подлежат изучению и называются факторами. Всего таких величин
т < р. Таким образом,
х} =•
D3.99)
Коэффициенты / не являются теперь характеристиками вра-
вращения до новых осей координат. Как и при анализе компонент,
мы будем интерпретировать их как коэффициенты нагрузки.
(Термин идет от ранних работ по психологии и соответствует
более близкому статистикам термину «вес».) Предполагается,
что все Z, независимы и нормально распределены с нулевыми
средними и единичными дисперсиями. Так как в общем случае
комплекс х имеет размерность р, представление их в виде ли-
линейных функций от величин ? требует введения члена е, ука-
указывающего на ошибку. В нашей модели мы предполагаем, что
€,- не зависит от eft и всех ?. Задача состоит в том, чтобы оце-
оценить постоянные / и дисперсии а2, величин гг
Это не модель регрессии. Наши ? случайны, так что мы не
можем обращаться с ними, как с фиксированными величинами,
наподобие независимых переменных в уравнении регрессии.
Здесь связь носит структурный характер в смысле главы 29 т. 2.
43.27 Первое, что следует отметить в нашей модели, это ее
неопределенность. Мы представляем р-мерный комплекс в виде
функций от т + р случайных величин. Соотношения D3.99)
содержат рт постоянных /, тп величин ? и рп величин е.
D3.99), как система алгебраических уравнений, имеет много
решений. Мы уже ввели условие, состоящее в том, что величины
t имеют распределение N(Q,\). Предположим, что все е также
нормальны и имеют нулевые средние. Спрашивается, стано-
становится ли задача оценивания рт постоянных / и р постоянных
428
ГЛАВА 43
о2 определённой после введения условия независимости всех
величин % и е? Так как все J и е нормальны, х также нор-
нормальны. Имеем
cov (x/, xk) — М
D*, = ?/», + о*.
Объединим эти соотношения:
*=1 D3.100)
D3.101)
D3.102)
где /—(р X пг)-матрица коэффициентов //%; а 2 — диагональная
матрица с а? по диагонали (/= 1 р).
Число характеристик рассеяния в левой части D3.102) равно
р{р+ 1)/2, число постоянных в правой равно р(т + 1). Следо-
Следовательно, если m + 1 > (/?+1)/2, соотношений D3.102) недо-
недостаточно, чтобы определить постоянные. На самом деле мы
будем нормировать постоянные /, полагая что
D3.103)
Z
или, эквивалентно, что
Г2-1/=/, D3.104)
где J— некоторая диагональная {т X т) -матрица. Это накла-
накладывает еще т(т—1)/2 условий на оцениваемые постоянные.
Система уравнений остается неопределенной, если
-2 р(р+ 1) < р(т+ 1) — ут(т— 1)
или
(р — т?<р + т. D3.105)
Поэтому мы будем предполагать, что выполнено противное.
Пример 43.6
Неравенство, обратно* к D3.105), эквивалентно
D3.106)
Например, если р = 5, наша модель является неопределен-
неопределенной при т > 2, и мы не должны приписывать модели 5-мерного
комплекса более чем два фактора. Если р ==¦ 10, наибольшее
пригодное значение т равно 5.
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
429
43.28 Укажем на причины введения условий ортогонально-
ортогональности D3.103). Рассмотрим невырожденное ортогональное преоб-
преобразование величин ? к новым переменным tj:
Величины ц будут также независимыми и стандартно-нор-
стандартно-нормальными и вместо D3.102) мы должны написать
V = Ш (ИГ) + 2 = IHH'V + 2 = IV + 2.
Короче говоря, наши ? определены с точностью до ортогональ-
ортогонального преобразования. Введение условия D3.104) представляет
весьма удобный способ устранить эту неопределенность, однако
следует отметить, что выбранный нами путь, конечно, не
единствен.
43.29 Если, как мы впредь и будем предполагать, (р—тJ>
>р-\-т, в системе D3.102) — D3.103) содержится больше
уравнений, чем неизвестных. Не имея возможности привести
чисто алгебраическое решение, мы привлечем некоторую ком-
компромиссную вспомогательную процедуру. Следуя Лоли (Лоли
и Максвелл, 1963), используем метод максимального правдо-
правдоподобия.
Одна из особенностей нашей ситуации состоит в том, что,
хотя мы имеем дело с МП-оцениванием в условиях нормальных
распределений, выборочные ковариации х не являются оцен-
оценками теоретических ковариации. Причиной этому являются
ограничения на оценивание, порожденные условиями D3.102) —
D3.103). Если бы мы взяли наблюдаемые с в качестве оценок
у, мы бы просто имели
Как мы вскоре увидим, второе уравнение верно, но первое верно
лишь для диагональных элементов.
Начнем с логарифма функции правдоподобия:
log L = const -i.nlog|Yl-Y"? Г/*с'*' <43' 107>
где Г — обращение у- Подстановка выражения для y из D3.102)
дает нам функцию, которую мы будем максимизировать по I
и 2. Там, где это не может вызывать недоразумения, будем
опускать «крышечки» сверху, чтобы упростить запись.
Дифференцируя по а], после некоторых преобразований по-
получаем, что
Г2^„=0. D3.108)
430
ГЛАВА 43
Объединим эти соотношения в виде
diag (v™1 — Y-'cY") = °- D3.109)
Дифференцируя по Ijk, после некоторых сокращений полу-
получаем, что
t t.u.v
Последнее есть элемент ]-я строки и &-го столбца матрич*
ного соотношения
Г\~' — Гу-'сг-1 = 0. D3.110)
Чтобы быть последовательными, наряду с D3.108), D3.110) мы
должны использовать и уравнения D3.102), D3.104), применен*
ные к оценкам МП *):
Y = /Z'+S. D3.111)
/ =rs~1/. D3.112)
Умножая D3.110) справа на \, имеем
V — /\-'с = 0,
и, следовательно,
D3.113)
D3.114)
Умножая ,D3.109) слева на -у —IV, т. е. на 2, имеем **)
diag (/ — су-1 — //'У + HV'cY-1) = 0.
Последнее, в силу D3.113), приводит к тому, что
diag (/ —cy-') = 0 D3.115)
Умножим это справа на \ — IV. Аналогично предыдущему по-
получаем, что
diag(Y — с) = 0.
Последнее эквивалентно уравнениям
т
a-c ?
D3.116)
D3.117)
Теперь, умножая D3.112) справа на V, получаем
JV = Г2~'/Г = Г2-1 (у — 2) = Г2-1у — V. D3.118)
Итак,
*) В D3.111)—D3.112) на самом деле должны присутствовать «кры-
«крышечки». (Прим. перев)
**) Здесь следует помнить, что S диагональиа. (Прим. перев.)
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
431
что в силу D3.114) приводит к тому, что
JVc~l = V2~l - Vc~{,
JV = V (S-'c - 2-J) f 2'
откуда
= ПГ>-2). D3.119)
43.30 Эти уравнения все еще трудно решить. Вспоминая, что
/ диагональна, из D3.119) находим, что ее элементы суть соб-
собственные числа 2-'(с — 2). Воспользуемся одной итерацион-
итерационной процедурой. Припишем в качестве первого приближения
какие-либо значения элементам 2, определим из D3.119) соб-
собственные векторы I; подставляя их в D3.117), получим улуч-
улучшенные значения а2.; продолжим итерационный процесс, под-
подставив эти значения снова в D3.119), и т. д. Оценки для y
получаем из D3.111).
Этот процесс, однако, может сходиться довольно медленно
(см. Хоув, 1955). В ряде случаев оценки некоторых о2 стремятся
к нулю. Вообще, сказать, что эта тема хорошо разработана,
нельзя.
43.31 После того как получены удовлетворительные оценки,
с помощью обычного отношения правдоподобия можно прове-
проверить, насколько удачен выбор числа факторов т. Если гипотеза
о том, что в действительности имеется т факторов справедлива,
логарифм правдоподобия пропорционален
D3.120)
Если справедлива гипотеза о том, что с нулевой ошибкой s x
нормальны и независимо распределены, выборочные характе-
характеристики рассеяния являются оценками теоретических значений
и логарифм правдоподобия пропорционален
— -д п log | с | — Тп tr (cc-1) = — т п log | с [ — Т пр.
Таким образом, «отношение»
D3.121)
распределено приблизительно как %2. Число степеней свободы
равно числу постоянных, подобранных для второго случая, без:
числа постоянных для первого случая, что равно, как мы отме-
отмечали в D3.105),
{(р-тJ-(р + т)}/2. D3.122)
432
ГЛАВА 43
Бартлетт A951а) предположил, что, используя вместо п в
D3.121) множитель
я' = п — -1 Bр + 11) — 4 т.
D3.123)
можно получить лучшую аппроксимацию. Это во всяком случае
так, если т. = 0 D2.12) и, по-видимому, будет так, если пир
заменить на п — т и р — т.
Отвергая гипотезу, мы утверждаем, что нам требуется боль-
большее число факторов. Вычисление статистики D3.121) довольно
утомительно, а ее значение весьма чувствительно к точности
оценивания параметров / и 2. Лоли и Максвелл A963) пред-
предложили приближенную форму
•'I
D3.124)
где п' дано в D3.123).
43.32 До появления электронно-вычислительных машин пси-
психологи были вынуждены изобретать различные приемы числен-
численного решения задач факторного анализа. Некоторые из этих
приемов нельзя назвать иначе, как мерой отчаяния, другие до
сих пор могут оказаться полезными, во всяком случае, при
нахождений первого приближения, с которого следует начать
итерационный процесс решения точных уравнений. Правда, тео-
теоретически и хоть в какой-то мере строго обосновать эти приемы
весьма трудно. Подробности и численные примеры можно найти
у Хармэна A960), Кендалла A961b) и Лоли и Максвелла
A963).
43.33 В факторном анализе, так же как и в анализе ком-
компонент, величины х выражаются в виде взвешенных сумм не-
некоторых ненаблюдаемых величин ?. Обычно последние и невоз-
невозможно наблюдать непосредственно. Как правило, основная
трудность состоит в интерпретации результатов. Психологи
обычно связывают величины ? с некоторыми факторами, кото-
которые, как считается, и определяют структуру системы. Приме-
Применение такого приема к физическим системам очень часто приво-
приводит к взвешенным суммам величин, которые уже весьма слабо
поддаются интерпретации. По этой и ряду других причин воз-
возникает вопрос о возможности полезных модификаций нашей
модели.
43.34 Прежде всего вспомним, что для того, чтобы полу-
получить единственное решение, на веса факторов мы накладывали
условие ортогональности D3.103).
Однако это условие не вытекает из существа модели, и, по-
получив величины /, мы вправе как угодно преобразовывать вр-
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
433
личины ? в соответствующем им m-мерном пространстве. Короче
говоря, мы можем вращать факторы и даже можем преобразо-
преобразовать их в зависимые факторы. На самом деле мы, образно
говоря, оцениваем факторное пространство и не привязаны
к какой-то особой системе координат в нем. Вариантов беско-
бесконечно много, и наш выбор должен определяться в каждом слу-
случае соображениями нестатистического характера. Два критерия
напрашиваются сами собой.
(а) Вращать так, чтобы как можно больше величин / ока-
оказывались нулевыми (или становились в каком-то смысле мини-
минимальными). Это равносильно тому, чтобы следовать некоторому
закону экономии в представлении х в виде функций от ?: чем
меньше Z, присутствует в соотношениях, тем лучше.
(б) Вращать так, чтобы нагрузка некоторых факторов ста-
становилась максимальной. Как правило, такой образ действий
сводится к увеличению значений некоторых / за счет остав-
оставшихся. Однако это может привести к отождествлению какого-
либо фактора с одним из х.
С другой, но столь же разумной, точки зрения, мы можем
накладывать условия на / с самого начала. Например, мы мо-
можем потребовать, чтобы Х\ и х2 включали лишь фактор t,lt x3
и *4 — факторы ?i и 1,2 и так далее. Это эквивалентно тому, что
(приравнивая нулю нагрузки определенных факторов) мы опре-
определяем структуру нашей системы.
43.35 Очевидно, что в этом случае задачи оценивания ста-
становятся еще более сложными, чем в стандартном случае 43.29,
особенно, если мы допускаем, что некоторые факторы могут
быть коррелированы. Однако обсуждать эту тему мы здесь не
будем, поскольку уровень развития этой области не настолько
высок, чтобы можно было хоть как-то осмыслить возникающие
теоретические вопросы. Электронные вычислительные Машины
снова приходят здесь на помощь психологам, позволяя уточнять
критерии с точки зрения определения вращений или других
структурных упрощений и решать получающиеся уравнения.
Но даже машина порой не может обеспечить нас точной ин-
информацией о выборочных распределениях и окончательных зна-
значениях оценок.
43.36 Хочется, однако, предостеречь против попытки исполь-
использования факторного или компонентного анализа при исследо-
исследовании матриц, которые получены не методом смешанных мо-
моментов.
Так, например, элементы корреляционной матрицы можно
оценить с помощью тетрахорических или бисериальных коэф-
коэффициентов (см. 26.27 т. 2). В этом случае матрица может и не
быть положительно определенной, так что собственные числа
могут оказаться и отрицательными.
434
ГЛАВА 43
УПРАЖНЕНИЯ
43.1 р-мерный комплекс случайных величин имеет следующую корреля-
корреляционную матрицу:
Р
Р
,Р-2
"-' pp-2 p"-3... 1 J
Показать, что определитель этой матрицы равен A — р2)р~* и, следова-
следовательно, «истинная размерность» комплекса не может быть меньше чем р.
43.2 Показать, что если р > 0, комплекс примера (а не упражнения) 43.1
имеет одно наибольшее собственное число, а остальные числа равны между
собой. Убедитесь, что сумма собственных чисел равна р.
43.3 Корреляция между /-й и А-й величинами в р-мерном комплексе равна
1—|/ — k\/p. Показать, что размерность комплекса нельзя понизить^Пока-
понизить^Показать, что при р = 4 собственные числа равны B ± л/Ю/4 и (б ± 2 V6 )/4.
43.4 *) Показать, что если А< — собственные числа матрицы рассеяния А,
Я^ — собственные числа матрицы Аг. Пусть Ai— наибольшее собственное
число А. Показать, что при больших k i-й диагональный элемент матрицы Ак
асимптотически эквивалентен Я*, умноженному на квадрат i-й координаты
собственного вектора, соответствующего собственному числу Я».
43.5 Пусть в обозначениях 43.20
С =
0,
Y«3
V
• /in
?> =
Показать, что векторный коэффициент корреляции К, определенный как
а квадрат векторого коэффициента **)
Z = DI(AB)
инвариантны относительно любого линейного преобразования. Показать
также, что
й
где Pj — канонические корреляции.
(Хотеллинг, 1936.)
*) Второе утверждение примера не совсем точно. Сказанное будет вер-
верным, если направление соответствующего собственного вектора не перпенди-
перпендикулярно ни к одной из осей координат. (Прим. ред. и перев.).
**) В оригинале vector alienation coefficient, в русской литературе такого
термина нет. В одномерном случае — это величина -y/l—г2, где г — смешанный
коэффициент корреляции. (Прим. перев.)
КАНОНИЧЕСКИЕ ВЕЛИЧИНЫ
435
43.6 Пусть в предыдущем примере k и z — выборочные значения К а 7..
Показать, что если канонические корреляции генеральной совокупности раз-
различны, то
cov (к, z) = - — KZ ? (l - p2/).
В частности, если р = 2, то
Dk=— {(! — К2J — Z A +K2)},
D2 = J|f(I_z + ,H,
cov (к, z) = — KZ A + Z — K2).
(Хотеллинг, 1936.)
43.7 Положим в предыдущем примере р = q = 2. Показать, что при стан-
стандартной нормировке
и получить отсюда критерий для гипотезы о том, что «разность тетрады»
* — ПЛз равна нулю.
(Хотеллинг, 1936.)
43.8 Показать, что в обозначениях примера 43.6
г{т
м
(Гиршик, 1939.)
43.9 Показать, что если все собственные числа матрицы рассеяния нор-
нормального распределения равны, скажем, единице, то выбранное случайным
образом выборочное собственное число имеет единичное среднее и дисперсию
(р+\Iп.
(Гиршик, 1939.)
43.10 Показать, что в случае нулевых теоретических корреляций выбороч-
выборочная «разность тетрады» из примера 43.7, имеет распределение
I 1
U)V\Ta) Г Г (tv-ur-Z
* J и u/t
du.
(Гиршик, 1939.)
436
ГЛАВА 43
43.11 Используя обозначения 43.29, показать, что
равно /2 и, следовательно, диагонально.
(Лоли и Максвелл, 1963.>
43.12 Показать, что если имеется возможность изменять дисперсии «оши-
«ошибок», присутствующих в схеме факторного анализа, и
Р > ~2 (Р — т)(Р
+ 1),
то эти дисперсии можно выбрать таким образом, чтобы число требуемы*
факторов не превышало т.
43.13 Рассматривая факторный анализ при р = 2 и т = 1, выписать,
функцию праидоподобия и, используя дифференцирование, показать, что урав-
уравнение МП имеет следующий вид:
Вывести отсюда, что
С22 ( 1 у-\ — cnh = 0.
o2lh =
Такой результат недопустим при свободном оценивании четырех параметров.
Объяснить его появление.
43.14 Убедиться, что определитель D3.74) действительно давен D3.75),
ГЛАВА 44
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
44.1 В этой главе мы коснемся задач дифференциации двух
и более многомерных генеральных совокупностей по резуль-
результатам измерений. Существуют три различных класса задач, ко-
которые часто смешивают:
(а) Дискриминация. Известно о существовании двух
или более генеральных совокупностей, и дано по одной выборке
из каждой совокупности. Задача заключается в выработке
основанного на имеющихся выборках правила, позволяющего
приписать некоторый новый элемент к правильной генеральной
совокупности в том случае, когда нам заведомо неизвестно,.
к какой совокупности он принадлежит.
(б) Классификация. Рассматривается некоторая вы-
выборка или вся генеральная совокупность. Задача состоит в клас-
классификации элементов выборки или совокупности по группам,
столь различным между собой, сколь это возможно. При дис-
дискриминации существование групп дано, при классификации вы-
выявление их и составляет задачу.
(в) Разбиение. Рассматривается некоторая выборка или
вся генеральная совокупность. Мы хотим разбить их на груп-
группы независимо от того, естественны ли границы разбиения
или нет.
Обратимся к примерам. Допустим, что мы располагаем ин-
информацией о некотором количестве индивидуумов из двух раз-
различных рас. Нам может понадобиться функция, позволяющая
приписывать новые индивидуумы к соответствующим им расам.
Построение такой функции на основе уже имеющейся инфор-
информации и составляет задачу дискриминации. Другой пример:
дана совокупность элементов неизвестного происхождения
и требуется выяснить, возможно ли разбиение этих элементов
на группы, естественное в том смысле, что элементы каждой
группы сходны между собой, но элементы одной группы зна-
значительно отличаются от элементов другой. Это задача класси-
классификации. Наконец, допустим, что мы хотим разбить на группы
некоторое количество студентов в зависимости от их успехов
на экзаменах, понимая при этом, что границы такого разбие-
разбиения могут быть весьма условны. Это задача разбиения, и она
436
ГЛАВА 43
43.11 Используя обозначения 43.29, показать, что
Н = 1Г1 (с - 2) 2-1*
равно /2 и, следовательно, диагонально.
(Лоли и Максвелл, 1963.У
43.12 Показать, что если имеется возможность изменять дисперсии «оши-
«ошибок», присутствующих в схеме факторного анализа, и
Р > -J (Р — т) (р — т + 1),
то эти дисперсии можно выбрать таким образом, чтобы число требуемьис
факторов не превышало т.
43.13 Рассматривая факторный анализ при р = 2 и т = 1, выписать,
функцию правдоподобия и, используя дифференцирование, показать, что урав-
уравнение МП имеет следующий вид:
!=0,
Вывести отсюда, что
02//2 =
Такой результат недопустим при свободном оценивании четырех параметров.
Объяснить его появление.
43.14 Убедиться, что определитель D3.74) действительно давен D3.75),
ГЛАВА 44
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
44.1 В этой главе мы коснемся задач дифференциации двух
и более многомерных генеральных совокупностей по резуль-
результатам измерений. Существуют три различных класса задач, ко-
которые часто смешивают:
(а) Дискриминация. Известно о существовании двух
или более генеральных совокупностей, и дано по одной выборке
из каждой совокупности. Задача заключается в выработке
основанного на имеющихся выборках правила, позволяющего
приписать некоторый новый элемент к правильной генеральной
совокупности в том случае, когда нам заведомо неизвестно,.
к какой совокупности он принадлежит.
(б) Классификация. Рассматривается некоторая вы-
выборка или вся генеральная совокупность. Задача состоит в клас-
классификации элементов выборки или совокупности по группам,
столь различным между собой, сколь это возможно. При дис-
дискриминации существование групп дано, при классификации вы-
выявление их и составляет задачу.
(в) Разбиение. Рассматривается некоторая выборка или
вся генеральная совокупность. Мы хотим разбить их на груп-
группы независимо от того, естественны ли границы разбиения
или нет.
Обратимся к примерам. Допустим, что мы располагаем ин-
информацией о некотором количестве индивидуумов из двух раз-
различных рас. Нам может понадобиться функция, позволяющая
приписывать новые индивидуумы к соответствующим им расам.
Построение такой функции на основе уже имеющейся инфор-
информации и составляет задачу дискриминации. Другой пример:
дана совокупность элементов неизвестного происхождения
и требуется выяснить, возможно ли разбиение этих элементов
на группы, естественное в том смысле, что элементы каждой
группы сходны между собой, но элементы одной группы зна-
значительно отличаются от элементов другой. Это задача класси-
классификации. Наконец, допустим, что мы хотим разбить на группы
некоторое количество студентов в зависимости от их успехов
на экзаменах, понимая при этом, что границы такого разбие-
разбиения могут быть весьма условны. Это задача разбиения, и она
438
ГЛАВА 44
возникает и тогда, когда рассматриваемая совокупность одно-
однородна.
В этой главе задачу разбиения мы опустим, а обсудим проб-
проблемы дискриминации и классификации.
Дискриминация
44.2 Прежде чем перейти к теории вопроса, полезно обсу-
обсудить, насколько проблема в том виде, в каком мы ее поста-
поставили, имеет практический смысл. Нам дано множество элемен-
элементов, и принадлежность каждого совокупности А или совокуп-
совокупности В точно задана. Если мы обладаем такой информацией
о каждом элементе группы, почему мы не можем потребовать
ее от новых элементов, которые мы можем встретить? Суще-
Существуют по крайней мере четыре типа ситуаций, содержащих от-
ответ на этот вопрос.
(а) Потерянная информация. Нам нужно уметь пра-
правильно определять пол по набору человеческих костей, найден-
найденных на месте археологических раскопок. Если бы обладатель
этих костей был жив, не было бы проблемы, но, к сожалению,
существеннейшая информация распалась в прах.
(б) Недостижимая информация. Больничные за-
записи обеспечивают нас информацией о внешних симптомах
и внутреннем течении болезней. Мы же должны уметь распо-
распознавать заболевание по внешним признакам без госпитализа-
госпитализации: ведь основная цель может состоять в умении давать диаг-
диагноз и лечить на ранних стадиях, избегая внутренних обсле-
обследований.
(в) Предсказание. Основываясь на прошлом опыте,
можно научиться различать типы поведения, например экономи-
экономических систем, в настоящем. Тогда, основываясь на наблюде-
наблюдениях настоящего момента, можно пытаться предсказывать по-
поведение систем в будущем.
(г) Исследование, ведущее к разрушению.
В случае, когда исследование объекта влечет его полное разру-
разрушение, желательно найти «дискриминатор» неразрушителыюго
характера, позволяющий предсказывать результат исследо-
исследования.
44.3 Следует отметить, что в первой ситуации проверка пра-
правильности наших действий исключена. Мы, как говорится, об-
облечены правом проводить дискриминацию, даже рискуя оши-
ошибиться. Приписывая элемент к тому или иному классу, мы
можем совершать ошибки двух типов в зависимости от того,
к какой именно совокупности мы ошибочно отнесли данный эле-
элемент. На первых порах мы будем предполагать эти два типа
ошибок равнозначимыми.
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
439-
Рассмотрим теперь /7-мерное пространство W, в котором
каждый член выборки представлен точкой, чьи координаты бу-
будем обозначать х. Две совокупности можно представить как
две грозди точек (или как две непрерывные плотности), кото-
которые как-то разделены (иначе мы не могли бы различать их лишь
по значениям д;), но в то же время имеют и общее пересечение
(иначе не было бы проблемы дискриминации). Мы хотим по-
построить границу в пространстве так, чтобы как можно больше
точек 1-й совокупности лежало по одну сторону границы и как
можно больше точек 2-й совокупности — по другую. Мы потре-
потребуем также, чтобы граница имела достаточно простую форму.
Пусть fi и /2 — соответствующие плотности вероятностей. Потре-
Потребуем, чтобы наша граница определяла область R такую, что
D4.1)
-R
: = 1- \fidx,
R
или, что эквивалентно,
D4.2>
Фактически это означает, что вероятности ошибок двух типов
равны. Теперь мы хотим минимизировать вероятность ложной
классификации, что эквивалентно минимизации вероятности
ошибки одного из типов, скажем, минимизации
\f2dx.
D4.3>
Задача состоит тогда в нахождении безусловного минимума
+ f2))dx, D4.4>
или, что эквивалентно,
D4.5>
где постоянные X или {5 определяются условием D4.2). Оче-
Очевидно, что мы достигнем цели, если к области ^? отнесем те
и только те точки, для которых p/i — /2 < 0. Граница Я таким
образом дается формулой
/i//2 = p\ D4.6>
т. е. определяется отношением правдоподобия.
44.4 Это безусловно разумный критерий. Мы относим эле-
элемент к той или иной совокупности, отталкиваясь от «меры
440
ГЛАВА 44
близости» последних; правда, под «близостью» мы понимаем не
расстояние в какой-либо метрике, а близость распределений.
Вероятность ложной дискриминации для обоих типов ошибок
равна
J f2dx= J Udx. D4.7)
Фактически мы передоказали лемму Неймана — Пирсона из
22.10 т. 2.
44.5 Предположим теперь, что две многомерные генеральные
совокупности нормальны со средними |ц и цг и одной и той же
матрицей рассеяния y- Тогда логарифм отношения правдопо-
правдоподобия равен
= ]Г r
/ft
/. ft
, D4.8)
где Г—матрица, обратная у. Вторая часть последнего выра-
выражения есть величина постоянная и, не ограничивая общности,
нашу границу мы можем определить равенством
?
— ц2/) хк = const.
D4.9)
Это форма, основанная на теоретическом распределении.
Если же нам даны выборки со средними хи х2 и «объединенной»
матрицей рассеяния cik, выборочная функция, определяющая
границу, дается следующей формулой:
= const.
D4.10)
44.6 Этот же результат можно получить и другим путем.
Определим линейную функцию
X=?l,x. D4.I1)
так, чтобы отношение межклассовой и внутриклассовой диспер-
дисперсий, иначе, величина
V(Z W 144.12)
была максимальной.
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
Дифференцируя по Ц, получаем
/*'*
откуда имеем
D4.13>
Последнее снова приводит к D4.9). Так как наша функция
X используется лишь для разделения двух совокупностей, а не
измерения расстояний между ними, мы можем умножггь ее
на любую удобную нам постоянную.
44.7 Как можно ожидать из соображений симметрии, «дис-
«дискриминирующая» гиперплоскость D4.9) делит пополам отрезок,
соединяющий два «центра» с координатами \к\ и ц2. Чтобы убе-
убедиться в этом, линейным преобразованием сведем наши вели-,
чины к независимым и имеющим единичные дисперсии. По-,
скольку у /i и /г одна матрица рассеяния, их к требуемой форме
приводит одно и то же преобразование. Дискриминирующая
гиперплоскость дается тогда равенством
? (Hi/—
= const
и перпендикулярна соединяющему центры отрезку, чьи направ-.
ляющие косинусы пропорциональны косинусам вектора fii—р,2..
Функции /| и fi одновременно становятся сферически-сим-
сферически-симметричными, и без потери общности одну из координатных осей;
мы можем направить вдоль линии, проходящей через средние..
Интегралы, дающие вероятности ошибочной классификации,
сводятся к одномерным нормальным интегралам и очевидным
образом равны друг другу, если дискриминационная граница.,
делит отрезок, соединяющий средние, пополам.
Это определяет постоянную в D4.10). Если ^i—среднее лево*
части, порожденное f\, а Х2 — соответствует /г, то постоянная
равна _(^i -f X2)/2. Не ограничивая общности, впредь положим
Хг 2=5 Х2.
Пример 44.1 (Фишер, 1936)
В таблице 44.1 приведены результаты четырех типов изме-.
рений (в сантиметрах) над 50 цветками от каждой из трех
разновидностей ириса, а именно ириса щетинистого (Iris Setosa,
обозначим Se), ириса разноцветного (Iris versicolor, обозначим
Ve) и ириса вирджиника (Iris virginica, обозначим Vi). Из-
Измерялись величины: Xi — длина чашелистика, х2 — ширина.
442
ГЛАВА 44 .
Таблица 44.1
Многомерные измерения в задачах таксономии
Ирис щетинистый
длина
чаше-
листи-
листика
5,1
4,9
4,7
4,6
5,0
5,4
4,6
5,0
4,4
4,9
5,4
4,8
4,8
4,3
5,8
5,7
5,4
5,1
¦5,7
•5,1
5,4
5,1
4,6
5,1
4,8
5,0
5,0
5,2
5,2
4,7
4,8
5,4
5,2
5,5
4,9
5,0
5,5
4,9
4,4
5,1
5,0
4,5
4,4
5,0
шири-
ширина
чаше-
листи-
листика
3,5
3,0
3,2
3,1
3,6
3,9
3,4
3,4
2.9
3,1
3,7
3-4
3.0
3,0
4.0
4.4
3.9
3.5
3.8
3-8
3.4
3.7
3-6
3,3
3,4
3,0
3,4
3,5
3,4
3,2
3,1
3,4
4,1
4,2
3,1
3,2
3,5
3,6
3,0
3,4
3,5
2,3
3,2
3,5
длина
лепе-
лепестка
1,4
1,4
1,3
:
,5
,4
,7
,4
,5
1,4
,5
,5
1,6
,4
,1
1,2
.5
,3
,4
,7
.5
,7
,5
,0
,7
-.9
,6
,6
,5
,4
,6
,6
,5
,5
.4
,5
.2
,3
,4
,3
,5
,3
.3
,3
,6
шири-
ширина
лепе-
лепестка
0,2
0,2
0,2
0,2
0,2
0,4
0,3
0,2
0,2
0,1
0,2
0,2
0,1
0,1
0,2
0,4
0,4
0,3
°,'3
0,2
0,4
0,2
п'5
0,2
0,2
0,4
0,2
п'2
п'2
0,2
0,4
0,1
0,2
0,2
0,2
0,2
0,1
0,2
0,2
0,3
0,3
0,2
°,6
Ирнс разноцветный
длина
чаше-
листи-
листика
7,0
6.4
6,9
5,5
6,5
5,7
6,3
4,9
6,6
5,2
5,0
5,9
6,0
6,1
5,6
6,7
5,6
5,8
6,2
5,6
5,9
6,1
6,3
6,1
6,4
6,6
6.8
6.7
6,0
5,7
5,5
5,5
5.8
6,0
5.4
6,0
6,7
6,3
5,6
5,5
5.5
6,1
5.8
5,0
шири-
ширина
чаше-
листи-
листика
3,2
3,2
3,1
2,3
2,8
2.8
3,3
2.4
2,9
2,7
2,0
3,0
2,2
2,9
2,9
3,1
3,0
2,7
2.2
2,5
3,2
2.8
2,5
2.8
2,9
3.0
2,8
3,0
2,9
2.6
2,4
2,4
2,7
2,7
3,0
3,4
3,1
2,3
3.0
2,5
2.6
3,0
2,6
2,3
длина
лепе-
лепестка
4,7
4,5
4,9
4,0
4,6
4,5
4.7
3,3
4,6
3,9
3.5
4,2
4.0
4.7
3,6
4.4
4.5
4,1
4,5
3,9
4,8
4,0
4,9
4,7
4,3
4,4
4,8
5,0
4,5
3,5
3,8
3,7
3,9
5,1
4,5
4,5
4,7
4,4
4,1
4,0
4,4
4,6
4,0
3,3
шири-
ширина
лепе-
лепестка
1,4
1,5
1,5
1,3
1,5
1,3
1,6
1,0
1,3
1,4
1,0
1,5
1,0
1,4
1,3
1,4
1,5
1,0
1,5
1,1
1,8
1,3
1,5
1,2
1,3
1,4
1,4
1,7
1,5
1,0
1,1
1,0
1.2
1,6
1,5
1,6
1,5
1,3
1,3
1.3
1.2
1,4
1,2
1.0
Ирис вирджииика
длина
чаше-
листи-
листика
6,3
5,8
7,1
6,3
6,5
7,6
4,9
7,3
6,7
7,2
6,5
6,4
6,8
5,7
5,8
6,4
6,5
7,7
7,7
6,0
6,9
5,6
7,7
6,3
6,7
7.2
6,2
6,1
6,4
7,2
7.4
7,9
6,4
6,3
6,1
7,7
6,3
6,4
6,0
6,9
6.7
6,9
5,8
6,8
шири-
ширина
чаше-
листи-
листика
3,3
2,7
3,0
2,9
3,0
3,0
2.5
2,9
2,5
3,6
3,2
2,7
3,0
2,5
2,8
3,2
3,0
3,8
2,6
2,2
3,2
2,8
2,8
2,7
3,3
3,2
2,8
3,0
2,8
3,0
2,8
3,8
2,8
2,8
2,6
3,0
3,4
3,1
3,0
3,1
3,1
3,1
2,7
3,2
длина
лепе-
лепестка
6,0
5,1
5,9
5,6
5,8
6,6
4,5
6,3
5,8
6,1
5,1
5,3
5,5
5,0
5,1
5,3
5,5
6,7
6,9
5.0
5,7
4,9
6,7
4,9
5,7
6,0
4,8
4,9
5,6
5,8
6,1
6,4
5,6
5,1
5,6
6.1
5,6
5,5
4,8
5,4
5,6
5,1
5,1
5,9
шири-
ширина
лепе-
лепестка
2,5
1,9
2,1
1,8
2,2
2,1
1,7
1,8
1,8
2,5
2,0
1,9
2,1
2,0
2,4
2,3
1,8
2,2
2,3
1,5
2,3
2,0
2,0
1,8
2,1
1,8
1,8
1,8
2,1
1,6
1,9
2,0
2,2
1,5
1,4
2,3
ч
1.3
1,8
2,1
2,4
2.3
1.9
2,3
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
443
Продолжение табл. 44.1
Ирис щетинистый
длина
чаше-
листи-
листика
5,1
4,8
5,1
4,6
5,3
5,0
шири-
ширина
листи-
листика
3,8
3,0
3,8
3,2
3,7
3,3
длина
лепе-
лепестка
1,9
.4
,6
,4
,5
,4
шири-
ширина
лепе-
лепестка
0,4
0,3
0,2
0,2
0,2
0,2
Ирис разноцветный
длина
чаше-
листи-
листика
5,6
5,7
5,7
6,2
5,1
5,7
шири-
ширина
чаше-
листи-
листика
2,7
3,0
2,9
2,9
2,5
2,8
длина
лепе-
лепестка
4,2
4,2
4,2
4,3
3,0
4,1
шири-
ширина
лепе-
лепестка
1,3
,2
,3
,3
.3
Ирис вирджиника
длина
чаше-
листи-
листика
6,7
6,7
6,3
6,5
6,2
5,9
шири-
ширина
чаше-
листи-
листика
3,3
3,0
2,5
3,0
3,4
3,0
длина
лепе-
лепестка
5,7
5,2
5,0
5,2
5,4
5,1
шири-
лепе-
лепестка
2,5
2,3
1,9
2,0
2,3
1,8
чашелистика, х3 — длина лепестка, Xi — ширина лепестка. Сред-
Средние (в см) таковы:
D4.14)
Суммы квадратов и произведений отклонений от средних (в см2)
для объединенной выборки таковы:
D4.15)
Величины
Xl
Хг
Хг
Xi
Ve
5,936
2,770
4,260
1,326
Se
5,006
3,428
1,462
0,246
Разность
0,930
-0,658
2,798
1,080
Х\
Xi
Хь
Xi
X,
19,1434
Х2
9,0356
11,8658
Хз
9,7634
4,6232
12,2978
х,
3,2394
2,4746
3,8794
2,4604
Обратная
Xl
Х2
Хз
Xi
матрица (в
Xl
0,1187161
см~2) такова:
Хг
—0,0668666
0,1452736
х,
-0,0816158
0.0334101
0,2193614
х.
0,0396350
-0,1107529
—0,2720206
0,8945506
D4.16)
444
ГЛАВА 44
В такого рода задачах иногда может возникнуть вопрос
о степенях свободы, но поскольку цель дискриминант ной функ-
функции— разделение, коэффициенты могут быть определены с точ-
точностью до произвольной постоянной. В качестве числа степеней
свободы в D4.15) мы возьмем общий объем выборок—100.
Тогда, для того чтобы получить обращение матрицы рассеяния,
мы должны величины в D4.16) умножить на 100. Используя
D4.10), находим коэффициенты:
У,= A18,7161) @,930) — F6,8666) (- 0,658) — (81,6158) B,798) +
+ C9,6350) A,080) = — 3,11511,
у, = - 18,390 75, 13 =22,210 44, /4 = 31,473 74.
D4.17)
Мы можем умножить эти коэффициенты на любую удобную
нам постоянную. Потребовав, чтобы 1\ равнялось, например,
единице, получаем
X=*xt + 5,9037*2 — 7,1299*3— 10,1036X4. D4.18)
Среднее значение X для ириса разноцветного, полученное пу-
путем подстановки средних в D4.18), равно 66,917. Тоже для
ириса щетинистого равно — 38,424. Среднее этих двух значений
равно 14,247. Таким образом, если значение X для какого-ни-
какого-нибудь цветка будет превышать 14,247, мы отнесем последний
к ирисам разноцветным, в противном случае — к ирисам щети-
щетинистым.
44.8 Мы можем приближенно вычислить вероятность ложной
классификации. Имеем
DX = Ц
Используя D4.11), последнее оценим так:
ХХ — Х2. D4.19)
Это оценка дисперсии величины X. Если «критическое» значе-
значение X равно {Ki+X2)l2, вероятность ложной классификации
так или иначе равна (приближенно) вероятности отклонения за
уровень Xi — (Ху + Х2I2 = (Хх — Я2)/2 нормальной случайной
величины с нулевым средним и дисперсией (Xt— Х2).
Пример 44.2
Для данных из примера 44.1
X, =66,917, Х2 = — 38,424.
Следовательно, вероятность ложной классификации равна ве-
вероятности превышения значения F6,917 + 318,442): 2 = 52,67
нормальной величиной с нулевым средним и дисперсией 105,341
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
445
'(или среднеквадратичным отклонением УЮ5.341 =10,26). Эта
вероятность ничтожно мала.
44.9 Интересен специальный случай, когда все корреляции
между х одинаковы. В примерах из биологии не так уж редко
встречаются более или менее равные корреляции. Если это так,
мы можем провести дискриминацию по двум факторам. Сде-
Сделать это можно следующим образом.
Как и в примере 43.1, можно показать, что если все корре-
корреляции равны р, то собственные числа корреляционной мат-
матрицы *)
*1 = 1 + (Р — 1) Р- D4.20)
Х2 = ... =А,р = 1 — р. D4.21)
Мы имеем, таким образом, одно основное направление,
а среди оставшихся наблюдаем изотропность. Компонента, со-
соответствующая Хи равна
D4.22)
Рассмотрим пропорциональную
называть компонентой «объема» —
так что
величину, которую будем
D4.23)
D4.24)
Среди оставшихся компонент ни одна не имеет преимущества
перед остальными. Выберем тогда некоторые веса до,- с нену-
ненулевым средним и определим величину
Wj—W
W
¦*/.
D4.25)
которую назовем компонентой «формы». Получаем, что
D4.26)
*) Следует обратить внимание читателя на тот факт, что в некоторых
дальнейших рассуждениях автор не проводит четкого различия между выбо-
выборочными и точными числовыми характеристиками распределений (средние,
дисперсии, ковариации, собственные числа и т. д.). (Прим. ред.)
446
ГЛАВА 4*
Далее
cov (Q, Р) = cov
х,,
xi
)
-V- D*>+? E -V-cov <*/• **>=
= {l+(p-l)p}j;-^^=O. D4.27)
/
Итак, компонента «объема» и компонента «формы» не кор-
релированы.
44.10 Чтобы получить «дискриминатор», положим
w, = *17 - x2j D4.28)
и будем искать дискриминатор в форме
X = aQ + P. D4.29)
Будем максимизировать (Х( — X2Y/DX. Пусть DP = Pi — Р2>
DQ = Qi — Q2 *)• Тогда мы должны максимизировать
D4.30)
a2DQ +2acov(Q, P) + DP '
Используя D4.27), легко находим решение:
a =
DPDQ
D4.31)
Подставляя теперь веса из D4.28) в выражения для DP
и DQ, получаем
D4.32)
D4.33)
= p {хх — х2),
^p{l + (p-
Подстановка в D4.31) дает а, и мы получаем, что
D4.34)
D4.35)
D4.36)
*) Случайные величины Q,, Pi и Xi, i = 1,2, следует понимать как ста-
статистики, полученные соответственно по формулам D4.23); D4.25) и D4.29)
с заменой х, их средними выборочными значениями xj. (Прим. ред.)
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
447
Пример 44.3
Рассмотрим снова данные для ирисов в примерах 44.1
и 44.2. Корреляционная матрица такова:
D4.37)
Корреляции достаточно близки друг к другу, чтобы исполь-
использовать предыдущие результаты для приближенного исследова-
исследования. Приводя величины к величинам, имеющим нулевые сред-
средние и единичные дисперсии, получаем
*2
Хъ
Xi
1
Xl
0,599513
1
Хз
0,636323
0,382719
1
Xi
0,472011
0,457988
0,705258
1
Xl
х2
х3
Xi
Ve
1,0628
—0,4551
3,9894
3,4426
7,5347
s
— 1,0628
0,4551
—3,9894
—3,4426
-7,5397
Ve—S
2,1256
-l,9!02
7,9788
6,8852
15,0794 = 5Q
D4.38)
Дисперсия Q вычисляется как сумма 16 элементов D4.37)
и равна
DQ = 10,5076. D4.39)
Веса для компоненты «формы» получаем из D4.38), деля
последний столбец на 15,0794/4 и вычитая единицу. Имеем
-0,4362; -1,5067; 1,1165; 0,8264.
Для оценки Р, таким образом, получаем
Р=(— 0,4362X1,0628)+ ... =8,2747.
Снова используя D4.38), имеем
DP = 3,0912.
D4.40)
D4.41)
D4.42)
Из D4.38) получаем, что ковариация между Q и Р равна
0,36162 (а не нулю). Подстановка в D4.31) дает, что а=0,2412,
448
ГЛАВА 44
и наш дискриминатор равен
X = 0,2412Q-f P, D4.43)
где, что нужно помнить, Q есть сумма всех стандартно норми-
нормированных х, а Р представляет взвешенную сумму с весами из
D4.40).
Квадратичные дискриминаторы
44.11 Линейный дискриминатор D4.10) построен в предпо-
предположении, что две сравниваемые генеральные совокупности
имеют одинаковые характеристики рассеяния. Если это не так,
наш логарифм правдоподобия с точностью до постоянной стано-
становится в обычных обозначениях равным
-ц2,). D4.44)
Z Г
Члены, имеющие второй порядок по х, уже не уничтожаются,
и наша граница становится поверхностью' второго порядка
в р-мерном пространстве. В общем случае эта конструкция
слишком громоздка, чтобы иметь с ней дело. Последнее об-
обстоятельство, по-видимому, и объясняет тот факт, что квадра-
квадратичные дискриминаторы редко встречаются в практике.
Мы, однако, можем преуспеть, если ограничимся рассмот-
рассмотрением частного случая с определенной «формой» и «разме-
«размером». Пусть р = 2, а ковариационные члены равны нулю. Вы-
Выражение D4.44) сводится тогда к форме типа
-v2f, D4.45)
где у и х — линейные функции от Р и Q, а дисперсии поддаются
вычислению. Дискриминантная граница становится здесь эл-
эллипсом (двумерным), и ситуация поддается изучению. Один
пример можно найти у С. Смита A947).
С. Рао A966) рассмотрел дискриминацию при наличии сложных гипотез.
Статистическое исследование дискриминантной функции
44.12 Процесс статистического исследования дискримина-
дискриминатора нуждается в небольшом пояснении. Мы можем, например,
заподозрить, что генеральные совокупности хотя и различны, но
тем не менее столь близки, что дискриминатор перестает быть
эффективным. Это проявляется в том, что вероятности ложной
классификации, являясь минимальными, все-таки остаются
большими. С другой стороны, мы можем также предположить,
что существует большее, чем мы наблюдаем, различие между
совокупностями, но наш объем выборки недостаточно велик
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
449
для того, чтобы дискриминатор оказался надежным; фактиче-
фактически здесь требуется построение доверительных интервалов для
функции или ее коэффициентов. Или может возникнуть опасе-
опасение, что на самом деле генеральные совокупности идентичны
и дискриминация иллюзорна.
Исследование дискриминантных функций обычно проводится
именно в связи с указанными возможностями. Вообще, это не
столько исследование дискриминантных функций, сколько про-
проверка однородности с использованием этих функций. Если же
неоднородность обнаружена, функция ipso facto *) значима
в том смысле, что она различает реальные отличия оптималь-
оптимальным образом (за исключением того, что мы используем оценки
средних и характеристик рассеяния, вместо их неизвестных тео-
теоретических значений). Правда, путь этот может быть и не
слишком хорош, даже будучи наилучшим из всех доступных.
44.13 Допустим, что в действительности две наши генераль-
генеральные совокупности имеют одинаковые средние. Тогда определяе-
определяемое дискриминатором различие между выборочными средними
характеризуется величиной
— x2j) (xlk — х2к).
D4.46)
Выборочные средние распределены нормально, так что, если
объемы выборок одинаковы, разность выборочных средних
также распределена нормально с нулевым средним и диспер-
дисперсией, равной удвоенной дисперсии выборочного среднего. От-
Отсюда следует (см. 41.17), что величина U распределена как
основанная на 2/г наблюдениях статистика Хотеллинга Т2, де-
деленная на 2/г— 1. Вследствие D1.84) это эквивалентно распре-
распределению множественной корреляции R2 при R2 = 0, и критерий
может быть построен с помощью дисперсионного анализа. Од-
Однако, по-видимому, предпочтительнее проверять однородность
методом главы 42, который позволяет рассматривать отдельно
различия между средними и между характеристиками рассеяния.
44.14 Поскольку в 27.28—9 мы получали «нулевое» рас-
распределение R2, ие предполагая многомерной нормальности, не
должно вызывать удивления и то, что дискриминация между
двумя генеральными совокупностями также не требует такого
предположения. Упражнение 44.10 показывает, как границу
D4.9) можно получить методом НК.
44.15 Обсудим теперь те случаи, когда ошибки двух типов
не равнозначимы по важности. Существуют два типа ситуаций,
когда требуется модификация предыдущих результатов:
(а) Возможны ситуации, когда исследователю a priori из-
известно, что у него больше шансов выбрать элемент из одной
*) ipso facto (лат.)—в силу самого факта.
15 М. Кендалл, д, Стьюарт
450
ГЛАВА 44
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
451
совокупности, чем из другой. Например, при случайном отборе
индивидуумов на предмет обнаружения у них активного тубер-
туберкулеза мы ожидаем встретить гораздо больше здоровых людей,
чём больных.
(б) Последствия ложной классификации могут существенно
отличаться друг от друга. Например, гораздо менее опасно
признать здорового человека больным (так как ошибка скорее
всего обнаружится прежде, чем будет нанесен существенный
вред), чем признать больного здоровым (так как здесь послед-
последствия будут иметь обратный характер).
Предположим, что вероятности принадлежности двум на-
нашим генеральным совокупностям равны соответственно Я1 и
Яг( = 1—Я\). Предположим, что мы в состоянии приписать
ошибкам некие числа, характеризующие наши потери при лож-
ложной классификации; пусть, например, ошибки первого и второго
рода стоят нам соответственно Ci и с2 (в некоторых единицах
измерения). Тогда вместо того, чтобы минимизировать коли-
количество ошибок при многократной дискриминации, будем мини-
минимизировать наши потери, иначе вместо D4.3) будем миними-
минимизировать
с2
itj, dx = с,я,
x. D4.47)
1-я
Последнее, выражение достигает минимума, если область R
определяется соотношением
< 1.
D4.48)
Таким образом, если в качестве дискриминатора выбрать
log(/2/fi), эффект введения априорных вероятностей я и по-
постоянных потерь с проявляется лишь в добавлении постоянной
к дискриминантной функции, или, что эквивалентно, в замене
критического значения последней величиной
log {(с2я2)/(с,я,)}.
Случай k генеральных совокупностей
44.16 Существенно новые вопросы возникают при переходе
от дискриминации между двумя совокупностями к дискримина-
дискриминации между многими совокупностями. Как и прежде, мы будем
стараться разбить выборочное пространство на непересекаю-
непересекающиеся области (по одной для каждой совокупности) и затем
приписывать новый элемент той совокупности, в чью область он
попал. Но границы областей здесь уже больше не определяются
какой-то одной функцией. Чтобы достигнуть оптимальных
свойств, мы должны пользоваться несколькими функциями,
если же мы вынуждены пользоваться одной функцией, мы
должны смириться с потерей мощности дискриминации.
44.17 Чтобы проиллюстрировать положение, достаточно рас-
рассмотреть три генеральные совокупности — обобщение на случай
произвольного числа тривиально. Предположим, что вероятно-
вероятности появления трех совокупностей с плотностями fu f2, /3 равны
соответственно яь я2, я3 (Я1 -f-Я2 + я3 = 1). Полученное С. Рао
обобщение леммы Неймана — Пирсона утверждает, что ошибки
ложной классификации минимальны, если области опреде-
определяются включающими отношения вероятностей соотношениями,
представляющими простое обобщение (.44.48). А именно, Rt
таково, что Я1/1 одновременно больше или равно я2/2, яз/з; R2
таково, что я2/2 ^ яз/з, nifi; R3 таково, что яз/з ^ nifu я2/г.
44.18 В частности, если три совокупности нормальны с об-
общей матрицей рассеяния (Yjfc) и средними \iij, {x2j, jx3j, анало-
аналогично 44.5, существуют такие {52 и Рз, что Ri определяются не-
неравенствами
~~ *р2, D4.49)
s Рз- D4.50)
Так же определяются и остальные области. В выборочном
пространстве Ri определяется как область, лежащая между
двумя гиперплоскостями (см. 44.49), D4.50)) и содержащая
среднее первой совокупности и т. д. Поверхности постоянства
значений взвешенного отношения вероятностей для совокупно-
совокупностей 1 и 2 являются поверхностями постоянства функции
log {(я,/,)/(я2/2)} =
= X r/*0*i/ — 1*2/)** — у ? T}k(\iu\i2k—1*2/1*1*)+ l°S^-- D4.51)
В том частном случае, когда все я одинаковы, мы можем
сравнивать три функции:
2 1
~~2 1
1 Ч
9. У
[] Г/feili/liife,
>] Г/йц2/ц2^,
\ r/At*3/f*3ft»
D4.52)
D4.53)
D4.54)
и приписывать элемент к Ri, R2 или i?3 соответственно тому, ка-
какой из X окажется наибольшим, если в формулы проставить
15*
452
ГЛАВА 44
выборочные значения. Так, если, скажем, Х\ больше Х2 и Х3, из
D4.51) следует, что f\ > f2 и f\ >/з- Как обычно, чтобы полу-
получить приближенный дискриминатор, можно вместо неизвестных
параметров использовать их выборочные значения.
Пример 44.4 (С. Рао и Слейтер, 1949)
Ниже приведены осредненные метки трех тестов, которым
был подвергнут ряд лиц, разбитых на группы в зависимости
от их невротического состояния.
Группа
Возбужденное
состояние
Истерия
Психопатия
Маниакальный
Изменение лич-
личности
Нормальное сос-
состояние
Размер
выборки
114
33
32
17
5
55
256
Осредненные
i 2
2,9298
3,0303
3,8125
4,7059
1,40000
0,6000
1,1667
1,2427
1,8438
1,5882
0,20000
0,1455
метки
3
0,7281
0,5455
0,8125 '
1,1176
0,0000
0,2182
D4.55)
Внутригрупповая матрица рассеяния B50 ст. св.) такова:
1
2
3
1
2,300851
2
0,251578
0,607466
3
0,474169
0,035774
0,595094
Матрица, обратная ей, такова:
1
2
3
¦
0,543234
2
—0,200195
1,725807
3
-0,420813
0,055767
2,012357
D4.56)
D4.57)
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
453
Для целей настоящего примера достаточно предположить,
что все я одинаковы. Шесть дискриминантных функций типа
D4.49) тогда определятся с помощью следующей таблицы.
-Нормальное состояние
Изменение личности
Возбужденное состояние
Истерия
Психопатия
Маниакальный психоз
Коэффициенты
0,2050
0,7204
1,0515
1,1678
1,3599
1,7680
х,
0,1431
0,0649
1,4676
1,5679
2,4641
1,8611
Ха
0,1947
—0,5780
0,2974
—0,1081
0,1336
0,3573
Постоянная
—0,0931
—0,5107
—2,5047
—2,7139
-4,9182
—5,8375
D4.58)
Коэффициент при хх для нормального состояния вычислялся,
например, так:
<0,543 234) @,6000) — @,200 195) @,1455) +
+ (-0,420813) @,2182) =0,2050.
Допустим, что обследование некоего индивидуума привело
к меткам 1, 1,0. Тогда в силу D4.58) значения функций равны
0,2550, 0,2746; 0,0144; 0,0218; —1,0942; —2,2084; и мы должны
лриписать субъект ко второй группе (изменения личности). Ра-
Разумеется, на практике такой вывод должен быть подвергнут
•тщательной проверке, так как значение дискриминатора для
нормальной группы здесь весьма близко к такому же значению
для группы с изменениями личности, последняя же состояла
лишь из пяти членов, по которым мы построили выборочные
дискриминаторы.
44.19 С геометрической точки зрения дискриминантные функ-
функции определяют некие гиперповерхности в р-мерном простран-
пространстве, которые в частном случае 44.18 являются плоскостями. Как
мы видели, эти плоскости не ортогональны линиям, соединяю-
соединяющим средние распределений. Если мы имеем более чем две ге-
генеральные совокупности, средние в общем случае не коли-
леарны. Мы можем, однако, построить линию, наиболее близкую
ко всем k средним и использовать изменение вдоль направления
этой линии в качестве дискриминатора. На самом деле, если
мы имеем k совокупностей, мы можем попытаться построить та-
'.кую функцию X вида
Х =
•что отклонение межклассовой и внутриклассовой дисперсий бу-
,дет максимальным. Как и в 44.6, это аналогично максимизации
454
ГЛАВА 44
отношения межклассовой дисперсии к полной дисперсии. Если
А — межклассовая матрица рассеяния, в В — полная матрица,
последнее эквивалентно максимизации величины
*, = •
что влечет равенство
(А1к -
lk = 0.
D4.59)
D4.60)
Таким образом, наибольший корень уравнения \А — \В\ =0
дает нам дискриминатор. Подробности можно найти у Бартлетта
A951), Е. Уилльямса A952) и Блэкиса A960). Выясняется, что
использование для дискриминации между несколькими совокуп-
совокупностями одной функции может привести к довольно ограничен-
ограниченной по возможностям процедуре, если только совокупности не
столь различны, что практически любой метод приводит к разум-
разумным результатам.
Качественные данные
44.20 До сих пор наши рассуждения касались лишь величин
х, которые можно измерять. На практике мы часто имеем дело
с ситуациями, где некоторые или все характеристики объекта
носят качественный характер. Рассмотрим случай, когда все
характеристики являются качественными, и допустим, что число
их равно р. Пусть /-я характеристика разбита на категории Sjk
(k=l, 2, ..., t), а выборки из совокупностей 1 и 2 содержат
соответственно ti\jh и n2jh членов из k-й категории /-й характери-
характеристики. Пусть п{ и п2 — полные объемы выборок. Тогда, если для
нас существенна лишь k-я категория /-й характеристики и у но-
нового элемента эта характеристика имеет k-ю категорию, мы при-
приписываем этот элемент совокупности 1, если
D4.61)
П-1 ' «2 '
и совокупности 2 в противном случае. Короче, значения имеют
лишь пропорции в «(/, /г)-классе», а частоты других классов
ничего не говорят о принадлежности элемента к той или иной
совокупности.
44.21 Такой'образ действия кажется грубым, но мы посту-
поступаем в духе критерия, который использовался для измеряемых,
характеристик. Из D4.61) лишь следует, что процесс дискрими-
дискриминации определяется вероятностями появления того или другого-
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
455
элемента. Если категории Sjk упорядочены по k, т. е. если есте-
естественным образом задана последовательность яд, ..., Sjt (как,
например, при упорядоченной категоризации), то появляется
возможность использовать информацию и о других «ячейках»,
кроме «(/, ?)-ячейки». Насколько нам известно, до сих пор это
делать не пытались.
Если мы подготовлены к тому, чтобы ввести цены за ложную
классификацию, можно попытаться выработать несколько более
усложненный критерий, по которому часть классов будет рас-
распределена по совокупностям так, чтобы минимизировать полную
цену. Кокрен и Гопкинс A961) исследовали эту процедуру. Тому
же посвящена работа Линхэрта A959).
Хиллс A967) рассмотрел несколько «близлежащих» процедур
я многошаговые методы.
44.22 По-видимому, наибольшие трудности возникают в том
случае, когда некоторые характеристики объекта качественны,
а другие поддаются измерению. Для этого случая пока еще нет
удовлетворительной теории. Некоторое эвристическое продвиже-
продвижение заключается в том, чтобы отмечать качественные характе-
характеристики «метками» (используя, например, дихотомию @, ^.три-
^.трихотомию (—1, 0, 1) и т. д. и проводя усреднение), а затем
использовать эти метки как результат измерения наравне с дру-
другими измеряемыми величинами. Напротив, если области значе-
значений измеряемых величин разбить на подобласти, можно осу-
осуществить дискриминацию, имитирующую дискриминацию по
качественным характеристикам. Последняя процедура, однако,
утомительна и фактически уменьшает объемы выборок, что при-
приводит к снижению надежности. Указанная тематика заслуживает
дальнейшего изучения.
44.23 Прежде чем перейти к рассмотрению методов, свобод-
свободных от распределений, бегло остановимся на нескольких еще
не обсуждавшихся вопросах: (а) отказ от решения (или откла-
откладывание решения); (б) смещение при оценивании вероятностей
ложной классификации; (в) отбрасывание избыточных (излиш-
(излишних) величин.
Отказ от решения
44.24 Во многих, а возможно и в большинстве задач дискри-
дискриминации, существуют пограничные случаи, когда разумно не на-
настаивать на отнесении элемента к тому или иному классу, а от-
отложить решение. Геометрически это означает, что мы разбиваем
выборочное пространство на три области: Ri, R2 и D\2- Если эле-
элемент попадает в /?ь мы приписываем его первой генеральной
совокупности, если он попадает в /?2 — ко второй. Если же он по-
попадает в ?>12, мы должны признать, что данных недостаточно
456
ГЛАВА 44
для удовлетворительного заключения. В общем случае эта об-
область будет содержать тесно перемешанные элементы из обеих
генеральных совокупностей, и на практике нам пришлось бы:
искать какой-нибудь другой критерий для их различения.
Нетрудно определить область D12, используя линейный ди-
дискриминатор. Мы должны только решить, какие вероятности;
ложной классификации считать допустимыми, основываясь на
последнем, определить Rx и R2, а оставшуюся часть выбороч-
выборочного пространства объявить областью DX2.
44.25 С увеличением числа совокупностей число областей"
резко увеличивается. Если совокупностей, например, три, можно»
по трем дискриминаторам определить «области сомнения» Dx2»
E>i3, D23, но последние будут пересекаться. Поэтому возможна
область Dm, при попадании в которую нельзя отнести элемент-
ни к одной из трех совокупностей; область ?>12.з, где мы отвер-
отвергаем третью совокупность, но не в состоянии различить первые-
две и так далее. По крайней мере при линейных дискриминато-
дискриминаторах, которые разбивают пространство на области с плоскими:
границами, особых трудностей здесь не возникает. При исполь-
использовании квадратичных и кубических форм может возникнуть
проблема интерпретации.
Смещение при оценивании вероятностей
ложной классификации
44.26 Простейший путь оценивания вероятностей ложной:
классификации состоит в применении построенного по наблюде-
наблюдениям дискриминатора к каждому члену тех выборок, на основе
которых он получен, и к подсчету ошибок в этом случае. Если:
бы мы были убеждены в нормальности теоретического распре-
распределения, равенстве характеристик рассеяния, точности оценок
средних и характеристик рассеяния, которые использовались при:
построении дискриминатора, мы бы смогли оценить вероятности:
ошибок теоретич-ески, как в примере 44.1. Если же мы не знаем,.
в какой мере наш дискриминатор отвечает нашим предположе-
предположениям, лучше установить вероятности ошибок, применяя дискри-
дискриминатор к наблюденной выборке. В сущности, мы должны в лю-
любом случае следовать этой процедуре в качестве меры предосто-
предосторожности. Однако, в результате такой процедуры возникает
небольшое смещение.
44.27 На практике погрешности при эмпирическом определе-
определении вероятностей ложной классификации возникают по двум
причинам. Прежде всего, нам неизвестны теоретические пара-
параметры, и дискриминатор мы строим на основе выборочных оце-
оценок. В среднем эмпирическая оценка вероятности ошибки будет
больше истинного значения. Во-вторых, наша эмпирическая
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
457
юценка получена по данным, на основе которых и был построен
дискриминатор. Следовательно, в среднем, эмпирическая оцен-
оценка будет меньше, чем в случае применения дискриминатора к но-
новой выборке. Однако, как мы уже говорили, последняя оценка
¦сама по себе будет больше, чем истинное значение.
Пример 44.5 (Кокрэн и Гопкинс, 1961).
Указанный эффект хорошо виден на следующем простом
лримере.
Имеются две генеральные совокупности Ри Р2 и одна случай-
случайная переменная, которая может принимать значения ах и а2.
Пусть истинные вероятности того, что элемент, принадлежащий
•совокупности Ри принимает соответствующие значения, равны
jTi(ai) и щ(а2) = 1 —ni(ai). Также определяем n2(at) и Л2(а2).
Если выборка объема щ из Рх содержит гх раз ах, несмещенная
оценка лх(а{) равна rjtii и так далее.
Дискриминационное правило состоит в том, чтобы относить
новый элемент к Ри если наблюденное значение равно ах и
¦гх/пх > г2/п2 или, если наблюденное значение равно а2 и 1 —
— г\1пх > 1—г2/п2.
Рассмотрим теперь случай, когда истинные вероятности за-
заданы следующим образом:
Pi Pi
a, 0,9 0,05
a2 0,1 0,95
Предположим, что мы имеем выборки единичного объема из
каждой совокупности. (Это довольно тривиально, но достаточно,
чтобы пояснить суть дела.) Если элементы из Рх и Р2 прини-
принимают соответственно значения ах и а2, правило на будущее со-
состоит в том, чтобы относить к Pi любой элемент, принявший .
значение ах, и к Яг любой элемент со значением а2. Оценка
вероятности ложной классификации равна нулю. В действитель-
действительности эта вероятность равна 0,5 @,1+0,05) = 0,075. Анало-
Аналогично, если элементы из Рх и Р2 принимают соответственно зна-
значения а2 и ах, мы принимаем противоположное решающее пра-
правило, но оценка вероятности ложной классификации снова
равняется нулю. В действительности же она равняется 0,5 @,9+
+ 0,95) = 0,925.
Если бы оба элемента приняли значение ах, мы должны были
>бы или отказаться от решения, или решать вопрос, бросая мо-
монету. В последнем случае истинная вероятность ложной клас-
классификации и ее оценка равны 0,5. То же, если оба элемента
приняли значение а2.
458
ГЛАВА 44
Поскольку мы предполагали, что оба элемента выбираются
из совокупностей случайным образом, можно эти вероятности
усреднить. Результаты таковы:
Появление
Р,(а,) Р2(а2)
PMi) РЛа\)
Р,(а2) Р2(а2)
Вероятность появления
0,9-0,95 = 0,855
0,9-0,05 = 0,045
0,1-0,95 = 0,095
0,1-0,05 = 0,005
Вероятность ложной
классификации
оценка
0,0
0,5
0,5
0,0
0,07
истинная
0,075
0,500
0,500
0,925
0,13875
Это конечно весьма крайний случай. При практически ре-
реальных объемах выборок смещение много меньше.
Дальнейшее обсуждение можно найти у Кокрэна и Гопкинса
A961). Смотри также работу Джона A961). Значительно более
полное изложение этой темы содержится у Хилла A966).
Если первоначальная выборка, по которой построен наш ди-
дискриминатор, получена не случайным образом, никакая количе-
количественная оценка смещения невозможна.
Избыточные (или излишние) переменные: стандартные ошибки
44.28 Естествен следующий вопрос: все ли величины, от ко-
которых зависит наш дискриминатор, необходимы? Отбрасывание
величин может ослабить мощность дискриминатора, но можно
также ожидать, что потеря окажется незначительной. С гео-
геометрической точки зрения это означает, что если наше «созвез-
«созвездие» точек в р-мерном пространстве удачно разделено на два
дискриминантной гиперплоскостью, мы можем сохранить поло-
положение, проектируя все точки на одну из координатных гипер-
гиперплоскостей. В этом случае величины, соответствующие направ-
направлениям, ортогональным гиперплоскости, окажутся излишними.
Существует несколько путей подхода к задаче. Мы бы избежали
больших трудностей, если бы отбрасывали бесполезные вели-
величины в самом начале, не привнося их в анализ. Это, однако, ри-
рискованная операция. Некоторые результаты для нормального
случая Кокрэна A964) приведены в примерах 44.6—9. Дж. Ела-
шов , Р. Елашов, Голдмэн A967) показали, что простые прави-
правила, вытекающие из этих примеров, не работают даже в таких слу-
случаях, как выбор лучших двух величин из р биномиальных. Бо-
Более прямой подход состоял бы в оценивании ошибок ложной
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
459
классификации при отбрасывании некоторых величин, но это
может оказаться утомительным при большом числе величин. Мы
осуществим третий подход, получая стандартные (для больших
выборок) ошибки (или отклонения) коэффициентов линейного
дискриминатора. Коэффициент 4 == 2 Cjk (хц ~~ %)• Следова-
тельно,
Точно так же
= Z
и, следовательно,
dlk dlm =
хц — x2j) dCik + Cjkd(xu — x2I)}. D4.62)
hr — x2r) dCrm + Crmd (xlr - x2r)} D4.63)
lv*i/ Xnj) \X\r x2r) ac,-ft uL,rm -f-
j, r
+ (хц x2j) Crm dC!k d (xlr — x2r) +
+ {*\r — X2r) C,k dCrm d(xu — x2l) +
+ C,kCrmd (xu — x2t) d (xlr - x2r). D4.64)
Вспоминая, что при нормальном распределении средние не
зависят от характеристик рассеяния, имеем
, — x2l) (xlr — x2r) cov (С1к, Сгт) +
+ C]kCrm cov {(xlt — x2f) (xir — x2r)}]. D4.65)
Если две выборки состоят из пх и п2 наблюдений, легко полу-
получить, что
cov {(хи — х21) (х1г — х2г)} =
= cov (x!f, xir) + cov (x21, x2r) = (— +—) c!r. D4.66)
Займемся теперь ковариацией между Cjk и Сгт. Будем временно
обозначать алгебраическое дополнение Cjk в \с\ символом Tjk,
так что Cji == Г3й/|с|. Тогда
dC,k = -
|с|2
I с I2
a, 3 a.3
где F/ft, op — алгебраическое дополнение са& в F/ft. Итак,
'CP a. B /fe °3 /4'°3
D4.67)
460
ГЛАВА 44
Теперь, в силу теоремы Якоби об определителе,
I с I Г/4. ар = Г/йГоз ~ Г/еГай-
Следовательно, D4.67) сводится к равенству
dCik == ~ -|71
a.
a, 0
Используя D1.98), получаем
, Crn) = -
p. D4.68>
D4.69>
Осуществляя подстановку из D4.66) и D4.69) в D4.65), полу-
получаем
cov (/*, и = (J- + JL) ? с,, fecr, mC/r +
I. г
/, г
/.г
km
В частности, при k = m = /
- ы с<г ~ D4-70)
D4-71>
D4-72>
Пример 44.6
Рассмотрим снова данные для ирисов из примера 44.1. Иссле-
Исследуем h. Имеем
ni = n2 = 50; /j ===== — 3,11511;
Xl—X 2 =105,341; Cu = 11,87161.
Из D4.72) находим
D/, == 0,4749 + 0,0970 + 12,5057 = 13,0776; с. о. (/,) == 3,62.
Абсолютное значение меньше, чем стандартная ошибка, и сле-
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
461
г
дует подумать о том, нельзя ли отбросить xt без серьезной по-
потери в мощности.
Как мы увидим позже, практически хороший дискриминатор
может быть основан даже только на одной величине *4-
Кокрэн и Блисс A948) рассмотрели случай, когда влияние некоторых ве-
величин устраняется ковариационной техникой, а дискриминация основывается
на оставшихся величинах. В их статье можно иайти описание метода и рабо-
рабочий пример.
Об использовании статистики D2 в дискриминационных методах можно
прочесть у С. Рао A952).
Методы, свободные от распределений
44.29 Мы переходим к обсуждению возможностей методов
свободных от распределения при дискриминации между k гене-
генеральными совокупностями. Над ¦>
этой темой работали очень ма- 2
ло, и содержание пунктов
44.29—33 следует рассматри-
рассматривать как предложения, которые
еще нуждаются в проверке
опытом.
Вернемся к представлению
элементов как точек в р-иер-
ном пространстве, чьи коорди- ^
наты есть значения величин рис- 44.1 (см. текст).
Х\, ..., хр. Ограничившись по-
пока двумя совокупностями, будем отмечать элементы одной сово-
совокупности (скажем, А) крестиками, а другой (скажем, В) кру-
кружочками. Картина в двумерном случае может выглядеть, как
на рис. 44.1.
Крестики имеют выпуклую «оболочку», которую мы очер-
очертили, то же сделано и для кружочков. В общем случае две
области имеют непустое пересечение.
Рассмотрим следующее дискриминационное правило:
(а) Если точка попадает в область А, но не попадает в об-
область В, приписываем ее к А.
(б) Если точка попадает в область В, но не в А, приписы-
приписываем ее к В.
(в) Если точка попадает в пересечение обеих областей, мы
не приписываем ее ни к одной из совокупностей.
Предложение кажется разумным, но мы не можем следовать
ему по трем причинам:
A) Определение выпуклой оболочки есть задача линейного
программирования, которая, хотя и разрешима, выводит нас
за рамки наших настоящих интересов.
B) Метод не указывает, как поступить с точками, которые
не попадают ни в одну из областей.
462
ГЛАВА 44
C) Метод в действительности не является свободным от рас*
пределения, поскольку нелинейное преобразование переменных
не сохраняет границы плоскими.
Подсчет точек в обеих областях и их пересечении тем не
менее оказывается полезным, поскольку указывает нам на сте-
степень «перемешивания» трех совокупностей или, так сказать, сте-
степень трудности задачи дискриминации.
44.30 В качестве вступления к изложению методов, свобод-
свободных от распределений, рассмотрим снова данные таблицы 44.1
по щетинистым и разноцветным ирисам.
Ширина лепестка щетинистого ириса имеет среднее значение
0,246 и размах от 0,2 до 0,6 (дисперсия равна 0,0109). Та же ве-
величина у разноцветного ириса имеет среднее 1,326 и размах от
1,0 до 1,8 (дисперсия равна 0,03). В силу этого ширина лепестка
может служить превосходным дискриминатором сама по себе.
Если мы будем относить новый элемент к щетинистым или раз-
разноцветным ирисам в зависимости от того, будет ли ширина ле-
лепестка меньше или больше чем скажем, 0,9, мы будем редко
впадать в ошибку, даже если случайные величины нормальны *).
44.31 Метод, который мы предлагаем, можно проиллюстриро-
проиллюстрировать на дискриминации между ирисами разноцветным и вирд*
жиника. Беглый просмотр данных показывает (и это можно
подтвердить путем составления специальной таблицы), что ука-
указанные сорта больше отличаются по длине и ширине лепестка
(ДЛ и ШЛ), чем по длине или ширине чашелистика. Распре-
Распределение частот для ДЛ и ШЛ дано в таблице 44.2. При измере-
измерениях ДЛ в интервале от 4,5 до 5,1 оба сорта имеют ненулевые
частоты появления. На внешность этого интервала приходятся
29 случаев ириса разноцветного и 34 — вирджиника. Для ШЛ
«общим интервалом» является интервал 1,4—1,8, и на его внеш-
внешность приходится 28 случаев ириса разноцветного и 34 вирджи-
вирджиника. Общее число случаев, приходящихся на внешность интер-
интервала пересечения, равно 63 для ДЛ и 62 для ШЛ. Прежде всего
осуществим дискриминацию по ДЛ. Установим следующее пра«
вило:
ДЛ ^ 4,4 — относим к разноцветным,
ДЛ^5,2 —относим к вирджинике, D4.73)
4,5 <1 ДЛ<[ 5,1 — переходим к следующей характеристике.
В 37 случаях ДЛ приходится на общий интервал D,5—5,1).
Исключим эти случаи из таблицы 44.2 и построим для них рас-
распределение по ШЛ, как сделано в таблице 44.3.
*) По поводу того, что нормальный случай может оказаться в опреде-
определенном смысле самым «невыгодным», см. 48.6. (Прим. ред.)
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
463
Таблица
Распределение частот по длине и ширине лепестка ирисов
разноцветного и вирджиника
44.2
Значения
переменной
4,3
4,4
4,5
4,6
4,7
4,8
4,9
5,0
5,1
5,2
5,3
5,4
5,5
5,6
5,7
5,8
5,9
Длина
разиоцв.
25
4
7
3
5
2
2
1
1
50
лепестка
внрджии.
1
—
—
2
3
3
7
2
2
2
3
6
з ¦
3
13
50
Значения
переменной
1,0
1,1
1,2
1,3
1,4
1,5
1,6
1,7
1,8
1,9
2,0
2,1
2,2
2,3
2,4
2,5
Ширина
разиоцв.
7
3
5
13
7
10
3
1
1
50
лепестка
вирджин.
1
2
1
1
11
5
6
6
3
8
3
3
50
Таблица 44.3
Распределение частот для 37 случаев,
не различимых по ДЛ
Значения
переменной
1,2
,3
,4
,5
,6
,7
,8
,9
2,0
2,1
2,2
2,3
2,4
Ширина
разиоцв.
1
2
4
9
3
1
1
21
лепестка
внрджиника
2
1
5
3
3
—
—
1
1
16
464
ГЛАВА 44
Поступая, как прежде, мы видим, что общий интервал для
ШЛ лежит от 1,5 до 1,8. Таким образом, к D4.73) добавляем
следующее:правило:
Если 4,5^ДЛ<15,1 и ШЛ^ 1,4 — относим к разноцветным,
sl,9 — относим к вирджинике,
1,5^ШЛ<1,8 — переходим к следующей
характеристике
D4.74)
По ДЛ было дискриминировано 63 случая, по ШЛ — 15. Оста-
Осталось 22 спорных случая. У оставшихся объектов рассмотрим
длину чашелистика (ДЧ) и ширину чашелистика (ШЧ).
Исследуя ДЧ, мы видим, что только пять случаев лежат вне
общего интервала. По ШЧ таких случаев шесть. Поэтому в ка-
качестве следующего дискриминатора выберем ШЧ и к D4.74)
добавим следующее правило.
Если 4,5 ^ДЛ <!5,1, ШЧ^З, 1—относим к разно-
разноцветным,
1,5<ШЛ<1,8 и ШЧ < 3,1 — переходим к следую-
следующей характеристике.
D4.75)
По последней характеристике дискриминировано еще шесть слу-
случаев. Всего разобрано 84 случая, осталось неразобранными 16.
Для этих 16 распределение по ДЧ дано в таблице 44.5.
Анализируя последнее, добавляем к D4.75) правило:
Если 4,5^ДЛ г^5,1, ДЧ^6,4—относим к разно-
разноцветным,
1,5<ШЛ<1,8, ДЧг^5,3 — относим к вирджинике,
ШЧ<3,1 и 5,4 <ДЧ<6,3 —отказываемся
от решения.
D4.76)
Итак 87 случаев разобрано, 13 нет. Никакая дальнейшая ди-
дискриминация невозможна.
44.32 Теперь можно обратиться и к общему методу. Он пол-
полностью свободен от распределения и основывается лишь на ран-
рангах значений случайных величин. Мы просматриваем характе-
характеристики объекта одну за другой по степени важности их для
дискриминации, при этом вычисления сводятся к самому эле-
элементарному счету.
С другой стороны, предлагаемый метод дискриминации мо-
может оказаться и не оптимальным. С геометрической точки зре-
зрения, вместо того чтобы устанавливать плоскую границу, как
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
465
Таблица 44.4
Распределение частот для 22 случаев, не различимых по ДЛ и ШЛ
Значения
переменной
4,9
5,4
5,5
5,6
5,7
5,8
5,9
6,0
6,1
6,2
6,3
6,4
6,5
6,6
6,7
6,8
6,9
Длина
разноцв.
—
1
—
—
—
1
3
—
1
2
1
1
—
2
—
1
14
чашелистика
вирджиника
I
—
—
—
—
—
1
2
1
1
2
—
—
—
,—
—
—
8
Значения
переменной
2,2
2,3
2,4
2,5
2,6
2.7
2,8
2,9
3,0
3,1
3,2
3,3
3,4
Ширина- чашелистика
разиоцв.
1
—
—
1
—
1
1
1
3
2
2
1
1
14
зирджиника
1
—
1
1
2
—
3
8
Таблица 44.5
Распределения частот для 16 случаев,
не различимых по ДЛ, ШЛ, ШЧ
Значения
переменной
4,9
5,4
5,5
5,6
5,7
5,8
5,9
6,0
6,1
6,2
6,3
6,4
6,5
6,6
6,7
Длина
разноцв.
—
1
—
1
—
—
—
2
—
1
1
—
1
—
1
8
чашелистика
внрджиника
1
,
—
—
—
—
1
2
1
1
2
—
—
—
8
456
ГЛАВА 44
в примере 44.1, мы строим границу поэтапно. Дискриминируя
по первой величине, мы разбиваем пространство на три области
гиперплоскостями, ортогональными этой величине. Вторая ве-
величина порождает аналогичные разбиения уже в области, остав-
оставшейся после дискриминации по первой величине, и т. д. Воз-
Возможно, что основанный на распределениях оптимальный метод
приводит к меньшему числу неразобранных случаев, но это мо-
может произойти лишь за счет отказа от тех преимуществ, которые
дает нам процедура, свободная от распределений.
Различия в характеристиках рассеяния
44.33 Заканчивая изложение проблемы дискриминации, оста-
остановимся на том случае, когда генеральные совокупности отли-
отличаются не средними, а характеристиками рассеяния. Эту за-
задачу легче поставить, чем решить. Рассмотрим, например,
к
My
о
°о
\
/>
X
X X
X
о
/
\
X
X
о
У
S
X
о
S.
\
X
У
о
О
X
\
\
У
о
<
\
X
X
о
X
\/
\
о
/
X
X
\х
О \ X
о X.
х/ \
/ о
о
о
о о
\*' о
X
X
у
/
к
\
\
V
Рис. 44.2 (см. текст).
рис. 44.2, где совокупности имеют одинаковые средние, но раз-
различные характеристики рассеяния. Области, где дискриминация
возможна, видны довольно ясно, но обнаружить их предше-
предшествующими методами не удается.
Если, сохраняя конфигурацию, повернуть рисунок на 45 гра-
градусов, ранговыми методами, можно прийти к значимым резуль-
результатам. Линии /С/С', LL' ограничивали бы область, вне которой
крестики, так сказать, доминировали бы. MM', NN' определяли
бы аналогичные области для кружочков. Прямоугольник посе-
посередине стал бы зоной отказа от решения, причем неизбежно
большой в силу характера данных.
Эвристическая процедура в таких случаях сводилась бы к
вращению осей координат (если мы имеем дело с измеряемыми
величинами), скажем, к преобразованию к главным компонен-
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
467
там Любишев A962) обсуждал эту задачу а связи с задачами
из биологии. См. также работу Бартлетта и Плиза A963).
44.34 Одним из недостатков изложенного метода является
его чувствительность к удаленным значениям. Как мы уже объ-
объясняли, для дискриминации пригодны лишь области, где не
смешиваются элементы различных совокупностей. Если же ве-
величины могут в принципе принимать сколь угодно большие зна-
значения, а объем выборки растет, возрастает и тенденция к пере-
перемешиванию. Поэтому иногда предпочтительнее с самого начала
пойти на некоторую ложную классификацию, разрешая переме-
перемешивание до определенного предела. Можно также, используя со-
соответствующие одномерные распределения, урезать случайные
величины, устанавливая границы, за которыми перемешивание
допускается. Вообще говоря, в этой области осталось сделать
значительно больше, чем уже сделано.
Классификация
44.35 Проблема классификации, как видно из самого тер-
термина, состоит в выяснении по эмпирическим данным, насколько
элементы «группируются» или распадаются на изолированные
«скопления», «кластеры» (clusters). Два различных подхода
к проблеме соответствуют двум различным типам пространств,
в которых мы представляем данные:
(а) Как обычно, задана (р X п) -матрица наблюдений. Рас-
Рассмотрим п выборочных точек в р-мерном евклидовом простран-
пространстве, порожденном р переменными. Если эти точки, соответ-
соответственно некоторому приемлемому определению, разбиваются на
ясно различимые группы, можно сказать, что п элементов клас-
классифицированы по этим группам. «Близость» элементов должна
определяться некоторой функцией от их значений.
(б) Если р-мерное пространство вложить в n-мерное, значе-
значения по каждой компоненте будут представлены п-мерными век-
векторами. Как мы видели в каноническом анализе, представляет
интерес, насколько эти векторы группируются. Отметим, что
в этом случае мы имеем дело с тем, насколько группируются
компоненты, а не элементы выборки.
Хотя это и не общепринято, было бы удобно назвать первый
тип классификационным анализом, а второй — классификацией
по компонентам *). В первом случае компоненты вектора мы при-
принимаем такими, какие они есть, и пытаемся классифицировать
элементы выборки. Во втором случае, который логически
*) В подлиннике—classification analysis and cluster analysis. В литера-
литературе обычно как раз первый тип классификации часто называют кластер-ана-
кластер-анализом. Чтобы избежать путаницы, мы пошли на несколько вольный перевод.
(Прим. перев.)
468
ГЛАВА 44
предшествует первому, мы интересуемся компонентами случай-
случайного вектора; например, насколько все они необходимы и кото-
которая из них наиболее важна для целей исследования.
44.36 В любом случае начальная трудность состоит в опреде-
определении того, что мы понимаем под «классом» или «группой». Сде-
Сделать это можно разными способами, но все они основаны на по-
понятии «близости» или «расстояния». Следовательно, мы должны
ввести некоторую метрику, определяющую расстояние между
двумя точками, а затем уже установить расстояние, при котором
две точки считаются «близкими». В классификации по компо-
компонентам естественным показателем расстояния между компонен-
компонентами Xj и xh является корреляция pjh. Ее можно рассматривать
или как косинус угла между векторами или как косинус рас-
расстояния по большой окружности единичной сферы между кон-
концами векторов. Таким образом, корреляционная матрица р пред-
представляет функцию расстояний. Мы должны лишь решить, какие
значения означают близость и как использовать последнее при
определении групп.
44.37 Предположим, что мы решили, что при р ^ 0,7 точки
(компоненты) близки. Можно тогда, например, поступать сле-
следующим образом. По корреляционной матрице найдем пары
с корреляцией ^0,7. Если таковых нет, невозможна и группи-
группировка компонент. В противном случае рассмотрим какую-нибудь
пару с корреляцией ^0,7, скажем Х], хк. Исследуем, как кор-
релированы остальные случайные компоненты с этими двумя.
Если существует такое xi, что средняя корреляция (по значе-
значениям) между Xj, Xh, xi окажется ^0,7, добавим Xi к группе. Нач-
Начнем теперь, если это возможно, искать четвертую компоненту
такую, что среднее р (между шестью значениями) ^0,7 и так
далее, пока процесс не оборвется. Выделенные компоненты со-
составляют группу. Обратимся теперь к оставшимся компонентам,
повторим с ними ту же процедуру и будем так поступать до тех
пор, пока не исчерпаем все компоненты. Такую процедуру до-
довольно просто осуществить, если число компонент не превышает
разумных пределов, — на практике это число редко бывает
больше 50. Однако процедура не обладает свойством единствен-
единственности в том смысле, что окончательный результат зависит от
того, с какой именно пары мы начинаем наш процесс отбора.
Если вычислительные возможности позволяют, можно, конечно,
разбить р векторов на группы всевозможными способами (по
числу представлений р в виде не содержащей единиц суммы це-
целых чисел) и исследовать группы в каждом разбиении. Однако
с этим вряд ли справится даже самая мощная вычислительная
машина.
Дальнейшие исследования в этом направлении можно найти у Трайона
A939) и Фортье и Соломона A966). Классификация по компонентам не часто
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
469'
привлекала внимание статистиков, и затронутые здесь вопросы нуждаются
в дальнейшем исследовании в связи с отбрасыванием излишних величии, ре-
регрессионным анализом, структурным анализом, дискримннаитным анализом и
многомерным анализом вообще. Нужно также помнить, что коэффициенты
корреляции являются характеристиками, носящими суммарный характер, и во-
всех этих случаях, чтобы получить представление об общем характере явле-
явления, разумно предварительно начертить несколько двумерных диаграмм рас-
рассеяния.
Кинг A967) разработал два многошаговых метода формирования групп,,
один из которых минимизирует D2.45) иа каждом шаге образования групп.
(Эмпирические соображения позволяют предполагать, что оба метода рабо-
работают не оптимально, ио хорошо.) X. Фридмэн и Рубин A967) при определе-
определении групп минимизировали D2.17).
44.38 Метод классификации по компонентам с использова-
использованием корреляций имеет то преимущество, что не зависит от мас-
масштаба, в котором измеряются отдельные Xj. Мы, образно говоря,,
ориентируемся здесь на число компонент р, а не на способ, с по-
помощью которого каждая из них измеряется. Такой метод не
свободен от распределения, но если мы чувствуем некоторое
неудобство от того, что распределения не являются нормаль-
нормальными, мы можем переставить компоненты по их рангам, и кор-
корреляционная процедура останется применимой. В действитель-
действительности мы можем распространить метод и на качественные дан-
данные, используя тот факт, что категории можно упорядочить-
(см., например, 33.36 т. 2). В этих случаях можно ввести есте-
естественную метрику.
Если же мы рассматриваем проблему классификации п то-
точек в /7-мерном пространстве, такие соображения уже неприме-
неприменимы. «Расстояния» здесь весьма чувствительны к изменению-
масштаба какой-либо переменной и могут принимать практи-
практически любые значения при соответствующем изменении мас-
масштаба. В ряде случаев указанная трудность, по крайней мере
частично, преодолевается с помощью стандартной нормировки.
Нам, однако, кажется предпочтительнее свободный от распре-
распределения ранговый метод.
44.39 Введем теперь функцию расстояния для элементов,.
а не для компонент. Пусть xxi, ..., xPi и хш ..., xpk — соответ-
соответственно значения у'-го и А-го случайных элементов. Нам нужно
измерить степень корреляции между ними. Однако вычислять
корреляцию, основываясь на самих значениях элементов, было
бы весьма неразумно; ведь даже изменение знака одного из
векторов повлекло бы изменение значений смешанных моментов.
Поэтому мы заменим п значений каждой компоненты Xj на
последовательность рангов (от 1 до /г). Ранги могут совпадать/
если несколько элементов имеют одно значение Xj. В частности,
качественные данные, распределенные по упорядоченным кате-
категориям, могут рассматриваться как частично ранжированные,,
так что наш метод применим в весьма общем случае. Первона-
-470
ГЛАВА 44
чальная матрица заменяется (р X п) -матрицей рангов, которые
-обозначаются гар, а = 1, .... р; р = 1, .... п.
Для каждой пары элементов выборки вычислим функцию,
.аналогичную статистике хи-квадрат:
D4.77)
„Дисперсия по множеству п рангов зависит от чисел совпадений.
Если имеются группы из tu t2, ... и т. д. совпадающих элемен-
-тов, имеем (см. упражнение 44.4)
* D4.78)
Заметим, что, хотя сами ранги и не инвариантны относительно
..изменения ранжирования на обратное, выражение D4.77) ин~
вариантно.
44.40 Как и в большинстве процедур классификации, прак-
практическая трудность возникает в связи с тем, что число пар,
которые можно выбрать из последовательности п элементов,
может быть велико. Это число равно п(п— 1)/2 и, если, скажем,
размер выборки равен 100, число пар, каждой из которых при-
приписана величина Djh, равно 4950. Осуществить процедуру в духе
44.37 и формировать группы, добавляя по одному элементу на
каждом этапе, достаточно трудно, и приходится обращаться
к вычислительной машине, но теоретических проблем здесь нет.
Пример 44.7
Одна эвристическая процедура, отражающая по крайней
мере некую предварительную идею разбиения по группам, мо-
может быть проиллюстрирована на части данных из таблицы 44.1
(Кендалл, 1966). Была построена таблица, использующая дан-
данные по ирисам разноцветному и вирджиника, в которой эти
данные рассматриваются как принадлежащие одной выборке
неизвестного происхождения, имеющей объем 100. Первые две
компоненты — длина и ширина чашелистика были ранжированы
обычным образом, от 1 до 100. Длины лепестков были разбиты
на 4 категории, соответственно по значениям <4; ^4 и <5;
^5 и <6; ^=6. Ширине лепестка соответствовали две катего-
категории: <2и ^2 (ранжирование с большим числом совпадений).
Было вычислено 4950 значений Dih, которые использовались
для сортировки элементов.
По данным было выявлено два четко определяемых, непе-
непересекающихся класса Л и В, содержащих 58(Л) и 25(В) эле-
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
47?
ментов. Что касается оставшихся 17, то была выявлена еще
одна группа, основанная на второй паре компонент. Однако
фактически эта группа содержала 30 членов, 9 новых из остав-
оставшихся 17 и 21 из Л. Таким образом, было решено объединить,
эти 9 с Л и сформировать класс Л из 67 элементов. В по-преж-
по-прежнему содержал 25 элементов. Оставшиеся 8 нельзя было отне-
отнести ни к одному четко определяемому классу.
Таким образом, удалось четко выявить два и только два
класса. Но в то время как В содержал лишь разноцветные
ирисы, Л содержал как 48 вирджиники, так и 19 разноцветных.
Поэтому мы правильно определили лишь число классов, на-
ложно классифицировали 19 элементов и определили как со-
сомнительные 8. В аналогичной задаче дискриминации было при-
принято решение для 87 случаев и оставлены как сомнительные 13.
Однако в настоящем примере мы пожертвовали доброй долей
информации, разбивая данные по длине и ширине лепестка на.
категории, так что результат не столь уж плох. Подробности
можно найти у Кендалла A966).
44.41 Наша тема далеко не исчерпана. Есть несколько спо-
способов разбиения элементов на группы даже в том случае, когда
пригодная метрика уже введена. Например, можно рассмотреть-
классификацию, основанную на соотношениях между внутри-
групповыми и внегрупповыми расстояниями. Вальд A944) пред-
предложил одну статистику такого типа, которая оказалась весьма
сродни дискриминантной функции.
В заключение хотелось бы отметить, что под влиянием ра-
работ Фишера A936) и Вальда A944) статистики в основном:
тяготели к такому решению задач дискриминации и классифи-
классификации, где бы использовалась только одна функция от соответ-
соответствующих величин. Нам такие процедуры по многим обстоя-
обстоятельствам представляются слишком жесткими. На самом деле
мы нуждаемся в некотором правиле различения элементов или
системе правил. В принципе последние могут использовать как
линейную так и нелинейную функцию, как одну так и много-
функций от случайных величин.
УПРАЖНЕНИЯ
44.1 Пусть xt я Хг — соответственно длина и ширина чашелистика. Ис-
Используя данные для ирисов щетинистого и разноцветного в примере 44.1, по-
показать, что линейная дискрнмииантная функция равна Х\ — 1,236*2 и что по-
последняя почти столь же хороша, как и зависящий от четырех переменных
дискриминатор соответствующего примера.
44.2 Показать, что дискриминантная граница, определяемая в D4.9), мо-
может быть также определена равенством
U^x'V-1 (ц, - ft) - 1 (ц, + щ) 'V-1 <ц, - |ь) = 0,
472
ГЛАВА 44
где V — теоретическая матрица рассеяния. Показать, что если х распреде-
распределено по закону JV(|ii, V), то U имеет среднее
1
1
— а = y (ц, — ц2) 'V~l ((*, — (*2)
и дисперсию а, а если х распределено по закону N(p2, V), то U имеет сред-
среднее — а/2 и дисперсию а.
(Т. Аидерсон, 1958. Распределение в случае, когда ц и V заменены выбо-
выборочными оценками, оказывается очень сложным, но асимптотически имеет тот
же вид. См. Вальд A944), Ситгривз A952), Т.Андерсон A951) и Джои A961).)
44.3 Рассмотреть две гипотезы. Первая состоит в том, что х, Хц, Хц, ...
*.., хПI взяты из генеральной совокупности 1 с законом N(ni, V), a xt2, ...
..., xni2 взяты из генеральной совокупности 2 с законом N ((*2, V). Вторая
гипотеза состоит в том, что Хц, дг21, .... хп | взяты из совокупности 1,
¦а х, Х\г, .... хп<2 — из совокупности 2. Показать, что отношение правдоподо-
правдоподобия для проверки этих сложных гипотез равно
(Т. Андерсон, 1958.)
44.4 В последовательности п рангов ранги рь+i, ..., р*+< совпадают и
заменены рангом pk + -у (t + 1). Показать, что сумма квадратов рангов
уменьшается на (?3 — 0/12 Вывести формулу для дисперсии ранжирования
с ti, ..., tm совпадениями:
Dr-
1
12л
44.5 Данные для ирисов щетинистого и разноцветного могут быть клас-
классифицированы по длине и ширине лепестка так, как показано в следующей
упорядоченной таблице (ширина лепестка названа «маленькой», если оиа
< 1,5; длина лепестка названа «маленькой», если оиа < 4,0; «средней»,
если она ^ 4, < 5; «большой», если она > 5. Левые числа в колонке отно-
относятся к разноцветным, правые — к вирджинике).
Длина ле-
лепестка
маленькие
средние
большие
Всего
Ширина лепестка
маленькие большие
11:0 0:0
24:0 13:6
0:1 2 :43
35 : 1 15 : 49
Всего
11 :0
37:6
2:44
50:50
Показать, что если мы новый элемент будем относить к тому или другому
виду в зависимости от того, у какого вида в ячейке, куда попал элемент,
частота больше, вероятность ложной классификации может быть оценена как
S процентов. Исследовать значимость и надежность такой таблицы.
ДИСКРИМИНАЦИЯ И КЛАССИФИКАЦИЯ
475
44.6 Пусть х есть р-мерный нормальный вектор, а выборки взяты из двух,
генеральных совокупностей с одинаковыми матрицами рассеяния. Каждая
переменная в каждой совокупности нормирована так, что она имеет единич-
единичную дисперсию. Переменные в первой совокупности имеют нулевое среднее,.
а во второй положительные средние б/, / — 1, ..., р (положительности мож-
можно добиться изменением знака, если это необходимо).
Показать, что если в качестве дискриминатора взять только Хи а ошибка
обоих типов признать одинаково важными, вероятность ложной классифика-
классификации будет равна
- ^- х2 I dx
(Кокрен A964). Было высказано предположение, что если указанная ве-
вероятность велика, скажем 6i < 1/2, соответствующая величина, как «бедиый»
дискримииатор, должна быть отброшена.)
44.7 Показать, что если все р переменных в предыдущем примере не-
независимы, нормированный до единичной дисперсии наилучший полный дис-
дискриминатор равен
Пусть Xi и Хг — независимые величины со средними б4 и 62 Ft > б2). Пока-
Показать, что одно наблюдение по первой компоненте эквивалентно т наблюде-
наблюдением по второй, если т = if/б|.
44.8 Пусть величины Х\, Хг из предыдущего примера имеют корреляцию р-
Пусть б2 = f5i @ < f < 1) и
Рассматривая независимые величины Хг — рх\ и Хи показать, что в этом слу-
случае корреляция только улучшает дискриминацию по сравнению со случае!*
независимости. Вывести отсюда, что отрицательная корреляция помогает дис-
дискриминации всегда, а положительная, лишь если р > 2//A -\-Р).
(Кокрэн, 1964.>
44.9 Пусть теперь в том же примере корреляции между парами Xj, Хь
одинаковы и равны р. Показать, что если р отрицательно, дискриминатор*
основанный на всех р компонентах, оказывается более надежным по сравне-
сравнению с тем случаем, когда компоненты независимы. Если же р положительно*
это верно в случае
(Кокрэн, 1964.)
44.10 Показать, что дискриминация между двумя генеральными совокуп-
совокупностями может формально рассматриваться как основанный на методе НК.
регрессионный анализ, в котором зависимая величина у может принимать два
значения, а именно т = «2/(«i + «2) для п{ элементов из первой совокуп-
совокупности и т — 1 для пг элементов из второй. Границу в упражнении 44.2 мож-
можно получить тогда без предположения о многомерной нормальности.
44.11 Выяснить, почему подход, указанный в примере 44.10, не годится
для случая более чем двух генеральных совокупностей.
ГЛАВА 45
ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ
45.1 Наблюдения над некоторым явлением, характер кото-
которого меняется во времени, порождает упорядоченную последо-
последовательность, которую обычно называют временным рядом. Зна-
Значения, которые принимает некоторая величина в момент t, мо-
могут как быть случайными, так и не быть таковыми. В большин-
большинстве ситуаций, с которыми мы будем иметь дело, элемент
случайности связан лишь с ошибками наблюдений. Множество
значений u(t\), u(t2), ..., u(tn) можно рассматривать как со-
совокупность наблюдений над некоторым многомерным комплек-
комплексом. Однако характерной чертой здесь является то, что порядок
в последовательности tu ..., tn существен, в то время как в
-случайной выборке Xi, ..., хп индексы служат лишь для удоб-
удобства идентификации.
45.2 Хотя переменную t обычно называют временным пара-
параметром и думают о ней как о времени, теория, которую мы со-
собираемся развить, применима и при изучении пространственных
изменений. Например, если мы исследуем изменение толщины
нити ндоль ее длины / или зависимость интенсивности зараже-
заражения сельскохозяйственного угодья жуком-щелкуном *) вдоль не-
некоторого направления от расстояния по этому направлению d,
то переменные / и d можно интерпретировать в том же духе,
что и t. Возможны обобщения и на тот случай, когда исследуе-
исследуемые величины зависят от более чем одного параметра указан-
указанного типа. Мы, однако, таких обобщений касаться не будем.
45.3 Совокупность величин u(t) отличается от многомерного
комплекса еще тем, что переменная t может быть непрерывной.
Мы можем, таким образом, оказаться вынужденными рассма-
рассматривать бесконечную последовательность величин u(t). При-
Привычно и удобно (хотя и не очень точно) говорить о непрерыв-
непрерывных временных рядах, когда мы хотим сказать, что t непрерыв-
непрерывно. Последнее отнюдь не означает, что при фиксированном t
u(t) является непрерывной величиной. Точно так же, если u(t)
*) В оригинале — wire-worm, переводится так же как проволочник Elate-
ridae. (Прим. перев.)
ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ
475
задано лишь на некотором-конечном множестве точек t\, ..., tn>.
мы будем говорить о дискретном временном ряде. Разумеется
само и может быть непрерывной величиной, такой, как, напри-
например, длина или вес.
В большей части наших исследований мы будем иметь дело-
с дискретными рядами, но там где это необходимо, будем гово-
говорить и о модификациях для непрерывного случая. Как правило,,
мы будем сталкиваться с рядами, определенными в равноот-
равноотстоящих друг от друга моментах времени. Выбрав в качестве
единицы времени интервал между двумя соседними моментами,
можно обозначить члены ряда символами и0, и\, и2, ,.. и т. д..
Если нам требуются значения ряда в моменты, предшествующие,
начальному, можно ввести обозначения u_j u_2, ... и т. д.
Несколько примеров временных рядов
45.4 Читатель несомненно знаком с многочисленными приме-
примерами временных рядов, появляющихся в реальной действитель-
действительности: кривая потребления товаров в течение многих лет, запись
температуры и атмосферного давления в некотором районе, осу-
осуществленная неким самопишущим прибором, данные о населе-
населении какой-либо страны, полученные в дни переписей и т. д. Мы
начнем с того, что приведем еще несколько примеров, которые
укажут нам на область применений и будут служить числовыми
иллюстрациями тех теоретических результатов, которые мы по-
получим в дальнейшем.
В таблице 45.1 (данные проиллюстрированы на рис. 45.1)
приведены данные о годовой урожайности ячменя (на один акр)
в Англии и Уэльсе в период с 1884 по 1939 г. В таблице 45.2
(рис. 45.2) приведены данные о годовых осадках в Лондоне
с 1813 по 1912 г. В таблице 45.3 (рис. 45.3) приведены данные
о ежемесячном количестве яиц, приходящихся на одну несушку
в США в период с 1938 по 1940 г. В таблице 45.4 (рис. 45.4)
приведены данные о поголовье овец в Англии и Уэльсе на-
4 июня с 1867 по 1939 г. Наконец, таблица 45.5 (рис. 45.5) по-
показывает прирост населения в Англии и Уэльсе за каждое де-
десятилетие в период с 1811 по 1961 г.
45.5 Эти ряды весьма типичны для того материала, с кото-
которым имеет дело наша теория. Данные из таблицы 45.1 (уро-
(урожайность ячменя) указывают на очень нерегулярные колебания,
и, насколько можно видеть, здесь нет никакой системы или тен-
тенденции к увеличению или уменьшению урожайности. Табли-
Таблица 45.2 также отражает некоторые колебания, правда несколько
более регулярные. Данные из таблицы 45.3 содержат в себе
явную периодичность. В данных из таблицы 45.4 (поголовье
476
ГЛАВА 45
Таблица
Годовая урожайность ячменя (в цн на 1 акр)
в Англии и Уэльсе с 1884 по 1939 г.
(Данные из сельскохозяйственного статистического справочника)
45.1
Год
188*
1Ъ
86
87
88
«9
90
91
92
93
94
95
96
97
Урожай
с акра
(в цн)
15^2
16,9
15,3
14,9
15,7
15,1
16,7
16,3
16,5
13,3
16,5
15,0
15,9
15,5
Год
1898
99
1900
01
02
03
04
05
06
07
08
09
10
11
Урожай
с акра
(в цн)
16,9
16,4
14,9
14,5
16,6
15,1
14,6
16,0
16,8
16,8
15,5
17,3
15,5
15,5
Год
1912
13
14
15
16
17
18
19
20
21
22
23
24
25
Урожай
с акра
(в цн)
14,2
15,8
15,7
14,1
14,8
14,4
15,6
13,9
14,7
14,3
14,0
14,5
15,4
15,3
Год
1926
27
28
29
30
31
32
33
34
35
36
37
38
39
Урожай
с акра
(в цн)
16,0
16,4
17,2
17,8
14,4
15,0
16,0
16,8
16,9
16,6
16,2
14,0
18,1
17,5
Рис. 45.1. Графяк значений ряда из таблицы 45.1 (урожайность ячменя на
1 акр).
ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ
477
Таблица 45.2
Годовое количество осадков (в дюймах) в Лондоне с 1813 по 1912 г.
(Данные Д. Браита, Phil. Trans., A, 247, 1925)
Год
1813
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
Осадки
(в дюймах)
23,56
26,07
21,83
31,24
23,65
23,88
26,41
22,67
31.69
23,86
24,11
32,43
23,26
22,57
23,00
27,88
25,32
25,08
27,76
19,82
24,78
20,12
24,34
27,42
19,44
Год
1838
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
Осадки
(в дюймах)
21,63
27,49
19,43
31,13
23,09
25,85
22,65
22,75
26,36
17,70
29,81
22,93
19,22
20,63
35,34
25,89
18,65
23,06
22,21
22,18
18,77
28,21
32,24
22,27
27,57
Год
1863
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
Осадки
(в дюймах)
21,59
16,93
29,48
31,60
26,25
23,40
25,42
21,32
25,02
33,86
22,67
18,82
28,44
26,16
28,17
34,08
33,82
30.Г8
27,92
27,14
24,40
20,35
26,64
27,01
19,21
Год
1888
89
90
91
92
93
94
95
96
97
98
99
1900
01
02
03
04
05
06
07
08
09
10
11
12
Осадки
(в дюймах)
27,74
23.85
21,23
28,15
22,61
19,80
27,94
21,47
23,52
22,86
17,69
22,54
23,28
22,17
20,84
38,10
20,65
22,97
24,26
23,01
23,67
26,75
25,36
24,79
27,88
У
11
1
ш
1
ь
25
го
15
Г860 Г87О 1880 1890 1900 1910
Годы
Рис. 45.2. График для последних 50 членов ряда из таблицы 45.2 (осадки).
478
ГЛАВА 45
Таблица 45.S-
Среднее число яиц на несушку на каждый месяц по США
с 1938 по 1940 г.
Данные из доклада Бюро по сельскохозяйственной экономике;
США, Сельскохозяйственный департамент. (Report of the Bureau
of Agricultural Economics, U. S. Dept. of Agriculture,
on the Poultry and Egg Situation, March 1941)
Год
1938
1939
1940
Год
1938
1939
1940
Январь
7,9
8,0
7,2
Июль
13,6
13,2
13,4
Февраль
9,9
9,7
9,0
Август
11,8
11,7
11,8
Март
15,4
14,9
14,4
Сентябрь
9,4
9,3
9,7
Апрель
17,5
17,0
16,5
Октябрь
7,5
7,4
7,9
Мьй
17,3
17,0
17,0
Ноябрь
5,9
6,0
6,2
Июнь
14,9
14,6
14,8
Декабрь
6,4
6,8
6,8
20
>
45
10
а
1арт Сёнт. Март Сент.- Март Сент.
Июнь пек. Июнь Дек. Июнь Дек.
1938 1939 ;7 то
Даты
Рис. 45.3. График значений ряда из таблицы 45.3 (производство яиц).
Л
/\
1 \
I t I
А
Д
/ V
1 1 1
Л
Л
J X
ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ'
479
Таблица 45.4
Поголовье овец в Англии и Уэльсе на каждый год с 1867 по 1939.
(Данные из сельскохозяйственного справочника)
Год
1867
68
69
70
71
72
73
74
75
76
77
78
79
8Э
81
82
83
84
85
Поголовье
A0 000)
2203
2360
2254
2165
2024
2078
2214
2292
2207
2119
2119
2137
2132
1955
1785
1747
1818
1909
1958
Год
1886
87
88
89
90
91
92
93
94
95
96
97
98
99
1900
01
02
03
Поголовье
A0 000)
1892
1919
1853
1868
1991
2111
2119
1991
1859
1856
1924
1892
1916
19S8
1928
1898
1850
1841
Год
1904
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
Поголовье
A0 000)
1824
1823
1843
1880
1968
2029
1996
1933
1805
1713
1726
1752
1795
1717
. 1648
1512
1338
1383
Год
1922
23
24
25
26
27
28
29
30
31
32
33
34
35
35
37
38
39
Поголовье
A0 000)
1344
1384
1484
1597
1685
1707
1640
1611
1632
1775
1850
1809
1653
1648
1665
1627
1791
1797
1865 1885 1905 1925 Ш9
Год»
Рис. 45.4. График значений ряда из таблицы 45.4 (поголовье овец).
480
ГЛАВА 45
Таблица 45.5
Население Англии и Уэльса через десятилетия с 1811 по 1961 г.
(Даииые из Registrar-General's Statistical Review)
Год
1811
21
31
41
Население
(в млн.)
10,16
12,00
13,90
15,91
Год
1851
61
71
81
Население
(в млн.)
17,93
20,07
22,71
25,97
Год
1891
1901
11
21
Население
(в млн.)
29,00
32,53
36,07
37,89
1 .
Год
1931
41
51
61
Население
(в или.)
39,95
—
43,76
46,07
30
20
10
1811 1851 1891 1931
1851 1871 1911 1951
Годы
Рис. 45.5. График значений ряда из таблицы 45.5 (население Анг/лНи и Уэльса).
овец) колебания накладываются на явное систематическое сме-
смещение. Наконец, таблица 45.5 (численность населения) указы-
указывает на регулярный рост без каких-либо видимых флуктуации.
Типы дискретности
45.6 Приведенные выше примеры временных рядов хорошо
иллюстрируют различные типы дискретности.
(а) Временной ряд урожайности ячменя представляет слу-
случай существенной дискретности. Каждый год на одном акре по-
получают один и только один урожай. Действительное время
уборки урожая, правда, может меняться год от года, но, огруб-
огрубляя, можно считать, что интервалы между последовательными
наблюдениями одинаковы.
(б) Дискретность ряда численности населения обусловлена
тем фактом, что переписи проводятся раз в десять лет. Иссле-
Исследуемая величина, однако, принимает определенные значения в
течение всего периода и теоретически ее можно наблюдать в
ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ
481
любой момент времени. То же можно сказать и о ряде данных
о поголовье овец.
(в) В данных об осадках дискретность обусловлена агрега-
агрегацией. Осадки не выпадают каждый момент времени, и мы вы-
вычисляем суммарное количество за некоторый конечный интервал
времени, представляющий для нас интерес. Длина интервала,
конечно, определяется нашим выбором. Можно в качестве та-
такого интервала выбрать год, месяц, день и даже час. Интер-
Интервалы могут даже пересекаться, например, когда из недельных
осадков мы составляем месячные. Такие данные тем не менее
представляют дискретный в нашем смысле временной ряд.
(г) Если же мы имеем некую непрерывную запись, напри-
например запись давления на барографе, мы не можем затабулиро-
вать данные в стиле таблиц 45.1—45.5. Можно, разумеется, ис-
использовать показания прибора в любой отдельный момент вре-
времени, но учесть показания во все моменты времени, конечно,
нельзя. Следовательно, анализ таких рядов численными мето-
методами, являющимися, по существу, дискретными, возможен лишь
в качестве приближения. Можно, однако, анализировать такие
ряды методами, включающими графическое интегрирование, на-
например, с помощью планиметра или более современных уст-
устройств.
45.7 На практике, особенно в экономике, моменты времени,
в которые можно проводить наблюдения, часто даны заранее.
В ситуациях, носящих более экспериментальный характер, мы
можем решить этот вопрос сами до того, как данные уже со-
собраны, или даже после, если осуществлено наиболее полное из
всех возможных исследование. Вопрос о наилучшем интервале
между наблюдениями решается в зависимости от обстоятельств,
свойственных рассматриваемому случаю. Здесь мы этого во-
вопроса касаться не будем. (Тем более, что существует очень
мало теоретических работ по этому поводу). Отметим, однако,
что проводя наблюдения через равные фиксированные интер-
интервалы (что само по себе удобно), можно пройти мимо колеба-
колебательных процессов, происходящих с периодом, равным длине
этих интервалов или кратным ей. Так, например, ежегодные на-
наблюдения за поголовьем овец не учитывают сезонные измене-
изменения, связанные с убоем и окотом, данные о годовых осадках
не отражают тот факт, что выпадение осадков носит до неко-
некоторой степени сезонный характер даже в Лондоне.
«Календарные неприятности»
45.8 Равны временные интервалы или нет, но очевидным об-
образом желательно, чтобы результаты наблюдений были сравни-
сравнимы между собой. В том случае, когда временными интервалами
16 !Л- Кендалл. А. Стьюарт
482
ГЛАВА 4S
служат дни или месяцы, чтобы обеспечить такую сравнимость,
приходится устранять специфические мешающие эффекты, свя-
связанные со свойствами календаря. В некоторых трудностях та-
такого рода остается винить лишь саму природу; так, ничего не
поделаешь с тем, что год не содержит целого числа астрономи-
астрономических суток. Но большинство трудностей связано с календа-
календарем, изобретенным самим человеком. Месяцы, например, имеют
разную продолжительность, общественные праздники влияют на
сравнимость экономических и социологических данных, торго-
торговые и обменные операции прекращаются на время уикэнда
и т. д. Проводя эксперименты, обычно можно позаботиться за-
заранее о том, чтобы такого рода трудности исключить, но при
анализе рядов, связанных с реальным производством, указан-
указанные препятствия могут играть определенную роль, как серьез-
серьезную (например, остановки в связи с забастовками), так и ме-
менее серьезную (например, обеденные перерывы). В дальнейшем
мы будем предполагать, что наши данные подправлены так, что
указанные эффекты оказались устраненными.
Задача анализа временных рядов
45.9 Двигает ли нами чистое любопытство или желание пред-
предвидеть будущее, но конечной целью анализа временных рядов,
как и статистического анализа вообще, является достижение
более глубокого понимания тех причинных механизмов, которые
обусловливают появление этих рядов. Отсюда, однако, не сле-
следует, что такого понимания можно достигнуть, рассматривая
лишь какой-то один ряд, поскольку последний может отражать
лишь одну грань сложного явления, порождающего, вообще го-
говоря, несколько различных рядов. Мы вернемся к этому вопросу
в главе 50, где будут обсуждаться многомерные системы, а пока
несколько ограничимся в наших стремлениях и обратимся к изу-
изучению различных типов поведения отдельных рядов и построе-
построению моделей, которые могли бы эти типы поведения объяснить.
При этом мы будем сознавать, что такие модели сами по себе
могут являться лишь частями структурно более сложных си-
систем. Позднее будет видно, что такой подход не влечет за собой
никакой логической противоречивости.
45.10 Читатель, изучая реальные ситуации (как те, о кото-
которых мы уже говорили, так и другие, известные ему самому),
придет к выводу, что типичные временные ряды могут склады-
складываться из четырех составляющих:
(а) тренд, или систематическое движение;
(б) колебания относительно тренда с большей или меньшей
регулярностью;
(в) эффект сезонности;
ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ
483
(г) «случайная», «несистематическая» или «нерегулярная»
компонента.
Что касается математического описания, то мы всегда будем
рассматривать ряд как одну из таких составляющих или сумму
нескольких из них. Фактически большая часть традиционной
теории временных рядов посвящена анализу данных, основан-
основанному на разложении данных на указанные компоненты и даль-
дальнейшем отдельном изучении последних. Мы должны здесь, од-
однако, помнить следующее. Из того, что мы можем представить
ряд как сумму указанных компонент, отнюдь не следует, что
последние соответствуют независимо действующим системам.
Разложение ряда часто оказывается очень полезным, но может
и ввести в заблуждение. Во всяком случае такая операция не
должна являться конечной целью статистического анализа.
45.11 Пожалуй, наиболее легок для обнаружения, выделения
и изучения эффект сезонности. Здесь мы имеет дело с изме-
изменениями, накладываемыми на систему неким циклическим
механизмом, внешним по отношению к основным механизмам, оп-
определяющим поведение системы. Например, колебания в произ-
производстве яиц в таблице 45.3, отражают ритм процесса воспроиз-
воспроизводства, определяемый в конечном счете тем фактом, что земля
совершает оборот вокруг солнца один раз в год. Мы будем от-
относить термин «сезонность» к эффектам, которые происходят
с периодом в год, но те же идеи могут быть использованы при
изучении любых явлений, обусловленных строго периодически-
периодическими процессами в природе; такими, например, как изменения
уровней приливов и отливов или изменения температуры в те-
течение дня. Мы, однако, должны быть осторожны, распростра-
распространяя понятие сезонности на явления, чья строгая периодичность
не проявляется явным образом и потому подвергается сомне-
сомнению. Например, при современном уровне знаний мы зашли бы
слишком далеко, утверждая, что в изменениях пятен на солнце
есть в нашем смысле сезонность, и уж было бы совсем смело
говорить о том, что сезонность в урожайности определяется
солнечными пятнами, даже если некоторая связь здесь и уста-
установлена. Мы еще вернемся к этому вопросу ниже, когда будем
различать понятия «цикла» и «колебания».
45.12 Определить понятие тренда труднее. Вообще под трен-
трендом понимают некое устойчивое, систематическое изменение в
течение долгого периода. Отметим, что понятие «долгий» здесь
относительно, и то, что с одной точки зрения является долгим, с
другой таковым не будет. Например, если мы исследуем вели-
величины осадков в течение сотен лет, медленное увеличение в тече-
течение всего периода может быть воспринято как тренд, но если мы
обладаем данными за два тысячелетия (по кольцам некоторых
красных деревьев можно судить об изменении климатических
16*
484
ГЛАВА 45
условий в течение приблизительно такого периода), рост коли-
количества осадков в течение некоторого столетия может оказаться
лишь частью некоторого медленного колебательного процесса.
Поэтому, исходя из «тренда» в течение столетия, приходить к
выводу, что погода становится все более и более влажной, было
бы ошибкой. Практически вывод, который мы делаем, должен
зависеть от того, что мы хотим. Если мы являемся инженерами,
проектирующими систему водоснабжения и хотим принять меры
против возможного переполнения водохранилищ, мы можем
считать, что тренд будет длиться столько, сколько будет рабо-
работать система, и поступать соответствующим образом. Но если
бы мы пытались изучать климатические изменения в масштабе
всей земли в течение геологических периодов, мы или приняли
бы факт существования тренда с весьма большими оговорками,
или, что скорее всего, отвергли бы его на основании дополни-
дополнительных соображений.
45.13 Как бы ни был велик ряд, мы никогда не можем быть
уверенными^ что тренд не является частью медленного колеба-
колебательного процесса, за исключением, конечно, того случая, когда
ряд, по существу, конечен. (Например, в случае, когда мы рас-
рассматриваем продолжительности правлений римских императо-
императоров.) Таким образом, говоря о тренде, мы должны иметь в виду
длину ряда, к которому относится наше утверждение. Может
быть, было бы более точно говорить о медленном или быстром
движении, чем о тренде или колебаниях, но даже поступая так,
мы не сможем исключить из наших рассуждений некоторый эле-
элемент субъективности.
45.14 Выделив тренд и сезонные (периодические) изменения,
мы столкнемся с рядами, представляющими флуктуации более
или менее регулярного типа. На рис. 45.1 представлен ряд та-
такого типа, поскольку в этом примере отсутствуют тренд и се-
сезонность. Возникает вопрос: являются ли остаточные ряды си-
систематическими в том смысле, что их значения можно предста-
представить в виде функции от времени? Или напротив эти значения
случайны в том смысле, что представляют собой случайную
выборку из некоторой однородной генеральной совокупности?
Или же мы имеем дело с чем-то средним между точной функ-
функциональной зависимостью и обыкновенной случайной выборкой?
Исследование систематических эффектов в остаточных флуктуа-
циях позволяет нам разработать технику анализа, цель кото-
которого— выяснить, подчинены ли ряды некоторому закону и, сле-
следовательно, предсказуемы, или любая часть их абсолютно
случайна. Флуктуации первого типа мы будем называть система-
систематическими и относить их к колебаниям (а не циклам, которые,
как мы позже увидим, представляют очень частный случай ко-
колебаний). Флуктуацию второго типа мы назовем несистематиче-
ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ
485
ской компонентой и будем трактовать ее как случайную. В том
случае, когда ряд представляет смесь колебательного и случай-
случайного движения, и мы еще не разложили его на составляющие,
движение, заключающееся в последовательных «взлетах» и «па-
«падениях», можно трактовать как флуктуацию вообще. Иначе,
можно говорить о флуктуациях без ущерба для дальнейшей
возможности обнаружения колебательного движения.
Критерии случайности
45.15 Некоторые из рядов, которые мы разбирали, заведомо
не случайны. Сомневаться в присутствии систематических эф-
эффектов в данных из таблиц 45.3 и 45.5 не приходится. В других
же случаях, как, например, в таблицах 45.1 (урожайность яч-
ячменя) или 45.2 (осадки), не очевидно, есть ли в данных некая
система или нет. Оставшуюся часть главы мы в основном по-
посвятим обсуждению критериев случайности для рядов. Более
точно мы будем отвечать на следующий вопрос. Пусть дана
упорядоченная последовательность наблюдений ии ..., ип. Пред-
Представляют ли эти данные результат независимых наблюдений над
некоторой случайной величиной, т. е. имеем ли мы дело с вы-
выборкой из генеральной совокупности с неизвестными нам харак-
характеристиками?
45.16 Нет предела числу критериев, которые можно по-
построить для этой цели. Выбирая наиболее подходящие, мы
должны руководствоваться следующими требованиями:
(а) Критерий, если это возможно, должен быть «свободен
от распределения».
(б) Так как мы хотим проверять довольно длинные ряды,
вычисления должны быть сведены к минимуму.
(в) Хотя мы и не в состоянии определить точно альтерна-
альтернативную гипотезу, мы можем иметь некоторые соображения о ее
природе и выбирать критерий, который был бы близок к тому,
чтобы иметь наибольшую мощность относительно альтернативы.
Например, если мы подозреваем, что присутствует тренд, более
полезным может оказаться иной критерий, чем тот, что мы ис-
используем, имея в качестве альтернативы периодичность.
Экстремальные точки
45.17 Один из наиболее простых для применения критериев
состоит в подсчете «пиков» или «ям» в ряде. Пик есть значение,
которое больше двух соседних. Если есть два и более равных
значения, которые больше предшествующих и последующих, мы
будем рассматривать их как один пик. Точно так же «ямой»
назовем значение, которое меньше двух соседних. Наш первый
486
ГЛАВА 45
вопрос таков: каково распределение пиков в случайном ряде?
(Распределение ям, очевидно, такое же. Для доказательства до-
достаточно изменить знак у случайной величины.)
В действительности нам будет удобнее изучать сразу и пики
и ямы, иначе говоря «экстремальные точки» ряда (или «точки
поворота»). Ясно, что число экстремальных точек на единицу
меньше, чем число интервалов монотонности. Интервал между
двумя экстремальными точками назовем «фазой».
45.18 Чтобы определить экстремальную точку, требуются
три последовательных наблюдения. Если бы ряд был случаен,
эти три величины могли бы появиться в любом порядке: всего
шесть вариантов. Только в четырех вариантах есть экстремаль-
экстремальная точка (когда наибольшее или наименьшее значение в сере-
середине) . Следовательно, вероятность появления экстремальной
точки в случае трех величин равна 2/3.
Рассмотрим теперь последовательность ии ..., ип и опреде-
определим «индикатор» Х\ таким образом:
Xt = 1, если щ < ul+l > ui+2 или щ > щ+1 < и1+2,
Xt—0 в противном случае, i=\, ..., п—2.
Число экстремальных точек тогда просто равно
п—2
Сразу же имеем
Кроме того,
/П-2
= м (
п-2
=2(n — 2)/3.
D5.1)
D5.2)
D5.3)
П-2 /1-3 /1-4 (п-4) (П-5)
D5.4)
1гфО, 1, 2,
Индексы под знаком Л указывают на число слагаемых в сумме.
В качестве проверки заметим, что
(п-2F = {п- 2) + 2(п— 3) + 2(п- 4) + (п- Л){п- 5).
Отсюда имеем
= (п - 2) MX2t + 2 (п - 3) М (X,Xt+l) +
+ 2 (п - 4) М {XtXt+4 + (л - 4) (п - 5) М иЛ+»), D5.5)
ВРЕМЕННЫЕ РЯДЫ, ОБЩАЯ ЧАСТЬ'
487
Поскольку Л"; = Xit
МЛ?-А.
D5.6)
При k > 2 Х{ и Xl+k независимы, поскольку определяются раз-
различными и. Отсюда
М
Нам осталось вычислить M(XiXi+l) и М(^Х,.+2). Прежде всего
рассмотрим четыре последовательных члена ряда. Наибольшему
припишем номер 1, следующему по величине номер 2 и т. д. Ве-
Величина Х{Хг+1 не будет равняться нулю лишь тогда, когда экс-
экстремальные точки будут находиться на втором и третьем месте.
Если читатель выпишет все 24 перестановки чисел 1, 2, 3, 4, он
убедится, что только при 10 перестановках величина Х\Х^ не
будет равняться нулю. Эти перестановки таковы:
1324 2143 3142 4132
1423
Итак,
2314
2413
3241
3412
Ю
4231
(Xt Xi+,) = -53- = -pr-.
24
12
D5.8)
Для XiXi+2 мы должны выписать 120 перестановок чисел 1, 2, 3,
4, 5 и подсчитать те перестановки, где экстремальные точки на-
находятся одновременно на втором и четвертом месте. Таких пере-
перестановок 54 и, следовательно,
= Т20~=20~- <45'9)
Осуществляя подстановку в D5.5), после упрощений находим
40/г2— 144/г + 131
90
Используя D5.3), получаем
Dp =
16» — 29
90
D5.10)
Моменты более высокого порядка получаются сходным обра-
образом. Имеем
-1408"+ 3317
18 900
488
ГЛАВА 45
Таким образом, после стандартной нормировки х3(р) приблизи-
приблизительно равен —0,2я~1/2, а к4(р) приблизительно равен —2,4n~l.
Последнее говорит о быстром стремлении к нормальности при
увеличении п.
45.19 Рассмотрим теперь распределение длины фазы. Чтобы
установить наличие фазы длины d (скажем, в случае роста),
нам нужно обнаружить d-\- 3 члена, где первый больше вто-
второго, второй меньше третьего, третий меньше четвертого,.
(rf+0-й меньше (d+2)-ro, a (d + 2)-fl больше (d + 3)-ro.
Рассмотрим rf+З значения, расположенные в порядке возрас-
возрастания. Если мы возьмем любые два, кроме первого и послед-
последнего, значения и, поставим одно на первое место, а второе на
последнее, мы получим случай фазы длины d. Существует
d(d+\)/2 способов такого выбора пар. Каждый член пары
может быть поставлен на любой конец, и мы имеем, таким
образом, d{d-\-\) фазы длины d. Но, кроме того, мы мо-
можем поставить первый член в конец, а любой другой, за исклю-
исключением второго, в начало, получая при этом еще d + 1 случай.
Можно также последний ставить в начале, и любой, за исклю-
исключением предпоследнего, в конец, что дает еще d + 1 случай.
Правда мы должны теперь из общего числа вычесть тот случай,
когда первый становится последним, а последний первым, так
как этот случай мы посчитали дважды. Итак, существует
(d+\)d + (d+ l)+(rf+ 1)- 1 =d2 + 3d+\
фазы для случая роста. Вероятность фазы, следовательно, в
случае, когда имеется или рост или снижение, равна
(rf + 3)! * " '
Далее для ряда длины п аналогично D5.2) число фаз длины d
будет равно сумме п — d — 2 соответствующих индикаторов (по
числу возможных фаз). Следовательно, математическое ожида-
ожидание числа фаз длины d равно
JVw =
D5.14)
Из D5.14) следует, что математическое ожидание полного чис-
числа фаз равно
п-З
(n-d-2)(iP+3d+l)
d=\
Поскольку
(n — d — 2)(d2 + 3d + 1) =
(
ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ
480
имеем
71-3
«_2Г {
L,\
1 ¦
2д + I
(rf-f-2)!
п+\
На практике можно пренебречь вторым членом в D5.15) и, сле-
следовательно,
N==-^{2n — 7). D5.16)
Поскольку число фаз на единицу меньше числа экстремальных
точек, за исключением двух из п\ случаев, когда оба числа
равны нулю, D5.15) согласуется с D5.3). Далее
]-. D5.17)
"tU" • (d + 3I Bд — 7)
Можно довольно легко вычислить моменты этого отношения.
Например,
71-3
6 V-> d (п. — d — 2) (d2 + 3d + ')
2n-7
71—3
713
_ g . . V f '
2д-7 Z-i \ (rf —
1I
« +
d\
Зл+2
5/г
3(/t-M)
'Ы + 3,1
Вспоминая о быстрой сходимости
о
сокой степенью точности утверждать, что
^ к е> мы можем с вы-
Аналогично находим, что
1* {(8е21)
8М 3(п+7-4е) . 3
D5.18)
(?? - 17)«-D8е2- 140е +14)}==0,560.
D5.19)
45.20 Распределение, моменты которого мы вычисляли, не
¦сходится к нормальному с ростом п (см. упражнение 45.1).
Естественная процедура проверки случайности состоит в сравне-
сравнении наблюдаемого распределения с ожидаемым, которое дается
в D5.14). Однако в случае небольших рядов возникает теорети-
теоретическая трудность, связанная с тем, что длины фаз не незави-
490
ГЛАВА 45
симы, так что критерий согласия х2 здесь непосредственно ис-
использовать нельзя. Этот вопрос изучался Уоллисом и Муром
A941), которые пришли к заключению, что при разбиении длин
фазы на три группы, d=\, 2, ^3 (две степени свободы), ста-
статистика *) X2 может быть использована в обычной форме с
v = 2,5 при X2 ^ 6,3. Для небольших значений можно исполь-
использовать 6Х2/7 в той же форме с v = 2.
Волфовиц A944) и Левен A952) показали, что распреде-
распределение числа фаз стремится к нормальному, а Глейзберг A945)
затабулировал распределение этого числа для п ^ 25.
Пример 45.1
Рассмотрим таблицу 45.1 (урожайность ячменя). Данный
ряд содержит 56 значений, но дважды A906, 1907 и 1910, 1911)
значения для соседних годов оказываются равными. Поскольку
нас интересуют экстремальные точки и фазы, будем считать
каждую такую пару точек за одну точку и, следовательно, по-
понизим число членов до 54.
Если читатель отметит пики и ямы в таблице или подсчи-
подсчитает их на рис. 45.1, он найдет, что существует 35 экстремаль-
экстремальных точек. Математическое ожидание в силу D5.3) равно
2 2
— E2) = 34-5-. Это весьма близко к наблюденному значению»
О О
так что никакого другого критерия не требуется.
Распределение фаз оказывается следующим:
Длина фазы
1
2
3
Всего
Число
наб люде иных
фаз
23
7
4
34
Число фаз,
вычисленных теорети-
теоретически по D5.14), D5.16)
21,25
9,17
2,59
33,67
Вновь дальнейшая проверка вряд ли является необходимой.
Следуя этим критериям, мы должны были бы прийти к выводу,
что изменения урожайности от года к году носят чисто случай-
случайный характер.
45.21 Если в качестве альтернативы выступает наличие трен-
тренда, характеристики критерия, основанного на экстремальных
*) Следуя практике последнего времени, автор, в отличие от более ран-
ранних традиционных обозначений, использует символ Xz для обозначения ста-
статистики критерия %г. (Прим. ред.)
ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ
491
точках, оказываются довольно плохими. Позже (упражне-
(упражнение 45.4) мы увидим, что в некоторых случаях этот критерий
будет обладать сравнительно с другими критериями нулевой
эффективностью. Интуитивно это понятно, поскольку наличие
экстремальных точек есть локальное свойство и на нем не силь-
сильно отразились бы последствия легкого тренда, если таковому
был бы подвержен наш ряд. Если в качестве альтернативы
взять цикличность, критерий становится много лучше. В случай-
случайных рядах средний интервал между двумя экстремальными точ-
точками (см. D5.10) и A0.14)) равен приблизительно 1,5 с дис-
дисперсией приблизительно 9/10/г. Так что критерий во всяком слу-
случае предписывает дальнейшее исследование, если ряд состоит
из более чем 10 членов, а средний интервал между экстремаль-
экстремальными точками больше или равен двум.
Мощность критерия при определенных альтернативах, ка-
касающихся «роста» и «снижения», исследовал Левен A952).
Критерий, основанный на знаках разностей
45.22 Несколько более трудоемкий критерий состоит в под-
подсчете числа положительных разностей первого порядка в ряде,
иначе говоря, числа точек роста ряда. (Как и прежде, мы игно-
игнорируем точки, где не происходит ни увеличения, ни уменьше-
уменьшения значений.) Для ряда из п членов получаем п — 1 разностей.
Как и прежде, определим величины
ut,
Xt==0,
i = l,..., (п—1).
D5.20)
Тогда число точек роста, скажем с, равно
Для случайного ряда немедленно получаем, что
Точно так же
D5.21)
п—2
(п-2) (п-3)
= (я - 1) MXl + 2 (п - 2) М (XiXl+1) + (п - 2) (п - 3) М (XtX,) =
= j (п - 1) + 2 (п - 2) М
-?•(*- 2) (я - 3) D5.22)
U Ф i, I + 1).
492
ГЛАВА 45
Чтобы вычислить М (XiXi-ц), рассмотрим перестановки трех эле-
элементов. Только в одном случае из шести получаем ненулевое
значение XiXi+i. Отсюда и из D5.22) и D5.21) получаем, чт©
= ±(п+1). D5.23)
Распределение довольно быстро сходится к нормальному (см.
упражнение 45.3). Оно было затабулировано Муром и Уоллисом
A943).
45.23 Очевидно, что критерий совершенно бесполезен, если
альтернативой являются симметрические колебания, где число
движений «вверх» приблизительно равно числу движений
«вниз». Этот критерий в основном считается полезным при та-
такой альтернативе, как тренд, особенно линейный тренд. Здесь
он значительно лучше, чем критерий по экстремальным точкам,,
но много хуже других критериев, основанных на ранговых со-
соотношениях. Эти критерии мы обсудим ниже.
Рассмотрим ряд с линейным трендом и случайным остаточ-
остаточным членом:
щ=а + & + еи D5.24}
где е* — нормальная величина с нулевым средним и единичной
дисперсией. Последнее мы можем рассматривать как регрес-
регрессию щ по t в том специальном случае, когда t принимает равно-
равноотстоящие друг от друга значения 1, 2, ..., п. В ситуации ре-
регрессии нам следовало бы оценить р величиной
Z («<-*<)(' -о
b =
Эта оценка является несмещенной и имеет дисперсию
1 ТО 19
D5.25>
D5.26>
Используем теперь асимптотическую относительную эффектив-
эффективность (см. 25.5—6) для того, чтобы сравнить другие состоя-
состоятельные критерии с тем, что основан на Ъ. Так как Ь несме-
щена, [д М &/др]в=о = 1, то B5.16) переходит (т = 1) в соотно-
соотношение
[M'(&)]p=o/(D&I/2~(n3/12I/2.
D5.27>
Таким образом, для статистик Ь, величина б, определенная в.
B5.16), принимает значение
в» = 4. D5.28>
ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ
493
Вычислим теперь б для статистики, основанной на знаках паз-
ностей. у
Рассмотрим индикаторы
Нц=\, Ui>uh
НН-О. щ<щ; <45-29>
причем будем полагать Нн — 1. Математическое ожидание Нц
равно вероятности того, что Нц равно единице и, поскольку
Ui — Uj представляет собой нормальную величину со средним
Р (' — /) и дисперсией 2, указанная вероятность равна
$
ОО
J
Следов ател ьно,
Для получения АОЭ настоящего критерия нам больше ничего
не нужно, но для дальнейших целей мы сейчас вычислим еще
несколько величин такого же типа.
Так как #^- и Нм независимы, если i, /, k, I не совпадают,
имеем
^-j + k-l). D5.31)
Рассмотрим теперь НцН&. Поскольку иг — щ и щ — ик имеют
совместное нормальное распределение с корреляцией (—1/2)
имеем
м
= р
, н1к = \) =
-± М {HliHlk)\ = ±=± + l^L f J- expf -
D5.32)
494
Аналогично
ГЛАВА 45
D5.33)
Наконец, нам понадобится аналогичное выражение для слу-
случая, когда ы,+2 — Щ+1 и ui+i — щ имеют разные знаки. Оно сов-
совпадает с вероятностью того, что (ы,+2—u,+1)X("f+i—u») отри-
отрицательно, и, как легко видеть, равно
-oe -P/VF
Отсюда получаем, что
p=o
D5.34)
Возвращаясь к критерию по знакам, получаем, что число поло-
положительных приращений в ряде (см. 45.20)) равно
п-\
D5.35)
Таким образом, из D5.30) получаем
п-1
[дМс I у» |_
dp Jp=o ^ 2-VS"
Вспоминая, что в силу D5.23), дисперсия равна (rt-f-l)/12,
имеем
D5.36)
Таким образом, для критерия по знакам величина б, определен-
определенная в B5.16) т. 2, принимает значение
бс=4- D5.37)
Сравнение D5.37) и D5.28) показывает, что с имеет нулевую
асимптотическую относительную эффективность (см. 25.24)).
Манн A945а) дал нижнюю границу для мощности критерия.
•Стьюарт A952) для 95-процентного уровня значимости получил
таблицу мощности критерия с нормальной регрессией в качестве
альтернативы.
Критерии, основанные на ранговой корреляции
45.24 Существует веское предположение, что мы улучшим
наш критерий, если будем сравнивать все пары, а не только со-
соседние, как в критерии по знакам. Рассмотрим для этого после-
ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ
495
довательность щ, .... ы„ и подсчитаем число пар, для которых
щ > щ, j > i. Пусть это число равно Р. Заметим, что всего су-
существует п(п—1)/2 пар и математическое ожидание числа Р
для случайного ряда равно п(п — 1)/4. Если Р превышает по-
последнее число, то это указывает на тенденцию к положитель-
положительному тренду, в противном случае мы сталкиваемся с отрицатель-
отрицательным трендом. Фактически исследуемая величина является про-
простой линейной функцией от определенного в C1.23) т. 2 коэф-
коэффициента ранговой корелляции *) т между порядком величин
во времени и их порядком по величине и. Для случайного ряда
дисперсия т известна. Если Q — дополнение к Р, а именно,
число пар у которых щ < ы,-, ;' > i, из C1.23) получаем, что
т=1 —
и, учитывая C1.33—4), имеем
Мт=0,
Dt
п(п— 1) '
9п(п— 1) *
D5.38)
D5.39)
D5.40)
Распределение т быстро сходится к нормальному (см. 31.26).
45.25 Используя обозначения 45.23, можно написать, что
Q=,%,"•<¦
В случае, когда альтернативой является линейный тренд D5.24)'
с нормальным остаточным членом, из D5.30) получаем
[¦k
Из D5.40) имеем также, что
так что
MQ]
D5.41)
*) В другом контексте вместо статистики т мы пишем t, но здесь это
вызвало бы путаницу с временным параметром. Мы откажемся временно от
обычного соглашения не использовать греческие буквы для выборочных зна-
значений.
496
ГЛАВА 45
Осуществляя подстановку из D5.41) и D5.27) в B5.27) для
АОЭ т (или Q) относительно регрессионной оценки имеем
Результат ранее получен в 31.38. Статистика т, таким образом,
в этом случае весьма эффективна.
Манн A945b), рассматривая т-критерий для величин щ, для
которых Р {ut > ы/) =-^- + вц при i <Z j и которые подчинены
еще ряду условий, получил (см. упражнение 31.8) условия не-
несмещенности критерия и привел пример, в котором этот крите-
критерий является наиболее мощным.
45.26 Мы можем также для нашего случая вычислить ран-
ранговую корреляцию Спирмена rs C1.22 т. 2). Имеем (см. C1.40))
12У
где
п
></
Как и в C1:22), для случайных рядов получаем
Мг3 = О,
D5.43)
D5.44)
так что
= Z и - о мн„.
^ 144 •
Таким образом,
JB=o 2 л/я
mv] =
J
D5.45)
D5.46)
¦. D5.47)
и, точно так же как и в D5.42), получаем
3
D5.48)
Коэффициент Спирмена, таким образом, имеет ту же АОЭ,
что и т.
ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ'
497
45.27 По сравнению со статистиками, основанными на знаках
разностей или экстремальных точках, вычисление значений га и
т весьма утомительно. На практике значение rs вычислять легче,
чем т, если использовать форму C1.21).
Пример 45.2
Не перегружая себя вычислениями, возьмем первые 25 чле-
членов из таблицы 45.2 A813—1837 гг.). Сравнительные характери-
характеристики значений таковы:
Номер
1
2
3
4
5
6
7
8
9
Ранг
9
18
4
23
10
12
19
6
24
Квадрат
разности
64
256
1
361
25
36
144
4
225
Номер
10
11
12
13
14
15
16
17
18
Ранг
11
13
25
8
5
7
22
17
16
Квадрат
разности
1
4
169
25
81
64
36
0
4
Номер
19
20
21
22
23
24
25
Ранг
21
2
15
3
14
20
1
Квадрат
разности
4
324
36
361
81
16
576
2898
Итак,
V = 2898/2 = 1449,
rs = l— A2)A449)/15 600 = — 0,114.
Корреляция мала. Стандартная ошибка величины га равна
(п— 1)~'/г, что приблизительно равно 0,2, так что наблюденное
значение ничего не говорит нам о наличии тренда.
Кроме того, имеется 17 экстремальных точек, а соответствую-
соответствующее математическое ожидание равно 2-23/3= 15,7, так что со-
согласие почти полное.
45.28 Не вдаваясь в детали, можно упомянуть еще о двух
критериях, представляющих некоторый интерес.
(а) Критерий, основанный на «рекордных значениях». На-
Наблюдение ut будем называть верхним (нижним) рекордным зна-
значением *) (короче, рекордом), если он больше (меньше), чем
все предыдущие наблюдения этого ряда. Число рекордов, появ-
появляющихся в процессе того, как мы наблюдаем значение ряда,
дает нам статистику, которую можно сравнивать с соответствую-
соответствующей характеристикой случайного ряда. Прием использовался
Фостером и Стьюартом A954). Некоторые их результаты приве-
приведены в упражнениях 45.8—9. Если альтернативой является
*) Имеет хождение также термин «верхняя» илв «нижняя», лестничная
высота. (Прим. перев.)
498
ГЛАВА 45
тренд, критерий, основанный на рекордных значениях, оказы-
оказывается более мощным, чем критерии, использующие знаки разно-
разностей или экстремальные точки, и значительно менее мощным,
чем т и rs-критерии (Стьюарт, 1956, 1957).
(б) Критерий, основанный на ранговой сериальной корреля-
корреляции. Сериальные коэффициенты корреляции, которые мы опре-
определим ниже в 45.32, представляют весьма специальный тип ста-
статистик. Если ранги последовательности п величин, центрирован-
центрированные средним рангом (я+1)/2, обозначать d,- (i=l, .... п),
коэффициент порядка k определяется как
n-k
1
12
D5.49)
Поскольку нас интересует лишь статистика критерия, можно
использовать просто
n-k
didi+k. D5.50)
Z
Коэффициент Wk равен (умноженной на (п — &)) ковариации
рангов тех членов, что отстоят друг от друга на k единиц вре-
времени. Для случайных рядов соответствующее математическое
ожидание равно нулю. При проверке наличия тренда коэффи-
коэффициент имеет нулевую эффективность, если в качестве альтер-
альтернативы взята нормальная линейная регрессия (см. Нётер
A950), Стьюарт A954, 1956), хотя для проверки отсутствия
тренда этот критерий предлагался еще Вальдом и Волфови-
цем A943)).
45.29 Очевидно, что если ряд случаен, то мы можем его
столь же успешно анализировать, если будем опускать некото-
некоторые члены, например, рассматривая лишь каждый второй член
или каждый двенадцатый. С несколько иной точки зрения это
означает, что если значения ряда регистрировались лишь перио-
периодически, через некоторые интервалы времени, то, несмотря на
очевидную потерю информации, наши критерии и в этом случае
остаются пригодными. То же верно и для составных (или агре-
агрегированных) рядов. Например, если на каждый год приходятся
двенадцать месячных данных, причем каждое из месячных дан-
данных является членом случайного ряда, то и ряд годовых данных
также случаен. С другой стороны, случайность ряда годовых
данных не исключает наличия сезонности в рядах месячных
данных.
ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ
49Э
45.30 Некоторые ряды (представьте, например, лезвие брит-
бритвы под микроскопом) содержат нерегулярную флуктуацию, ко-
которая выглядит примерно как флуктуация случайного ряда*)
в том случае, когда интервал между наблюдениями мал. С дру-
другой стороны, у таких рядов «время» непрерывно, и возникает
следующий вопрос: возможны ли случайные, но непрерывные
ряды? В нашем понимании нет. Нам кажется, что некая суще-
существенная «дискретность» заложена в самой идее независимости
последовательных наблюдений; непрерывность времени исклю-
исключает независимость. Можно представить последовательность мо-
моментов «времени», каждому из которых соответствует значение
некоторой случайной величины, и считать, что эти моменты вре-
времени сближаются, а дисперсия случайной величины уменьшает-
уменьшается, так что полная вариация остается конечной. Однако не
представляется возможным переход к пределу в том смысле, как
это делается в математике при переходе от счетного множества
точек ко всем точкам прямой.
45.31 Большинство рядов, если не все ряды, встречающиеся
да практике, можно трактовать как непрерывные на первый
взгляд, но дискретные при более детальном, или, образно гово-
говоря, мелком рассмотрении. Так, например, давление может мыс-
мыслиться заданным в каждой точке, но с более строгой точки зре-
зрения различать сколь угодно близко отстоящие точки на самом
деле нельзя, так как давление есть усредненный результат
¦столкновений между молекулами. Длина нити может восприни-
восприниматься как непрерывная величина, но на самом деле нить со-
состоит из отдельных неделимых частиц. Учитывая это, мы можем
говорить о непрерывных случайных рядах, но лишь понимая
условность сказанного и всегда соблюдая при этом осторож-
осторожность. Чтобы проверить такие ряды на «случайность», можно
использовать наблюдения, произведенные через какой-то прием-
приемлемый интервал времени и применить к результатам один из об-
обсуждавшихся выше критериев. Более тонкие методы мы обсудим
позже, когда подойдем к спектральному анализу и коррело-
граммам.
Сериальные корреляции
45.32 В неслучайных рядах должен существовать тот или
иной тип зависимости между членами. Одной из очень полезных
характеристик такой зависимости является корреляция между
последовательными членами. Заданы п значений щ, ..., ип- Се-
*) Напомним читателю, что под случайным рядом автор, как правило,
подразумевает ряд, образованный последовательностью независимых наблю-
наблюдений над некоторой случайной величиной, см. 45.15. (Прим. ред.) .
500
ГЛАВА 45
риальной корреляцией с единичным запаздыванием (или ла~
гом 1) назовем величину
п—\ ( / л—1 \ / п—I
л—1 \ • п—I \ \
n-l t n—\ \1 n-1 /¦ n-1 J1'/2*
«=1 *¦ i=l ' 1 = 1 <¦ i-1 > J
D5.51)
Аналогично сериальной корреляцией с запаздыванием & (или
лагом k) назовем корреляцию между отстоящими друг от друга
на k единиц членами:
n—k f / n—k ч / n-k \ \
ТГ^Т Е ] ( "' - ТгЬ- Е ut )( "i+* - ТгЬ" Е "|+* ) [
n-k
n-k \2 n-k ( n-k ¦% 2 -| I /2"
1 V I 1 V l V I
D5.52)
На практике (а также для упрощения теоретических рассу-
рассуждений) удобно эти определения до некоторой степени модифи-
модифицировать. Вместо того чтобы центрировать первые п — k вели-
величин и их средним, будем центрировать их средним всех п значе-
значений; аналогично поступим и с последними п — k величинами.
Точно так же, вместо отдельных дисперсий в знаменателе
D5.52), будем использовать полную дисперсию по всему ряду.
п
Итак, положив п = ^ ujn, имеем
n-k
D5.53)
Это та форма, которую мы в основном будем использовать. Для
рядов с не слишком малой длиной разница между D5.52) и
D5.53) незначительна. В целях осторожности мы не будем ис-
использовать D5.53) для небольших рядов, так как здесь точность
в оценивании необходима, иначе, например, могут появиться
значения Гь большие единицы
45.33 Последовательность коэффициентов го(=1), ги г2, ...
говорит нам многое о природе внутренней зависимости членов
ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ
50 Р
ряда. Совокупность коэффициентов называют коррелограммойг
этот термин также употребляется для обозначения графика г*.
как функции от k. Для случайных рядов (с точностью до выбо-
рочнь х ошибок) все коэффициенты, кроме г0, равны нулю. Свой-
Свойства коэффициентов для рядов других типов мы будем изучать-
в последующих главах. Отметим, что по определению r_ft = г&.
45.34 Для определенных теоретических нужд, а также для
облегчения вычислений малыми средствами определение D5.53)
можно еще более упростить. Для коэффициента k-то порядка в-
числителе имеется п — k членов. Предположим, что
ип+1=щ, un+2 = Uz, ..., un+k = Uk- D5.54)»
Возьмем теперь сумму произведений в числителе по всем чле-
членам. Тогда мы получим, что
D5.55>
Конечно, мы исказили данные, предполагая справедливость-
D5.54). Но если k мало по сравнению с п, искажения не столь
велики. Коэффициент rh, определенный в D5.55), называют ци-
циклической (круговой) сериальной корреляцией. Цель введения
такого понятия станет ясной в 47.30 и главе 48.
45.35 В заключение этой главы, чтобы исключить путаницу,»
мы коснемся объектов, которые, в некотором смысле, также яв-
являются временными рядами, хотя и не того типа, что мы до сих.
пор рассматривали. Такие события, как несчастные случаи, оста-
остановки автомобилей перед светофорами, эпидемические вспышки
и т. п., происходят время от времени и, таким образом, в тече-
течение некоторого периода составляют ряд событий. Интервалы:
между ними, как правило, не регулярны, но тем не менее имеют
некоторую функцию распределения. Такие типы поведения изу-
изучаются теорией случайных процессов, причем в основном пред-
представляют интерес как раз интервалы между событиями, а не-
сами события. Отметим, что эта тематика резко отличается от
тематики временных рядов, где изучаются изменения во времени,
и наблюдения происходят через определенные интервалы.
УПРАЖНЕНИЯ
45.1 Показать, что производящая функция моментов величины Nd/N (см_
распределение фаз в 45.19) при больших п дается выражением
где g — ехр (ев).
S02
ГЛАВА 45
Воспользовавшись этим, убедиться, что ц( = 1,5, »«2 = 0,56, и показать,
•что хз = 0,677, Х4 = 0,904. Распределение, таким образом, отлично от нор-
нормального.
45.2 Показать, что если ряд «случаен», у распределения числа положи-
положительных разностей первого порядка из 45.22 нечетные семиинварианты равны
дулю и
х4 = — (я + 1)/120.
45.3 Пусть Pn(S)—число таких перестаиовок среди п\ перестановок п чи-
чисел, которые содержат S положительных разностей. Показать, что
Рп (S) - (S + 1) Р„_, (S) + (« - S) />„_, (S - 1).
Получить отсюда рекуррентные соотношения для моментов:
М.
!где х — S — MS.
Получить отсюда индукцией, что
If - 1 М„_,
lim
(л:)}
— =B1— 1) B* — 3) ... 3-1
;и, следовательно, распределение, асимптотически нормально.
(Манн 1945а.)'
45.4 Показать, что если в качестве альтернативы взять нормальную ре-
регрессию, у критерия, основанного на экстремальных точках со статистикой
D5.2)
{M'/>}e-0-0, {М>}р=0^0,
:и S, определенное в B5.16), равно 1/4, так что АОЭ по сравнению с крите-
критерием, основанным на коэффициенте регрессии, равна нулю. К тому же при-
лодит сравнение с критерием по знакам.
(Стюарт, 1954, 1956.)
45.5 Заметив, что в обозначениях 45.23, ранг rt можно выразить в форме
¦показать, что если альтернативой является нормальная регрессия, то
Следовательно, для статистики W из A5.50)
Г» миг] =0 \»mw] --*
Lap Jp_o Lop2 Jp=o 24я
-так что Sw = 5/4 и АОЭ по сравнении* с регрессионной оценкой равна нулю.
(Стьюарт, 1954, 1956.)
' ВРЕМЕННЫЕ РЯДЫ. ОБЩАЯ ЧАСТЬ'
505
45.6 Показать, что если u«, i = 1, ..., п — значения случайных величин
с плотностями ft (и), математическ ое ожидание числа с — числа точек роста
ряда ui un равно
п—1 оо и1+1
|'в| — ОО
Пусть распределения равномерны с линейным трендом:
Показать, что тогда
f.(u{)—0 в противном случае.
lim — Me =¦
Л-»оо Я
у{1+вB-|в|)}, -i<e<i,
о, е<-
1, 9 > 1.
(Левен, 1952.У
45.7 Как и в упражнении 45.6, показать, что для нормального распреде-
распределения
где
lim — Me = Ф (9/V2" ),
Ф(/)=Bя)-1/2
г
а тренд дается соотношением fit = (i— 1H
(Левен, 1952, там же есть таблица.)
45.8. Для случайного ряда xi xn определим
1, если г-е наблюдение является верхним рекордным значением,
О в противном случае;
г-е наблюдение является нижним рекордным значением,,
противном случае;
и sr — ит + ln dr*=ur — 1Г. Пусть также
n
Г-2
( 1, если г-'
г I 0 в npoTt
t
г=2
Суммирование иачииается со второго элемента.
¦5C4
ГЛАВА 45
Показать, что если p^(s,d)—совместная функция частоты s и d для
ряда из г наблюдений, то
-i.)p('-"(s, d) + lp<r-i)(,_ hd-i)
•Обозначая g (81,62) производящую функцию, показать, что
л-2
g{n) (в„ е2)=~ Д (г + е,е2 - е,/е2).
г=0
"Исследуя характеристические функции величин sad, получить следующие
формулы:
я—2
г=0
Ф<*"' (t) = -jj Д (г + 2 cos *).
г=0
Получить также совместную х. ф. и, используя формулы обращения, пока-
.зать, что
S
;где pi — функция частоты величины s, определяемая соотношением
p[n)(s) = ±-2su{n-2>(n-s-l),
a u<n>(r) обозначает сумму произведений элементов всех выборок порядка г
.из последовательности 1, ..., п.
(Фостер и Стьюарт, 1954.)
45.9 Показать, что в предыдущем примере
r=2
г=-2 г=2 г=2
(Фостер и Стюарт, 1954.)
45.10 Показать, что гк0, определенное в D5.55), не может быть больше
-единицы, а га, определенное в D5.53), может.
45.11 Показать, что для случайного ряда у коэффициента, определенного
в D5.53),
!
м, следовательно, гц — смещенная оценка теоретической сериальной корреляции.
ГЛАВА 46
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТИ
Определение тренда
46.1 В понятие тренда заложено то существенное обстоятель-
обстоятельство, что движение, рассмотренное в течение достаточно долгого
периода, представляется нам как бы сглаженным. Последнее-
означает, что, по крайней мере локально, компоненту, соответ-
соответствующую тренду, мы можем представить в виде полинома or
времени t. Таким образом, если задан ряд ut, мы можем сна-
сначала стараться представить щ в виде
щ = а0 + axt + a2t2 + ... +apt", D6.1)-
что даст нам представление о тренде. Беря р достаточно боль-
большим, мы можем получить такое точное представление любого-
конечного ряда, какое нам нужно. Вопрос, сколь большим вы-
выбирать р, решается отдельно для каждого случая.
Хотя полиномы и являются наиболее удобными с математи-
математической точки зрения функциями, ограничиваться только ими не-
неследует. В принципе можно выбрать любую подходящую функ-
функцию времени, лишь бы она хорошо отражала тренд. Так, напри-
например, кривые, отражающие «чистый прирост», могут быть опи-
описаны экспоненциальными функциями, а кривые, отражающие-
рост численности населения и сходные с кривой на рис. 45.5V
иногда представляют в виде «логистической» кривой типа
„-«
D6.2>
46.2 Используя метод наименьших квадратов, можно полу-
получить полином, наиболее хорошо (среди полиномов) отражающий:
эволюцию членов ряда (иначе говоря, осуществить «выравнива-
«выравнивание» членов ряда методом наименьших квадратов). Такой поли-
полином, очевидно, дает кривую регрессии ut no t. В то же время
ясно, что для того, чтобы получить удовлетворительную кривую-
тренда, например для таких данных, как из таблицы 45.4 (по-
(поголовье овец), мы должны взять полином весьма высокого по-
порядка или даже несколько более сложную функцию, чем поли-
полином. Однако повышение точности за счет усложнения функций
¦5C4
ГЛАВА 45
Показать, что если pf-r">(s,d)—совместная функция частоты sad для
:ряда из г наблюдений, то
Обозначая g(8|, 02) производящую функцию, показать, что
1
п-2
g{n) (в„ е2) = ~ Д (r + e,e2 - e,/e2).
r-0
"Исследуя характеристические функции величии s и d, получить следующие
«формулы:
п-2
2 cos*).
г-о
п-2
г-О
'Получить также совместную х. ф. и, используя формулы обращения, пока-
.зать, что
ггде pt — функция частоты величины s, определяемая соотношением
a u(n)(r) обозначает сумму произведений элементов всех выборок порядка г
.из последовательности 1, ..., п.
(Фостер и Стьюарт, 1954.)
45.9 Показать, что в предыдущем примере
Г=2
Г=2
r=2
r—2
(Фостер и Стюарт, 1954.)
45.10 Показать, что гке, определенное в D5.55), не может быть больше
-единицы, а гА, определенное в D5.53), может.
45.11 Показать, что для случайного ряда у коэффициента, определенного
.в D5.53),
Мг.= 1—г,
k п— 1 '
«и, следовательно, г к — смещенная оценка теоретической сериальной корреляции.
ГЛАВА 46
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТИ
Определение тренда
46.1 В понятие тренда заложено то существенное обстоятель-
обстоятельство, что движение, рассмотренное в течение достаточно долгого
периода, представляется нам как бы сглаженным. Последнее-
означает, что, по крайней мере локально, компоненту, соответ-
соответствующую тренду, мы можем представить в виде полинома or
времени t. Таким образом, если задан ряд ut, мы можем сна-
сначала стараться представить ut в виде
щ = а0 + а,/ + a2t2 + ... +а/\ D6.1>
что даст нам представление о тренде. Беря р достаточно боль-
большим, мы можем получить такое точное представление любого-
конечного ряда, какое нам нужно. Вопрос, сколь большим вы-
выбирать р, решается отдельно для каждого случая.
Хотя полиномы и являются наиболее удобными с математи-
математической точки зрения функциями, ограничиваться только ими не-
неследует. В принципе можно выбрать любую подходящую функ-
функцию времени, лишь бы она хорошо отражала тренд. Так, напри-
например, кривые, отражающие «чистый прирост», могут быть опи-
описаны экспоненциальными функциями, а кривые, отражающие
рост численности населения и сходные с кривой на рис. 45.5_
иногда представляют в виде «логистической» кривой типа
7Т^" D6-2>
46.2 Используя метод наименьших квадратов, можно полу-
получить полином, наиболее хорошо (среди полиномов) отражающий:
эволюцию членов ряда (иначе говоря, осуществить «выравнива-
«выравнивание» членов ряда методом наименьших квадратов). Такой поли-
полином, очевидно, дает кривую регрессии ut no t. В то же время;
ясно, что для того, чтобы получить удовлетворительную кривую-
тренда, например для таких данных, как из таблицы 45.4 (по-
(поголовье овец), мы должны взять полином весьма высокого по-
порядка или даже несколько более сложную функцию, чем поли-
полином. Однако повышение точности за счет усложнения функций
S06
ГЛАВА 46
представляется нам несколько искусственным. В любом случае
коэффициенты полинома, будучи основаны на моментах высо-
высокого порядка, были бы очень неустойчивы с точки зрения выбо-
выборочных ошибок. Более практическое возражение, хотя никоим
образом не маловажное, состоит в том, что добавление к ряду
нового члена (допустим, например, что мы каждый год добав-
добавляем к ряду неких годовых данных новое данное) вновь влечет
за собой работу по аппроксимации. Более того, характер тренда
может меняться со временем. Поэтому, когда ряд не обладает
ярко выраженным трендом, удобно пользоваться более про-
простыми методами, которые мы опишем ниже.
Скользящие средние
46.3 Альтернативой к нахождению полинома, который пред-
представлял бы ряд целиком, служит поиск полинома, представляю-
представляющего некоторую часть ряда и использование различных полино-
полиномов на различных этапах. Простейший метод, который к тому же
служит основой для большинства других методов исследования
тренда, состоит в следующем, Берутся первые п членов (п мо-
может быть любым), по этим членам строится полином степени р,
не большей, чем п — 1, и находится значение полинома в середи-
середине его области определения. Затем берутся п членов, начиная
со второго и до (п + 1)-го, процедура повторяется, и так далее,
сдвигаясь на каждом этапе на один член вправо. Будем выби-
выбирать н нечетным пока для того, чтобы середина интервала была
тем моментом времени, где наблюдение действительно произво-
производится. Иначе средняя точка попадет между двумя наблюде-
наблюдениями, и мы будем вынуждены использовать значение подогнан-
подогнанного под соответствующие члены полинома, отличное от значе-
значения в средней точке, что приведет к потере полезной для нас
симметрии.
46.4 Итак, предположим, что число выбираемых членов
ряда нечетно и равно 2т +1. Не теряя в общности, можно обо-
обозначить члены символами и^т, «_<m_i), ..., и0, .... ит. Если мы
решим производить выравнивание полиномом степени р, мы мо-
можем обычным образом определить коэффициенты полинома ме-
методом наименьших квадратов, решая уравнения
_д_
да,
т
t-~m
, р,
D6.3)
которые сводятся к уравнениям
т т т т
?/««--"о tJLJ - «1 tZJ+l - • • • -аР(?л^'+р=0. D6.4)
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
50Г
Суммы ? & зависят только от т. Следовательно, решая
t =-т
D6.4) относительно а0, получим равенство
_,)+ ... +с2т+1ит, D6.5)-
где все с зависят только от т и р и не зависят от и.
Поскольку, в соответствии с D6.1), и0 положено равным ве-
величине по, которая в свою очередь задается формулой D6.5), то,,
следовательно, требуемое значение полинома в точке /=0 равно*
взвешенному среднему наблюденных значений. Веса зависят от
того, какую часть ряда мы рассмотрели.
Таким образом, наш процесс определения линии тренда со-
состоит в определении постоянных с (которые зависят от т и р и,,
следовательно, представляют нам две степени свободы при их.
выборе и вычислении с помощью D6.5) величин ad), соответ-
соответствующих всем кускам ряда, состоящим из 2т -\- 1 последова-
последовательных членов.
Если рассматриваются члены их, ...,' Uim + *, вычисляемое
значение соответствует t = m -\- х. Для получения значений, со-
соответствующих первым т и последним т членам, требуется до-
дополнительная процедура.
Пример 46.1
Предположим, что нам дан некий ряд, и мы хотим построить
кривую, дающую наилучшее приближение по семи точкам. До-
Допустим, что нас вполне удовлетворит аппроксимация кубическим:
полиномом. Чему равны веса для скользящих средних?
У нас т — 3, р = 3 и полином равен
Щ — «о + a\t + а2/2 + a3fi.
Выбрав в качестве начала координат /=0, из уравнений D6.4),
учитывая, что при нечетных k Х**=0, получаем, что
Y + 28а2,
Отсюда для
,u = 7а0
'" = 28а,
t2u = 28а0
Ри = 196а,
получаем
196а3>
196а2,
+ 1588а3.
D6.6)
= -^ {—2и_3
+ 7щ +
Зы2 —
08
ГЛАВА 46
Лравую часть последнего равенства можно символически запи-
записать в виде
¦5J-I-2, 3,6, 7, 6, 3, -2],
тля, когда, как в нашем случае, формула симметрична, в виде
1
21
[-2, 3, 6, 71,
-отмечая средний член полужирным шрифтом.
В качестве иллюстрации приведем простой пример. Предпо-
Предположим, что нам дан следующий временной ряд:
t: 12 3 4 5 6 7 8 9 10
щ: 0 1 8 27 64 125 216 343 512 729
Значение тренда при t = 4 равно
^0 = ^-{(-2X0) +CX1) +FX8)+
BX216)} =
= ^-¦567 =
Значение тренда, таким образом, совпадает с действительным
значением ряда в этой точке. Очевидно, что это и должно было
¦быть, поскольку мы использовали кубический многочлен для вы-
выравнивания ряда
«* = (*- IK.
Легко понять, что мы получили бы то же самое значение для
Ло, если бы использовали квадратичные полиномы вместо куби-
кубических, так как в равенствах D6.6) а0 не зависит от а3. Вообще,
случай нечетного р как бы включает в себя случай предыдущего
•(четного) р, так что нет нужды получать отдельные формулы
для четных р.
46.5 Пусть ао[Щ — вычисленное с помощью описанной выше
процедуры значение скользящего среднего k последовательных
членов. Выпишем соответствующие формулы вплоть до р = 5.
"Читатель может проверить их справедливость в качестве упраж-
иения. Очевидно, что сумма коэффициентов в любой формуле
равняется единице, ибо, если мы будем искать тренд у ряда, со-
состоящего из единиц, то и получим единицу.
15]
17]
[9]
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
Второй и третий порядок
~ [-3, 12, 17],
~ [-2,3,6,7],
[-21, 14, 39, 54,59],
[~36> 9> 44> 69' 84> 89J-
l[13J
15Г
117]
17]
[9]
Ш]
121]
ИГ [-П,0, 9, 16,21,24,25],
5~ [~78' ~13' 42> 87> 122> I47' 162, 167],
~Ш5
[—21, —6, 7, 18, 27, 34, 29, 42, 43],
323
-22ej- I—136, —51, 24, 89, 144, 189, 224, 249, 264,
269],
-3^9- [-171, -76, 9, 84, 149, 204, 249, 284, 309,
324, 329].
Четвертый и пятый порядок
1
~2зт [5, —30, 75, 131],
1
429" [15, -55, 30, 135, 179],
~ [18, -45, —10, 60, 120, 143],
[ПО, -198, -135, ПО, 390, 600, 677],
' ~2860> -2937> -165, 3755, 7500,
10 125, 11063],
НэТ []95> —195. -260, -177, 135, 415, 660, 825,
883],
' ~225' -420' -290, 18, 405, 750, 1110,
1320, 1393],
[П 628) ~6460> -13 005, -11220, —3940,
6378, 17 655, 28 190, 36 660, 42120, 44 003].
509
D6.7)
D6.8)
510
ГЛАВА 46
46.6 Иногда более удобно выписывать такие формулы на
языке разностей рядов вида Arut, где
&и,=щ+1 — щ. D6.9)
Так, например,
-^-[-2, 3, 6, 7, 6, 3, -2] = Щ-~-(9Д* + 9Д* + 2Д6)Щ-ъ, D6.10)
что, в частности, немедленно обнаруживает тот факт, что наше
приближение тренда является точным, если члены ряда являют-
являются значениями кубического полинома.
Столь же хорошо можно представлять процесс в виде сколь-
скользящих средних от разностей, что удобно для вычислений в том
случае, когда величины разностей убывают с ростом их поряд-
порядков или когда разности меньше, чем сами значения ряда. На-
Например,
^- {2Д3«,_3 + ЗД3и,_2- ЗД3и<_, - 2A3ut) =
D6.11)
D6.12)
-i-[-2, 3, 6, 7] = щ + ±. {2Д3и,_з + 3,
= ut + ±-[2, 3,-3,2]
21
D6.13)
Очевидно, мы можем выписывать подобные соотношения мно-
множеством различных способов; в частности, формула D6.13)
удобна потому, что дает нам непосредственное выражение для
«остатков».
Пример 46.2
Допустим, что мы хотим одну из формул D6.8), например
относящуюся к выравниванию 11 точек полиномом пятой сте-
степени, переписать указанным выше способом.
Прежде всего из среднего члена формулы
^
[18,-45,-10,60, 120,143]
вычтем единицу, так что получим
-^-[18, -45, -10, 60, 120, -286].
D6.14)
Сумма коэффициентов теперь должна равняться нулю. Обозна-
Обозначим U оператор сдвига такой, что
Uut = ut+l. D6.15)
Тогда
A = U— 1. D6.16)
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
511
Опуская делитель 429, можно записать скользящее среднее
D6.14) в виде
18 — 45U — 10U2 + 60С/3 + 120?/4 — 286?/5 + 120С/6 +
+ 60С/7 - 10f/8 - 45^ + 18?/10.
Мы знаем, что это выражение является точным вплоть до раз-
разностей пятого порядка и, следовательно, Д6 = (?/—IN можно
вынести за скобку. Получаем
(U — 1NA8?/4 + 63U3 + 98?/2 + 63?/ + 18).
Первоначальный процесс можно (так как U — 1 = Д) записать
в виде
Щ + -459 [18, 63, 98, 63, 18] ДЧ-5- D6.17)
46.7 Выпишем формулы D6.7) и D6.8) *) на языке разно-
разностей **).
Второй и третий порядок
[5] u3--3^!
[7] ^--^-[2,5,2^2,
[9] --2зт[21,70, 115, 70, 21]Д««з,
[11] и6--^§-[36, 135,280, 385] ДЧ,
[13] и7 — -щ-[П, 44, 101, 168, 210]Д4и5.
[15] "8 —7Ж[78, 325, 790, 1435, 2100, 2478] А*и6,
[17] "9 — -gk" [21, 90, 227, 434, 686, 924, 1050] А%,
[19] ы10 —-—-[136, 595, 1540, 3045, 5040, 7266,
9240, 10 230]Д4м8,
[21] «и — зоЖ[171, 76, 2005, 4060, 6930, 10416,
14070, 17 160, 18645] А*щ.
D6.18)
*) Кендалл A961а) показал, что при увеличении п и р числа в квад-
квадратных скобках правых частей формул стремятся к соответствующим значе-
значениям нормальной плотности.
**) Обозначения в формулах D6.18), D6.19) не согласуются с обозначе-
обозначениями, использованными ранее автором в формулах D6.10)—D6.13). В част-
частности, в формулах D6.10)—D6.13) индекс времени при значении члена вре-
временного ряда, стоящего после операторов разностей Дг, определял началь-
начальный момент в соответствующей операции суммирования, а в формулах
D6.18), D6.19)—среднюю временную точку, (Прим. ред.)
512
[7] «44
[9] «5 4
[11] «6-f
[13] Ч-i
[15] «84
[17] «94
[19] ы,о4
[21] «и 4
ГЛАВА 46
Четвертый и пятый порядок
5 1
С
1
- ' [ПО, 462, 987, 1032]Л6ы4»
- 46g9 [2145, 10010, 24948, 42273,
51 198] Л6ы5,
- 41199 [195, 975, 2665, 5148, 7623, 8778] А6и6,
- ^9 [340, 1785, 5190, 10875, 18 018,
24 453, 27 258]А6«7,
1 Ml fi9S 6Я 408 1Q2 423 426 258.
759 003, 1 135 134, 1450 449,
1581 294] Д6ы8.
\
D6.19) •
Е
\
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
513
46.8 Поскольку наличие больших чисел в некоторых выраже-
выражениях из D6.7) и D6.8) приводило к значительным трудностям
при непосредственном использовании этих формул, было пред-
предложено несколько методов, упрощающих вычисления при опре-
определении линии тренда с помощью скользящих средних. Простей-
Простейшим из этих методов, по-видимому, является метод итерирован-
итерированных усреднений.
Допустим, что мы вычисляем средние по четырем значениям
при равных весах (очень простая операция), а затем вычисляем
такие же средние по полученным ранее средним. Если первона-
первоначальный ряд обозначить ut, первая операция приводит нас к
ряду с членами типа
tij = -j («1 4- 4- «з + «4),
а вторая операция — к ряду с членами типа
= -L (щ 4- 2и2 4- Зы3 + 4«4 4- Зы5 4- 2ы6 4- Щ). D6.20)
Символически это можно записать в виде
;4-[Ы,1,1]12 = ^[1,2,3,4], D6.21)
или, вводя символ [k]/k для простого арифметического среднего,
в виде
—- Г412 = —- И 2 3 41 f4fi 991
Сравним теперь результаты с весами для среднего, полученными
в примере 46.1 при выравнивании семи точек кубическим поли-
полиномом. Переходя к десятичным дробям, получаем для последних
следующие значения:
—0,0952; 0,1429; 0,2857; 0,3333,
а для весов из D6.20):
0,0625; 0,1250; 0,1875; 0,2500.
Эти две группы неодинаковы, но обнаруживают одинаковую тен-
тенденцию в переходе от одного веса к другому. Так что последняя
группа может рассматриваться как приближение к первой.
(Вскоре мы получим лучшую аппроксимацию, но она будет слу-
служить нам лишь для иллюстрации.)
Процедуру последовательных операций, которая приводит к
D6.21), осуществить значительно легче, чем однократный про-
процесс вычисления взвешенных средних из примера 46.1. Вообще,
если можно найти средние с простыми целыми весами, предпоч-
предпочтительно единичными, которые затем приведут нас к аппрокси-
аппроксимациям для более сложных весов в однократных средних, как
правило, лучше выбрать итерационный процесс.
46.9 Используя обозначения конечных разностей, запишем:
би, = ы 1 — и 1.
D6.23)
Для второй «центральной» разности 82ut имеем
&ut = (ut+l - щ) - (щ - и,_,) = (?/ - 2 + и~') щ. D6.24)
Записывая U в виде
U = ехр Bгср), D6.25)
получаем следующую символическую запись:
б2 = ехр Bгф) — 2 + ехр (— 2*<р) = — 4 sin2 ср. D6.26)
Тогда, учитывая, что члены с sin 2/ср пропадают, имеем
sin Bm + l).
m m
sin<p
-«о-
D6.27)
17 M. Кендалл, А, Стьюарт
514
Таким образом,
ГЛАВА 46
.., D6.28)
В этой интересной формуле арифметическое среднее представ-
представлено как функция от среднего члена щ и его центральных раз-
разностей.
Если теперь ряд приближенно представить в виде значений
кубического полинома, так что четвертые разности становятся
равными нулю, и взять «о в качестве среднего члена, можно по-
получить, что
Это равенство в любом случае будет верно с точностью до
третьих разностей. Аналогично для двухкратной итерации с той
же степенью точности получаем, что
«о = «о + 4г
- 2) б2я0,
D6.30)
и т. д. Мы используем эти результаты, чтобы получить две фор-
формулы, весьма широко используемые в статистике страхования
для «градации» рядов. Последний процесс весьма сходен с вы-
выделением линии тренда.
Пример 46.3. Формула Спенсера для 15 точек
Рассмотрим три последовательных усреднения с равными ве-
весами:
¦щ- [4] [4] [5] щ = «о + -gj- D2 + 42 + 52 - 3) 62«О = Щ + -| 62«О.
Умножая на 1 — 9б2/4, получаем с точностью до разностей
третьего порядка, что
9
Следуя D6.24), заменяем б2 выражением [1, —2, 1] и получаем,
что
«о = -зк[4™1-9'22>-9]-
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
515
Теперь, не меняя порядок аппроксимации, можно добавить
члены, содержащие б4 или центральные разности более высокого
порядка, так, чтобы упростить до некоторой степени числовые
коэффициенты. Добавим к множителю [—9, 22, 9] член —Зб4 =
= [—3, 12, —18, 12, —3]. В результате получим [—3, 3, 4, 3, —3]
и, следовательно,
"a=w[4]2[5][-3,3,4, 3,-3].
D6.31)
Это формула Спенсера для 15 точек. Она охватывает 15 после-
последовательных членов; окончательно веса таковы:
1
320
[—3, —6, —5, 3, 21, 46, 67, 74].
D6.32)
Пример 46.4. Формула Спенсера для 21-й точки
Сходным образом находим, что
ТЖ [5Н7] = 1 + 4с2,
что дает нам с точностью до разностей третьего порядка
г 4 Q 41
Добавим к множителю [—4, 9, —4] выражение
-Зб4-4"б6 = [-3, 12, -18] +[-1,3, -7-^.10],
что даст нам представление
] [-l,O, 1, 2]. D6.33)
Это формула Спенсера для 21-й точки.
46.10 В наши дни простота вычислений не столь важна, как
раньше, и в определенных ситуациях таких приближений сле-
следует избегать. Первоначальные формулы D6.7) — D6.8) дают
нам наилучшее выравнивание при заданном числе охватывае-
охватываемых точек и порядке полинома. Иначе говоря, при заданных m
и р сумма квадратов весовых коэффициентов из этих формул бу-
будет минимальной. При вычислении скользящих средних ряда,
состоящего из полиномиального тренда степени р и случайного
остаточного члена е* (причем распределение st одно и то же для
всех /) остаточная сумма квадратов равна
17*
516
ГЛАВА '18
Поэтому математическое ожидание выборочной дисперсии остат-
остатков пропорциональна
2т
Z А D6.34)
/-о '
и, следовательно, минимальна в классе весов, соответствующих
одному и тому же порядку полинома р и числу т.
Краевые эффекты
46.11 Метод скользящих средних в том виде, в каком мы его
изложили, обладает явными свойствами симметрии. Недостат-
Недостатком его является то, что он не дает значения тренда для первых
т и последних т членов ряда. Как правило, то, что мы отказы-
отказываемся от нескольких значений, в начале не ведет к большим
потерям, но отсутствие значений тренда в конце представляет
большую помеху, особенно если мы хотим провести экстраполя-
экстраполяцию на будущее. Понимая, что значения тренда в конце не столь
устойчивы как в середине, мы можем заполнять образовавшую-
образовавшуюся брешь различными способами. Метод, иллюстрируемый в сле-
следующем примере, по-видимому, не сложнее, чем остальные.
Пример 46.5
Снова рассмотрим формулу, используемую в примере 46.1:
Jj-I-2,3,6,7].
Мы получили ее при выравнивании кубическим полиномом, но
использовали последний лишь для определения среднего по семи
членам. Непонятно, почему бы нам не использовать его и для
трех последних членов крайней семерки. Чтобы сделать это, нам,
однако, надо решать уравнения D6.6) относительно аи аг, «з
так же, как относительно а0. Находим
Подставляя эти результаты в полином, получаем в обычных обо-
обозначениях
Щ = jf [-2, 3, 6, 7, 6, 3, -2] +
+ sis [22, -67, -58, 0,58,67, -22] + -gr [5, О, -3, -4, —3, О, 5]+
<1[_1, 1, 1,0,-1,-1, 1]. D6.35)
36
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
517
Таким образом, например, при t= 1, 2, 3 выражения сводятся
.к следующим:
«1=^-[1,-4, 2, 12, 19, 16,-4],
= ijK -7, -4,6, 16, 19,8],
"з = ~Ш I, 4, 1, -4, -4, 8, 39].
D6.36)
D6.37)
D6.38)
Например, если бы последняя семерка членов ряда состояла из
чисел 0, 1, 8, 27, 64, 125, 216, четвертый член тренда (следую-
(следующий за средним членом, где t = 0) был бы равен
^-[0-4 + 16+324+1216+ 2000-864] =64.
¦Следующий член равен
JL [о _ 7 - 32 + 162 + 1024 + 2375 + 1728] = 125.
т^чтатель может убедиться, что последний член равен 216. Эти
результаты точны, конечно, потому, что мы выравнивали куби-
кубическим полиномом последовательность кубов.
Здесь следует отметить одно интересное явление. В форму-
формулах D6.35) — D6.38), так же как и в формуле для ы0, сумма ко-
коэффициентов равна единице. Но сами коэффициенты становятся
все более и более неодинаковыми, так что сумма их квадратов
растет по мере перехода от ы0 к и3. Дисперсия любого случай-
случайного остаточного члена, таким образом, также растет, отражая
тот факт, что при переходе от центра последовательности, кото-
которую мы выравниваем, к ее концу, полиномы становятся менее
«надежными». Суммы квадратов коэффициентов в этом случае
равны
щ: 0,3333; и,: 0,4524; ы2: 0,4524; щ: 0,9286.
Суммы квадратов тем не менее растут не монотонно. Некото-
Некоторые дальнейшие результаты приведены в упражнениях 46.1 и
46.5.
Коэффициенты и их суммы квадратов для р ^ 5 и га ^ 25
затабулированы Коуденом A962).
46.12 Результаты, подобные тем, что сейчас обсуждались, мо-
могут быть также легко получены, если воспользоваться ортого-
ортогональными полиномами B8.18 т. 2).
518 ГЛАВА 46
Пусть п = 2т-\- 1. Для первых четырех полиномов находим
<Г4 @ = Я,4 {/4 — у f Fm2+6/n—5) + ~ (m—
Если теперь, например,
мы сразу получаем, что
1
Uq = Oq — -Q-
Кроме того, из таблиц можно получить значения Я и 2 Ф/>
В силу свойства ортогональности имеем
D6.39)
D6.40)
D6.41)
On —
2m+1
D6.42)
D6.43)
Например, если кубическим полиномом выравниваются семь зна-
значений (т = 3), из D6.42), D6.43) и таблиц получаем
Следовательно, в силу D6.40)
«о=у Z «< - iHZ «<• -11 «О=ir G1> - Z
как и в примере 46.1. Используя полиномы таким же образом»
можно получить и «краевые» значения, которые вычислялись
в 46.11.
46.13 До сих пор мы ничего не говорили о том, из каких со-
соображений следует выбирать длину интервала, по которому бе-
берется скользящее среднее (т. е. 2/n-f- 1) и степень полинома р,
с помощью которого это, среднее вычисляется. В действитель-
действительности никаких простых критериев здесь нет, в основном по той
причине, что многое зависит от того, почему мы хотим выделить
тренд, или, ставя вопрос несколько иначе, что представляет со-
современные РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
519
бой модель, определяющая разбиение ряда на компоненты.
Если мы главным образом заняты общей тенденцией данных к
тренду и не интересуемся более мелкими остаточными эффек-
эффектами, может оказаться более пригодным один тип скользящих
средних. Если же мы хотим выделить тренд для того, чтобы
изучить оставшиеся компоненты, такой тип скользящих средних
может оказаться совершенно неподходящим. Наконец, в ряде
ситуаций может вообще возникнуть вопрос о целесообразности
исключения тренда методом скользящих средних. Поэтому, для
того, чтобы иметь основания обсуждать выбор подходящей мето-
методики для нахождения тренда, следует сначала изучить, как от-
отражаются наши процедуры на оставшихся компонентах.
Влияние процедуры выделения тренда методом
скользящих средних на остальные компоненты
46.14 Таблица 46.1 содержит результаты применения фор-
формулы Спенсера для 21 точки к одному искусственно построен-
построенному ряду. Последний получен добавлением случайной компо-
компоненты к кубическому полиному. (Мы использовали формулу
Спенсера, а не одну из формул D6.7), потому что здесь можно
увидеть и эффект последовательного простого усреднения.) Кон-
Конкретно, пусть .
и, = (' - 26) +
± (t - 26J + -щ-(t - 26K + в(. D6.44)
Значения составляющей. st брались из таблицы случайных чи-
чисел и представляют собой значения случайной величины, прини-
принимающей с равными вероятностями все целые значения от 0 до
99. Различные столбцы таблицы иллюстрируют процесс вырав-
выравнивания. Отметим, между прочим, что для таких коротких ря-
рядов удобно оставлять наиболее трудные вычисления на конец,
так как там объем их существенно меньше.
Мы знаем, что формула Спенсера кубы «улавливает» точно,
поэтому, вычитая тренд из первоначального ряда, мы (с точ-
точностью до округления систематической компоненты до ближай-
ближайшей единицы) должны прийти к полному исключению система-
систематической компоненты и остаться лишь со случайной компонен-
компонентой. Однако это не так, в чем можно убедиться, сравнивая
столбцы B) и (9) таблицы 46.1 и помня при этом, что элементы
последнего столбца включают в себя и число 49,5, равное сред-
среднему случайной компоненты. Причину далеко искать не надо:
на самом деле мы вычисляли скользящие средние и случайных
элементов, выделяя «линию тренда» и среди них.
Результат применения формулы Спенсера для 21-й точки
только к случайным элементам е* приведен в столбце A1).. Если
520 ГЛАВА 46
Таблица 46.1
Ряд, полученный по формуле D6.44). Линия тренда определяется
формулой Спенсера для 21-й точки
A)
i
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
B)
Куби-
Кубический
член
— 119
-105
—92
—80
—70
-60
-51
—44
-37
-31
-26
-22
—18
— 15
— 12
— Ю
—8
—7
—6
—5
—4
—3
о
—2
I
0
1
2
4
6
9
12
15
20
24
30
36
44
52
61
71
83
95
109
C)
et
23
15
75
48
59
1
83
72
59
93
76
24
97
8
86
95
23
3
67
44
5
54
55
50
43
10
74
35
8
90
61
18
37
44
10
96
22
13
43
14
87
16
3
50
И)
—96
—90
— 17
—32
— 11
—59
32
28
22
62
50
2
79
_7
74
85
15
4
61
39
1
51
53
48
42
10
75
37
12
96
70
30
52
64
34
126
58
57
95
75
158
99
98
159
E)
[51 uf
—246
—209
—87
—42
12
85
194
164
215
186
198
233
246
163
231
196
112
148
205
192
195
204
228
212
176
230
290
245
260
312
250
306
334
339
370
411
443
484
525
589
670
692
F)
[51 E)
—572
—241
162
413
670
844
957
996
1078
1 026
1071
1069
984
850
892
853
852
944
1024
1031
1015
1050
1 136
1 153
1201
1337
1357
1373
1 462
1 541
1599
1 760
1897
2 047
2 233
2 452
2711
2 960
3 270
3 680
G)
171 F)
2 233
3 801
С 1 пгх
5 120
5984
6 642
7 041
7145
7 038
6 934
6 709
6 535
6 408
6 363
6 446
6611
6 769
7052
7 353
7610
7 923
8 249
8 607
9 019
9 424
9 870
10 429
10 989
11679
12 539
13 529
14 699
16 060
17 570
19 353
21 394
23 690
26 25
(8)
[-1. 0, 1,
2, ...1 G)
14 352
15 470
15814
15 676
14 978
14 166
13 379
12 703
12 169
12 102
12 279
12 676
13 228
13 857
14 508
15 120
15 634
16 251
17 002
17717
18 499
19 307
20 159
21 133
22 417
23 797
25 737
27 955
30 456
33 334
36 716
(9)
(8)
350
41
44
45
45
43
40
38
36
35
35
35
36
38
40
41
43
45
46
49
51
53
55
58
60
64
68
74
80
87
95
105
A0)
Отклоне-
Отклонение
к,-(9)
9
—42
34
-52
31
45
-23
—40
26
4
—34
15
15
8
1
-33
30
Q
-37
45
17
-25
—6
4
—30
58
— 16
—23
8
—20
53
(И)
«Вырав-
«Выравниванием
е/
67"
66
63
60
55
51
47
43
40
39
39
39
40
41
42
43
44
44
45'
44
4+
43
42
41
39
38
37
36
35
34
3+
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
521
A)
t
45
46
47
48
49
50
51
B)
Куби-
Кубический
член
124
140
158
177
198
240
244
C)
et
32
40
43
62
23
50
5
D)
ut
156
180
201
239
221
270
249
E)
[51b,
794
935
997
1111
1180
F)
[51 E)
4088
4529
5017
G)
[71 F)
Продолж <
(8)
[-1. 0, 1,
2, ...1 G)
(9)
(8)
350
iни е та
(Ю)
Отклоне-
Отклонение
и< —О)
б л. 46.1
A1)
\»i/
«Вырав-
«Выравнивание»
et
¦бы метод был совершенен, мы должны были бы в этом столбце
получить числа 49,5, т. е. средние st за выбросом нерегулярных
выборочных эффектов, однако наблюденные значения не только
¦отклоняются от среднего, но и делают это систематически, со-
совершая некоторое колебательное движение, которое процедура
выделила как часть тренда *).
46.15 Обнаруженный эффект существен, особенно если мы
лсключаем тренд для того, чтобы сконцентрировать внимание
на колебаниях. Перейдем к более детальному рассмотрению.
Предположим, что нам дан ряд, состоящий из трех частей:
тренда Xi(t), «колебательного» члена X2(t) и случайного эле-
элемента ХзУ), т. е.
ut=x1+x2 + x3. D6.45)
Выделим тренд методом скользящих средних, обозначая эту
•операцию символом Т; имеем
Тщ = Тхх + Тх2 + Тхь.
D6.46)
Предположим, что наш метод определения тренда соверше-
совершенен в том смысле, что Txi = JCi. Тогда, вычитая D6.46) из
D6.45), для того чтобы исключить тренд, находим, что
щ — Тщ = х2 — Тх2 + х3 — Тхг.
D6.47)
Сейчас нас интересует то обстоятельство, что члены Txz и Тхз
в D6.47) могут исказить истинные колебания остаточного ряда
и индуцировать ложное колебательное движение.
*) Эффект якобы систематического колебания случайной компоненты от-
относительно среднего связан с законом арксинуса (см., например, В. Феллер,
Введение в теорию вероятностей и ее приложения, ИЛ, 1955, т. 1, гл. III).
¦{Прим. перев.)
522
ГЛАВА 46
46.16 Рассмотрим простой случай, когда член х2 синусоида-
синусоидален, иначе, равен sin (а + М), где t — целое. Так как
k
Z
, 1 .,
, D6.48)
простое скользящее среднее k последовательных членов приве-
приведет к синусоидальному ряду с тем же периодом и фазой, что и
у первоначального, но с амплитудой, равной первоначальной,
умноженной на
. sin -5- kX
D6.49)
^-кратная итерация приведет к умножению амплитуды на д-к>
степень выражения D6.49).
Таким образом, член Тх2 будет мал, если k велико и q ве-
велико или если kX/2 кратно п, т. е. если длина отрезка усредне-
усреднения будет равна периоду колебаний. Но если Я, мало и kX мало,
амплитуда изменяется очень мало и член х%—Тх2 становится
очень мал, т. е. процедура вычисления скользящих средних
практически уничтожает член Xz. В том случае, когда kX мало,
длина отрезка усреднения мала по сравнению с периодом коле-
колебаний гармонического члена, т. е. здесь мы как бы имеем дела
с медленными колебаниями. Этого результата можно было ожи-
ожидать. Медленные колебания скользящим усреднением восприни-
воспринимаются как тренд и соответственно исключаются. В общем слу-
случае скользящее усреднение будет выделять частые колебания
и гасить медленные. К тому же, если длина отрезка усреднения
немного больше, чем период, множитель D6.49) может быть
отрицательным, и, следовательно, выделение тренда может даже
несколько преувеличить истинные колебания.
Не столь легко выделить эффекты искажения точности при
скользящем усреднении в том случае, когда веса неодинаковы
и члены не являются гармоническими, но очевидно, что при-
примерно такого же рода ситуации могут возникнуть и здесь.
46.17 Рассмотрим теперь влияние процедуры вычисления
простых скользящих средних (т. е. усреднения с равными ве-
весами) на остаточный член х3, который мы будем полагать слу-
случайной величиной 8f с дисперсией о. Для члена Тхз имеем
№/2]
т*=т ? *'+" D6-50>
-№/21
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
523
где [k/2] — наибольшее из целых, не превосходящих k/2. После-
Последовательные величины е* независимы, но последовательные ве-
величины Тх3 уже не являются таковыми, так как Тх3(а) и Тх3(Ь)
зависят от k — а + b общих величин е и коррелированы, если
a — Ъ < k. Следовательно, ряд Тх3 является значительно более
«гладким», чем х3, а если мы перейдем к дальнейшим усредне-
усреднениям, то соответствующий ряд станет еще глаже. Мы уже ви-
видели в таблице 46.1 пример такого эффекта и встретим еще при-
примеры в дальнейшем.
46.18 Применение скользящего усреднения к случайным ря-
рядам приводит к рядам, имеющим тенденцию к периодичности в
колебаниях. Это обеспечивается тем, что здесь веса таковы, что
порождают положительную коррелированность между членами
нового ряда. Последнее всегда имеет место, если скользящее
усреднение используется для выделения тренда. Мы назовем
этот эффект эффектом Слуцкого — Юла, по имени двух стати-
статистиков, которые (независимо) детально изучали этот эффект.
Вновь образованные ряды нерегулярны в смысле циклично-
цикличности, иначе говоря, их «пики» и «ямы» не появляются через рав-
равные временные интервалы, а амплитуда колебаний существенно
меняется (хотя в главе 49 мы докажем теорему Слуцкого, пока-
показывающую, что определенные типы многократно примененных
процедур усреднения приводит к синусоидальным кривым). Тем
не менее колебательные движения подобного типа удивительно
сходны с некоторыми типами движений, встречающихся на
практике, особенно в экономике, и мы позже рассмотрим этот
вопрос более детально. Сейчас же наша цель заключается в
изучении того, в какой мере обсуждаемые здесь эффекты могут
быть порождены процедурой выделения тренда. Нам необхо-
необходимо это для того, чтобы быть уверенным, что колебательное
движение не было привнесено в свободный от тренда ряд в ре-
результате наших собственных арифметических операций над чле-
членами ряда.
46.19 Для этой цели мы рассмотрим период и дисперсию
у рядов, образовавшихся в результате эффекта Слуцкого —
Юла.
Поскольку пики и ямы не появляются через равные интер-
интервалы, не существует и величины, которую было бы удобно на-
назвать длиной колебания. Фактически можно изучать лишь рас-
распределение таких длин. В качестве средней длины можно опре-
определить средний период или от пика к пику, или от ямы к яме;
однако здесь возникают некоторые трудности, связанные с тем,
готовы ли мы учитывать периоды у небольших пульсаций, на-
накладывающихся на основные колебания.
Сознавая, что ответ здесь до некоторой степени произволен,
возьмем в качестве меры длины колебания среднее расстояние
524
ГЛАВА 16
между «пересечениями снизу вверх», точнее говоря, среднее рас-
расстояние между точками, где ряд меняет знак минус на плюс,
или «пересекает ось времени». Предположим, что ряд получен
скользящим усреднением с весами аи ..., ak нормальных вели-
величин с дисперсией о. Тогда вероятность того, что
< 0 D6.51)
Z
D6.52)
т. е. вероятность того, что члены нового ряда изменят знак,
авна интегралу по области, ограниченной гиперплоскостями
а/8/ = 0и Ё Я/8/+1 = 0, от функции
BJtti)-(ft+1)/2exp|-Bt>)-1 2 в» j. D6.53)
Этот интеграл равен деленному на 2л; углу 9 между двумя пло-
плоскостями, который дается соотношением
t
D6.54)
Следовательно, 9/Bя) —математическое ожидание числа пере-
пересечений за единицу времени, а 2я/6 приблизительно равно сред-
среднему расстоянию между пересечениями.
46.20 Аналогично вероятность того, что
и*+1 - «* < 0, D6-55)
uk-uk-x> 0, D6.56)
т. е. что uk есть пик ряда, равна углу между двумя гиперпло-
гиперплоскостями
<>, D6.57)
/1 /i
который дается формулой
cos 9j =
(а, - а,) а, + (a3 - a2) (a2 - ai
аА (afe ~ аь-\)
D6.58)
D6.59)
Итак, среднее расстояние между пиками равно 2jt/6i. Оче-
Очевидно, что та же формула справедлива и для среднего расстоя-
расстояния между ямами.
ВРЕМЕННЫЕ РЯДЫ ТРЕНД И СЕЗОННОСТЬ
525
46.21 Если мы хотим исключить из рассмотрений пульсации
некоторой определенной длины d, мы можем искать вероят-
вероятность выполнения D6.55) и D6.56) совместно с условием
D6.60)
Последняя вероятность равна деленной на 4л; площади части
единичной сферы, вырезаемой гиперплоскостями D6.57), D6.58)
и
Z «/8/ — Л ajBj+d — 0. D6.61)
Если углы между плоскостями равны А, В и С, искомая пло-
площадь равна 6г = А + В -\- С — 2л;.
Средняя длина между пиками, при исключенных пульсациях
равна тогда 4л/02.
Пример 46.6
В таблице 46.2 мы приводим 480 членов ряда случайных чи-
чисел, принимающих целые значения от 0 до 19. Там же приве-
приведены члены ряда, полученного из первоначального путем сколь-
скользящего усреднения по три члена с последующим скользящим
усреднением по пять членов. На рис. 46.1 графически показана
часть полученного ряда. Сглаженный ряд состоит из 474 членов.
Среднее значение членов нового ряда равно 15X9,5= 142,5.
Число пересечений находится из таблицы и равняется 23. Пер-
Первое пересечение происходит между 19-м и 20-м членами сгла-
сглаженного ряда, последнее между 459-м и 460-м. Среднее рас-
расстояние между пересечениями равно 440/22 = 20 единицам. Как
это выглядит в сравнении со средним расстоянием, которое дает
«нормальная» теория?
Веса, которыми мы пользуемся, задаются числами [1, 2, 3,
3, 3, 2, 1] и из D6.54) мы получаем, что cos 9 = 34/37 = 0,9189
и 9 = 23°14'. Следовательно, среднее расстояние равно
360/23,233 = 15,5 единицы. Наблюденное среднее значение рав-
равно 20, но оно основано на равномерном распределении, и мы
имеем право ожидать некоторого отличия от теории для нор-
нормального распределения. У равномерно распределенных вели-
величин отклонение от среднего выражается более резко, и не уди-
удивительно обнаружить колебания, происходящие целиком выше
или ниже среднего уровня.
Далее находим, что число пиков в ряде равно 62, первый
приходится на 7-й член, последний на 466-й. Следовательно,.
среднее расстояние между пиками равно 459/61 =7,5 единицы.
Из <46.59) находим, что cos 9t = 2/3 и ei = 48°ll'. Теоретиче-
Теоретическое среднее расстояние равно 360/48,187 = 7,5 единицы — пре-
прекрасное согласие с экспериментом. Можно увидеть, что несколь-
526
ГЛАВА 46
Таблица 46.2
t
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
e
3
15
15
8
19
1
3
12
19
13
16
4
17
8
6
15
3
3
7
4
5
14
15
10
3
10
13
14
15
8
10
1
18
17
4
10
16
2
13
s
164
147
143
145
165
175
196
191
178
159
150
134
118
Ю1
88
87
100
12S
140
147
150
153
156
165
175
168
160
154
156
154
165
164
159
138
137
131
Ряд
из 480 равномерных случайных
и результат
t t
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
!
3 1
14
7
16
3
10
12
0
3
2
3
10
5
Ю
3
2
11
14
18
8
14
15
17
7
9
11
14
5
17
18
13
18
0
19
1
14
12
2
7
s
1
40
35
146
141
139
117
96
75
65
61
71
84
91
92
101
119
141
166
190
212
211
204
191
185
166
160
167
188
203
204
205
185
171
149
146
130
135
139
160
сглаживания
t e
79 1
80 1
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
10S
107
108
109
ПО
111
112
113
114
115
116
117
s
6 175
5 188
17 197
11 200
6 206
17 215
18 228
19 230
15 220
13 198
8 175
10 159
14 158
5 158
12 159
18 153
1 145
14 124
8 112
1 108
5 123
13 131
11 150
14 151
6 НО
13 120
1 119
4 120
13 133
13 147
8 172
12 186
12 195
19 204
13 203
11 184
18 156
2 135
4 121
S по
t e
чисел
формуле [5J
5
118 10 111
119
120 1
121
122 1
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
8 116
0 131
3 145
6 156
2 173
8 175
19 160
11 145
1 129
4 123
16 108
3 115
13 103
0 118
10 112
4 122
19 113
3 110
4 100
7 103
0 103
16 107
13 102
0 103
2 114
4 127
18 136
18 140
6 131
0 121
4 120
11 137
15 162
15 179
11 188
9 184
12 183
18 175
t e
157
e
[3]
5
7 174
158 15 160
159
5 157
160 11 141
161
162 1
163
164 1
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
9 140
4 122
1.117
1 94
1 98
8 93
2 106
18 103
1 121
7 117
9 127
13 120
2 137
16 139
1 145
17 142
13 145
0 149
15 157
7 166
16 164
16 171
7 169
6 174
13 168
17 170
14 170
2 159
15 140
9 139
1 145
15 151
16 147
6 144
10 132
t e
195
197
198
199 1
200
201
202
203
204
205
205
207
208
209
2!0
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
5 128
7 1
8 1
8
0
7
9
5
3
12
4
2
11
6
7
6
15
4
13
4
7
13
4
13
0
3
11
0
10
1
4
6
18
3
7
12
15
11
1
22
26
20
21
05
99
93
95
91
93
97
97
107
115
128
125
130
126
125
123
119
111
101
91
82
76
75
72
86
92
109
116
139
149
149
141
137
134
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ 527
Продолжение табл. 46.2
t
235
236
237
238
23Э
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
е
8
9
14
9
6
7
1
17
0
3
0
6
17
16
17
15
3
14
9
11
3
15
1
14
9
13
11
15
8
17
19
10
17
11
9
1
11
17
17
4
8
S
128
130
132
128
122
108
99
80
75
73
94
124
169
195
204
191
175
150
144
131
135
125
138
142
162
166
182
190
203
210
214
211
188
163
146
153
154
162
155
154
137
t
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
зоэ
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
е
2
18
8
9
19
17
14
8
5
6
7
19
19
16
2
10
12
15
5
6
15
6
13
2
14
9
4
14
2
0
8
12
10
11
17
10
12
17
17
16
9
s
134
141
172
184
185
167
150
123
115
131
168,
18б'
196
188
180
158
147
145
148
145
134
137
136
136
12Э
128
115
100
93
96
ЮЭ
131
15Э
178
187
200
212
216
211
192
173
t
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
345
347
348
349
350
351
352
353
354
355
356
357
в
9
2
16
10
17
15
13
10
18
0
9
8
3
9
12
3
8
5
1
2
13
6
15
7
13
13
5
15
10
3
18
19
8
5
16
7
16
8
6
15
19
s
151
152
160
185
196
209
194
179
151
133
112
108
105
111
107
101
85
77
75
93
107
134
151
161
160
162
155
153
162
174
176
177
174
173
159
157
157
169
168
165
153
t
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
е
4
5
9
12
2
11
12
5
0
12
6
2
4
15
6
5
14
14
11
8
15
18
7
1
2
7
4
18
5
17
12
7
14
15
11
13
18
6
19
13
1
s
150
133
120
117
127
118
112
105
100
84
88
96
104
109
130
148
156
164
180
187
174
151
127
99
88
89
119
143
166
170
179
179
184
190
194
201
199
193
178
173
178
t
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
е
13
18
17
3
18
14
14
13
5
19
17
18
5
7
15
1
4
2
3
2
10
0
9
16
9
11
12
2
3
9
6
17
15
5
14
14
9
8
3
1
3
s
178
183
191
205
198
192
191
197
205
204
202
192
174
140
107
86
66
58
50
62
78
105
126
146
152
144
124
106
106
119
139
159
174
179
172
155
133
107
75
53
55
t
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
в
1
5
16
8
2
0
2
7
17
12
5
2
2
15
8
2
4
11
15
8
3
1
4
13
17
19
5
4
15
8
6
14
9
0
15
7
5
1
И
5
5
s
72
91
96
91
78
75
85
109
124
124
117
106
97
92
100
111
120
121
119
ПО
98
98
121
150
[70
176
169
149
136
137
136
133
126
125
109
103
96
95
528
ГЛАВА 16
ко расстояний между пиками соответствует очень малым пуль-
пульсациям.
46.22 Исследуем теперь, как дисперсия индуцированных ко-
колебаний соотносится с дисперсией первоначального случайного
ряда.
Дисперсия суммы k независимых случайных величин, каж-
каждая из которых имеет дисперсию v, равна v-k, а среднее этих
величин имеет дисперсию v/k. Отсюда не следует, что простое
400 420 Ш
Номер члена (t)
№
Рис. 46.1. График для последних 117 членов ряда S таблицы 46.2.
скользящее среднее имеет дисперсию в k раз меньшую, чем слу-
случайные величины. Это объясняется наличием корреляции между
последовательными членами преобразованного ряда.
Если первоначальный ряд состоял из величин 8i, ..., еп, то
преобразование с весами аи ¦ - •. °ft приводит к ряду
a fib
/ afii+\>
D6.62)
Если в качестве математического ожидания г взять нуль, то
математическое ожидание суммы величин ц также будет рав-
равняться нулю. Так как имеется п — k -\- 1 членов, выборочная
дисперсия равна
\-гг У Л2 . D6.63>
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
529
Поскольку величины е независимы, математическое ожида-
ожидание D6.63) равно
<46-64>
чг, - мч2 = ° ? «?•
В частности, если все величины а равны l/k, математическое
ожидание выборочной дисперсии равно v/k. Мы видим, как ме-
меняется дисперсия в результате усреднения.
Если простое усреднение по k элементам повторяется q раз,
соответствующие веса являются последовательными коэффи-
коэффициентами в
>+*+•¦•+"
Сумма квадратов этих коэффициентов равна коэффициенту
при д;^-1) в
4-Т.
k2" {1-хJ"
Последняя сумма и дает новую дисперсию после ^-кратного
простого усреднения по k элементам. Ниже приводятся значе-
значения поправочного множителя для некоторых значений k и q.
^\\ ч
3
4
5
6
7
I
0,33
0,25
0,20
0,17
0,14
2
0,23
0,17
0,14
0,11
0,10
3
0,19
0,14
0,11
0,09
0,08
4
0,17
0,12
0,10
0,08
0,07
5
0,15
0,11
0,09
0,07
0,06
Ясно, что первое скользящее усреднение приводит к ряду с го-
гораздо меньшей дисперсией, но вторая и последующие итерации
не уменьшают дальше дисперсию столь же быстро. При k = 7
первое усреднение уменьшает дисперсию в семь раз, а три по-
последующие — лишь еще наполовину.
46.23 Полезно также изучить влияние скользящего усредне-
усреднения на сериальные корреляции в остаточной компоненте. Для
ряда D6.51), полученного скользящим усреднением случайного
ряда, как и в D6.54), получаем, что
k-s
cov {fiu ut+s) = М { У cijBj+t J] apl+a+t} = о ? asal+s. D6.66)
530
ГЛАВА 16
Таким образом, s-я сериальная корреляция нового ряда
равна
k-s
г, = -
D6.67)
О,
Итак, мы видим, что у полученного таким способом беско-
бесконечного ряда, несмотря на равенство нулю сериальных корреля-
корреляций первоначального (случайного) ряда, новые сериальные кор-
корреляции не равны нулю вплоть до порядка k, т. е. до тех пор,
пока члены нового ряда не будут зависеть от одних и тех же
членов первоначального ряда.
Например, взяв простое скользящее усреднение по k элемен-
элементам (все а равны l/k), из D6.67) легко получаем, что
г,= 1--!?*-.. D6.68)
Следовательно, корреляция может быть довольно большой при
s=.l н линейно уменьшается с ростом s до нуля при s = ft.
Высокая коррелированность такого типа между соседними вели-
величинами есть проявление эффекта Слуцкого — Юла.
Пример 46.7
Веса в формуле Спенсера для 21 точки таковы:
1/350 [-1, -3, -5, -5, -2, 6, 18, 33, 47, 57, 60].
Отбрасывая делитель 350, который для наших целей несуще-
несуществен, получаем, что сумма квадратов весов равна 17 542. Про-
Произведения D6.66) и соответствующие сериальные корреляции
таковы:
k
0
1
2
3
4
5
6
7
8
9
10
2 afj+k
17 542
16 786
14 667
11 584
8 085
4 726
1951
6
— 1 074
— 1430
— 1 298
1,000
0,957
0,836
0,660
0,461
0,269
0,111
0,000
—0,061
-0,082
—0,074
k
11
12
13
14
15
16
17
18
19
20
21
2a/V+ft
-930
-528
-214
-27
50
59
40
19
6
1
0
—0,053
—0,030
—0,012
—0,002
+0,003
+0,003
0,002
0,001
0,000
0,000
0,000
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ'
531
Коррелограмма дана на рис. 46.2. Начиная с ft = 13 и далее
корреляции очень малы, и начиная с ft=21 и далее равны нулю.
\
\
\
ч
. *"—
1
f
10 15 20
Значения к
25
30
Рис. 46.2. Коррелограмма ряда, полученного с помощью формулы Спенсера
для 21-й точки (пример 46.7).
Метод переменных разностей
46.24 Само понятие ряда, состоящего из полиномиальной
компоненты и в той или иной мере случайного остатка, подска-
подсказывает метод, цель которого — исключить первую компоненту
путем вычисления конечных разностей. Ясно, что вычисление
последовательных разностей в конце концов приведет к полному
исключению любой компоненты, которая действительно яв-
является полиномом. Можно быть практически уверенным, что та-
такая операция исключит вообще любую систематическую компо-
компоненту, если только она не является экспоненциальной или цик-
циклической. Рассмотрим, как сказывается вычисление разностей
на случайном ряде. Имеем
... -М-1Гв, = (?/-!)'в,- D6.69)
Полагая, без ограничения общности, что 8/ имеет нулевое сред-
среднее, получаем, что
М (АЧ) = 0, D6.70)
и если et имс ют одну и ту же для всех t дисперсию о,
г
D (ДЧ) = v J] ( г. У = v X {коэфф. хГ в A + *)' (* + 1H = ( 2rr ) v.
'"° D6.71)
532
ГЛАВА 46
Теперь можно получить оценку для v в виде
V =¦
(Г)"
D6.72)
Следует заметить, что в качестве ii'2(ArBt) мы здесь используем
второй момент относительно нуля, а не наблюденную (выбороч-
(выборочную) дисперсию величины Are<, поскольку известно, что среднее
равно нулю. Это до некоторой степени сокращает вычисления.
Br \
г 1при изменении г от 1 до 10 принимает следую-
следующие значения:
¦/СО
0,5
0,166667
0,05
0,0142857
0,02 392825*)
г
6
7
8
9
10
924
3 432
12 872
48 620
184 756
0,02108225
0,03 291375
0,04777001
0,04 205677
0,055411254
•) Запись 0, 0kXY... означает наличие к нулей до пер-
первой значащей цифры X. {Прим. ред.)
46.25 Основанный на равенстве D6.72) метод переменных
разностей состоит в следующем. Вычисляем разности ряда один
раз, находим для них второй момент относительно нуля, делим
его на 2, затем снова вычисляем разности и снова находим вто-
второй момент относительно нуля, деля затем на 6 и т. д. Если по-
последовательные оценки v уменьшаются, продолжаем вычисле-
вычисление разностей. Вообще говоря, наступит момент, когда оценки
перестанут уменьшаться и будут оставаться постоянными, ко-
конечно, с точностью до выборочных ошибок (которые могут быть
довольно велики). На указанной стадии мы можем предполо-
предположить, что систематическая компонента из первоначального ряда
исключена. Последняя из полученных оценок дает нам оценку
дисперсии случайного элемента в первоначальном ряде; а по-
порядок разности, на котором мы остановились, указывает на сте-
степень полинома, представляющего систематическую компоненту.
Пример 46.8
Применим технику переменных разностей к ряду табли-
таблицы 46.1. Отталкиваясь от способа построения этого ряда, за-
заключаем, что, во-первых, систематическая составляющая долж-
должна быть полностью исключена после вычисления третьих раз-
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ' 533
Таблица 46.3
Разности ряда и/ из таблицы 46.1 *)
- t
1
2
3
4
5
6
- 7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
—96
-90
— 17
-32
-11
-59
32
28
22
62
50
2
79
—7
74
85
15
—4
6i
39
1
51
53
48
42
10
75
37
12
96
70
30
52
64-
34
126
58.
57
95
75
158
99
98
159
л
—6
—73
15
—21
48
—91
4
6
—40
12
48
—77
86
—81
-11
70
19
-65
22
38
-50
—2
5
6
32
—65
38
25
-84-
26
40
—22
—12
30
-92
68
1
-38
20
-83
59
1
—61
3
Д2
67
-88
36
-69
139
-95
—2
46
-52
-36
125
—163
167
-70
-81
51
84
-87
-16
88
—48
7
-1
-26
97
— 103
13
109
-НО
-14
62
-10
-42
122
— 160
67
39
-58
103
-142
58
62
—64
27
д»
155
— 124
105
—208
234
-93
—48
98
-16
-161
288
-330
237
11
— 132
-33
171
-71
— 104
136
—41
—6
25
—123
200
— 116
-96
219
-96
—76
72
32
-164
282
—227
28
97
— 161
245
— 200
—4
126
-91
30
Д4
279
—229
313
—442
327
-45
— 146
114
145
—449
618
-567
226
143
-99
—204
242
33
—240
177
-35
-31
148
-323
316
—20
—315
315
-20
—148
40
193
—446
509
—225
-69
258
—406
445
-196
-130
217
— 121
50
д5
508
—542
755
—769
372
101
—260
-31
594
—1067
1185
—793
83
242
105
—446
209
273
—417
212
—4
-179
471
—639
336
295
-630
335
128
— 188
—156
642
—955
764
—186
-327
664
-851
641
-66
-347
338
-171
143
д«
1050
—1297
1524
-1141
271
351
—229
-625
1661
—2252
197а
—876
—159
137
551
—655
—64
690
—629
216
175
—650
1110
-975
41
925
-965
207
316
-32
—798
1597
-1719
950
141
—991
1515
—1492
707
281
—685
509
-314
432
•) В данной таблице разности &ut определены, в отличие от D6.9). соотношением;
Ди/=и/—uf+l. (Прим. ред.)
534
ГЛАВА 46
Продолжение табл. 46.3
t
45
4S
47
48
49
50
51
155
180
201
239
221
270
- 249
д
-24
—21
-38
18
-49
21
д*
—3
17
—56
67
—70
А'
—20
73
—123
137
Д'
-93
195
—250
д*
-289
453
д»
-745
ностей, во-вторых, что случайная часть состоит из элемента с
.дисперсией, приблизительно равной 833. В действительности
дисперсия случайной величины, принимающей целые значения
от 1 до N, равна (N2 — 1)/12, а N в этом случае равно 100. Фак-
Фактическая дисперсия случайной величины в таблице 46.1 рав-
равна 843.
В таблице 46.3 приведены ряд и разности вплоть до Ав. Ве-
.личины Sj — суммы квадратов для столбцов со значениями Д-* —
таковы:
S, = 107 541
S2= 318 115
S3= 1033513
S4= 3 445 308
55 = 11 720 069
56 = 40 548 844
Чтобы получить второй момент, делим Sj на 51—/, а затем,
( 2/ \
чтобы получить оценку, еще на ( . J. Окончательно получаем
следующее:
/
1
2
3
Оценка
1075,41
1082,02
1076,58
/
4
5
6
Оценка
1047,21
1011,05
975,20
Довольно любопытно, что при / = 2 оценка больше, чем при
/ = 1, и все оценки мало отличаются друг от друга. Рассуждая
-стандартно, мы должны были бы прийти к выводу, что систе-
систематической компонентой является полином первой степени, т. е.
лрямая, а дисперсия остаточного члена равна примерно 1000.
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
535.
Читатель не должен удивляться, встречая при анализе та-
такого рода небольших рядов расхождения между теорией и экс-
экспериментом. На самом деле расхождение не столь велико, как.
это кажется. Дисперсия первоначального ряда равна 6272,61.
Деленный на 2 средний квадрат первой разности равен 1075,41,:
так что при вычислении первых разностей было исключено при-
примерно 5/6 дисперсии, и метод показывает, и совершенно пра-
правильно, что большая часть систематической компоненты линей-
линейна. Случайная же компонента довольно велика по сравнению
с нелинейной частью систематической компоненты, так что по-
последняя как бы теряется в первой. Наш ряд слишком мал, что-
чтобы метод переменных разностей мог разделить эти две состав-
составляющие. Рассмотрим, например, кубический член (t — 26K/Ш0.
В первоначальном ряде его значения меняются от —156,25 до-
+ 156,25. Первая разность преобразует этот член в 3(f — 26J/100.
Последнее меняется от 18,75 до нуля и снова до 18,75, тогда
как случайная компонента меняется в диапазоне от 0 до 198.
Уже здесь систематическая компонента поглощена случайной,
и небольшая «случайная корреляция» между ними легко может
вызвать увеличение среднего квадрата вторых разностей.
Возможен также и несколько иной подход. Допустим, что,,
положившись на метод переменных разностей, мы стали рас-
рассматривать наш ряд как пред ставимый в виде суммы линейной
и случайной компонент. Если бы мы методом наименьших квад-
квадратов выделили прямую и стали изучать остаточный член, то,,
вероятно, обнаружили бы весьма слабое отклонение от случай-
случайности.
Выбранное представление отличается от истинной конструк-
конструкции ряда, но оно могло бы послужить основой для построения
почти такого же ряда.
Следовательно, обнаружить слабость нашего представления
можно, лишь установив его несоответствие последующим чле-
членам ряда.
46.26 Метод переменных разностей, таким образом, дает до-
довольно низкую границу для степени полинома, участвующего в
общем или локальном представлении ряда. Остается рассмо-
рассмотреть вопрос о том, когда различия между последовательным»
оценками v начинают обусловливаться лишь эффектом случай-
случайности. Иначе, нам надо решать, когда величины достигают не-
некоторого стационарного уровня. Сумма квадратов Sj равна по-
постоянной, умноженной на второй момент, но, так как ее члены
коррелированы, мы не можем использовать дисперсию второго-
момента, чтобы проверить значимость отклонений от среднего.
Кроме того, Sj и Sj+i коррелированы. Мы перейдем к вычисле-
вычислению выборочной дисперсии их разности, несколько сложная фор-
формула для которой принадлежит О. Андерсону A914).
536
ГЛАВА 46
46.27 Пусть
Тогда имеем
:М-2.
D6.73)
D6.74)
тде ц2 — дисперсия ы. Далее
М (Д'ыL = М {[Ьоиг+1 - Ь,иг + ... + (-1)" 6гы.]2 +
+ [bour+2-blUr+1+ ... +(-1/бгМ2]2+ ...
• • • + [ЬаПп - М»-, + ...+(-1 )' М„-Л2}2. D6.75)
Рассмотрим прежде всего члены, содержащие четвертую сте-
степень ы. Мы получим их из выражения
h ... +&Х-Л2. D6.76)
Пусть теперь
Оо = v«oj + ^«о + b\) + ... + \oq + ... + Or—ij , D6.77)
Л2 (h2 _1_ U2 _L_ J A2"!2 / 2Г ^2 /Mfi 7Й\
Ло = \6o + b\ + .. . + br) = I , I . D6.78)
Тогда член, содержащий Мы4, равен
D6.79)
Остальные члены, содержащиеся в D6.75), есть «члены типа
М (Ы/М^,), / =5^= т». Раскрыв скобки в D6.75), читатель легко
найдет, что коэффициенты при М (м2"^) выражаются в виде
функций от величин
А) = (bob, + btbl+1 + ... + br-ibrf = ( r 2_1 f У D6.80)
и
В2 = F06/J + (боб, + 6,6/+iJ + (боб/ +
+ Ьф,+1+ ... Ч-б^-Л-О2- D6.81)
Выражение для М(ДгыL сводится к выражению
-(я - 2г) ЛоМы4 + 4 {(« - 2г + 1) Л? +
... + S2} М (и*и*т). D6.82)
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
53Г
Заменяя Мм4 на fi4, M (w2,,) на и!> деля на (л — гJBг} и
вычитая ц|, находим дисперсию оценки д. Выражение можно,
однако, несколько упростить. Положив
/-о
г-3
после долгих алгебраических преобразований находим, что
D| 1?^гт-|=гд_7 J 1-"
Пренебрегая членами порядка (л — r)~2, приходим к выраже-
выражению
й4-'
Я — Г
4гЛ Щ /Bг\
2г) п-г/\ г ) '
D6.85>
или, используя приближение Стирлинга для факториалов, к вы-
выражению
^ { /~Щ D6.86)
Последнее служит хорошим приближением для D6.85), ошибка
составляет не более 3 процентов при г ^= 6.
Если величины и соответствуют нормальной совокупности,
ц4 — Зц2 равно нулю и формула соответственно упрощается.
46.28 Сходным образом можно показать, что
cov
i-3i4
1 —
27-;
+
2г
2я - 2г
-'-«
).87)
538
где
ГЛАВА 46
г-1
Г-2
••¦+'(.')•(;:!)"
можем теперь определить дисперсию разности
- Sr+i
и
Общая формула сложна, но для нормального распределения,
-больших лиг^б аналогично D6.86) получаем, что *)
D (разность) - , ?#№- ¦»{,„_ f, ( > )}'¦
"Использование этой формулы для вычислений облегчается, если
заранее заготовить таблицы для входящих в нее коэффициен-
коэффициентов. Здесь можно сослаться на Тинтнера A940), где приведены
таблицы, принадлежащие самому автору, О. Андерсону и Зей-
.кову. Ниже мы рассмотрим несколько дальнейших модифика-
дий, которые до некоторой степени упрощают формулу.
Пример 46.9
Применение метода переменных разностей вплоть до деся-
десятого порядка к данным из таблицы 45.4 (поголовье овец) при-
приводит к следующим результатам:
г ¦
1
2
3
4
5
3468
1442
854
629
518
г
6
7
8
9
10
448
401
' 371
357
347
Значения систематически уменьшаются с увеличением г от 1
до 10, но в конце такое уменьшение очень незначительно. При
г = 6 из D6.88) мы получаем, что дисперсия разности равна
*) Очевидно, равенство D6.88) следует понимать как приближенное, ин-
интерпретируя его правую часть как статистическую оценку теоретической ха-
характеристики, стоящей в левой части. (Прим. ред.)
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ'
539-
приблизительно 80,7, а при г= 10 —приблизительно 25,8. Вы-
Выясняется, что уменьшение дисперсии теряет значимость при
г = 8. Отсюда не следует, конечно, что линии тренда нужно
приписать в точности такой порядок, поскольку совсем не сле-
следует исключать возможности колебаний в линии тренда. В сущ-
сущности, мы бы немного потеряли, если бы ограничились выделе-
выделением «кубического тренда».
46.29 Ясно, что метод переменных разностей не исключает
таких систематических эффектов, как периодические колебания
с малым периодом. Рассмотрим, например, ряд 1, —1, 1, —1, ...
Вычисление первых разностей даст нам ряд 2, —2, 2, —2, '...,
вычисление вторых разностей — ряд 4, —4, 4, —4, ... и т. д!
Пренебрегая эффектами, связанными с небольшими длинами-
рядов, получаем, что дисперсия ряда r-х разностей в 22г раа
больше, чем у первоначального ряда и частное при делении дис-
дисперсии на Г rr J равно
22'(г!J .,—
Bл)!
У яг,
и, таким образом, неограниченно возрастает. В такого рода
ситуациях мы не можем получить оценку дисперсии случайного
элемента, который может в принципе существовать.
Задача исследования разностей между ST и Sr+1, илн, что эквивалентно,
задача проверки близости к единице отношения Sr/Sr+i усложняется тем, что-
разности, которые в этих величинах содержатся, коррелированы. Тинтнер-
A940) и Н. Джонсон A948) предложили методы преодоления указанной1
трудности. Однако эти методы предусматривают отказ от большой части
даииых.
46.30 Существует тесная связь между дисперсией разностей-
ряда и его сериальными корреляциями. Для ряда из п членов-
имеем
п-1
п-1
п-1
Е (и«+1 - utf = Е {{щ+1 -п)~ (щ - п)У =
= Ё (Щ+1 - пТ - 2 Ё (щ+i - п)(щ - ы) + Е (Щ - uf.
Тогда, после деления на п — 1, приближенно
D(Au,) = Dm — 2cov(m<+i, u,)+Dm=2DmA — гх). D6.89)
С той же точностью
D (А%) = ? (ut+2 — 2щ и + utf = Dm F - 8rY + 2^. D6.90>
540 ГЛАВА 46
Точно так же в общем случае
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ'
541
Мы можем аналогично выразить сериальные корреляции в виде
функций от дисперсий разностей.
Положим
Vo==Du-
Тогда можно показать (см. упражнение 46.14), что
D6-92)
46.31 Относительная простота этих формул обусловлена тем,
что мы имеем дело с длинными рядами и можем пренебречь
краевыми эффектами, фактически считая, что
It-l
Е
Я-1
Е
Обсуждаемые формулы можно сделать и точными, если видо-
видоизменить определения так, чтобы исключить краевые эффекты
с самого начала. Определим последовательность специальных
сумм следующим образом:
у хпуп,
D6.94)
D6.95)
D6.96)
Общий закон формирования таких сумм определяется следую-
следующей рекуррентной формулой:
-1
,-хМ'У' + *i+iyt+i)' D6.97)
t-l i~l"
например, у первых трех членов в 2о> коэффициенты равны
?' 1' ?*
Теперь определим новые величины
mVo = ?<m>«7«. D6.98)
mVi = Z(m-l) (А«O2«, D6.99)
Аналогично определим
тгР = Е(т_р) «,",+р/Е(т)«?. D6.101)
Определенные величины в точности удовлетворяют соотноше-
соотношениям D6.91) и D6.93). По-видимому, проще всего в этом убе-
убедиться, рассмотрев ряд
0, 0, 0, щ, и2, .... ы„, 0, 0, 0, ... D6.102)
Первые разности равны
0, 0, ы„ ы2 — «1, •••, «п — «п-1. —«л. 0, 0, .... D6.103)
а сумма их квадратов равна
¦ ¦ у—, ч it. „ • » —,--/ Ji,-/-/+1
Для такого ряда D6.97) эквивалентно равенству
п я
D6.104)
Соображения, которые привели нас к D6.91) и D6.93), остают-
остаются в силе и для бесконечных рядов, а значит, и для ряда
D6.102). Следовательно, D6.91) и D6.93) справедливы и для
наших модификаций величин V и г.
46.32 До сих пор мы говорили прежде всего об использова-
использовании метода переменных разностей для определения порядка по-
полинома, осуществляющего наилучшее выравнивание. Процедура
поиска кончалась, когда величины V переставали существенно
меняться при вычислении дальнейших разностей. Но предпо-
542
ГЛАВА 46
лагая, что первоначальный ряд представим в виде суммы поли-
полинома и случайной «ошибки», мы можем при заданных величи-
величинах V интересоваться и тем, какова наилучшая оценка диспер-
дисперсии ошибки. Этот вопрос изучался Кенуем A953b), который
искал линейную функцию величин V, имеющую минимальную
дисперсию. В большинстве практических ситуаций было бы бо-
более реалистично исследовать наличие сериальных корреляций
среди ошибок. Если же наличие сериально коррелированных
ошибок задано, задача состоит в распространении метода пере-
переменных разностей на случай оценивания сериальных корреля-
корреляций. Этот вопрос также рассматривался Кенуем. См. упражне-
упражнения 46.9—11.
46.33 Как бы мы ни решали нашу задачу, подбирая ли поли-
полином непосредственно, используя ли скользящие средние или ка-
какой-либо другой процесс сглаживания, мы все равно столкнемся
с трудностями, о которых упоминалось в 46.18. Исключение
тренда исказит остаточный член, и, по-видимому, избежать
этого нельзя. Можно лишь стремиться к наилучшему поведению
в такой ситуации и поступать здесь можно двояко: можно выби-
выбирать методы, которые при прочих равных обстоятельствах ми-
минимизируют искажения, и можно организовывать процедуру
так, чтобы при возникновении опасений на любой последующей
стадии анализа можно было бы выделить обусловленные сгла-
сглаживанием искажения из элементов остаточного ряда. Перейдем
к исследованию возможностей второго направления.
46.34 Предположим, что мы разбили наш ряд из п членоа
на последовательные группы и в каждой группе выравниваем
члены полиномом одного типа. Внутри каждой группы мы мо-
можем получить удовлетворительную линию тренда. Но ясно, что
линия тренда каждой группы должна соединяться с линией по-
последующей группы, причем, в каком-то приемлемом смысле,
гладко.
Это условие, которое мы вскоре рассмотрим более детально,
является ограничением, налагаемым на методику, в целом же
описываемый подход имеет то преимущество, что позволяет ис-
исследовать ряд как последовательность независимых блоков и
применять к последним дисперсионный анализ. Метод можно
рассматривать как компромиссный вариант между методом
скользящих средних и полиномиальным выравниванием членов
всего ряда. Он подробно рассматривался Роудсом A921). Об-
Обобщения принадлежат Кеную A949а).
В качестве простого примера рассмотрим выравнивание ряда
прямыми линиями по группам, состоящим из трех элементов.
Если сглаженное значение «i есть 2bt, а сглаженное значение Ыз
есть 262) то в качестве сглаженного значения ы2 следует взять
6i + Ьг. Далее, пусть сглаженное значение «5 есть 263 («з мы
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
543
уже сгладили с помощью 262)> сглаженное значение Ы4 есть
Ьг + Ьз и т. д. В результате имеем следующие значения:
действительные: ы, и2 и^ м4 ы5 м5 ы7 ...
выровненные; 26, 6, + 62 2Ь2 Ъ2 + 63 263 63 + 64 264 ...
D6.105)
Так определенная линия тренда непрерывна, но ее первая про-
производная терпит разрыв в моменты «времени» 3, 5, 7 и т. д.,
иначе, линия состоит из прямых отрезков, каждый из которых
содержит три выравненных элемента.
46.35 Значения постоянных Ъ можно определить, как обычно,
методом наименьших квадратов, т. е. минимизируя
(и, - 26,J + {и, - F, + Ь2)У + (ы3 - 262J + ..., D6.106)
что приводит к системе уравнений
2м, + щ — 56, — Ь2 = 0, |
«2 + 2 + и4 — 6[ — 662 — 63 = 0, (
D6.107)
Решить эти уравнения нетрудно, но их можно сильно упро-
упростить, если вновь модифицировать схему так, чтобы исключить
краевые эффекты. Пусть исследуемый временной ряд представ-
представлен нечетным числом членов Ui, ..., ы2т+1. Заменим наш ряд
на ряд
2-(Ml+«2m+l), «2. «3. •••» т. J ("l + M2m+l)- D6.108)
«Выравненные величины» 6 выберем равными
6, + 6т, 26„ 6, + 62, .... 2Ьт, Ь, + Ьп. D6.109)
Такой выбор аналогичен процедуре 45.34, где мы последний
член приравнивали первому и, следовательно, превращали ряд
в циклический. Положив «[ =-j (^ +«2m+i)> минимизируем
сумму
К - (*, + bm)f + («, - 26,J + ... + (и2т - 2Ьту.
Приходим к уравнениям
63
663
== «3 + 2Ы4 + «5 = ?А>
= щ + 2ы6 + щ = U6,
D6.110)
544
ГЛАВА 46
Преимущество такой формы в том, что коэффициенты при ве-
величинах b образуют симметрическую циркулянтную матрицу и
система уравнений может быть решена одним из стандартных
способов. (Методику смотри у Кенуя, 1949а, и Гуда, 1950 — см.
упражнение 46.13). В результате величины Ъ должны быть вы-
выражены в виде линейных функций от величин U из D6.110).
В упражнении 46.12 полученные результаты обобщаются.
Пример 46.10 :
Вернемся к данным таблицы 46.1. Значения щ у нас будут
такие же, как и в столбце D) с тем исключением, что и± и «si
мы заменим на (ui + u5i)/2. Все ut вновь приведены в табли-
таблице 46.4. Значения Ut приведены в третьем столбце, а соответ-
соответствующие значения bt — в четвертом. Так, например,
U2 = 76,5 + 2 (—90) •+ (—17) = — 120,5,
?/50 = 221 + 2 B70) + 76,5 = 837,5.
Таблица 46.4
Ряд таблицы 46.1, «выровненный прямыми по трем точкам»
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
Н
, 76,5
—90
-17
-32
-11
-59
32
28
22
62
50
2
79
1
74
85
15
4
61
39
1
51
53
48
42
10
75
ut
—120,5
—92
-97
ПО
193
133
139
259
68
140
156
191
137
—40,3681
—5,6002
—18,0309
16,7855
27,3178
15,3071
13,8390
40,6586
1,2096
20,0840
18,2862
26,1987
15,5212
t
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
Всего
"t
37
12
96
70
30
52
64
34
126
58
57
95
75
158
99
98
159
156
180
201
239
221
270
76,5
—
161
274
182
214
344
267
403
454
572
717
900
837,5
6545,0
17,6740
39,4348
19,7171
24,2620
48,7106
27,4740
53,4452
54,8549
71,4253
88,5930
114,0164
127,3086
818,1244
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ 545
Также
66, + Ь2 + Ьт = —242,2086—5,6002 + 127,3086 = —120,5002 = U2
и т. д. Выровненные значения получаются немедленно, напри-
например при t — 2 ы2 = —90; 26t = —80,74; при t = 3 ы3 = —17;
bi + Ь2 = —45,97. При t = 1 ui = 76,5; ^ -f- fe^ = 86,94.
Как обычно, при «выравнивании наименьшими квадратами»,
нам не нужно вычислять каждый остаточный член, чтобы полу-
получить сумму квадратов, так как (см. C5.1)) остаточная СКравна
В нашем примере
?«?=¦ 474 458,25,
X btUt = 448 274,26,
Разность = 26,184.
Мы получили 25 величин b для 51 наблюдения. На наблю-
наблюдения было наложено одно условие, так что число ст. св. при
оценивании остаточной дисперсии равно 25. Значение оценки
равно 26,184/25 = 1047, в то время как в примере 46.8 (при вы-
вычислении лишь первых разностей) мы получили значение 1075.
Можно поступать и лучшим образом. Метод выравнивания
по трем точкам предполагает, что может существовать корре-
корреляция между наблюденными остатками в соседних точках вну-
внутри троек, и корреляции нет, если точки принадлежат разным
группам.
В действительности мы можем рассматривать ряд в виде
(п— 1)/2 блоков по два элемента. Две разности в выровненной
триаде имеют вид Ь2 — Ьи 62—&ь Сумма квадратов внутри
блока оценивается выражением o"l2_i"'—2_i Ui+l) ' котоРое
оказывается равным 406,12. Мы можем теперь рассмотреть пол-
полную сумму квадратов. Имеем
Выравненные величины
Внутри блоков
Остатки
Ст. св.
25
1
24
50
СК
448274,26
406,12
25777,87
474458,25
«Средний квадрат>
1074
«Остаточный средний квадрат» теперь почти полностью со-
согласуется со значением, полученным в примере 46.8 с помощью
18 М. Кендалл, А. Стьюарт
546
ГЛАВА 46
первых разностей. Фактически согласие более полное, чем мы
имели право ожидать.
Более пространное изложение этой темы можно найти у Ке-
нуя A949а). Впоследствии Кеиуй решал задачу выравнивания
так, чтобы отдельные элементы линии тренда соединялись
гладко.
Сезонные колебания
46.36 При анализе сезонных колебаний одно важное обстоя-
обстоятельство облегчает решение задачи и одно второстепенное ме-
мешает решению. Облегчает положение нам тот факт, что мы
знаем, что период колебаний равен одному году. Мешает реше-
решению задачи то обстоятельство, что наблюдения обычно прово-
проводятся лишь через определенные интервалы: ежеквартально,
ежемесячно, еженедельно. Большинство выводов, относящихся
к сезонным колебаниям в течение года, может быть адекватно
распространено и на циклические процессы с иным периодом.
Примерами могут служить изменение температуры в течение
дня или цен в течение недели. Ради простоты изложения мы
ограничимся сезонностью в строгом смысле этого слова.
46.37 Часто сезонность выражена настолько ярко, что нет не-
необходимости доказывать ее существование. Однако имеются та-
такие ситуации, когда мы не уверены, не обусловлена ли эволю-
эволюция членов ряда случайными колебаниями наложенными на
тренд или флуктуациями нециклического характера. Поэтому
прежде всего нам нужен критерий для проверки наличия сезон-
сезонности, и в любом случае мы должны уметь измерять сезонные
эффекты. Проиллюстрируем наши возможности на покварталь-
поквартальных данных таблицы 46.5 (поквартальные индексы розничной
цены на овощи). В таблице 46.6 приведены данные после вы-
выбора нового начала координат и масштаба.
Таблица 46.5
Поквартальные индексы розничной цены на овощи
в Соединенном Королевстве, 1951—8.
(Данные из Journal of the Royal Statistical Society.)
Первый
квартал
2-й
3-й
4-й
1951
295,0
317,5
314,9
321,4
1952
324,7
323,7
322,5
332,9
1953
372,9
380,9
353,0
348,9
194
354,0
345,7
319,5
317,6
1955
333,7
323,9
312,8
310,2
1956
323,2
342,9
300,3
309,8
1957
304,3
285,9
292,3
298,7
1958
312,5
336,1
295,5
318,4
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ'
547
Таблица 46.6
Данные таблицы 46.5 при начале отсчета 300.
Все значения умножены на 10
Первый
квартал
2-й
3-й
4-й
1951
-50
175
149
214
1952
247
237
225
329
1953
729
809
530
489
1954
540
457
195
176
. 19"Щ
337
239
128
102
1956
232
429
3
98
1957
43
—141
—77
—13
1958
125
361
—45
184
46.38 Исследуем прежде всего возможности критериев, сво-
свободных от распределения. Было бы соблазнительно ранжиро-
ранжировать кварталы внутри каждого года (от 1 до 4) и рассмотреть,
как меняется ранжировка от года к году. Однако недолгое раз-
размышление показывает, что такая процедура не может отличить
сезонность от тренда. Если бы данные равномерно росли по
времени, а в этом случае сезонности нет, у первого квартала
всегда был бы наименьший ранг. Фактически, чтобы добиться
успеха, нам необходимо в качестве первого шага исключить
тренд.
Модель, которую мы использовали до сих пор, заключалась
в аддитивном представлении временного ряда, но по очевидным
причинам разумно считать, что влияние сезонности, носит муль-
мультипликативный характер. Таким образом, введем «годовые» ве-
величины у, «сезонную» величину s (постоянная пропорциональ-
пропорциональности, не меняющаяся от года к году), случайную ошибку в н
рассмотрим следующую модель:
utq = ytsq + z, t=\, .... о; q=l, 2, 3, 4. D6.111)
Если тренд мал, сезонность можно характеризовать аддитивной
постоянной (а не постоянной пропорциональности), и тогда
можно записать, что
uiq=yt + sq + e. D6.112)
Последнее представляет обычную модель дисперсионного ана-
анализа с двухфакторпой перекрестной классификацией.
Если тренд ярко выражен, D6.112) представляется посред-
посредственной аппроксимацией, и безопаснее работать с моделью
log utq = log yt + log sq + tj. D6.113)
Простейший путь использования D6.111) состоит в том, чтобы
делить ut на среднее yt по рассматриваемому году и затем рас-
рассматривать полученные отношения как оценки мультипликатив-
мультипликативного сезонного фактора. .
18*
548
ГЛАВА 46
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
549
Применительно к таблице 46.5 это выглядит так. На 1951 г.
квартальное среднее равно 312,2. Разделив поквартальные
величины на это среднее, получим ряд (в %): 94,49; 101,70;
100,86; 102,95. Аналогичные вычисления по всем годам дадут
следующее:
Первый
квартал
2-й
3-й
4-й
1951
94,49
101,70
100,86
102.95
1952
99,62
99,31
98,94
102,13
1953
102,47
104,66
97,00
95,87
1954
105,92
103,44
95,60
95,03
1955
104,23
101,17
97,70
96,89
1956
101,30
107,48
94,12
97,10
1957
103,05
96,82
98,99
101,15
1958
99,0
106,49
93,62
100,88
Среднее
101,3
102,6
97,1
99,0
Представляется разумным выписать среднее поквартальных
данных по всем годам для того, чтобы оценить сезонную компо-
компоненту (определенная выше постоянная). Это сделано в послед-
последнем столбце. Если бы мы хотели «подправить» первоначальные
данные с целью исключения сезонности, мы должны были бы
разделить данные за первые кварталы на 101,3, данные за вто-
вторые кварталы на 102,6 и т. д.
46.39 Иной подход заключается в предварительном исключе-
исключении тренда методом скользящих средних и последующем изуче-
изучении остаточных характеристик сезонности. Мы здесь конечно,
рискуем исказить остаток. Однако если организовывать сколь-
скользящее усреднение с осторожностью, можно минимизировать
искажение настолько, насколько это касается сезонности. В сущ-
сущности мы отмечаем в 46.16, что если простое скользящее сред-
среднее (с равными весами) берется по отрезку длиной, равной пе-
периоду циклической компоненты, то значение тренда от этой
компоненты равно нулю, так что остаток остается незатронутым.
Для данных таблицы 46.5 это означает использование про-
простого скользящего среднего четырех элементов, что эквива-
эквивалентно исключению линейного тренда. Наши первоначальные
данные, однако, являются средними ценами за квартал и отно-
относятся, следовательно, к временным интервалам длиной в три
месяца и с центрами: 15 февраля, 15 мая, 15 августа, 15 ноября
(или что-то возле этого). Усреднение по четырем элементам
приведет нас к значениям тренда в точках, находящихся где-то
посередине между этими датами. Чтобы иметь возможность
сравнивать полученные средние с первоначальными данными,
соответствующие временные точки надо сдвинуть. Для этого мы
«центрируем» среднее. Наиболее просто это сделать, взяв сред-
средние последовательных пар средних, вычисленных по четырем
элементам. Так, в таблице 46.6 среднее первых четырех значе-
значений равно 122, а от второго до пятого равно 196,25. Среднее
этих двух чисел—159,125 рассматривается как значение трен-
тренда, соответствующее третьему кварталу 1951 г., где первона-
первоначальное значение ряда равно 149. Ясно, что процесс эквивален-
эквивалентен вычислению среднего пяти элементов с весами
-§¦[1, 2, 2, 2, 1].
46.114)
Остатки, полученные при обработке в том же духе всех данных
таблицы 46.6 приведены в таблице 46.7. Отклонения средних
(вычисленных по семи годам для каждого из четырех кварта-
кварталов) от общего среднего, равного 24,01/4, равны 62,45, 86,17,
—88,39, —60,26. Если бы использовались первоначальные вели-
величины, соответствующие значения равнялись бы 306,25, 308,62,
291,16, 293,97 или (в процентах от среднего)— 102,1, 102,9, 97,1,
'98,0. Наблюдается существенное отличие от результатов, полу-
полученных методом 46.38.
46.40 Интересно также посмотреть, что будет, если мы ис-
исключим тренд, осуществляя более тщательное скользящее усред-
усреднение. Рассмотрим выравнивание кубическим полиномом по
семи точкам с весами [—2, 3, 6, 7]/21. Остатки указаны в таб-
таблице 46.8. Индексы сезонности оказываются равными
102,3, 102,3, 97,3, 98,1,
в то время как ранее мы получили
101,3, 102,6, 97,1, 99,0 (в 46.38)
102,1, 102,9, 97,1, 98,0 (в 46.39)
Хотя общая картина во всех случаях одна и та же («сезонный
пик» во втором квартале, «сезонная яма» в третьем), между ре-
результатами имеются достаточно большие различия, чтобы толк-
толкнуть нас на вычисления, требующие большей аккуратности. Мы
склонны использовать метод 46.39. Есть некоторая опасность,
что выравнивание методом 46.40 слишком хорошо в том смысле,
что линия тренда включает часть сезонных эффектов. Представ-
Представляется невозможным, однако, установить полностью объектив-
объективное правило, разделяющее тренд и сезонность. Мы бы рекомен-
рекомендовали попробовать несколько методов и выбрать тот, что дает
наиболее разумные результаты. В публикациях же следует точ-
точно устанавливать, что именно было сделано.
Иногда к хорошим результатам приводит итеративный про-
процесс: исключается грубый тренд, оценивается сезонный фактор,
первоначальные данные подправляются с целью исключения се-
сезонности, вновь оценивается тренд и т. д. Или снова вместо
простого среднего (как в 46.38) можно взять скользящее сред-
среднее, чтобы получить скользящий индекс сезонности.
550
ГЛАВА 46
се
«3 О
се *"
Н S
¦и
о.
о
с
S
S
§
S
1
5
о,
О
см
о
of
1
о
in
1. .
1С* to"
со m
8
о
2
о
с
со
со'
I
ч
«з
3
S
id
I
«я"
in о о
S Ю Ю
°°. ¦Н °i
N О* СП
О f Ч-
О 1 О
©_ оо_ о
оо" со" со"
со to oi
8
to
S
о ю о
Ю N О
см_ со. о_
со" о" ^
CN СО О>
ю
So
in ю о
N И О
00 СО О
ю — со
N (N Я
о in о
Ю CN О
s вв о
in"
00
ю
(М
см ю о
~^. ^ *^
об" г? с*
1 СП <М
I 1
•я
я
ш
CL
со
С
CN
СО -Ч<
= S
ч
се
к
i
о,
О
S
СО
§}
СВ
со
СВ
*g
—1
1954
en
8
1951
ю
со1"
со
in
1
со
in"
S
со
со"
от
со
ю
79,
Z
30,38
+
¦
а,
са
К)
¦s
ерв
С
со
со"
J ,
00
96,
со
,24
-84
с-
1П
со"
о
со
^7
CS
CN
82,
ч
in"
со
29,19
+
О)
со"
00
1
CN
7
,38
—
*s
7
CO
in"
CO
1
^—
00.
-106,
in
со"
-.2
¦53,71
1
*?
CO
CO
58,
1
00
10,
7
,00
-54
^—
00_
ю"
Ol
о
t--T
T
00
^*
-70,
fe
cn"
T
28,67
I
-12,67
>S
-4"
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
551
46.41 Как мы увидим в главе 49, спектральный анализ помо-
поможет нам глубже разобраться в вопросах исключения тренда
при нахождении как случайного остатка, так и сезонной компо-
компоненты. Мы увидим, что по крайней мере в определенных слу-
случаях можно подправлять спектральную функцию с целью устра-
устранения искажений, обусловленных выравниванием.
46.42 Существует несколько сложных программ для электрон-
электронно-вычислительных машин, позволяющих разбить ряд на тренд,
сезонную и остаточную компоненты. Эти программы могут
включать в себя не один процесс изоляции каждой компоненты;
например, могут использоваться предварительное сглаживание,
первое приближение к сезонной компоненте, более точное вы-
выделение тренда, дальнейшее приближение к сезонной компо-
компоненте и т. д. «Чтобы узнать вкус пудинга, надо его отведать»,
и следует отметить, что такие программы работают вполне хо-
хорошо при решении широкого класса практических задач из эко-
экономики и социологии. Обсуждаемый вопрос рассматривался в
работах Шискина A955), Эйзенпресса A956), Шискина и Эй-
зенпресса A957) и Бёрмэна A965).
УПРАЖНЕНИЯ
46.1 Значения ряда, заданные во временных точках —т, ..., т (всего
2т + 1 значений), выравниваются прямой. Показать, что для этой примой
а°= 2т+1 2-iUt'
2т+
т (т + 1) Bт + 1)
Ы*'
Получить отсюда, что сумма квадратов коэффициентов основанного на такой
прямой скользящего среднего в точке t = ] равна
1 г.. *¦ г].
2/п+ 1
т (т +
46.2 Выравнять кубическим полиномом последние семь значений ряда из
таблицы 45.4 (поголовье овец) и показать, что тренд для последних четырех
значений равен 1639, 1687, 1750 и 1807.
46.3 Показать, что веса в формуле Спенсера для 21-й точки равны
gggf-1, -3, -5, -5,6, 18, 13,47, 57, 60]
н что если формулу применить к случайному ряду, новая дисперсия будет
¦составлять приблизительно одну седьмую от первоначальной — приблизитель-
приблизительно то же дало бы простое скользящее усреднение по семи элементам.
46.4 Показать, что веса в формуле Меколи для 43 точек —
9§оП2][8][5р[1, -1,0,0,0,0,0,0,1]
[7, 18, 30, 40, 45, 28, -8, -60,-122,-178,-205,-190, -127,-6,
163, 360, 562, 760, 928, 1050, 1127, 1156] и что уменьшение дисперсии случай-
лого ряда здесь приблизительно такое же, как и при простом усреднении по
девяти элементам.
равны
1
9600
552
ГЛАВА 46
46.5 Пусть 8( — случайный ряд. Показать, что корреляция между после-
последовательными членами ряда Д*е( для больших рядов равна —&/(&+') н»
следовательно, стремится к —1 при увеличении к. Показать, что если и( —
сумма случайного и систематического полиномиального элементов, знаки у
соседних членов ряда Д*ы( с ростом k все чаше оказываются противополож-
противоположными. Проверить это, обратившись к таблице 46.3.
46.6 Исключая б2 из D6.28), показать, что для кривой третьего порядка
точная линия тренда получается с помощью процедуры
¦w}.
№-k2
Обобщить этот результат.
(См. Хигхем, 1882—5 >
46.7 Показать, что для больших случайных, рядов нормальных величии
с дисперсией а2 выборочные сериальные корреляции не коррелированы и чи»
Отсюда и из D6.92) получить для больших выборок формулу
Dv -201 i, , 2р* __,_ 2р2(р-1J
(Кенуй, I953b>
46.8 Показать, что в обозначениях 46.30, применительно к случайным раз-
раздам с дисперсией а2 и четвертым семиинвариантом Ki
(Кенуй, 1953Ь.>
46.9 Пусть в предыдущем примере дана оценка дисперсив ошибки
т+р
<
i-ro+1
с дисперсией (х< + Ха*)/п. Показать, что дисперсия минимальна, если
т+р
т+р
Z
i-m+l
(Кеиуй, 1953Ь.>
46.10 Ряд состоит из полинома от / степени т и компоненты, у которой
дислерсия для всех t одна и та же, но последовательные члены могут быть,
сериально коррелированы.
Пусть Rip = (р + 1) (р + 2) AVp/2!, р =пг, т+ 1, ... Показать, что для,
больших рядов
*Р г , 9Р(Р-Р г 16р(р-1)(р-2)
и, следовательно, что М (Rip) = а2/ч, если сериальные корреляции порядка
больше первого равны нулю.
ВРЕМЕННЫЕ РЯДЫ. ТРЕНД И СЕЗОННОСТЬ
553
46.11 Вновь обращаясь к предыдущему примеру, показать, что если се-
сериальные корреляции порядка, большего т, равны нулю, М (Rmp) = а2гт, где
/? _ (Р + 2т- 1)(р+2т) >п
Ктр Bт-1)Bт) ^»-ьР.
(Кенуй, 1953b.)
46.12 Обобщая сказанное в 46.34, показать, что если постоянные а опре-
определить соотношением
то группы весов
определяют выравнивание кривой степени d по группам из s точек.
(Кенуй, 1949а.)
46.13 Пусть циркулянтная матрица
А = {аг_у}, i, / = 0, 1,..., я—1,
где индексы складываются по модулю я. Показать, что
п-\ п-\
s-0 г-о
где о) = ехр{2я«/я} (я-й корень —1). Показать также, что собственные числа К
матрицы Л даются соотношениями
~~ *=>0, 1 я-1.
п-1
as=— У М»".
Я 4—1
Г-0
Учитывая, что собственные числа А~1 равны Х~1, показать, как обратить А.
(Гуд, 1950.)
46.14 Воспользовавшись соотношеннем
Bcos8)<- ...
л положив г = е , вывести равенство D6.93).
46.15 Последовательность значений ряда М(, заданных при t = —т, ...
..., 0 т, выравнивается методом наименьших квадратов кубическим
з
полиномом V a.tL Показать, что последний равен
/-о
~ C ~ 7)
. + 20
554
ГЛАВА 46
46.16 У случайного ряда «исключен тренд» методом скользящих средних
с весами [a_m, a-(m-i). ..., До]. Показать, что сериальные корреляции остат-
остатков приблизительно равны величинам
m—k
Сравнить значения, полученные после применения этих формул к данным таб-
таблицы 46.1 (ряд A0)), с истинными значениями
/-!=.—0,411, г2 = — 0,244, г3 = 0,231,
г4 = 0,143, г5 = 0,007.
ГЛАВА 47
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
47.1 После исключения из временного ряда компонент, соот-
соответствующих тренду и сезонным изменениям, остается ряд, пред-
представляющий осцилляции около некоторой постоянной величины.
Последние могут оказаться пренебрежимо малыми, и тогда сле-
следует признать, что на самом деле первоначальный ряд состоял
лишь из тренда и сезонной компоненты. Напротив, в ряде мо-
может отсутствовать тренд и сезонность, и тогда мы имеем дело
с чистыми осцилляциями. В настоящей главе мы будем изучать
такие осцилляции, предполагая, что тренд и сезонность или от-
отсутствуют или исключены. Строго говоря, сезонные эффекты
следует также рассматривать как осцилляции и не исключать
их заранее. Но, как мы позже увидим, осцилляции, носящие се-
сезонный характер, составляют скорее исключение, чем правило,
и лучше всего, настолько, насколько это возможно, рассматри-
рассматривать их отдельно.
47.2 Начнем с некоторых интуитивных предположений. Таб-
Таблица 45.1 (урожайность ячменя) дает нам пример флуктуации
относительно среднего значения, которые происходят в некото-
некоторых ограниченных пределах. С другой стороны, можно встретить
и ряды, где размах осцилляции систематически растет (как, на-
например, на рис. 47.1, а) или сам претерпевает колебания (как
на рис. 47.1,6). Мы исключим такие случаи из рассмотрения
и сконцентрируем наше внимание на рядах, у которых ампли-
амплитуда остается более или менее постоянной во времени. Это не
означает, что амплитуда колебаний должна быть всегда одной и
той же., мы исключаем лишь случай систематических изменений.
47.3 Чтобы сделать наши рассуждения строгими, рассмотрим
упорядоченную последовательность случайных величин щ, и%, ...
..., ип. Пусть функция распределения любых п последователь-
последовательных величин и, скажем щ+\, ..., щ+п, равна
F(ut+l, .... щ+п). D7.1)
Если F не зависит от t при всех целых п > 0, будем гово-
говорить, что F определяет стационарный ряд. В этом случае лю-
любые п последовательных величин имеют одно и то же распре-
распределение независимо от места, которое они занимают в ряде.
554
ГЛАВА 46
46.16 У случайного ряда «исключен тренд» методом скользящих средних
с весами [а-т, ct-(m~о, ..., Ио]. Показать, что сериальные корреляции остат-
остатков приблизительно равны величинам
ro-fe
f—-m
aiai+k-2ak
^a*-2aj+l
Сравнить значения, полученные после применения этих формул к данным таб-
таблицы 46.1 (ряд A0)), с истинными значениями
/",=.—0,411, г2 = —0,244, гз = 0,231,
и = 0,143, г5 = 0,007.
ГЛАВА 47
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
47.1 После исключения из временного ряда компонент, соот-
соответствующих тренду и сезонным изменениям, остается ряд, пред-
представляющий осцилляции около некоторой постоянной величины.
Последние могут оказаться пренебрежимо малыми, и тогда сле-
следует признать, что на самом деле первоначальный ряд состоял
лишь из тренда и сезонной компоненты. Напротив, в ряде мо-
может отсутствовать тренд и сезонность, и тогда мы имеем дело
с чистыми осцилляциями. В настоящей главе мы будем изучать
такие осцилляции, предполагая, что тренд и сезонность или от-
отсутствуют или исключены. Строго говоря, сезонные эффекты
следует также рассматривать как осцилляции и не исключать
их заранее. Но, как мы позже увидим, осцилляции, носящие се-
сезонный характер, составляют скорее исключение, чем правило,
и лучше всего, настолько, насколько это возможно, рассматри-
рассматривать их отдельно.
47.2 Начнем с некоторых интуитивных предположений. Таб-
Таблица 45.1 (урожайность ячменя) дает нам пример флуктуации
относительно среднего значения, которые происходят в некото-
некоторых ограниченных пределах. С другой стороны, можно встретить
и ряды, где размах осцилляции систематически растет (как, на-
например, на рис. 47.1, а) или сам претерпевает колебания (как
на рис. 47.1,6). Мы исключим такие случаи из рассмотрения
и сконцентрируем наше внимание на рядах, у которых ампли-
амплитуда остается более или менее постоянной во времени. Это не
означает, что амплитуда колебаний должна быть всегда одной и
той же, мы исключаем лишь случай систематических изменений.
47.3 Чтобы сделать наши рассуждения строгими, рассмотрим
упорядоченную последовательность случайных величин щ, и%, ...
..., ип. Пусть функция распределения любых п последователь-
последовательных величин и, скажем m+i щ+п, равна
F(ut+l, ..., ui+n). D7.1)
Если F не зависит от t при всех целых п > 0, будем гово-
говорить, что F определяет стационарный ряд. В этом случае лю-
любые п последовательных величин имеют одно и то же распре-
распределение независимо от места, которое они занимают в ряде.
556
ГЛАВА 47
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
55*
Положив в частности п = 1, мы видим, что все члены ряда
одинаково распределены.
В общей теории случайных процессов, частным случаем которых являются
стационарные временные ряды, принято определять стационарность в более
широком смысле. Процесс называется стационарным по среднему, если все-
величины и имеют одно и то же математическое ожидание, и стационарным
по дисперсии, если все и имеют одну и ту же дисперсию. Наиболее часто мы
будем использовать следствие свойства стационарности D7.1), касающееся
имеем
Рис. 47.1 (см. текст).
постоянства средних и дисперсии членов ряда, однако весьма важную роль-
будут играть и смешанные моменты величин и, а также то обстоятельство,
что все величины и имеют одно и то же распределение.
47.4 Итак, мы рассматриваем определенную функцией рас-
распределения D7.1), вообще говоря, неограниченную последова-
последовательность случайных величин. В этом случае при определений-
средних значений мы сталкиваемся с новой проблемой. Во-
первых, мы можем рассматривать значения какого-либо одно-
одного и, например щ, в различных рядах, которым соответствует
D7.1). Во-вторых, можно рассматривать предельное поведение
некоторой последовательности величин и (или функции от этих
величин), скажем щ, ..., ип при п—>со.
В первом случае мы должны рассматривать среднее значе-
значений Mi в различных рядах, полученных любыми способами, не
противоречащими D7.1). Каждый такой ряд в принципе воз-
возможен, и любой такой практически реализованный ряд мы бу-
будем называть реализацией процесса. Однако на практике, как
правило, мы имеем дело лишь с одной реализацией. Иначе го-
говоря, в определенном смысле нам дана выборка, состоящая
лишь из одного наблюдения над процессом. Вскоре мы увидим,
почему это обстоятельство не ограничивает серьезно возмож-
возможности исследования.
47.5 Здесь и в дальнейшем мы будем предполагать, что
среднее и дисперсия величин и существуют. Тогда для всех t
111
utdF (ut),
оо
а2 = М (щ -»?= J (щ - цJ dF (щ).
D7.2)
D7.3)
Будем также предполагать, что для любой пары величин и су-
существуют автоковариации
Y/ = М {(щ — ц) (и,+/ — ц)} = v_y {47.4)
и соответствующая автокорреляция
Р, = Y,./cr2 = Р_г D7.5)
Как мы отмечали в 45.33, совокупность коэффициентов
Ро(=1),РьР2, ... называют коррелограммой ряда. Мы должны
отличать теоретическую коррелограмму, основанную на автокор*
реляциях, от наблюденной коррелограммы, основанной на сери-
сериальных корреляциях некоторого ряда длины п.
47.6 Для любого заданного п теоретическая корреляционная
матрица последовательности щ, ш+и • • • является матрицей Ло-
Лорана
A Pi P2 ¦.. Prt-l\
Pi I Pi ... Ра-г 1 D7.6)
Рп-1 Рп-2 Pt-3 ... 1 '
Элементы любой диагонали, идущей с «северо-запада на юго-
восток» равны между собой.
Пример 47.1
Из неотрицательной определенности матрицы Лорана сле-
следуют определенные условия совместимости коэффициентов авто-
автокорреляции. Определитель любого минора, основанного на глав-
главной диагонали, не может быть отрицательным. Так, например,
1 —
Pi 1
(тривиальный результат),
1 Pi Рг
pi 1 pi =1 -]-2p2(p2— П—p2 = (l—p2)(l—2p2-bp2)>0. D7.7)
p2 Pi 1
Таким образом, если р2 ф 1 (и даже в противном случае), то
р2>2р|-1,
что уже никоим образом не является тривиальным результатом.
558
ГЛАВА 47
Пример 47.2
В качестве примера схемы, порождающей автокоррелирован-
автокоррелированный стационарный ряд, рассмотрим процесс щ такой, что
Щ+\ — РЩ + 8^+1, D7.8)
где е — случайная величина с нулевым средним, и величины еР
и eg не коррелированы при р ф- q. Тогда
и, возможно, за исключением тривиального случая р = 1, из
условия стационарности следует, что при всех t
Мы, = 0. D7.9)
Из D7.8) следует, что т зависит от ги Et-i, Et-г и т. д., но не
зависит от 6(+i. Поэтому
М {щ (ut+i — рщ)} — М (щг(+1) = 0,
и, следовательно,
cov (ut, ut+1) = pDut = pa2,
и корреляция между щ и ut+i равна р:
М{и,ы,+1}/Мы2 = р. D7.10)
Для pk — автокорреляции fe-ro порядка точно также полу-
получаем
М {ut (ut+k — P"t+ft-i)} = °2 (Pfe — PPfe-i) = °>
и, следовательно,
Пример 47.3
Из того факта, что матрица Лорана симметрична относи-
относительно главной диагонали, следует одно несколько неожиданное
свойство схем, построенных в духе предыдущего примера.
А именно, такие схемы можно столь же хорошо определять об-
обратными соотношениями, т. е. соотношениями типа
ть D7.12)
где ц{ — какая-то другая случайная величина. Как и прежде,
легко видеть, что щ не зависит от iq*—i и> следовательно, из
D7.12), заменив t на t— 1, получаем, что
М {щ (ut-j — put)} — М («tTh-i) = 0»
откуда снова следует, что первая автокорреляция равна р.
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
559
47.7 Во временных рядах переход от теоретических распреде-
распределений к выборочным и изменение направления порождают не-
несколько новых задач, которые мы позже детально рассмотрим.
Но прежде всего, без ущерба для дальнейшего обсуждения, при-
приведем несколько примеров выборочных рядов в качестве иллю-
иллюстраций к тому материалу, с которым чаще всего имеет дело
практика. Некоторые из таких примеров содержатся в главе 45;
так, на первый взгляд, имеют стационарный характер ряды из
таблиц 45.1 (урожайность ячменя) и 45.2 (осадки). Таблица 47.1
содержит знаменитый ряд освобожденных от тренда индексов
цен на пшеницу, составленный последним лордом Бевериджем.
Этот ряд охватывает 370 лет, что является феноменальной дли-
длиной для экономических рядов. В таблице 47.2 приведены откло-
отклонения от простых скользящих средних по 11 элементам для до-
долей совершаемых в Англии и Уэльсе браков (на 10 000 населе-
населения) за 1843—1896 гг. Таблица 47.3 дает нам искусственный
ряд, полученный наложением случайных флуктуации на про-
простую гармонику. Таблица 47.4 содержит другой искусственный
ряд, полученный по более сложной схеме типа схемы приме-
примера 47.2.
47.8 Допустим теперь, что нам дан ряд наблюдений
ы{„ ..., u't.. Штрих обозначает, что имеется лишь одна реали-
реализация. Каждое и имеет среднее \х и дисперсию о2. Определим
временные средние:
(«0 = ,,_
= lim
D7-13)
D7.14)
Обратимся теперь к теореме Биркгофа A931) и Хинчина A932),
которую приведем без доказательства.
Пусть ut — стационарный ряд с конечным средним ц. Тогда
Е (и') существует для почти всех реализаций, т. е. с вероят-
вероятностью единица. Кроме того, при выполнении и только при вы-
выполнении условия
п
lim— УР/ = 0 D7.15)
"^~ " у-1
временное среднее Е {и') равно среднему Мы, т. е.
Ми* = Еи{. D7.16)
Это очень важный результат. Он означает, что на практике мы
можем оценивать среднее ы, вычисляя среднее последователь-
последовательных значений единственной реализации. Если бы это было не
560
ГЛАВА 47
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
561
Год
1500
01
02
03
04
05
06
07
08
09
. 10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
Индекс
106
118
124
94
82
88
87
88
88
68
98
115
135
104
96
ПО
107
97
75
86
111
125
78
86
102
71
81
129
130
129
125
139
97
90
76
102
100
Год
1537
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
«Свободные
Индекс
73
86
74
74
76
80
96
112
144
80
54
69
100
103
129
100
90
100
123
156
71
71
81
84
97
105
90
78
112
100
86
77
80
93
112
131
158
от тренда» индексы
Год
1574
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
1600
01
02
03
04
05
06
07
08
09
10
И ндекс
113
89
87
87
79
90
90
87
83
85
76
ПО
161
97
84
105
111
97
108
100
119
131
143
138
112
99
97
80
90
90
80
77
81
98
115
94
93
Год
1
1611
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
цеи на пшеницу
(европей ские цены) на
1500-1869 гг. Ряд
(тогда сэр Уилль ям) Бевериджем
Индекс
10Э
99
100
94
88
92
100
82
73
81
99
124
106
106
121
105
84
97
109
148
114
108
97
92
97
98
105
97
93
99
99
107
106
96
82
88
116
Год
1648
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
Индекс
122
134
119
136
102
72
63
76
75
77
103
104
120
167
126
108
91
85
73
74
80
74
78
83
84
Юб
134
122
102
107
115
113
104
92
84
86
101
>
Год
1685
86
87
88
89
90
91
92
93
94
95
96
97
98
99
1700
01
02
03
04
05
05
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
Индекс
74
75
66
62
76
79
97
134
169
111
109
111
128
163
137
99
85
72
88
77
66
64
69
125
175
108
103
115
134
ЮЗ
90
89
89
94
107
89
79
Год
1722
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
Индекс
91
94
НО
111
103
94
101
90
96
80
76
84
91
94
101
93
91
122
159
ПО
90
81
84
102
102
100
109
104
90
99
95
90
8Э
85
117
112
95
составлен последним
Год
1759
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
Индекс
91
88
100
97
88
95
101
106
113
108
108
131
136
119
106
105
88
84
94
87
79
87
88
94
94
92
85
84
93
108
108
86
78
87
85
103
130
Год
1796
97
98
99
1800
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
лордом
Индекс
95
84
87
120
139
117
105
94
125
114
98
93
94
94
104
140
121
96
96
130
178
126
94
86
84
76
77
71
71
69
82
93
114
103
НО
Ю5
82
Табл
Год
1833
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
и ц а 47.1
Индекс
80
78
82
88
102
117
107
95
101
92
88
92
115
139
90
80
74
78
86*
105
138
141
138
107
82
81
97
116
107
92
79
81
94
119
118
93
102
562
ГЛАВА 47
Таблица 47.2
Доли браиов в Англии и Уэльсе: отклонения от простых скользящих
Год
1843
44
45
46
47
48
49
50
51
52
53
средних
Доля
браков
-6
1
12
10
—6
—8
—6
3
4
7
11
Год
1854
55
56
57
58
5»
60
61
62
63
64
по 11 точкам за
Доля
браков
3
-8
—2
-3
—7
3
4
—7
1
6
Год
1865
66
67
68
69
70
71
72
73
74
75
1843—1896 гг.
Доля
браков
8
9
—2
—8
—10
—7
0
8
12
7
5
Год
1876
77
78
79
80
81
82
83
84
85
83
(на 10000)
Доля
браков
4
—3
—6
— 12
—5
0
5
7
3
—4
—8
Год
1887
88
89
90
91
92
93
94
95
96
Доля
браков
—6
-5
1
6
6
2
—6
—5
—6
1
так, оценивание по одной реализации было бы практически не-
невозможным.
47.9 Если Ем' = Мм и второй момент М (и — цJ конечен,
процесс называется эргодическим. Сформулируем снова без до-
доказательства одно важное обобщение теоремы Биркгофа — Хин-
чина: пусть процесс эргодический, тогда для почти всех реали-
реализаций автокорреляция равна корреляции, вычисленной по реа-
реализации, т. е. равна
eK-e»'}K+/-e«'} D717>
еК-е«'}2 • ( *
Этот результат снова позволяет нам оценивать автокорреляции
по единственной реализации процесса.
Условие D7.15) не слишком обременительно, но и не яв-
является практически всеобъемлющим. Оно выполняется, если,,
например, автокорреляция стремится к нулю по мере удаления
друг от друга членов, которым она соответствует, но оказы-
оказывается невыполненным, если, скажем, наш ряд гармоничен.
В действительности существуют другие условия, выполнения ко-
которых достаточно для эргодичности.
47.10 Как мы позже увидим, коррелограмма оказывается по-
полезным инструментом при изучении внутренней структуры вре-
временных рядов. Существует еще одна функция, служащая сход-
сходным целям. Ее связь с коррелограммой во многом такая же, как
связь характеристической функции с плотностью.
Именно, определим функцию
r(a)=a + 2?-^i. D7.18)
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
563
Таблица 47.3
Значения ряда ut= 10 sin (я//5) + et, где st — случайная величина,
равномерно распределенная на отрезке от —5 до +5.
(Значения округлены до ближайшей единицы.)
Номер
члена
1
2
3
4
5
6
7
8
9
10
11
12
Значение
члена
3
8
6
2
—4
—7
—9
—9
—10
—1
8
7
Номер
члена
13
14
15
16
17
18
19
20
21
22
23
24
Значение
члена
6
4
—3
-10
—11
—15
—4
4
И
13
10
6
Номер
члена
25
26
27
28
29
30
31
32
33
34
35
33
Значение
члена
-5
-8
-12
-10
-7
0
1
8
13
7
4
-9
Номер
члена
37
38
39
40
41
42
43
44
45
46
47
48
Значение
члена
—9
-6
—4
—2
5
12
7
5
3
—2
— 12
— 12
Номер
1 члена
49
50
51
52
53
54
55
56
57
58
59
60
Значение
члена
—8
—1
11
13
12
7
5
j
—6
—14
—8
1
50
60
20 30 40
Номер члена
Рис. 47.2. График значений ряда из таблицы 47.3.
Если, начиная с некоторого п и далее |pn+ft|< 1, последний
ряд сходится. Мы будем также рассматривать функцию
w (a) = —;— =
D7.19)
в тех случаях, когда последняя существует.
Учитывая, что р; = р_3- и sin 0 —нечетная функция от 0, по-
получаем, что
w (a) = ? р/ cos a/ =
— оо
D7.20)
D7.21)
564
ГЛАВА 47
Таблица 47.4
Значения ряда И( = 1,1и/_]—0,5м<_2 + е<, где е*—случайная величина,
равномерно распределенная на отрезке от —9,5 до 9,5.
(Значения округлены до ближайшей единицы.)
Номер
члена
1
2
3
4
5
6
7
8
9
10
11
12
13
Значение
члена
7
6
—6
^
3
—4
—5
-1
10
10
6
4
—4
Номер
члена
14
15
16
17
18
19
20
21
22
23
24
25
26
3 начение
члена
—7
—2
6
17
24
17
4
1
—5
4
—5
—9
—4
Номер
члена
27
28
29
30
31
32
33
34
35
36
37
38
39
Значение
члена
—4
3
9
4
—8
—6
—3
—2
0
—1
—3
3
—1
Номер
члена
40
41
42
43
44
45
46
47
48
49
50
51
52
Значение
члена
-8
—3
-8
—10
-16
-13
1
6
4
11
15
9
8
Номер
члена
53
54
55
56
57
58
59
60
61
62
63
64
65
Значение
члена
4
— 1
4
7
11
0
1
0
-5
— 11
—8
—3
5
10 20 30 .40 50 60
Номер члена
Рис. 47.3. График значений ряда из таблицы 47.4.
Последняя форма определяет w(a) как преобразование
Фурье последовательности р^. Умножая D7.20) на cos ak и по-
почленно интегрируя, получаем, что
оо Я
[ w (a) cos kada = ]Г Р/ \ cos а/ cos ak da = яркг
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
565
и, следовательно,
я п
Р/ = -1 J w (a) cos ja da = •?- J sin а/ dW (a). D7.22>
Можно также писать, что
= -jj- J w (a) e-ia' da.
о
D7.23)
W(a) называется спектральной функцией. Ее производная w(a)
называется спектральной плотностью. График w(a), как функ-
функции от а, называют спектром (или спектром мощности). w(a) —
периодическая функция с периодом 2я. Из D7.18) следует, что
Г@) = 0, И7(я) = я, WBn) = 2я.
47.11 Спектральную плотность можно также определить не-
непосредственно, не обращаясь к коррелограмме, следующим об-
образом.
Рассмотрим корреляцию или ковариацию ut и cos at при не-
некотором фиксированном а. Если ut в некотором смысле ритми-
ритмичен (или псевдоритмичен — давайте, сейчас вопросов не зада-
задавать) с частотой а, корреляция будет большой, поскольку Ut и
cos at колеблются в фазе. Пусть t принимает целые значения и
ряд центрирован своим средним. Рассмотрим функции
а (а) = —= У* ut cos at,
п
D7.24)
Имеем
/(а) = а2(а)+62(а) = —
и* cos
а/J
sin а/)"} =
n-l n-k
fe-i t=i
sin а
V
at COS а (^
n-l n-fe
rt-1
fe-i
D7.25)
S66
ГЛАВА 47
где s2=E«t/n. a ru = ? ШШ+klTj «? — коэффициент корреля-
дионного типа. Переходя к пределу, получаем *)
D7.26)
D7.27)
Величина /, которую мы назовем интенсивностью, равна, таким
¦образом, спектральной плотности, умноженной на о2/я.
47.12 Когда чертят график спектра, обычно по оси ординат
-откладывают величину /, а по оси абсцисс а. На ранних ста-
стадиях развития теории было более принято вычислять величины
= — > ш cos ¦
Я, = 2я/о,
t=\
D7.28)
D7.29)
и затем предельное значение величины
D7.30)
График зависимости S2 от длины волны X был назван периодо-
траммой. Мы будем придерживаться той же терминологии, хотя
некоторые авторы и называют периодограммой то, что мы на-
называем спектром.
Отметим, что, в то время как делитель в D7.24) имеет поря-
порядок л/п, делитель в D7.29) имеет порядок п. Это объясняется
тем, что если и содержит гармоническую компоненту с ампли-
амплитудой с, скажем с cos at, а другие компоненты ряда с ней не
коррелированы, значение S2 в точке а равно с2. У спектра соот-
соответствующая ордината будет, по крайней мере для бесконечных
рядов, бесконечной. Мы еще вернемся к этому вопросу в гла-
главе 49.
47.13 В какой мере полезны коррелограмма или спектр при
исследовании внутренней структуры временных рядов, зависит
*) D7.27) надо понимать условно: /(а)—величина случайная, и ее рас-
распределение в пределе не вырождено; D7.27) дает в сущности лишь предель-
предельное среднее /(а), а замена 2u,u(+ft/(rts2) на рд неправомерна и приводит
тс исключению не исчезающих в пределе суммарных флуктуации. Авторы кос-
коснутся этого вопроса в 49,11. {Прим. перев.)
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
567"
до некоторой степени от наших целей и априорных знаний о по-
порождающей эти ряды системе. Вообще говоря, в экономических
задачах более наглядными оказываются коррелограммы, в физи-
физических — спектры, но существуют области, где предусмотритель-
предусмотрительный исследователь использовал бы обе характеристики системы
(например, океанография, метеорология, некоторые биологиче-
биологические процессы). Как мы уже отмечали, коррелограмма говорит
нам нечто о зависимости между членами ряда, разделенными
во времени. Спектр же указывает на то, в какой степени ряд
подчиняется тому или иному основному ритму. Вычисление-
спектра похоже на настройку радиоприемника: сигнал большой
мощности хорошо слышен тогда, когда частота настройки сов-
совпадает с входной частотой. По этой причине пики спектра, если
такие есть, иногда отождествляют с гармоническими составляю-
составляющими порождающей ряд первичной системы. Такого рода ин-
интерпретация, однако, требует большой осторожности.
Производящая функция автокорреляций
47..14 В представлении спектральной плотности
положим
Тогда w (а) как функция от z представима в виде
D7.31)
D7.32>
D7.33).
Мы получили таким образом производящую функцию автокор-
автокорреляций G(z). Полезно также определить производящую функ-
функцию автоковариаций:
C(z)=Zy,z'. D7.34)-
— оо
Ряды скользящих средних
47.15 Рассмотрим теперь ряд ut и скользящие средние, опре-
определяемые формулой
с*=
D7.35>
Чтобы достигнуть общности, мы здесь приводим скользящее^
усреднение по бесконечному числу точек. Необходимо отметить,..
568
ГЛАВА 47
что ряд ?,t уже может и не быть эргодическим. Тем не менее он
будет таковым, если ряд 2 а* сходится. Последнее условие бу-
будем предполагать выполненным. Тогда
¦М
= М
fe-o
akut+J
-k\ = ? atakM (иг-,,щ+1-к) ~
)
г-о 1=о
D7.36)
¦Легко видеть, что если производящая функция автоковариаций
ряда и равна С(г), то производящая функция автоковариаций
ряда ? равна
Г (г) = (I a,«0 (E a,z-') С (г). D7.37)
В частности, если ы — «чисто случайный» ряд (С(г)= 1), после
6-кратного скользящего усреднения автоковариационная функ-
функция нового ряда становится равной
(Z «f^O* (Е
D7.38)
Пример 47.4
Рассмотрим скользящие средние случайного ряда по двум
элементам Г cto = «i = -g-) .
| D7.39)
Отсюда следует, что pi = '/2; pj = 0, / 'ф 0, 1. Последнее, впро-
впрочем, ясно и из других соображений. Соответствующую автокор-
автокорреляционную функцию получим, нормируя D7.39) так, чтобы
коэффициент при 2° стал равен единице. Таким образом,
G (г) == yB~'~Ь 2 + 2). Положим теперь г = eia и найдем вы-
выражение для спектральной плотности:
w (a) = ~ (e~ia + 2 + eia) = 1 + cos a.
D7.40)
Полученная функция является косинусоидой с максимумом в
точке a = 0. Если мы повторим усреднение k раз, то получим,
что
)(l + )fe. D7.41)
Коэффициент пропорциональности легче всего найти из условия
л
\ w (a) da = я
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
(см. 47.10). В нашем случае это приводит к формуле*)
Последнее выражение с ростом k стремится к бесконечности
при a = 0 и к нулю в любом другом случае. Все р3- стремятся
к единице. Члены исходного ряда, таким образом, с ростом k
сходятся к одной и той же постоянной величине, что легко,
усмотреть также из того факта, что последовательные итерации
сглаживают флуктуации членов ряда.
С другой стороны, если брать последовательные разности
членов первоначального случайного ряда fcto==y, a,= — yj*
то после вычисления k-x разностей
D7.42),
а» (а) стремится к бесконечности при а = я. Автокорреляции^
четного порядка стремятся к +1, нечетного к —1. Таким обра-
образом, соседние члены предельного ряда равны по абсолютной*
величине и противоположны по знаку.
Пример 47.5
Случайный ряд многократно подвергается скользящему
усреднению с весами
После k итераций производящая функция автоковариаций ста-
становится равной
6"* {- z + 2г~х + 4 + 2г - z2}\
Положив 2 = eia, находим, что
w (а) = с0 C + 2 cos a — 2 cos2 a)*, D7.43).
где Со — некоторая постоянная. Функция w(a) принимает ма-
максимальное значение при cos a = '/г и, следовательно,
D7.44).
Таким образом, с ростом k при cos a ф '/г w(a) стремится;
*) Символом Г(г) мы обозначили производящую функцию автоковарна-
ций. Если аргумент обозначен другой буквой (не г), символ Г означает обыч--
«ую гамма-функцию.
370
ГЛАВА 47
к нулю, в отличие от случая, когда cos ос = Уг. Следовательно,
при неограниченном возрастании числа итераций результирую-
результирующий ряд стремится к периодической «волне» с периодом
Зя/агссоэ -J = 6.
Пример 47.6. Теорема Слуцкого о синусоидальном пределе
Вычислим га-кратные скользящие средние по двум элемен-
элементам случайного ряда, а затем у полученного ряда вычислим
разности т-го порядка. Устремим теперь га и яг к оо так, чтобы
т/п стремилось к некоторой постоянной 9, такой, что 0<9<;1.
Тогда ряд будет стремиться к синусоиде с длиной волны
Л= arccos [+e.
Вычисление /п-х разностей эквивалентно /л-кратному вычис-
вычислению первых разностей. Следовательно, производящая функ-
функция автоковариаций нового ряда равна
Г (г) ос A + zf A + z-y A - z)m A - z~T.
Положив 2 = eia, находим, что
да (а) ос A — cos а) A -+- cos а)".
Постоянную можно найти из условия
D7.45)
\ да (a) da = я.
Окончательно получаем
A - cos a)m (I + cos a)\ D7.46.)
Максимальное значение достигается при a = ао, для которого
_= _!=!"_ = _Ln?*). D7.47)
Теорема будет доказана, если мы покажем, что w(a)-*-0 при
всех а, кроме точки максимума ао, и что ряд является не только
периодическим, но и синусоидальным. Воспользовавшись при-
приближением Стирлинга для Г-функции, получаем
/ач _ (я/2I/2 (от + п + 1)т+п+1/2 A - cos a)m (I + cos a-)"
W 2m+n (от + l/2)m (л + 1/2)"
*) Последнее равенство в этом соотношении следует понимать в асимпто-
асимптотическом смысле по №->-оо и т-*-оо, причем гп/п-*-В. (Прим. ред.)
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
57Г
Если cos a == {(га — /л)/(га + т)} + е, последнее выражение асим-
асимптотически эквивалентно выражению
(я/2I/2
2от "J V ' 2л
D7.48)
При е = 0 это выражение стремится к бесконечности. Логариф-
Логарифмируя и используя разложение для логарифма, нетрудно полу-
получить, что D7.48) стремится к нулю равномерно по любому замк-
замкнутому отрезку, не содержащему е = 0. Таким образом, w (a)
принимает единственное бесконечное значение при ао =
= arccos . ~ . Соответственно W — ступенчатая функция с един-
единственным шагом от 0 до я в точке ао-
Из D7.22) для автокорреляций нового ряда получаем
p/ = cosa0/.
Рассмотрим теперь отрезок полученного ряда щ,
N остается фиксированным при п—*оо. Имеем
D7.49)
«лг, когда
М
t
~ 2р,и/+1 + u?f = 2 (tf - 2) A - 2р? + р2)
В силу D7.49) правая часть в пределе равна
2 (N — 2) Dm {1 — 2 cos2 cto + cos 2щ) = 0.
Следовательно, в пределе
ui+2— 2p,«i+I+"i = 0. D7.50)
А это и есть разностное уравнение синусоиды.
Некоторые обобщения результата Слуцкого можно найти у Романовского
A932, 1933) иМорэна A949).
47.16 Если ut — стационарный ряд, скользящие средние
Ь = РоИ*+ ¦¦• +Ра"*-а D7.51)
также стационарны. В частности, если щ «чисто случайный»
процесс, с нулевым средним, автокорреляции нового ряда
h
D7.52)
0
В примере 46.7 мы уже видели, что коррелограмма для таких
средних может носить колебательный характер.
572
ГЛАВА 47
47.17 Волд A938) получил условия, которые следует нало-
наложить на постоянные рь ..., рд для того, чтобы они могли быть
автокорреляциями скользящих средних случайного ряда.
Рассмотрим производящую функцию
G (г) = 1 + р, (г + Z-1) + ... + РА (zA + z-*). D7.53)
Положим
y=z + z~[. D7.54)
При такой замене G(z) перейдет в полином степени h от у, ска-
скажем Н(у). Утверждается, что для того, чтобы постоянные pi
были автокорреляциями скользящих средних по (/i + 1) элемен-
элементам, необходимо и достаточно, чтобы полином Н (у) не имел дей-
действительных корней нечетной кратности в интервале —2<у<2.
Предположим, например, что pi =? 0, а все остальные р рав-
равны нулю. Тогда G(z)= 1 + pi (г + z~l) и Н (у) = I + Piy* По-
Последний полином имеет один корень нечетной (единичной) крат-
кратности, равный —1/pi. Он находится в интервале (—2,2), если
|pi|> 1/2. Таким образом, нельзя получить скользящие средние
по двум элементам, для которых |pi|>'/2, р2 = рз=.-. = О.
что, впрочем, ясно и из других соображений.
Величины р для скользящих средних определим из соотно*
тения
G (г) = I Р/ B/ + 2-0 = Е P/z> Z P/Z-'. D7.55)
Вообще говоря, имеется 2h решений (по числу степеней z
имеется h уравнений и каждое из них имеет второй порядок).
Однако только при одном из них корни уравнения ?P/Z^ = O
лежат внутри единичного круга. В силу другого результата, ко-
который мы рассмотрим позже D7.18), это решение является един-
единственно приемлемым. Из D7.54) следует, что при любом у кор-
би z задаются уравнением
z2 — zy+1=0. D7.56)
Поэтому произведение соответствующих корню у корней урав-
уравнения G(z) = 0 равно единице и один из корней лежит внутри,
а другой вне единичного круга. Из D7.56) получаем, что
ZeJ.±(^_l)w. D7.57)
Возможны три случая:
(а) если корень ух полинома Н (у) является комплексным,
то сопряженное число у\ также является корнем. Соответ-
Соответствующие числа z,, zf1, Zp (z|)~ являются корнями G{z) и,
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
573
таким образом, X! Р/г' делится или на (z — Zi)(z — z*), или на
(б) Если действительный корень Н(у) по модулю ^2, то
из D7.57) следует, что числа z, и z^1 действительны. Следо-
Следовательно, одно из них является (действительным) корнем
уравнения ?P/Zy = O.
(в) Если действительный корень Н(у) по модулю < 2, то zx
и гр1 комплексно сопряжены и по модулю равны единице.
Тогда выражение {г — г^{г — z^1) является делителем как
X Р/г', так и ? P/z, и, следовательно, корни должны иметь
четную кратность.
Отсюда легко следует утверждение теоремы.
Ряды авторегрессии
нию
47.18 Рассмотрим теперь ряды, удовлетворяющие соотноше-
соотношеА + е/, D7.58)
которое (положив ао = 1) можно записать в более удобной
форме:
/-о
= e,. D7.59)
Здесь et -i- случайная величина, и пока не оговорено противное,
будем предполагать, что последовательные величины е незави-
независимы и имеют одну и ту же дисперсию.
Пусть D—такой оператор, что Dut = ut-i. Тогда D7.59)
можно переписать в виде
(Z a,D') ut = et-
Формальное решение последнего уравнения дается формулой
Зависимость между постоянными Р; и постоянными а/ опреде-
определяется из тождества (по D)
xV/D/- D7-61)
Однако D7.60) не является полным решением разностного урав-
уравнения D7.59). Пусть Z\, ... гд — корни уравнения
zh + a1zfl-i-i- ... +etA = O. D7.62)
574
ГЛАВА 47
Тогда общее решение уравнения
-/ = О
дается формулой
2
D7.63)
D7.64)
где Aj — произвольные постоянные.
Мы будем теперь предполагать, что все корни D7.62) раз-
различны и |23-|< 1 для всех }, т. е. что все корни D7.62) попадают
внутрь единичного круга. Тогда с ростом t решение D7.64) стре-
стремится к нулю или, образно говоря, перестает существовать.
Обычно ряд D7.59) рассматривают как ряд, отражающий
процесс, начавшийся далеко в прошлом. Тогда вклад решения
D7.64) становится пренебрежимо мало, и полное решение фак-
фактически совпадает с частным решением D7.60).
Ряды типа D7.58) мы будем называть рядами авторегрессии
(или авторегрессионными). Они состоят из скользящих средних
бесконечного числа элементов. Если ряд et — эргодический, та-
таким же будет и ряд ut, если ^ Р/ сходится.
Последнее условие в действительности оказывается выпол-
выполненным, поскольку все корни D7.62) находятся внутри единич-
единичного круга (см. упражнение 47.19).
На практике корни уравнения D7.62) ищут редко. Тем не менее Уайз
A956), используя одну теорему Роуза, показал, что условия, налагаемые на
эти корни, могут быть выражены в форме алгебраических связей, налагаемых
иа сами величины а.
47.19 Легко видеть, что Ut зависит от ег, tt-i, ..., но не зави-
зависит от et+u e.t+2, ¦ • ¦
Умножим равенство
1а/Ы<_7 = е, D7.65)
на ut-h и возьмем математические ожидания. Получаем систему
уравнений
рд + а,р*_, + ... + aftPft_A ==0, k > 0, D7.66)
принадлежащую Юлу A927) и Г. Уокеру A931). В частности, по^
СКОЛЬКУ p_j = pj,
Pi + a, + ctapi + ... алрл_, = 0,
p2 + aiPi + O2+ ••
и т. д.
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ 575
Умножая D7.65) на ut+k, 4>0и беря математические ожи-
ожидания, получаем
pA + aiPft+i-f ... + аЛрй+Л = -^р* D7.67)
(величины Pj определены в D7.61)).
Эти уравнения получены Волдом A938).
Пример 47.7. Марковский ряд
Снова рассмотрим ряд примера 47.2. Это простейший слу-
случай авторегрессионного ряда (исключая тривиальный случай
h = 0). Имеем
D7.68)
,1<
Последнее удобно записать в виде
щ — ры<-1 = е<.
Последний ряд обычно называют марковским.
J О а я-
Рис. 47.4. Коррелограмма (слева) и спектр (справа) марковского ряда.
Имеем
и, следовательно,
Отсюда
J-o
D7.69)
D7.70)
Из уравнений D7.66) Юла - Уокера при h = 1 получаем
91 — Р/-1 • Р = 0, / > 0,
и, в частности,
Pi =Р D7.71)
576
ГЛАВА 47
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
577
(вот почему параметр —он мы обозначили символом р).
Далее
р* = рА. D7.72)
Для спектральной плотности получаем
1-P2
= l "*" 1 - pe'a "*" 1 - pe~ia l-2pcosa + p2
Коррелограмма и спектр показаны на рис. 47.4.
D7.73)
Пример 47.8. Ряд Юла
Следующий более сложный линейный авторегрессионный ряд
носит имя Юла и определяется соотношением
щ + сцы*-, + а2Щ-2 = е,. D7.74)
Из первых двух уравнений D7.66) Юла — Уокера получаем
Pi + <*i + <*2Pi = О,
Р2 + <
Отсюда
Р< =-
или
2 = -(p2-pf)/(l-pf).
D7.75)
D7.76)
D7-77>
D7.78)
В этих равенствах параметры oci и аг представлены в виде функ-
функций от первых двух автокорреляций, возможны и обратные соот-
соотношения. Вообще, если \i и v — корни уравнения
x2 + alx + a2 = О,
то
Р/
Из начальных условий находим, что
Ро = 1 = А + В,
р, = Лц + Bv,
и, следовательно,
Р/ = (^_v)A1 + ^v) ll*'+I (I ~ v2) - v/+< A - и")]. D7.79)
Мы можем придать этому несколько более удобную форму. По-
Положим
ц = /?е'в, у = ре-*. D7.80)
Тогда
| / |, cos 6 = —
Р —
и D7.79) примет вид
где
D7.
D7.82)
D7.83)
Спектральная плотность дается формулой
w (a) = О -*х2)A- «х? + а|-4-2«2)
' A + а2) {1 + af + а| — 2а'2 + 2а, A + a^cos a + 4^cos2 a} "
D7.84)
На рис. 47.5 показаны типичные коррелограмма и спектр,
Рис. 47.5. Коррелограмма (слева) и спектр (справа) ряда Юла.
Пример 47.9
Вернемся к вопросу, обсуждавшемуся в конце 47.18. Если
корни характеристического уравнения для линейной схемы авто-
авторегрессии не лежат внутри единичного круга, процесс не являет-
является эргодическим. Если же хотя бы один из корней попадет во
внешность такого круга, эволюция членов ряда становится по-
подобной «взрыву». Здесь также возможны колебания, но с резко
возрастающей амплитудой.
Если корень лежит на единичной окружности, общее решение
не затухает, а содержит гармонический член. Частное решение
представляет тогда «блуждающий» ряд. Рассмотрим, например,
19 М. Кендалл, А, Стьюарт
578
ГЛАВА 47
простой случай, когда щ = ut-i + ег. Ясно, что частное решение
равно
и дисперсия и бесконечна.
Пример 47.10
Рассмотрим схему Юла в предельном случае осг = 1. Коэф-
Коэффициент р (D7.81)) равен здесь единице и р3- в D7.82) «не за-
затухает». Система перестает быть эргодичнон.
47.20 Ряды типа ряда
«/=?/+
D7.85)
где Zt — детерминированный гармонический член, можно рас-
рассматривать как гармоники с «наложенными на них ошибками».
Иногда такие схемы называют схемами со скрытой периодич-
периодичностью.
Встречается также несколько иной тип процессов, которые
также иногда называют гармониками, хотя здесь этот термин,
на наш взгляд, не отражает существа дела. Ряд такого типа мо-
может состоять из сумм некоторого числа гармоник, скажем
Uf—^LAj cos (a/t),
t
D7.86)
где aj фиксированы, но значения А, в этом случае могут менять-
меняться от одной реализации к другой. В этом случае будут суще-
существовать определенные линейные связи типа Юла — Уокера:
? ciPi-h = 0.
/-о
D7.87)
Непрерывные ряды
47.21 До сих пор мы касались рядов, которые были опреде-
определены или наблюдались на некотором дискретном множестве вре-
временных точек. Как мы отмечали в главе 45, некоторые ряды
«существуют во времени непрерывным образом», и имеются си-
ситуации, в которых мы можем получить непрерывные записи дан-
данных; например, график температуры можно получить с помощью
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
579
самопишущего прибора, использующего вращающийся валик.
То обстоятельство, что в конечном счете явление носит дискрет-
дискретный характер (если это действительно так — см., например,
45.31), не мешает нам рассматривать такие записи как непре-
непрерывные. В том случае, когда ряды определены как детер-
детерминированные непрерывные функции (например, полиномы или
тригонометрические функции), проблема соответствия между
предполагаемой непрерывностью реального явления и непрерыв*
ностью математической модели редко порождает трудности кон-
концептуального характера. Но когда мы переходим к стационар-
стационарным рядам, где приращение значений между последовательными
точками случайны, вопрос о непрерывности должен быть рас-
рассмотрен более внимательно. Действительно, существует ли не-
непрерывный ряд, приращения которого случайны, но малы? Нам
кажется, что нет, так как понятия случайности и непрерывности
в чем-то, по существу, противоположны. Поэтому всякое стрем-
стремление осуществить привычный с точки зрения математика пере-
переход от дискретного к непрерывному случаю, должно тщательно
контролироваться. Конечно, может оказаться вполне возможной
аппроксимация дискретных выражений непрерывными, напри-
например, аппроксимация сумм интегралами, но мы не должны забы-
забывать о том, что в этом случае сразу возникает проблема интер-
интерпретации.
47.22 Строгое решение этого вопроса невозможно без привле-
привлечения теории стохастического интегрирования, которая выходит
за рамки этой книги. Тем не менее мы можем дать эвристиче-
эвристическое толкование основных результатов примерно в следующем
духе.
Рассмотрим непрерывный ряд u(t), определенный на некото-
некотором интервале (—h,h). Положив среднее равным нулю, что
всерьез не ограничивает общности, мы можем определить дис-
дисперсию следующей формулой:
Du=i
D7.88)
-А
Если последнее выражение имеет предел при Л, стремящемся к
бесконечности (что верно для стационарных рядов), дисперсия
оказывается определенной и на бесконечном интервале. Анало-
Аналогично определим автоковариационную функцию. Осуществив
нормировку делением на Du, получаем автокорреляционную
функцию
А
и (t) u(t + k) dt. D7.89)
-А
19*
580
ГЛАВА 47
Рассмотрим следующее преобразование автокорреляционной
функции:
h
-±
-к
h h
-h -h
h
\
-h
D7.90)
-h -h
Положив q=t-\-k, преобразуем последнее к виду
ft ft
limlF \ \u(f)e-tP*
h A
-h -A
D7.91)
-A -h
Итак, если преобразование ряда u(t) задается формулой
h
D7.92)
-А
то, устремляя в D7.91) h к бесконечности для преобразования
автокорреляционной функции, получаем
фр (р) = а (р) + Ь (р) = | Ф« \р) I • D7.9о)
Функция фр(/?) есть обобщение на непрерывный случай спек-
спектральной плотности (см. D7.21)), которая является преобразо-
преобразованием Фурье последовательности автокорреляций.
47.23 Следует отметить, что даже для непрерывных функций,
определенных на бесконечном интервале, автокорреляции не оп-
определяют ряд u(t) однозначно. Действительно, при заданной
фр(уо) из D7.93) получаем
фц (р) = | фр (р) |'/2 е*и( D7.94)
где ц — произвольная действительная функция. Используя обра-
обращение, получаем
e'itp dp=-k
-»prf/j. D7.95)
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
581
Так как значения и действительны, мнимая часть интеграла рав-
равна нулю и, следовательно, имеем
D7.96)
(Этот результат принадлежит Винеру A930).) Следовательно,
ц должна быть нечетной функцией от р, но во всем остальном
произвольной (исключая, конечно, условие сходимости). Поэто-
Поэтому фр не определяет и однозначно. Позже мы рассмотрим этот
вопрос с точки зрения спектральных функций.
Пример 47.11
Рассмотрим автокорреляционную функцию, которая уже по-
появлялась у нас в связи с рядами Юла в D7.82):
р (k) = pk sin (?6 + v)/sin i|>.
Посмотрим, что произойдет, если мы будем рассматривать ее
для всех k, а не только для целых значений. Положим, слегка
меняя обозначения,
sin
<7>0.
D7.97)
При отрицательном k в последнем выражении следует упо-
употреблять \k\ вместо k. Применяя преобразование, получаем
D7.98)
Величину р в этом преобразовании не следует путать с коэффи-
коэффициентом затухания в p(k).
Отметим, что спектральная функция D7.98) непрерывна и
достигает максимума при р = 0. Физик не устоял бы перед иску-
искушением рассматривать этот спектр как сходный со спектром бе-
белого света, поскольку в обоих представлены все частоты. Однако
из последнего обстоятельства отнюдь не следует, что ряд u(t)
возникает как сумма гармонических членов со всеми возмож-
возможными частотами, аналогично белому свету, который можно рас-
рассматривать как результат суммарного действия некоторого
числа резонаторов, порождающих колебания со всеми возмож-
возможными длинами волн.
В связи с этим вопросом о белом свете, рассмотрим предель-
предельный случай, когда временной ряд определяется как ряд величин,
соответствующих небольшим временным интервалам длины А/,
582
ГЛАВА 47
Предположим, что все автокорреляции равны нулю. Тогда из
D7.21) находим, что спектральная плотность равна единице
(если в качестве единицы масштаба взять единичный времен-
временной интервал), а с единицей масштаба At была бы равна при-
приблизительно At, т. е. постоянной. Соответствующие физические
системы характеризуются постоянной спектральной плотностью
и порождают ряды, представляющие собой сумму колебаний,
средние амплитуды которых равны, а соседние частоты весьма
близки. В теории связи такой случай называют белым шумом.
При передаче сигнала определенной частоты такой шум служит
помехой (как и в радиоприемнике), отражающейся на чистоте
приема и вызывающей возмущения типа ошибок, накладываю-
накладывающихся на входной сигнал.
Фильтры и передаточные функции
47.24 Допустим, что нам дан ряд u(t) и совокупность весов
a(t). Образуем новый ряд, являющийся линейным временным
средним первоначального, по формуле
D7.99)
Усреднение проводится по прошлым и настоящему значениям
u(t) и не касается будущих значений. Если u(t) определено на
дискретном множестве точек, аналогично определяется соответ-
соответствующая сумма. Чтобы получить спектр, рассмотрим
v @ eiia dt = J а (т) J eitau (t - т) dt dx =
оо оо оо оо
= J а (т) е'та jj и (t) eita dt dx = J а (т) eixa dx § и (t) eiia dt.
Вычислив квадраты модулей, получаем
Функцию
Т (а) = J eixaa (т) dx
D7.100)
D7.101)
иногда называют частотной характеристикой или передаточной
функцией. В сущности это х. ф. (преобразование Фурье) весовой
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
583
функции а(т). Равенства D7.93) и D7.100) показывают, что
спектральную плотность нового ряда можно получить, умножая
спектральную плотность первоначального на модуль передаточ-
передаточной функции. С инженерной точки зрения система представляет
собой «входящий» ряд u(t), преобразующее u(t) устройство, ра-
работа которого состоит в линейном усреднении, и «выход» v(t).
47.25 С учетом некоторых ограничений передаточную функ-
функцию можно выбирать так, чтобы у полученного из u(t) выход-
выходного ряда v(t) некоторые частоты были резко выражены. Такую
функцию, или такую совокупность весов а(т), называют иногда
фильтром. Вряд ли это самое удачное название, поскольку
фильтр скорее удаляет примеси, а не преобразует их, но оно
вошло в употребление. Нам нет необходимости ограничиваться
использованием лишь средних по прошлому, и мы не будем это-
этого делать. Поэтому обычное скользящее усреднение, которое мы
рассматривали в главе 46, также является фильтром в нашем
смысле.
.Частные автокорреляции
47.26 Запишем линейную схему авторегрессии в виде D7.58)
ut = — alut-i — a2ut-2— .. . — ahut-h + e,. D7.102)
Можно сказать, что D7.102) позволяет прогнозировать щ и со-
состоит из членов двух типов: систематических членов, содержа-
содержащих ut-j и отражающих зависимость щ от прошлой истории, и
случайного элемента 8/, который можно интерпретировать как
возмущение. Тогда можно задать следующий вопрос, который
обычно и ставят при регрессионном анализе. Даны автокорреля-
автокорреляции pj. Чему тогда равны частные корреляции, отражающие за-
зависимость ut от каких-то предыдущих членов в том случае, когда
влияние на ut промежуточных членов устранено?
47.27 Прежде всего рассмотрим схему Маркова D7.68),
ui=pui-1+Ei. D7.103)
Мы знаем (см. D7.72)), что р& = р*. Выпишем частную автокор-
автокорреляцию р1з,2, отражающую зависимость щ от «<_2 при исклю-
исключенном «посредничестве» Uf-i.B обычных обозначениях имеем
(см. B7.5))
Р1з — Р12Р32
P
где р13 — р2, Pi2 = P32 = Р- Следовательно,
Р,з.2=0. D7.104)
Легко видеть, что в действительности все частные автокорреля-
автокорреляции равны нулю. Это очевидно еще и потому, что в D7.103J
584
ГЛАВА 47
регрессия ut касается лишь Ut-i, а е< — независимые величины»
Итак, в марковской схеме все частные автокорреляции равны
нулю. Член ut зависит лишь от предыдущего члена, и поэтому
распределение щ полностью определяется значением ut-\.
47.28 Рассмотрим теперь схему Юла D7.74)
i-2 + в/. D7.105}
ut = —
Из D7.75) — D7.76) следует, что
Частная корреляция между щ и ut-2 равна
Р13.2 =
P2-P?
1-P?
D7.106}
что и следовало ожидать.
Легко убедиться, что частные корреляции более высоких по-
порядков равны нулю. Например, числитель в выражении для ри,2ь
равен р!4,з — р12,зр42,з- Последнее выражение в свою очередь мож-
можно представить в виде дроби, числитель которой равен
A - Р?) (Р3 ~ РА) ~ (Р. ~ РА) (Р* - Р?)- <47Л07>
Рассмотрев определитель, образованный первыми тремя ко-
коэффициентами первых трех уравнений D7.66) Юла — Уокера,
имеем
Pi
Ps
Рз
Pi
Pi
Pi
Pi
=0.
Разложив его по первому столбцу, получаем, что выражение
D7.107) равно нулю.
С точки зрения общей теории регрессии этот результат ста-
становится очевидным, если вспомнить, что все, как независимые,
так и зависимые, переменные в уравнениях регрессии имеют
одну и ту же дисперсию, так что нормированные коэффициенты
в этом уравнении равны частным корреляциям.
Бесконечные, полубескоиечные и циклические процессы
47.29 Если мы рассмотрим схему линейной авторегрессии
j = Bt, D7.108)
как порождающую ряд значений и по заданным значениям 8,
мы столкнемся с трудностью, заключающейся в необходимости
принятия решения. Мы не можем Найти значения и, скажем, в
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
585
точке Г, не зная значений в точках Т— 1, ..., Т — h. Мы мо-
можем, однако, предположить, что такие значения заданы или из-
известны для некоторой точки То. «Двигаясь вперед», мы можем
восстановить значения в точках, следующих за Го. В этом слу-
случае наш ряд можно назвать полубесконечным, поскольку мы его
рассматриваем как простирающийся до бесконечности в одном
направлении, т. е. в направлении возрастания t.
С другой стороны, можно считать, что ряд простирается как
в бесконечное будущее, так и в бесконечное прошлое. В этом
случае «стартовой точкой» может быть любая, и такой ряд есте-
естественно назвать просто бесконечным.
47.30 Исходя из определенных математических соображений,
которые станут ясными позднее, мы можем определить цикличе-
циклический процесс аналогично тому, как мы определяли циклические
коэффициенты корреляции в 45.34. Конкретно, предположим, что
для некоторого N
ut+N+h — tlt+h-
Пожалуй, трудно вообразить физический процесс, которому со-
соответствует такая схема. Поэтому, насколько это возможно, мы
будем ее избегать. Лучшее, что можно сказать об этой схеме,
это то, что при возрастании N она, возможно, будет служить
хорошим приближением к полубесконечному случаю (конечно,
при условии наличия точных результатов для конечного N). Но
даже последнее сомнительно, так как вряд ли удастся избежать
трудностей при устремлении N к бесконечности. Поэтому нам
следует быть очень осторожными при интерпретации результа-
результатов, касающихся циклических процессов.
47.31 Теоретические коррелограммы на рис. 47.4 и 47.5 не
слишком похожи на выборочные коррелограммы при небольшом
количестве наблюдений (под «небольшим» мы здесь понимаем
ряд приблизительно из 100 членов). В упражнениях 47.20—22
приведены корреляции, вычисленные по наблюдениям из таб-
таблиц 47.1, 47.2 и 47.4. Кроме нерегулярностей выборочного харак-
характера, на практике можно столкнуться еще с двумя явлениями:
|(а) сериальные корреляции оказываются отрицательно смещен-
смещенными; (б) в схемах Юла и Маркова корреляции высоких поряд-
порядков «затухают» не столь быстро, как это можно было ожидать.
Теоретическое объяснение этим явлениям будет дано в сле-
следующей главе. Вопрос о том, как «подгонять» различные схемы
под стационарные ряды и проверять соответствующие гипотезы,
мы рассмотрим в главе 50.
586
ГЛАЗА 47
УПРАЖНЕНИЯ
47.1 Пусть у стационарного ряда pi = рг = р. Показать, что р ^ —'/г в
4р» - р - 1
Рз> р-+1 •
47.2 Показать, что семиинварианты марковского ряда
и
связаны с семиинвариантами е соотношением хг(ц) = ^ т_ , . Выведите
отсюда, что если нормированный коэффициент A.r = xry«2 , то
Показать, что в общем случае распределение и ближе к нормальному, чем
распределение е, но будет в точности нормальным лишь при условии нор-
нормальности последнего распределения.
47.3 Показать, что марковскую схему предыдущего упражнения можно
описывать и формулой
где
- Р2
Р2)
Вывести отсюда, что если г\ — случайная величина, то
Dt) = De,
47.4 Убедиться, что для спектральной плотности D7.33)
я
V a» (a) da = я.
о
47.5 Проверить формулу D7.84) для схемы авторегрессии Юла. Убедить-
Убедиться, что и здесь интеграл от w (а) от 0 до я равен я.
47.6 Показать, что существуют четыре и только четыре скользящих сред-
средних случайного ряда с коррелограммой
42 4
Р1='~Ж' ъ^ТГ- Рз==~Ж' P4 = Ps= .-• =о.
Эти значения таковы:
-1[8, - 4, 2, - 1], 1 [- 1, 2, - 4, 8], 1 [2, - 1, 8, - 4], ~[- 4, 8, - 1, 2].
(Волд, 1938.)
47.7 Показать, что в общей схеме авторегрессий со случайным членом 6
D|
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
47.8 Показать, что в схеме авторегрессии Юла
Р« 1 +U2
De ~~ П-
587
47.9 Показать, что автокорреляции т-х разностей случайного ряда даются
формулой
47.10 Показать, что если какой-либо ряд «подгоняется» под схему Юла
с автокорреляциями р^, автокорреляции остатков равны
(
+ а2)
(pj+2
! l+a?+a^ + 2o, (I +a2)p, + 2a2p2
47.11 Показать, что ряд, у которого автокорреляционная функция равна
v (у) = (sin Я/)/Я/,
имеет спектр с единственным скачком в точке X.
47.12 Показать, что любой ряд линейной авторегрессии можно предста-
представить в виде комбинированной последовательности рядов Юла и Маркова, в
которой «ошибка» е у одного ряда будет значением другого.
47.13 Пусть
Показать, что если ut — a sin at + bt, где bt — компонента, не коррелирован-
коррелированная с sin at, то
sin {4""(СС~
sin{ -|"(«+ l)(a—
sin { " (a ~
sin { ~ п (а + Р) } sin { i- (n + 1) (a +
я аналогичное выражение верно н для В. Показать отсюда, что при возраста-
возрастании я S2 = j42+B2 остается малым, если только не мало a—р. В послед-
последнем случае S2 = а2.
47.14 Показать, что у «непрерывного» ряда с автоковариационной функ-
функцией
спектральная плотность равна
{Ср. с характернстическон функцией распределения Коши.)
588
ГЛАВА 47
47.15 Пусть ряд ut таков, что
¦4—ui-l
где 6j — случайный ряд с единичной дисперсией. Ряд разбивается на по
вательные группы из т членов, пусть vt — арифметическое среднее f-й
вательные группы
пы. Показать, что
последо-
груп-
груп[(Уоркинг, 1960.)
47.16 Пусть U есть (N X ЛО-матрица
О 1 0 0 ... 0]
0 0 1 0 ... О
О 0 0 1 ... О
О 0 0 0 ... 1
О 0 0 0 ... О
Показать, что последовательные степени V получаются смещением состоящей
из единиц диагонали вправо и что UN = 0. Получить отсюда, что если и —
вектор-столбец («(, ut-i, .-., ut-я), то схему авторегрессии можно записать
в виде
7=0
Показать далее, что матрица рассеяния и равна
(Уиттл, 1951.)
47.17 Показать, что матрица, обратная к матрице рассеяния и, равна
Получите отсюда, что для рядов линейной авторегрессии третьего порядка со
случайными ошибками матрица, обратная к автоковариационной матрице,
равна
1 О| а2 а3
а, 1 + of а, A + а2) а2
«2 «lO+S 1 + а?+а2
а3 а2-
7-1
a
(Уайз, 1955.)
47.18 Показать, что хотя автокорреляционная матрица ряда является
матрицей Лорана, обратная к ней таковой не является.
(Уиттл, 1951.)
СТАЦИОНАРНЫЕ ВРЕМЕННЫЕ РЯДЫ
589
47.19 Раскладывая на элементарные дроби левую часть уравнения D7.63),
показать, что ^ $ сходится (см. 47.18), если корни D7.62) различны и лежат
внутри единичного круга. -~
47.20 Ниже приведены сериальные корреляции для данных таблицы 47.1
(цены на пшеницу). Построить коррелограмму:
Порядок
корреля-
корреляции к
1
2
3
4
5
6
: 7
8
9
10
11
12
13
14
15
гк
0,562
0,103
-0,075
—0,092
—0,082
—0,136
—0,211
-0,261
—0,192
—0,070
—0,003
—0,015
—0,012
0,047
0,101
Порядок
корреля-
корреляции к
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
гк
0,158
0,109
0,002
—0,075
—0,062
—0,021
—0,062
—0,088
-0,084
—0,076
—0,091
-0,052
—0,032
—0,012
—0,059
Порядок
корреля-
корреляции к
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
Тк
0,030
—0,008
—0,039
0,007
0,056
0,010
—0,004
—0,015
—0,047
-0,047
0,008
0,034
0,065
0,099
0,009
Порядок
корреля-
J ции к
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
—0,033
—0,013
0,042
0,062
0,065
0,050
0,009
—0,027
—0,053
—0,073
—0,106
—0,084
—0,019
0,003
0,010
47.21 Ниже приведены сериальные корреляции для данных таблицы 47.2
(доли браков). Построить коррелограмму:
Порядок
корреля-
1
2
3
4
5
ГК
0,563
—0,089
—0,498
—0,631
—0,467
Порядок
корреля-
корреляции ft
6
7
8
9
10
—0,025
0,353
0,396
0,254
0,104
Порядок
корреля-
корреляции >А
11
12
13
14
15
1
1
—0,080
—0,136
-0,132
—0,058
—0,095
Порядок
корреля-
корреляция к
16
17
18
19
20
—0,126
—0,036
0,131
0,209
0,205
47.22 Ниже приведены сериальные корреляции для данных таблицы 47.4
'(искусственный ряд). Построить коррелограмму:
Порядок
корреля-
корреляций к
1
2
3
4
5
6
7
8
гк
0,70
0,29
0,01-
-0,17
—0,27
—0,25
—0,13
0,07
Порядок
корреля-
корреляций к
9
10
11
12
13
14
15
16
тк
0,12
0,05
—0,05
-0,17
—0,27
—0,31
—0,30
-0,18
Порядок
корреля-
корреляций k
17
18
19
20
21
22
23
0,12
0,29
0,33
0,22
0,05
—0,12
—0,28
Порядок
корреля-
корреляций к
24
25
26
27
28
29
30
гк
—0,43
—0,57
—0,55
—0,25
0,02
0,1 Г
0.2 Г
ГЛАВА 48
ВЫБОРОЧНАЯ ТЕОРИЯ
СЕРИАЛЬНЫХ КОРРЕЛЯЦИИ
Теория для больших выборок
48.1 В 45.32 мы определили сериальную корреляцию с лагом
(или запаздыванием) k и отметили, что для определенных целей
с математической и вычислительной точек зрения удобнее осно-
основываться на более простых определениях. При больших п все
имеющиеся в виду определения асимптотически эквивалентны.
Поэтому в теории больших выборок мы будем рассматривать
стандартную ошибку формы
Как обычно, в окончательных выражениях безразлично исполь-
использовать ли теоретические или выборочные формы. Для автокорре-
автокорреляций мы* как правило, будем использовать символы pj.
Применяя обычную процедуру, имеем
, Ьс cbv
Dr = —
V2
1с cov (с, о) ¦ с2 Do
„3 "Т* „4
Положив, без потери общности, Ми=1, получим*)
Dr/ = Dc — 2с cov (с, v) + с2 Do. D8.2)
Для получения развернутого представления этого выраже-
выражения нам понадобится один общий результат, касающийся кова-
риации двух ковариационных членов. Имеем
cov |—
uaua+s, —
uau
aua+s
i.uaua+subub+s+t)\ —
\ —
D8.3)
*) Оговорив в подзаголовке, что речь идет о больших выборках, автор
при выводе и записи ряда соотношений (см. D8.2), D8.5) — D8.9) и др.) пре-
пренебрегает членами порядка оA/л), а также зачастую не различает выбороч-
выборочных и соответствующих теоетических характеристик распределения. {Прим.
ред.)
ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИЙ
591
Чтобы иметь возможность вычислить в этом выражении смешан-
смешанные моменты четвертого порядка, сделаем еще несколько пред-
предположений. Предположим, что все и имеют совместное нормаль-
нормальное распределение, так что их характеристическая функция
имеет вид
ехр { -1(9» + ^+, + 6* + 6*+s+, + 2psea9a+s +...)}¦ D8.4)
Для М (uauo+sufcuu+s+/) получаем выражение
PsPs+t + Pb-aPb-a + t + Pb-a+s+tPb-a-s-
Суммируя по а и Ъ, получаем, что ковариация D8.3) равна
[
n2
J
Перейдем к конкретным формулам. Положив s = t = 0, полу-
получаем
Положив t = 0, получаем
D8.6)
D8.7)
Положив s = 0 и заменяя t на s, получаем
. оо
COV(O, c) = -^YJPiPi+s- D8-8)
— ОО
Наконец, подставляя последние выражения в D8.2), получаем
Эта формула получена Бартлеттом A946).
48.2 Последний результат говорит о том, что даже при боль-
больших выборках и упрощающем дело предположении о нормаль-
нормальности дисперсия Tj зависит от автокорреляций ряда. Это очень
неудобно, поскольку мы не можем оценить последние, основы-
основываясь на конечных рядах. Тем не менее можно получить доста-
достаточно хорошие приближения, если действовать в духе следую-
следующих примеров.
592
ГЛАВА 48
Пример 48.1
Рассмотрим сначала тот простой случай, когда все теорети-
теоретические автокорреляции равны нулю (случайный ряд). Из D8.9)
получаем
Dr/ = -^. D8.10)
Последнее подтверждает, что дисперсия имеет порядок 1/«.
В сущности, в этом случае выборочная формула сводится к вы-
выборочной формуле для обычного коэффициента корреляции дву-
двумерной нормальной выборки. Последнее очевидным образом сле-
следует из того, что ряд случаен.
Пример 48.2
Если pj и все последующие р малы, D8.9) можно заменить
приближенной формулой
/-:
Dr, = - У р?. D8.11)
-(/-1)
Можно проверить (мы оставляем это до упражнения 48.1),
что при некоторых простых предположениях
(/-1)
У PiPi+t. D8.12)
Пример 48.3
Если ряд подчиняется уравнению Маркова D7.68) с пара-
параметром р, из D8.11) и D7.72) для больших / получаем
,19,. I - 1 »+Р2
J >— п 1 - р2 '
D8.13)
Более точное выражение для малых / приведено в упраж-
упражнении 48.8.
Пример 48.4
Приближения D8.11) и D8.12) можно получить непосред-
непосредственно из производящей функции автокорреляций.
Действительно, в обозначениях 47.14
ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИЙ
и, следовательно,
593
, D8.14)
так что G2 — производящая функция интересующей нас после-
последовательности сумм.
Например, для марковского процесса
G(z) = -1+—+ _,,
1 — pz 1-рг '
G2(z) = 1 + A - рг)-2 + A - рг-1)-2 - 2 A - ргГ1 -
- 2 A - рг-') + 2A- рг) A - рг-1).
Отсюда получаем, что коэффициент при 2° равен
что совпадает с D8.13). Коэффициент при гй равен
Следовательно, ковариация между rj и ri+h в схеме Маркова в
силу D8.12) равна
-i-pft{&—1 + -J-—5-}. D8.15)
Используя D8.13), получаем, что соответствующая корреля-
корреляция равна
'^-. D8.16)
1+р2
Метод может быть распространен на схемы более высоких
порядков (см. Кенуй A947а) и упражнение 48.14).
Смещение в оценках автокорреляций
48.3 Если г имеет форму А/^/ШГ, то, обозначив а, Ь, с откло-
отклонения от средних, имеем
МЛ + а
Используя биномиальное разложение с точностью до второго
порядка, находим
{МВМС}'/]
М(дй) _ М(дс) , М(бс) ,
2МЛМВ 2МЛМС 4MSMC
, ЗМ6г , ЗМс2 ,
•••}• D8Л7>
594
Положим
ГЛАВА 48
D8.18)
<«¦
так что MB = МС. Отсюда после небольших упрощений, исполь-
использующих асимптотическую эквивалентность В и С, получаем
. МЛ coy (д, Ь) , МЛ D6 (Ла оп\
~ . мап Г »зя • D8.20)
Пусть дисперсия ряда равна единице. Положим v = п — /.
Тогда, взяв математические ожидания D8.18—19), получаем
мв = мс=-
Пусть теперь
п-1
п—1 n-i
D8.21)
D8.22)
Имеем
V-1
i=0
i=0
D8.23)
Db и cov (a, 6) мы уже вычислили в D8.6) и D8.8). Подстав-
Подставляя все полученные величины в D8.20), получаем Mr/. Не выпи-
выписывая эту громоздкую формулу, рассмотрим несколько частных
случаев.
Пример 48.5
Если ряд случаен, то
D8.20) получаем, что
= 0, за исключением ро= 1. Из
=--^. D8.24)
ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИЙ
595
Оказывается, что в этом случае мы можем точно вычислить сме-
смещение, используя определение
Положим
Тогда
п
я(я- 1
-М
п
? «А
», fe=l
1
= "М-
D8.25)
так как 2г< ^ 0. Это согласуется с D8.24) с точностью до по-
порядка п~х. Замечательно, что г,- обладает отрицательным смеще-
смещением даже для случайных рядов.
Пример 48.6
Если ряд таков, что
Pi = P; Р/ = 0, }ф0,\;
из D8.20) находим, что
Mr1=p + (l + p)Dp2-2p-l)/v, D8.26)
Мг2 = — A + 2р + 2p2)/v, D8.27)
Мг! = — (l+2p)/v, />2. D8.28)
Пример 48.7
Для марковского ряда D7.68) с параметром р сходным об-
образом находим, что
D8.29)
1. D8.30)
596
ГЛАВА 48
Во всех этих случаях имеется отрицательное смещение. Оче-
Очевидно, что оно может быть весьма серьезным. Для марковского
ряда из 25 членов при р = '/г среднее значение г, было бы при-
приблизительно равно 0,4, а не 0,5.
Поправка Кенуя
48.4 Мы можем воспользоваться упрощенным вариантом ме-
метода Кенуя и устранить смещение в духе D0.28), разбивая ряд
на два. Пусть г — сериальный коэффициент всего ряда, a rw и
гB) — коэффициенты «половинок». Используем статистику
1 ' -ГB)), D8.31)
которая является несмещенной с точностью до порядка пг1.
Дальнейшие результаты, касающиеся смещения, можно иайти у Мэрриот-
та и Поупа A954), Кендалла A954) и Кенуя A956) (см. 17.10 т. 2). Для
марковского случая Уайт A961) получил результаты с точностью до по-
порядка я~3.
Некоторые точные результаты
48.5 Теперь мы перейдем к рассмотрению некоторых точных
результатов теории распределений сериальных корреляций. Как
и следует ожидать, точность можно приобрести лишь ценой не-
некоторых упрощений в постановке. Обычно предполагают нор-
нормальность теоретического распределения, иногда также упро-
упрощают определения, исследуя более простые статистики. Прежде
всего получим некоторые результаты (принадлежащие Морэну)
«методом математического ожидания». Затем мы остановимся
на некоторых распределениях (полученных Р; Л. Андерсоном и
рядом других авторов, в основном Даниэлсом), которые отра-
отражают совершенно новые стороны теории распределений.
48.6 Рассмотрим случай нулевых автокорреляций и опреде-
определим первую сериальную корреляцию формулой
п-1
Г|=-
(я-1)?(«г-«J
Мы уже показали в D8.25), что
Mr, = — 1/(л - 1).
Пусть
D8.32)
D8.33)
ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИЙ
697
так что
М/ = —-.
п
Тогда имеем
п-1 \2
М/2 =
где i, i+l, k, k+l не совпадают. Итак,
D8.34)
+ (n-2)(ra~3)z1z2z3z4]},
или на языке расширенных симметрических функций (2.5 т. 1)
МР = М{ [2Г2[1 т + -^-fy [21*] + ^_ [!«]]}. D8.35)
Используя таблицу 10 из приложения, выразим расширенные
симметрические функции в терминах сумм степеней. Так как
здесь A) = 0, получим
Если выборка нормальна,
и в силу A2.28)
не зависит от kl (см. 37.27),
Следовательно, поскольку выборка нормальна, математическое
ожидание k^kl равно нулю, и в силу D8.37)
Подстановка в D8.36) и дальнейшие упрощения приводят к
формуле
^iy D8.39)
'S98 ГЛАВА 48
Следовательно, в нормальном случае
Dr,=
D8.40)
Так как в силу неравенства Коши пD)>BJ, М{D)/BJ};
при любом теоретическом распределении; и, как указал Морэн
A967), из D8.36) следует совершенно общее утверждение
D8.41)
Значение D8.40), полученное для нормального случая, почти
достигает указанного максимального значения. У распределений
с медленно убывающими хвостами D)/BJ велико и Drr соот-
соответственно мала.
Морэн A947—8) получил результат для случая циклического определе-
определения, а также третьи и четвертые моменты (см. упражнения 48.6, 48.12).
Дженкинс A954b, 1956) использовал сходные методы для получения совмест-
совместного распределения сериальных корреляций (см! 48.26 и упражнения 48.18
и 48.19).
Распределение Р. Л. Андерсона
48.7 По причинам, которые станут ясны позже, мы рассмот-
рассмотрим теперь распределение первой циклической сериальной кор-
корреляции
r _ "l«2 + U2U3 + . . . + Un-jUn + UnUl — Пп2 ,^g ^\
2>i-fiJ
Следуя Р. Андерсону A942), рассмотрим распределение этой
статистики в случае, когда и\, ..., ы„ — независимые нормаль-
нормальные величины. Индекс у г\ будем опускать.
Будем искать линейное преобразование величин {ии ..., ип)
в такие gi, ..., In, при котором г принимает форму ? А.;1|/Х !?•
Преимущество циклического определения состоит в том, что в
этом случае все А можно определить точно.
Знаменатель в определении г принимает требуемую форму
при любом ортогональном преобразовании.
Числитель равен величине
С1 -i)-i
Рассмотрим
q — X
D8.43)
D8.44)
ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИЙ
599»
Как и в случае главных компонент (см. 43.6), если мы опреде-
определим X, как величину, максимизирующую- D8.44), мы придем к:
желаемой сумме 2j ^If- Нам нет нужды искать само преобра-
преобразование: величины Я, — это все, что нам нужно. Из D8.43—44)
получим, что они являются корнями уравнения
п
1
= 0..
D8.45)'
Это циркулянтный определитель, и он может быть разложен
на множители. Действительно, рассмотрим циркулянт
а2
t-i а„
ап-х
a2
a3
D8.46).
Пусть ©1, ©2> •••> <°n-i» <°п(=1) — корни п-а степени из еди-
единицы. Умножая у-й столбец D на ©{-' и суммируя по /, полу-
получаем, что zuCijfof^1 является делителем D. Поскольку это верно-
для всех k
Далее
и, следовательно,
D8.47).
0,
k = ri,
k Ф n.
D8.48>-
Подставляя соответствующие значения величин а из D8.45) в-
D8.47) и учитывая D8.48), после некоторых преобразований^
получаем
к~\
600
ГЛАВА 48
Так как (<в^' + ©й)/2 == cos [2nk/n],
D8.49)
Таким образом, получаем корни \ = О, X = cos 2nk/n,
к = 1, ..., п—1. Решающим моментом является то, что корни
появляются парами, за исключением, возможно, одного, рав-
равного — 1. Итак,
, (п-1)/2
если п нечетно, D8.50)
— о, если п четно, D8.51)
где Vi имеют ^-распределение с двумя ст. св., a v — с одной
ст. св. Знаменатель г (обозначим его р) имеет ^-распределение
с (п—1) ст. св. Итак, задача сведена к нахождению распреде-
распределения величины
{
{(п-
1
1-1
B Kvi — о
если п нечетно, D8.52)
+ о), если п четно. D8.53)
48.8 Эта задача о распределении была решена Р. Андерсо-
Андерсоном, чьим выкладкам мы и следовали. Проиллюстрируем метод
на частном случае п = 6, а затем приведем общий результат.
При п = 6 имеем
где
= COS —х- = -7f . A,2= S"
1_
2 *
Совместное распределение величин о дается формулой
= —
4 Bя) '*
Мы вынуждены рассмотреть два случая:
и —
(Как следует из D8.52—3), гг^
рень.) Рассмотрим первый случай.
D8.54)
D8.55)
D8.56)
D8.57)
где Xi — наибольший ко-
ко, dv2.
- ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИИ
Согласно D8.54) имеем
Р2=я,-Я2 (ftfci —г) —o(l+*i)b
601
D8.58)
D8.59)
Якобиан преобразования дГр' °Д я — Л, • ОТС1°Да и из D8.57)
для распределения р6, г и v имеем
1
4 Bя)'Л А, - .
D8.60)
Интегрируя по о в пределах, определяемых D8.58) и D8.59),
получаем
•- <48-61)
Наконец, интегрируя по ре от 0 до оо, получаем
Второй случай рассматривается аналогично. При — 1^г
имеем
48.9 Для таких распределений типично, что их аналитические
представления принимают различную форму в зависимости от
того, между какими критическими значениями Я лежит аргумент
г. Кривые плотности этих распределений непрерывны, но произ-
производные более высоких порядков уже могут быть разрывны. Так-
Также типично, что явное выражение функции распределения легко
выписать. Например, в силу D8.62) и D8.63)
- гK'
(А.-гI'»
(А, - А8) A +
(At - гK
(А, - А,) A
D8.64)
D8.65)
602
ГЛАВА 48
Приведем общий вид «дополнения» к функции распределения:
Р (R > г) =
, _ г\(п-3)/2
r <r<Am, га нечетно, D8.66)
2-1 <я-;
2)/2
, Лт+,<г<Ат, я четно. D8.67)
П" <х, — Ху>A + х,)У-
Плотность имеет различный вид на (га—1)/2 или (га — 2)/2
интервалах в зависимости от четности га.
48.10 Теперь бегло отметим несколько особенностей этого
распределения, представляющих скорее математический, чем
статистический, интерес:
(а) Вычисляя о при 1ф\, мы приходим к циркулянту с со-
сомножителями типа Xk — cosBjt/&/ra).
Если / не имеет фбщих делителей с га, циркулянт остается
тем же самым, и распределение не меняется. В противном слу-
случае аналитическое выражение для распределения изменится.
(б) Существуют иные способы вычислений, также приводя-
приводящие к циркулянту, даже в том случае, когда коэффициент опре-
определен не циклично. Например, при га = 2т для коэффициента
характеристическое свойство парности корней Л сохраняется и,
следовательно, мы снова приходим к распределению Андерсона.
Другие случаи рассмотрены Дербином и Ватсоном A950—1).
48.11 Перейдем к вычислению характеристической функции q
я р (числителя и знаменателя г). Временно символами s n t бу-
будем обозначать аргументы функции. Совместная х. ф. q и р
2is (u, u2 + ... + иящ — пп2)]} du = Д"~'\ D8.68)
где
2/s
It
U
. D8.69)
ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИЙ
603-
Далее
Это циркулянт того же типа, что и в D8.45), и, следователь-
следовательно, как и в D8.49),
п-\
D8.70)
Логарифмируя и вычисляя коэффициенты, получаем, что се-
семиинварианты q и р
D8.71)
D8.72)
D8.73)
D8.74)
Подставляя, находим
«ю = —1, Ко1=я—1, им = га —2, «п = —2, Хо2 = 2(«—1);
и3о = — 8, «21 = 4 (га — 2), к12 = — 8; щ3 — 8(п— 1).
D8.75)
Семиинварианты х2о и «ог имеют порядок га, в то время как
семиинварианты «более высоких порядков не имеют более вы-
высокого порядка». Таким образом, после стандартной нормировки
семиинварианты более высоких порядков стремятся к нулю, а
соответствующее распределение сходится к двумерному нор-
нормальному. Более того, после стандартной нормировки иц стре-
стремится к нулю, так что q и р асимптотически некоррелированы,
а следовательно, в силу нормальности и асимптотически неза-
независимы.
В действительности при нормальном распределении г и р не-
независимы и, следовательно,
М (rnpm) = MrmMpm = Mqn,
Н Н Ч D8.76)
p
Тогда мы можем вычислить моменты г, используя D8.75). Нахо-
Находим
п (п — 3)
— 2 Bя-»)
D8.77)
D8.78)
604
ГЛАВА 48
Среднее согласуется с точным результатом D8.25) для нецикли-
нециклического случая. Дисперсия согласуется с «нециклической» дис-
дисперсией D8.40) только с точностью до порядка га-1.
48.12 Диксон A944), искусно сглаживая характеристическую
функцию D8.68—70), получил приближенное представление рас-
распределения Андерсона. Пусть.временно
а=1 — lit, р = — 2is, Qh = 2nk/n. D8.79)
Тогда приближенно имеем
-|
[2я
—&\ log(a + pcos9)d9
9
== 2n/2 (a + P)'A {a + (a2 -
D8.80)
Теперь, последовательно дифференцируя, можно найти мо-
моменты q и р. (На самом деле дифференцируя по а и интегрируя
по р, можно найти даже моменты типа M(qk/ph).) Итак, прихо-
приходим к неожиданно простым выражениям:
rf = —г-Ц-. D8-81)
п + 1 '
D8.82)
К=(я + 1K(/1 + 3)- D8-84)
Можно показать (Диксон, 1944), что на самом деле эти фор-
формулы точны. Можно убедиться, что моменты величины г2, вплоть
до порядка га/2, совпадают с моментами распределения
*-2)/2
dr\
D8.85)
ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИЯ 605
Итак, учитывая A6.62), получаем, что квадрат сериальной кор-
корреляции имеет приблизительно то же распределение, что и квад-
квадрат обыкновенного коэффициента корреляции, полученного по
выборке объема га + 2 из некоррелированной нормальной гене-
генеральной совокупности.
Диксон A944) изучал также случай, когда ряд имеет извест-
известное (нулевое) среднее, и случай, когда запаздывание (в коэффи-
коэффициенте) I > 1. Справедливы те же результаты вплоть до момен-
моментов порядка ra/2/n, где т — наибольший общий делитель /ил.
В случае известного среднего надо лишь га заменить на п-\- I.
(См. упражнение 48.20.).
48.13 Купмэнс A942) получил тот же результат иным путем. Он выра-
выразил х. ф. р и q в форме контурного интеграла и до интегрирования «сгладил»
значения А,, распределив их равномерно по кругу. Это привело его к выра-
выражению
А (г)
1
/ Соп~а па
(cosa — /-)-* sin -^- sin a da. D8.86)
X. Рубин A945), показав с помощью интегрирования по частям, что
-^р- А( г, п) = — nrh (r, n — 2),
Н используя потом индукцию, вычислил этот интеграл.
48.14 Теперь нам лучше остановиться и попытаться кратко
оценить уже достигнутое. Мы получили в явном виде формулы
для больших выборок, однако эти формулы не слишком удобны
для применения. Отметим также, что, за исключением физики и
метеорологии, временные ряды большой длины встречаются до-
довольно редко. В случае малых выборок нами получены точные
результаты для случайных рядов, но использовать построенные
нами критерии мы можем лишь после того, как убедимся в «слу-
«случайности» ряда с помощью более простых критериев. Кроме
того, точные результаты нами получены в предположении нор-
нормальности и большей частью цикличности в определении коэф-
коэффициентов. Тем не менее все эти результаты весьма наглядны и
порождают ряд других интересных задач.
Распределение Мэдоу — Лейпника
48.15 Если статистики t\, ..
в обычных обозначениях, имеем
4 достаточны для 9Ь
P(uu
и, следовательно,
D8.87)
' 606
ГЛАВА 48
Мэдоу A945), используя этот результат, исследовал связь
между приближенным распределением сериальных корреляций
для «ненулевого» случая и тем же распределением для «нуле-
«нулевого» случая Э = Эо.
Предположим, что щ, .... ип имеют совместное нормальное
распределение следующего вида:
[п п -.
А ? (щ - цJ + 2В ?<и, - ц) (и,+/ -1х)\.
D8.88)
Среднее здесь равно ц.
Как и прежде, будем предполагать, что г определен циклично
с q и р в качестве числителя и знаменателя. Тогда п, р и q до-
достаточны для ix, А и В. В качестве «нулевой» гипотезы возьмем
случай Андерсона А = 1, В = 0. Тогда из D8.87) получаем
-(Лр+2Вгр)/2
Р(г, р\А, В) ос Р(г, р\\, 0)-
,-р/2
Так как г и р независимы, а р кратно величине %2 с га— I
ст. св., то
Р(Г, р\А, B)OCp^-3)/2e-p(A+2Br)l2f^y D8.89)
Интегрируя по р от 0 до оо, получаем
Р(г\А, В)ос
f(r).
D8.90)
Таким образом, «ненулевое» распределение отличается от «нуле-
(А ч-(п-1)/2
вого» множителем вида \-^--\-Вг\
В том случае, когда известно, что все и имеют нулевое сред-
среднее, также справедлива формула D8.90) с показателем степени
в знаменателе, равным га/2.
48.16 Рассмотрим частный случай марковского ряда
«<=P«f-l + 8f.
Известно (см. D7.70)), что
и
cov (ии щ+1) = р Du == j-2—; De.
Тогда функция правдоподобия для е дается формулой
п
log L = const - ^ J>2 = const - ak ? ("« ~ р"'-02'
г=1
-^ ^ ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИЯ 607
тде a2 = De. Это приблизительно эквивалентно равенству
log/: = const-1ir(l+P2)j;ttJ + -^2]tt,a,+1. D8.91)
Отсюда для А и В из D8.88) получаем
л, следовательно.
у Л + Вг ос A — 2рг + р2).
D8.92)
Таким образом, заменяя в D8.90) показатель степени в зна-
ТЛе Н3 3 ^г)~на приближенное выражение D8 85),
.... г(т-")
_г2)(п
-0/2
D8.93)
48.17 Это замечательное представление изучалось Лейпни-
ком A947), Кенуем A948), Дженкинсом A956) и Кендаллом
¦A957). Получить прямым интегрированием моменты распреде-
распределения D8.93) не так просто, как это кажется на первый взгляд.
Обозначив символом С постоянную, для момента 6-го поряд-
порядка относительно начала координат (нецентральный момент) по-
получаем
1
;=С1
n dp
ргг
.6-1
-¦И-
+р2-2рг)
I
——dF— [
A+р2)-A+р2-2рг)
2р
A+р2-2ргJ'
A +р2-2ргI
— -L.l' • „' j_
~~ 2р Н~-оРк-\+-
i
(p-r)r
A-l
+ р2 — 2pr);
608
ГЛАВА 48
Отсюда находим
Легко проверить индукцией, что |i? — полином &-го порядка
относительно р. Более того, четные моменты содержат лишь чет-
четные степени р, нечетные моменты — лишь нечетные.
Пусть
Hi- t akmpm. D8.95)
m—0
Дифференцируя D8.94) т раз и положив р = 0, получаем
akm= n + 2m {(m+ l)ak-y,m+l. + (n + m- l)a*_I>m_,}. D8.96)
Так как Ио=1, 0^=1, то
и, следовательно,
D8.97)
лам
Последовательное использование D8.96) приводит к форму-
, 1 ,
^2= Т+2 "+"
я + 2 "*" (я + 2) (я + 4) f '
Зяр ¦ п (я +1) _з
2) (я + 4) "Г" (Я + 4) („
3
D8.98)
D8.99)
1
, 3 I е/ця tj р 1 1т 4
**4— (« + 2) (я + 4) "Т* (я + 2) (п + 4) (я + 6) "•" (я + 4) (я + 6) (я + 8) Р
D8.100)
и т. д. В частности, моменты относительно среднего (централь-
(центральные моменты)
-..,». , 2я (я - 2) (Зя - 2) я -6РA-р2)
Из = (я + 2J(я+4) "*" (я + 2K (я + 4) (я + 6) н я2
1*4'
3A- р2J
D8.102)
D8.103)
' Отметим, в частности, что при стандартной нормировке (а3
стремится к нулю, а ji4 — к 3, что указывает на сходимость рас*
пределения к нормальному.
ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИИ
609
Уайт A957) и Лейпник A958) вычисляли моменты в виде полиномов типа
Гегенбауэра. Лейпник получил выражение для характеристической функции и
показал, что последняя сходится к нормальной.
48.18 Приближенное выражение для дисперсии в D8.101)
(заметим мимоходом, что оно отличается от выражения для
смешанных моментов) подсказывает нам нормализующее пре-
преобразование
г = sin z, p = sing.
Последнее использовал Дженкинс A954а), который для
х = z — t получил
КМ"-',, Р^и-{ + О(п.-\ D8.104)
^- +О (/»-*), D8.105)
-О (га-1), D8.106)
я
2A-
D8.107)
Очевидно, что эти формулы не работают при р, близком к еди-
единице, но при уменьшении р они вполне удовлетворительны. (См.
упражнение 48.17.)
Приближения Даниэлса
48.19 Значительное развитие теория выборочных распределе-
распределений сериальных корреляций получила благодаря Даниэлсу
A956), который впервые систематически использовал метод пе-
перевала *). Детальное описание этого метода можно найти в кни-
книге Джефри и Джефри «Методы математической физики» (Кем-
(Кембридж, 1956). Кратко суть метода состоит в следующем.
В комплексной плоскости интеграл от аналитической функции
по замкнутому контуру, ограничивающему область, не содержа-
содержащую особых точек, равен нулю. Следовательно, вычисляя инте-
интеграл по любому пути (не обязательно замкнутому), можно один
путь заменять другим (фиксируя начальную и конечную точки),
если область, ограниченная двумя путями, не содержит особых
*) В оригинале—Saddle-point method (метод седловых точек). Подроб-
Подробное описание этого метода читатель может найти в монографии М. А. Л а в-
рентьев и Б. В. Шабат, Методы теории функций комплексного пере-
переменного, «Наука», 1973. (Прим. ред.)
20
Кендалл. А, Стьюарт
ею
ГЛАВА 48
точек. Предположение, на котором основывается метод, состоит
в том, что значения функций резко убывают после прохождения
через точку достижения максимума и, следовательно, в районе
седловой точки наблюдается наиболее высокая концентрация
значений функции. Поэтому нам следует выбрать путь, прохо-
проходящий через седловую точку поверхности и наиболее круто спу-
спускающийся после прохождения через эту точку.
Заменяя полное интегрирование интегрированием в районе
«перевала», мы получаем хорошее приближение к истинному
значению интеграла.
На практике метод оказывается полезным при вычислении
средних или отношений средних различных величин.
48.20 Пусть, как и прежде, r = q/p. Пусть Af(9i, 82)—произ-
82)—производящая функция моментов величин р и q, т. е.
М (9„
exp {QlP + Од} dF.
D8.108)
Используя обратное преобразование Фурье, имеем
М(9" 6г) еХр {~ F'Р ~
f (р, q) =
Интегрирование ведется вдоль мнимых осей плоскостей 9i и
02. В частности,
> rP) = W/F И м (вз ~ г6г> 6г) е~
где интегрирование по 9з = 9i + г92 ведется вдоль мнимой оси
плоскости 9з или по любому иному пути, переход к которому до-
допускается. Обращение относительно 93 приводит к тому, что
f (р, гр)&' dp = -^ 5 М (в, - г92, 92
D8.110)
Поэтому, если дифференцирование допустимо, то
tip. rp) eh'p dp - Jg \ Ш V*-*" 9а) dQ2, D8.111)
и, поскольку при 93 = 0 левая часть равна плотности распреде-
распределения г,
M^V^L D8Л12)
Это эквивалентно результату Гири (A1,78) т. 1). Этот ре-
результат иным способом получен в упражнении 11.24.
ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИЙ
6I
Часто оказывается нужным преобразовать q, а следовательно,
и 9г. Если это преобразование таково, что 02 = 92@4,9з), то
D8.112) переходит в формулу
\^- D8Л13)
48.21 Прежде всего рассмотрим циклично определенные ко-
коэффициенты циклического марковского процесса в случае, ко-
когда известно, что среднее равно нулю, а дисперсия — единице.
Совместное распределение величин и запишется в виде (см.
48.91))
ехр —--
где, конечно, ul=u^+i.
П. ф. м. (ср. с D8.69)) равна
где
1 + р2 - 2в, - (р + е2)
- (р
D8.114)
D8.115)
D8.116)
О 0 ...1+р2_2в,
Это циркулянт, который преобразуется к виду
д = {1 + р2 — 29, — 2 (р + 92)} П {! + Р2—29,—2 (р + 9а) cos ^*}.
Положим
1 + Р2 - 26,
р + е2
Тогда Д преобразуется к виду
_„ , 1
— z T 2 •
D8.117)
Сл едов ательно,
где
Тогда
дг
1
б2 = - р +
A - 2гг + z2)
,п/2
м(е3-ге2,е^^-«ХЛ7-кг«' D8Л19)
_*A,^2рг+у_-2е8) D8120)
D8.121)
A - z") A - 2рг + р2 - 283) 2
20*
612
ГЛАВА 48
и D8.113) принимает вид
Л(г) =
A - 22) A - 2Г2 + 22) 2
dz. D8.122)
2я/ A - 2рг + р2)™ J 1-2»
Нам осталось определить путь интегрирования. Рассмотрим
пару преобразований, которые вместе с D8.117) составляют
г + 4—S, (-r-'^f. D8.123)
Область |z| < 1 переходит во всю плоскость 02 с вырезанной
на действительной оси внешностью интервала
( A+рJ A-рJ \
V 2A+0 ' 2A-г) )•
Путь в плоскости 02, идущий из «точки т — too» в «точку
xr -f- i оо» и проходящий через лакуну на действительной осн,
соответствует пути в области |z|< 1, соединяющему точки с1(р и
e~i<p, где cos ф = г, и проходящему через точку z = г. Следова-
Следовательно, путь интегрирования в D8.122) должен иметь такой вид.
Рассмотрим множитель
A - 2rz + z2)" "" 2 = A - г2 - (z - гJ)^ "
в подынтегральной функции из D8.122). Его седловая точка
(точка максимума) соответствует z = r (действительное значе-
значение). Путь, наиболее «круто» спускающийся из седловой точки,
соответствует перпендикуляру к действительной оси. (Доказа-
(Доказательство этого факта мы опускаем.) Таким образом, мы долж-
должны интегрировать вдоль отрезка, соединяющего е""> и е-*ч).
До сих пор наши формулы были точны. Заменим теперь в
D8.122) рп на нуль и 1 —z" — на единицу, полагая, что вклад
этих выражений мал. Тогда получим, что
л-2
J(l — z2)(l — 2rz + z2J 2 dz.
Положим
Тогда — 1 < w < 1 и
D8.124)
(f
D8.125)
Мы снова пришли к распределению Мэдоу — Лейпника D8.93).
ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИЙ
613
48.22 Если замена множителя A—zn)~l в D8.122)' на еди-
единицу нас не устраивает, мы не можем вычислить интеграл в яв-
явном виде. Разлагая, однако, этот множитель по степеням z и ин-
интегрируя соответствующий ряд, можно получить, что
/я A - 2рг + p2)rt/2
dn
—
2
лEп-1)/2
f — + -
D8.126)
Даниэле A956), которому принадлежит этот результат, оце-
оценил сверху ошибку, получающуюся при D8.122), первым чле-
членом D8.126). Эта ошибка мала при р, близком к нулю, но
оказывается значимой, например, при р, близком к 0,5 и п по-
порядка 20.
48.23 Используя описанный метод, Даниэле получил еще ряд
результатов, которые мы приведем без подробных доказа-
доказательств.
В случае циклического марковского процесса с неизвестным
средним для циклического сериального коэффициента корреля-
корреляции
(п-3)A-рл)
1-DI2 )
A—2)
2я/ A - р) A - 2рг + p2)W-'>'* J 1 _ *«
Снова «игнорируя» zn, получаем, что
h(r) =
¦dz.
D8.127)
D8.128)
Следует отметить, что мы можем получить моменты этого рас-
распределения, основываясь на моментах распределения Мэдоу —
Лейпника D8.93).
Альтернативная форма может быть получена из следующих
соображений. Последний член в D8.128) имеет относительно
первого порядок 1/п. Если мы заменим в нем г на р, результат
останется верным (с точностью до порядка 1/л). Следовательно,
мы можем этим членом пренебречь, но тогда постоянные в
614
ГЛАВА 48
D8.128)' следует пересчитать, чтобы интеграл от Л (г) по всей
области определения был равен единице. Окончательно
Л(г) =
(ft-3/2)}. D8.129)
48.24 В случае нециклического марковского процесса с из-
известным средним рассмотрим нециклическую статистику
- ... +ия-,ия ^ ^ D8.130)
Даниэле показал, что
2я1/2 т(±_
Т\2 2) A-рг)A-2рг + р2J
Возможно также эквивалентное приближение
4—1
-{1 + 0 (п-1)}.
D8.131)
где
N=n—l +
1-Р2 '
D8.133)
48.25 Для нециклического марковского процесса с неизвест-
неизвестным средним
г'т-
2*1/2Г ( 4Н {# A - р) - A + р)}
X
где г определено, как и в D8.130), a N, как и в D8.133).
48.26 Полученные результаты можно значительно улучшить.
Даниэле A956) изучал общий циклично определенный процесс
авторегрессии.
В случае процессов более высокого порядка, чем марковский,
представляют интерес совместные распределения двух и более
сериальных корреляций, а также частных корреляций. Впервые
ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИИ
615
эти вопросы рассматривал Кенуй A945b), затем ими занима-
занимались Дженкинс A954b, 1956), Ватсон A956) и Даниэле A956).
Ради экономии места мы не будем входить в детальное обсу-
обсуждение результатов. Выяснилось, что, за исключением марков-
марковского случая только циклично определенные статистики и про-
процессы поддаются удовлетворительному изучению. Метод Да-
ниэлса в принципе, может быть распространен на нецикличе-
нециклический случай, но пока еще никто не нашел в себе силы взяться
за труд, который с этим связан.
48.27 Распределению сериальных корреляций для случая, отличного от
нормального, пока уделялось мало внимания. Выборочные эксперименты
Кокса A966) и Кенуя A948) дали основание предполагать, что в <иулевом>
случае нормальная теория может служить хорошим приближением для ши-
широкого класса распределений, даже когда п = 10 или 20. Однако для распре-
распределений с медленно убывающими хвостами дисперсия ri оказывается меньше.
См. 48.6 выше н работу Морэна A967), где детально исследуются случаи экс-
экспоненциальных теоретических распределений *).
УПРАЖНЕНИЯ
48.1 Проверить равенство D8.12).
48.2 Показать, что в схеме Юла
_2 = ef.
D/-j приблизительно равна 2.44/л.
48.3 Показать, что для рядов с ps = 0 при
(Бартлетт. 1946.)
48.4 Пусть выборочный коэффициент корреляции определен циклично и
дается формулой
л
**+!
¦пи'
Показать, что в схеме Маркова
(Кендалл. 1954.)
48.5 Пусть коэффициент корреляции определен так же, как и в предыду-
предыдущем примере. Показать, что для нормального случайного ряда
п (п - 3)
Or,
(Морэи. 1947.)
*) Читатель может пополнить сведения по статистическим выводам в ана-
анализе сериальных корреляции, воспользовавшись, например, монографией;
Э, X е н и а н, Многомерные временные ряды, «Мир», 1974, гл. VI. (Прим. ред.)
616
ГЛАВА 43
48.6 В качестве продолжения 48.6 показать, что
^(Л1)=4/*-4)(*-3),
**3 v " (« — IL (« + 3)
и что при цикличном определении
2B«— !)(« —6)
(Морэн. 1947.)
48 7 Вычислить D8.9) для схемы Маркова и сопоставить результат
с D8.101).
48.8 Поступая в духе 48.1, показать, что в марковском случае для боль-
больших выборок
Dv
Dc = —
+ 2) A + Р2)
пA-р2) '
A + Р8) A — Ра0
Р-Ч2Л-
(х« + 2) A + Р2)
1-Р2
(Величины с и v соответствуют г, (см. 48.1).) Получить отсюда, что незави-
независимо от х4
(Бартлетт, 1946.)
48.9 Аналогично D8.9) показать, что для больших выборок
i =,—оо
(Бартлетт, 1946.)
48.10. Показать (см. пример 48.4), что для больших выборок дисперсии п
из D8.9) дается формулой
nDrt = [A + 2р2) кф B°) + кфB20 - 4р.кф (z')] в G2 (г),
где G(z)—производящая функция автокорреляций, а символ «кф» означает
«коэффициент при».
Сопоставить формулу с результатом упражнения 48.8.
48.11 В качестве продолжения упражнения 48.4 показать, что
(Кендалл, 1954.)
ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИЙ
617
48.12 Пусть первая сериальная корреляция (при известном нулевом сред-
среднем) равна
п.—1
п-1
Показать, что для случайного ряда а и знаменатель в последней формуле
независимы. Получить отсюда, что
(п~ 1)(я+2)'
3«3 (я2 + 4« — 9)
(«-!)<(« +2) («+4) (я+6)'
48.13 Пусть (см. 48.16)
г = th z, р = th ?, 2 — g = х.
(Морэн, 1948.)
Отталкиваясь от распределения Мэдоу — Лейпника и используя разложение,
показать, что плотность распределения величины х равна
*(*)¦
о У 2л
ехр
где
f *2 \
X.
+
12
1
1 5хг A — р2) пх*{\ — рг)A — Зр2) Уг
я 6 + 12 + 6
Вычислить моменты и показать, что z распределено приближенно нормально
со средним
г Р , РA+Р2)
и дисперсией
ЯA -р3) "^ «2A
12р2
иA -р2)
(Кенуй, 1948.)
48.14 Показать, что в схеме Юла из примера 48.2 производящая функция
автокорреляций дается формулой
0,5z2)(l - 1,1г-'+0.5г-2)
_
0.7333 — 0.5г
I-l,lz + 0,5z2
0.7333 — 0.5г-'
618 ГЛАВА 48
где а2 = Da. Возводя в квадрат и используя разложение, показать, что
Ер? = 2,44.
—оо
Вновь убедиться, что для больших выборок D/у равна приблизительно 2.44/я
(Кенуй, 1947а.)
Е
48.15 Показать, что для общей схемы линейной авторегрессии
lim
DAmut
/2m
\ m
(Муртейра. 1951.)
48.16 Заменив в схеме предыдущего примера е на V Р,е*_,. показать,
что тот же предел равен
(Муртейра, 1951.)
48Л7 Пусть (см. 48.16)
г = sin z, p = sin ?. 2 — ? = *.
Используя распределение Мэдоу — Лейпника D8.93), показать, что
V 2я У\ 2/\ 2A-р2I'2 4и 24 1-р!
, 1 р2 , „ 1 р A + 5р2) 1 р , .
^8 1-р2 8A- Р2K/2 8 (I - р2I^2 ^
Вывести отсюда D8.104) и D8.105).
(Дженкинс, 1954а.)
48.18 Показать, что для случайного ряда с нулевым средним и единичной
дисперсией характеристическая функция циклично определенных величин
равна циркулянту
г = __
"Л-2
Ш, о о 2я* о 4яй \-1/г
то
ВЫБОРОЧНАЯ ТЕОРИЯ СЕРИАЛЬНЫХ КОРРЕЛЯЦИЯ
Доказать, что если
п \ 2
619
= Ц12=Цз1 =0.
2
' (л + 2) (я + 4) '
п + 12
(Дженкинс. 1954b.)
48.19 Показать, что если в статистик» предыдущего примера ввести сред-
среднее п так, чтобы, например
то характеристическая функция р, q и г окажется равной
2як а ink \~lla
з 0cosJ
Ш, о
1-вр-
Я» I
Показать, что
1
рп ______
(Дженкинс, 1954b. Там же приведены
значения моментов более высоких по-
порядков.)
48.20 Опустим в определении D8.42) статистики Г\ величину п, считая,
что среднее известно. Показать, что выражение для х. ф., соответствующее
D8.80), остается тем же самым, с тем исключением, что множитель (а + f$) И*
теперь будет отсутствовать. Получить отсюда, что нечетные моменты равны
нулю и приближенно
_ 1-3-5 ... B*-1)
^2* (п+2)(п+4) ... (n+2k) •
Проверить справедливость D8.85) с заменой п на п+ 1.
(Диксон, 1944.)
48.21 Пусть хх Х2п+1 — независимые случайные величины, а г — се-
сериальный коэффициент корреляции между Хг3 и -r-(*2s-i + *2s+i)> s =¦
= 1 п. Показать, что Мг = 0, a Dr = (n — I)".
(Морэн, 1967. Ср. 31.19 т. 2, где обсу-
обсуждался обыкновенный коэффициент кор-
корреляции.)
ГЛАВА 49
СПЕКТРАЛЬНАЯ ТЕОРИЯ
Гармонический анализ
49.1 В главе 47 мы рассматривали спектр и связанные с ним
функции как преобразования автоковариационной функции, но
указывали, что эти функции могут появляться и в ином аспек-
аспекте. А именно: спектр может служить обусловленной корреля-
корреляциями характеристикой близости между временным рядом и
определенными гармониками. Перейдем к более полному изу-
изучению предмета именно в этом направлении.
Изучая тепловые потоки, Фурье пришел к следующему раз-
разложению функций в ряд гармонических членов:
= у a, sin rx
=1
y b0
br cos rx.
D9.1)
r=I
Несмотря на то, что отдельные члены ряда периодичны, весь-
весьма широкий класс непериодических функций, рассматриваемых
на конечном интервале, может быть представлен таким образом.
Для справедливости такого разложения, например, достаточно,
чтобы на интервале от —п до я f(x) была однозначной, непре-
непрерывной, за исключением лишь конечного числа точек разрыва,
функцией и имела бы лишь конечное число точек максимума и
минимума. Ряд в правой части D9.1) называется рядом Фурье.
Замечательно, что члены этого ряда ортогональны. Действи-
Действительно,
с Г О, ГФЭ,
\ cos rx sin sa: dx = <
-я
\ sin rx sin s# dj; =
—я
Г — S,
D9.2)
СПЕКТРАЛЬНАЯ ТЕОРИЯ
621
Следовательно, умножая D9.1) последовательно на sin rx и
cos rx и интегрируя, имеем
аг = — \ f (x) sin rx dx,
—я
я
br = — \f(x) cos rx dx.
Ряд можно также записать в форме
оо
/ (х) = Z сг sin (rx •+• <pr),
D9.3)
D9.4)
D9.5)
где срг — фазовый угол.
Так как все члены в D9.1) периодичны с периодом 2я, выра-
выражение для f(x) имеет тот же период. Если f(x) определена на
интервале от —L до L, мы можем использовать разложение с
членами типа sin(nrx/L) и cos(nrx/L). Вопрос здесь, конечно,
состоит лишь в изменении масштаба и переходе от интервала
длины 2я к интервалу длины 2L.
49.2 Углы измеряются, как обычно, в радианах и имеют ну-
нулевую размерность. Следовательно, величина at в sin at имеет
нулевую размерность, а а измеряется в радианах в единицу вре-
времени. Последнюю величину иногда называют угловой частотой.
Там, где это не может вызвать недоразумения, мы будем назы-
называть ее просто частотой. Однако значение sin at повторяется че-
через период 2я/а и, следовательно, число циклов за единицу вре-
времени равно а/2п. Последнее можно также рассматривать как
частоту. Период 2п/а имеет размерность времени (t) и назы-
называется также «длиной волны», хотя в нашем контексте «дли-
«длиной» является период времени.
49.3 Итак, функцию можно разложить в ряд синусов и коси-
косинусов; последовательные члены в D9.1) будут иметь периоды
2я, 2я/2, 2я/3 и т. д., соответствующие угловые частоты будут
равны 1, 2, 3..., а циклические частоты — 1/2я, 2/2я, 3/2я, ...
В общем случае, когда f(x) определена на интервале длины 2L,
угловые частоты будут иметь вид яг/L. Таким образом, имеется
одна основная частота n/L, а все остальные кратны ей. Такое
представление было бы искусственным, если бы мы знали, что
f(x) равна сумме гармонических членов с несоизмеримыми ча-
частотами. Поэтому, вообще говоря, следует рассмотреть более
общий гармонический ряд
= X o,j sin (afx) + X b] cos (afx),
D9.6)
622
ГЛАВА 49
где все а,- могут принимать любые действительные значения.
Простого способа вычисления ajy bit аналогичного описанному
в D9.3), D9.4), пока не существует. Задача оценивания а3- и ft,-
рассматривалась в девятнадцатом веке физиками и метеороло-
метеорологами; и, несмотря на обилие накопленных впоследствии фактов,
методика, по существу, осталась прежней. Изменился, однако,
взгляд на предмет. Ранние авторы искали скрытые гармоники.
Более современный подход состоит в понимании спектра как не-
некоторой характеристики временного ряда, независимо от того,
является ли последний на самом деле суммой гармоник или нет.
Частота Найквиста и «неразличимые» частоты
49.4 При наблюдении ряда через равные единичные проме-
промежутки времени проявляются две важные особенности гармони-
гармонического анализа. Ясно, что колебания с периодом, меньшим еди-
единицы, нами не будут замечены. Например, сезонные изменения
останутся скрытыми, если мы будем проводить наблюдения ка-
каждое 1 января. Необходимо по крайней мере два наблюдения в
год, чтобы обнаружить такую периодичность. В общем случае,
если между двумя наблюдениями проходит время t0, мы не мо-
можем выявить периоды, меньшие чем 2t0 или угловые частоты,
большие чем n/t0. Эта предельная величина и известна как ча-
частота Найквиста.
При определении в 47.10 спектральной плотности
до (а) =
D9.7)
подразумевалось, что временной интервал равен единице и а
меняется от 0 до п. Ордината в точке л; дает нам значение спек-
спектральной плотности, соответствующее частоте Найквиста.
49.5 Второй эффект, который хотелось бы отметить, также
связан с интервалом между наблюдениями. Предположим, что
этот интервал равен единице, и рассмотрим член s'mBnt/3) jidh
t = 1^ 2, 3, и т. д.. Соответствующие значения равны -\/3/2,
— л/3/2, 0, -у/з/2 и т. д. Но эти значения дает нам и член
sin(8nt/3) или sin(lint/3) и т. д. Длина интервала между на-
наблюдениями не позволяет отличить угловую частоту 2я/3 от лю-
любой частоты типа Bя/3) + 2л/, /== 1, 2, 3, и т. д. Эти частоты
естественно назвать неразличимыми*), поскольку их нельзя раз-
различить на основе анализа наблюдений. Ясно, что в указанном
смысле результаты эксперимента будут безразличны к прове-
проверяемым гипотезам.
*) В оригинале указанным частотам соответствует термин «aliase». {Прим.
перев.)
СПЕКТРАЛЬНАЯ ТЕОРИЯ
623
0,05 0,10 0,15 0,20
Частота (циклы в единицу Времениj
0,25
Рис. 49.1. Спектр для ряда Бевериджа индексов цен на пшеницу (таб-
(таблица 47.1).
Для простоты рассмотрены частоты до 0.24. Оставшаяся часть спектра пренебрежимо
нала. Сглажнванне проведено с помощью ядра Парзена (упражнение 49.7). См. также
рнс. 49.4.
О,192Ъ
0,5000
Рис. 493L Спектр для данных таблицы 47J2 (доли браков).
Максимум при частоте 0,1346 соответствует периоду 7,4 года. Пунктирная ливня—ре*
аультат сглаживания с помощью «окнах Парзена |ун икнеиие 49.7) и первых пятнадцати
сериальных корреляций.
624 ГЛАВА 49
49.6 В 47.11 мы определили функции
п
а (а) = ,— У ut cos at,
D9.8)
Ь(а) =
. У
У ля fa
ut sin at.
D9.9)
Мы показали, что интенсивность I(а), определенная как
сумма квадратов a (a) и Ь(а) в пределе равна спектральной
плотности w(a), умноженной на а2/л. На рис. 47.4 и 47.5 были
0,0625 0.1875 0,5125 0,4д75
0,1250 0,2500 0,3750 [ 0,5000
Частота {циклы В единицу времени)
Рис. 49.3. Спектр для данных таблицы 47.4 (схема авто регрессии второго
порядка).
Пунктирная линия—результат сглаживания с помощью окна Парзена (упражнение 49.7)
и первых пятнадцати коварнаций.
приведены графики до (а) для схем Юла и Маркова. Рассмот-
Рассмотрим еще несколько примеров. Графики спектральных функций
на рис. 49.1—49.3 даны для сравнения с коррелограммами из
упражнений 47.20—47.22 (ряд Бевериджа цен на пшеницу,
доли браков из таблицы 47.2 и искусственный ряд Юла таб-
таблицы 47.4).
Наблюденный материал часто содержит весьма резкие флук-
флуктуации и впоследствии мы увидим, почему это так.
СПЕКТРАЛЬНАЯ ТЕОРИЯ
625
49.7 Иногда удобно вычислять не само до (a), a- log w (a),
так как при этом большие значения интенсивности выделяются
не столь резко. Кроме того, такая операция имеет то преимуще-
преимущество, что, как мы увидим позже, в этом случае для определен-
определенных классов оценок ширина соответствующих доверительных
интервалов остается постоянной (см. 49.15). Большей частью
мы будем использовать до (а), но в некоторых примерах следую-
следующей главы мы будем иметь дело и с log да.
Суммы a (a) и Ь(а) являются взвешенными суммами вели-
величин с одинаковой дисперсией, и их распределение для стацио-
стационарных рядов близко к нормальному. Сначала мы рассмотрим
поведение спектра при наличии гармонического члена или
тренда.
49.8 Предположим, что ряд равен сумме гармонического
члена с угловой частотой а и других членов, не коррелирован-
коррелированных с первым:
и, = с sin a/+ g. D9.10)
Вычисляя
получаем, что это выражение равно
-/sin{(n+ !)(«-0)} + ; sin {-^ (a-
+ тот же член с заменой +Р на —р. D9.11)
При р, близком а, первый член доминирует. Величина сум-
суммы X ё&^> по предположению, пренебрежимо мала. Следова-
Следовательно, интенсивность /(р) равна сумме квадратов действитель-
действительной и мнимой частей D9.11), умноженной на с2Inn. Итак,
D9.12)
4ял sin21 у (а — Р) |
Ордината соответствующей периодограммы (см. D7.30)) равна
с2 sin2 {In (а-р)}
D9.13)
626
ГЛАВА 49
Пусть теперь
2ят
п велико, т конечно.
Тогда приближенно, но с малой ошибкой
с2 sin2 тя
(лихM
D9.14)
D9.15)
Следовательно, при р = а периодограмма имеет пик амплитуды
величиной с2, и он будет с обеих сторон окружен меньшими пи-
пиками стремящейся к нулю интенсивности, находящимися от
первого пика на расстояниях Уг, 3/г, 5/г, 7/г и т. д.
Сходным образом ведет себя спектральная плотность с тем
исключением, что при р = а ордината становится бесконечной
теоретически и очень большой на практике. Мы выбрали в D9.8)'
и D9.9) в качестве делителя л/гт, потому что хотим, чтобы
ордината давала нам значение спектральной плотности или со-
соответствующей оценки. Если и — чисто случайный ряд, в пре-
пределе *)
D9.16)
так что ординаты спектра одинаковы для всех частот. В перио-
периодограмме ордината теоретически равнялась бы нулю.
49.9 Появление «боковых пиков» (см. D9.15)) или в спектре
или в периодограмме зависит до некоторой степени от того,
сколь близки частоты, для которых мы вычисляем / или S. Если
в периодограмме по оси абсцисс откладывать период (что пред-
предписывает определение), «основания боковых пиков» становятся
шире с ростом периода. Действительно, пусть
2я
Р
D9.17)
Тогда в силу D9.14)'
или приближенно
m
п
D9.18)
Следовательно, ширина оснований боковых пиков зависит от А»
*) В общем случае /(а)—случайная величина (см. замечание на стр. 566),
Авторы рассмотрят этот вопрос в 49.11. {Прим, перев.) _
СПЕКТРАЛЬНАЯ ТЕОРИЯ
627
На рис. 49.4 для сравнения с рис. 49.1 приведена периодо-
периодограмма ряда Бевериджа. Сначала Беверидж вычислял значения
10 20 30 W 50 60 70 80 90
Период (годы)
Рис. 49.4. Периодограмма для ряда Бевериджа индексов цен на пшеницу.
Дана для сравнения со спектром на рис. 49.1.
приблизительно через равные интервалы, а затем дополнил их
значениями в районе точек, где обозначены пики.
Пример 49.1
Иногда замена сумм интегралами избавляет нас от утоми-
утомительных вычислений и существенно облегчает получение хоро-
хороших приближений. Например, при больших п
sin at sin p^
может быть заменена на
\ sin at sin fit dt,
о
где Т — длина ряда. Интеграл оказывается равным
1 Г sin {(а — р) Г} sin (а + Р) Т 1
2 L а —р а + р J"
Аналогично с той же степенью точности
. 1_Г cos {(а - Р) Г} — 1 cos {(а + р) Т) - 1 1
t-i
628 . ГЛАВА 49
Тогда интенсивность вблизи а = р равна
' W = яТ (а — рJ
Предельный случай стремления а — |
сматривать так же, как и раньше.
Негармонические колебания
D9.19)
к нулю можно рас-
49.10 Нужно помнить, что пик спектра, интерпретируемый
как характеристика гармонического члена, не связан с осталь-
остальными пиками, только если всем пикам соответствуют синусои-
синусоидальные или косинусоидальные
члены. Если же имеется перио-
периодический член не гармониче-
гармонического характера, то в спектре
ему могут соответствовать не-
несколько пиков.
Рассмотрим в некотором
смысле крайний тип колебаний,
п
2п
Рис. 49.5 (см. текст).
показанный на рис. 49.5.
Это в сущности периодически продолженный график х/2 в
области {О^лг^зх}. Рассмотрим разложение Фурье:
-j = sin х — у sin 2х + -у sin Зх —
, 0<л;<л. D9.20)
Тогда в спектре пики интенсивности будут приходиться на
частоты 1, 2, 3 и т. д. В периодограмме «интенсивности» обра-
образовали бы ряд с амплитудами, уменьшающимися пропорцио-
пропорционально 1, 1/4, 1/9 и т. д. Таким образом, при наличии негармони-
негармонического периодического элемента та часть, которую мы выде-
выделяем в качестве основной (в разложениях типа D9.10)), может
оказать влияние на вид спектра вдоль всей его области опреде-
определения.
Пример 49.2
Посмотрим теперь, что случится, если ряд будет содержать
в качестве компоненты линейный тренд. Или, еще проще, рас-
рассмотрим чистый тренд щ = t и применим к нему спектральный
анализ. Используя приближения примера 49.1, получаем
т т
t cos at 1Г , f cos sat
tsm<d & =
T cos aT , sinar
D9.21)
СПЕКТРАЛЬНАЯ ТЕОРИЯ
629
Аналогично
\ t cos at dt —
T sinar . cos aT — 1
г. "Г „2
Итак, интенсивность
т
ЯСС2
D9.22)
D9.23)
Спектральная функция (Т — постоянная) будет представлена
кривой типа г/ = 1 /л;2 с наибольшей интенсивностью в начале
координат. С другой стороны, периодограмма дается функцией
S2(a) = JL = |L, D9.24)
где X — длина волны.
Результаты можно истолковать, исходя из общих соображе-
соображений. Тренд аналогичен очень длинной волне, что эквивалентно
низкой частоте. Очевидно, что если низкие частоты находятся
вне наших интересов, нам следует использовать любые по-
попытки исключения тренда прежде, чем применять спектральный
анализ.
Статистическое исследование ординаты спектра
49.11 Гармоническим составляющим исследуемого времен-
временного ряда соответствует спектральная плотность, задаваемая
ординатами, восстановленными из дискретного набора точек;
однако на практике эти ординаты оказываются «размазанными»
в силу конечности используемой в расчетах траектории времен-
временного ряда. Рассмотрим теперь спектры недетерминированных
стационарных рядов, которые могут быть представлены как
взвешенные суммы (конечные или бесконечные) рядов случай-
случайных величин.
Прежде всего рассмотрим суммы a (a) и &(а) из D9.8) и
D9.9) для случайного ряда щ с нулевой автокорреляцией и
дисперсией а2. Так как при увеличении п и a =5^= 0, я
D9.25)
D9.26)
п п
— V cos ak У* sin ak —> 0,
k=i
то а и & в пределе являются независимыми нормальными вели-
величинами с нулевыми средними и дисперсиями, равными а2/2зх.
¦630
ГЛАВА 49
¦Следовательно, 2я//о2 = 2я(а2 + Ъ2Iа2 имеет х2~РаспРеделение
с двумя степенями свободы. Точно так же сумма S2 в периодо-
периодограмме имеет распределение
D9.27)
Следовательно, асимптотически
М/ = в2/п,
Dw— I = {Mw}2.
D9.28)
D9.29)
При а = 0 и я дисперсия удваивается.
Таким образом, для случайных рядов стандартное отклоне-
отклонение ординаты спектра (или просто значение спектра) имеет
тот же порядок, что и сама ордината.
Распределение D9.27) использовалось при построении примеров критерия
.для наблюденных значений ординат периодограммы. Вероятность того, что S2
превысит величину 4сг2х/я, равна е~к. В 1914 г. Д. Уокер показал, что если
¦е—к мало, вероятность того, что т независимых ординат не превзойдут
АоЫ1п, равна A —е—к)т, так что вероятность того, что хотя бы одна из них
превзойдет эту величину, равна 1 — A —е— *)"*•
Дэвис A941) затабулировал эту функцию. Фишер A929), заметив, что
критерий зависит от о2, модифицировал его в духе Стьюдента. Дэвис затабу-
затабулировал также и функцию, появляющуюся в этом случае.
49.12 Замечательно, что при больших выборках D9.29) спра-
справедливо для недетерминированных стационарных рядов доволь-
довольно общего типа. Этот результат, по существу, принадлежит
Бартлетту (см., например, его книгу 1955 г.). Удобно объеди-
объединить D9.8) и D9.9) в единую формулу
/ (о) = а (а) + ib (а) =
и,в
'«*
D9.30)
Математическое ожидание /(а) равно нулю. Если щ — слу-
случайный ряд с нулевыми автокорреляциями и дисперсией о2, то
%% }
D9.31)
Последнее равно нулю, если аир имеют вид 2пр/п, где р — це-
целое. Аналогично получаем, что /(а) не коррелировано с сопря-
сопряженной величиной /*(Р).= а(Р)—tb(P). Итак, в этом случае
а (а) и Ъ (а) не коррелированк, а из D9.33) (см. ниже) следует,
что будут асимптотически не коррелированы и соответствующие
•спектральные ординаты.
СПЕКТРАЛЬНАЯ ТЕОРИЯ
63Г
Поскольку /(а) = /(а)/*(а), положив в D9.31) р = —а, мьв
вновь получаем
Далее
М
а
= -^г М
M
s-l ft-I
l exP (*" (a/ - as +
i-1
- p/)}. D9.32)
Математические ожидания здесь не равны нулю, если толь-
только t, s, k, I все равны между собой (в этом случае появляется1
четвертый момент и), или если индексы равны попарно. Если»
t = s и k = /, соответствующий член равен М/ (а) • М/ (Р). От-
Отсюда получаем
cov{/(o), /(Р)} =
_ *4 | о* j 1 - cos {»(а + РП , l-cos{»(a-p)} I (AQ „„,
~ яя2 "t" я2я2 X 1 _Cos(о + Р) "г" l-cos(o-P) J * \W-Mr
При а==р, учитывая, что 1 —cos0 = 02/2 при малых 0, имеем
D/ (и; = -J- Ч- О (п-1), D9.34)
что подтверждает D9.29).
Если распределение и отлично от нормального, ковариация
/(а) и /(Р) имеет порядок »-'. Если ы нормально, ковариация
имеет порядок п~2 и даже равна нулю, если аир имеют вид
2пр/п, где р целое.
49.13 Рассмотрим теперь случай, когда щ является взвешен-
взвешенным средним случайных величин е, скажем,
Имеем
D9.35)
s-0 t-l
j-0 t-1
fe-0 s-0
Отсюда получаем, что приближенно
D9.36>
632 ГЛАВА 49
где й (а)— преобразование gs, а именно
оо
Следовательно,
s=0
D9.37)
Этот результат аналогичен полученному в 47.24 результату,
касающемуся передаточной функции для непрерывных рядов.
Далее
М/„ (а) = h (а) И* (а) М/е (а) D9.39)
и асимптотически
D/B(a) = M{/B(a)}2. D9.40)
Как и в D9.29), правая часть D9.40) удваивается при а = 0
или л.
Сглаживание спектра
49.14 Полученные результаты порождают новые задачи оце-
оценивания. Если ряд имеет длину п, дисперсия наблюденного зна-
значения спектра имеет порядок не l/п, а ад2.
Более того, значения спектра, соответствующие значениям
а — 2лр/п, не коррелированы (в точности в нормальном случае
и приближенно во всех иных).
Следовательно, наблюденный спектр будет содержать резкие
флуктуации (хорошей иллюстрацией служит рис. 49.1) и явится
весьма ненадежной оценкой теоретического спектра.
Мы попытаемся преодолеть эту трудность, сглаживая спектр,
а именно, заменяя /(а) взвешенной суммой соседних значений.
Это приведет нас к хорошей оценке в том смысле, что последняя
будет иметь небольшую дисперсию, однако в качестве платы мы
должны примириться со смещенностью.
49.15 Пусть весовая функция h(u) такова, что
h(u) = h(u+2n), D9.41)
п
h(u)du=l. D9.42)
Такую функцию называют «ядром» или «спектральным ок-
окном». Пусть 1(<х)— оценка интенсивности. Построим сглажен-
сглаженную функцию
/л(с0= \h(u)I{a-u)du
—я
h (a — и) I (ы) du. D9.43)
—я
СПЕКТРАЛЬНАЯ ТЕОРИЯ
633
Взяв математическое ожидание, мы видим, что если /(а) —
несмещенная оценка, то оценка 1Л(а), будучи взвешенным сред-
средним, вообще говоря, смещена. Чтобы уменьшить смещение, мож-
можно выбрать h (и) .сосредоточенную в узком интервале, окружаю-
окружающем точку и = 0. В этом случае интеграл в правой части D9.43)
дает нам почти несмещенную оценку. Однако потери все равно
неизбежны до тех пор, пока h(u) не будет равна нулю всюду,
кроме точки и = 0. Если значения h(u) сильно концентрирова-
концентрированы, можно считать, что «эффективная» область определения
функции много уже, чем вся область определения. Такую эф-
эффективную область определения иногда называют «полосой про-
пропускания» спектрального окна.
Интеграл D9.43) можно приблизить суммой
D9-44>
Поскольку значения / не коррелированы,
D/л («) = !?- X Л2 («;) D/ (a - щ).
Используя D9.40), получаем, что приближенно
л
^L \h4u)I4a-u)du. D9.
45)
Если h(u) сконцентрировано в узкой полосе пропускания, из
D9.45) получаем, что приближенно
(а) = ^-/2(a)
D9.46)
Последнее вновь удваивается при a = 0, п. Таким образом,
если последний интеграл конечен, дисперсия имеет теперь поря-
порядок пг1. Можно также показать, что с той же степенью точности
Dlog/A(a) постоянна, и, следовательно, log /(a) имеет дове-
доверительные интервалы постоянной ширины. Можно также пока-
показать, что корреляция между /а(ос) и /а(Р) приблизительно
равна
Я I Я
А (и) А (а + о — Р) du J й2 (a) du. D9.47)
Поскольку последнее выражение положительно при любой
приемлемой весовой функции, термин «сглаживание» вполне
естествен.
«34
ГЛАВА 49
Вычисление значений спектра
49.16 На практике, чтобы построить спектр, не нужно вычис-
вычислять суммы D9.8) и D9.9) для различных а, а затем подсчиты-
подсчитывать интенсивность или значение спектральной плотности. Дей-
Действительно,
}=
л-\
, D9.48)
где Ck — выражение типа ковариации:
n-k
D9.49)
При бесконечном п это сводится к известному выражению
<см. D7.27))
= 1Г w (а)"" if Z 9k COS ka'
D9.50)
Вычисление значений спектра обычно основывается на
¦D9.48). Однако в любом случае мы не можем вычислить Ck при
k>n—1; кроме того, в практических ситуациях мы вряд ли
возьмем на себя труд вычислить все п— 1 сериальных корреля-
корреляций. Рассмотрим оценку
1
Iq («) = ¦?? *-kCk cos ka, D9.51)
~ч
основанную на q сериальных корреляциях*). (Постоянные А,
выбираются прежде всего в целях улучшения оценки, в осталь-
остальном из соображений удобства).
Оценка D9.51) соответствует форме
1ч (°) = ¦?¦ Ц **Р* cos ka
яли
Ли)-
D9.52)
-q
*} В D9.51) подразумевается, что c_k = Сц. {Прим. ред.)
Но в силу D7.22)
СПЕКТРАЛЬНАЯ ТЕОРИЧ
(и) cos ku du.
635;
Подставляя это выражение в D9.52), получаем
1 * f
wq (a) = — V kk \ w (u) cos ku cos ka du =
-q 0
= \ w (u) \ -gjj: ^ Яй cos йы cos ^a ?• rfa. D9.53)
Следовательно, использование D9.51) эквивалентно сглажива-
сглаживанию спектра весовой функцией
ч
= -^ Yj A* cos *P cos *«• D9 -
При Яо = 1 она удовлетворяет условиям D9.41), D9.42).
Итак, мы имеем
h2 (p) rfp = -L 2 Я| cos2 Aa.
D9.55>
Пример 49.3
Возьмем сначала все Я равными единице. Тогда
1 Q
/г(р) = ^5] cos Aspcos Ага = -i J] [cos [(a + Р) ft] + cos [(a — р) А;]]
" L sin { 1 (а + р) }
sin
{ 1 (a -
. D9.56)
причем
J »(P) dfi = ± [q + 1 + Sin{B2L+a1)a)]. D9.57)
Пример 49.4 (Бартлетт, 1950)
Пусть
D9.58)
636
Тогда
ГЛАВА 49
СПЕКТРАЛЬНАЯ ТЕОРИЯ
637
n\q sin2 { у (a + ft) } q sin* { -j (a - fk) J
И
я
D9.59)
- <4M0)
Пример 49.5 (Даниэлл, 1946)
Пусть
sin fe/t
kh '
h>0.
Известно, что
oo
sin px cos qx ,
X
4" л, I p I > I <7 I,
D9.61)
D9.62)
0,
Тогда весовая функция
/e(p) = _Li i + 2
Последнее выражение оценим интегралом
cosa?]--^- >.
-{
о
D9.63)
в иных случаях.
Предлагались также и многие другие ядра, в основном
Блэкмэном и Тьюки A958) и Парзеном A961). См. упражнения
49.5—7 и обзор Дженкинса A961).
Оценивание спектральных плотностей
49.17 Задаче оценивания спектральных плотностей уделялось
большое внимание. Полное изложение всех результатов (кото-
(которые сами по себе далеко не полны) заняло бы слишком много
места. Удовлетворимся поэтому кратким изложением основных
принципов.
Цель оценивания состоит в получении хороших оценок зна-
значений спектра вдоль всей области определения. (Обычно это не
является конечной целью анализа, но на этом вопросе мы здесь
останавливаться не будем.) Мы уже видели, что по разным
причинам идеал недостижим, поэтому введем в рассмотрение
ядро или спектральное окно, чтобы сгладить грубые иррегуляр-
иррегулярности наблюденного спектра. «Хорошее» ядро будет иметь от-
относительно узкую «эффективную» область определения, но ни
одно ядро не будет совершенным, и на его значения могут ока-
оказывать влияние случайные пики спектра*). В этом случае гово-
говорят об «утечке» на краях «спектрального окна», «через которое»
мы просматриваем часть спектра. Таким образом, мы приходим
к вопросу об эффективности сглаживания различных ядер, и,
следовательно, к вопросу о надежности (которая уменьшается
при усреднении), а отсюда и к смещению. В связи со сказанным
могут оказаться полезными процедуры, описанные у Уиттла
A957), где рассматривается априорное распределение значений
спектра, Блэкмена и Тьюки A958), где обсуждаются вопросы
использования предварительного анализа данных, и Парзена
A961), который среди других вопросов рассматривал задачу
о предварительном определении скорости затухания автокорре-
автокорреляций.
49.18 Утечка, о которой мы говорили выше, приводит к
серьезным неприятностям: среднее искажается, если значения
ядра сами по себе малые в крайних точках области определе-
определения умножаются на «случайно» большие значения спектра. По
этой причине Блэкмен и Тьюки A958) предложили использо-
использовать процесс предварительного выбеливания, цель которого —
отфильтровать ряд так, чтобы пики сгладились. Например, если
первоначальный спектр имеет пик в oci и мы можем преобразо-
преобразовать первоначальный ряд так, чтобы этот пик сгладился, на
оценку значения спектра в другой точке а2 уже не будет оказы-
оказывать влияния случайный пик в ai. Очевидно, что это довольно
опасная процедура, но, к счастью, мы можем после «закрасить»
спектр (терминология Нерлова A964)). Последняя идея осно-
основывается на результате 47.24, состоящем в том, что если v(t) —
ряд, полученный с помощью линейной фильтрации u(t), то
wv(a) = wu(*)-\f<f*)P, D9-64)
где /(а)—передаточная функция фильтра. Зная фильтр, мы
всегда можем восстановить спектр первоначального ряда по
оцененному спектру отфильтрованного. Процедура исследова-
*) D9.43) можно интерпретировать двояко. Первое равенство описывает
воздействие ядра на значения /, второе — воздействие / на значение ядра.
(Прим. перев.)
638
ГЛАВА 49
лась Хекстом A964). Отметим также, что иногда полезно ис-
использовать различные процедуры для различных частей спектра.
49.19 Даниэле A962) использовал несколько иной подход.
Сначала он сглаживал спектр некоторым ядром, удовлетворяю-
удовлетворяющим заранее заданному критерию (можно, например, потребо-
потребовать, чтобы оно обеспечивало некоторый минимум разрешающей
способности). Затем стандартным методом проводилась опера-
операция, обратная сглаживанию и улучшающая разрешающую спо-
способность (за счет выборочной дисперсии) до уровня, на кото-
котором полезные изменения в картине спектра перестают быть ощу-
ощутимыми. Предлагались два пути проведения последней процеду-
процедуры. Первый основывается на локальной аппроксимации спектра
полиномом, второй — на разностях спектра. Метод носит эмпи-
эмпирический характер в том смысле, что здесь форма оценок зави-
зависит от характера данных и требует трудоемких вычислений. Тем
не менее он позволяет последовательными приближениями
прийти к устойчивому решению.
49.20 В связи с равенством D9.64) можно отметить работы
Хеннана A960) и Дербина A961), касающиеся влияния на
спектр сезонных изменений и исключения тренда. Мы уже гово-
говорили о том, что исключение тренда искажает остальные компо-
компоненты. С помощью D9.64), по крайней мере теоретически, мож-
можно восстановить спектр остальных компонент, устранив искаже-
искажения, связанные с исключением тренда. Это не означает конечно,
что мы можем восстановить сами остаточные компоненты.
49.21 Следует всегда помнить, что периодограммы и спектр
интересуют нас не сами по себе, за исключением, возможно, не-
некоторых задач из физики и электроники, где величину спектра
можно интерпретировать как мощность колебаний данной ча-
частоты. В большинстве же статистических задач поиск спектра
служит «диагностическим» целям и помогает построить модель
системы, порождающей наблюденный ряд. Поэтому наше вни-
внимание должно быть в большей степени сконцентрировано на
проверке гипотез, касающихся моделей, а не на исследовании
отдельных значений спектра или периодограммы. Указанную
тему мы рассмотрим в следующей главе. Более пространное из-
изложение спектрального анализа можно найти в книгах Блэк-
мэна и Тьюки A958), Гренандера и Розенблатта A057), Грэнд-
жера и Хатанаки A964), а также в докладах симпозиума по
анализу временных рядов под редакцией Розенблатта A963).
Неравные временные интервалы
49.22 В заключение мы сделаем несколько замечаний по по-
поводу того практически важного случая, когда наблюдения про-
проводятся ежедневно или ежемесячно. Пусть ui, и2 и т. д. — ре-
СПЕКТРАЛЬНАЯ ТЕОРИЯ
639
зультаты наблюдений в моменты времени mt, иначе наша ин-
информация определяется величинами и(т), иBт) и т. д. Напри-
Например, мы можем проводить наблюдения ежемесячно и в этом слу-
случае т в среднем равно примерно 30. Допустим теперь, что ин-
интервал между наблюдениями в некоторых пределах меняется
так, что на самом деле мы располагаем величинами и(т-{- &\)t
и Bт + ег) и т. д. Если и имеет нулевое среднее и единичную
дисперсию, что можно предполагать, не ограничивая общности,
то автокорреляции первоначального ряда
р (km) = М [и (tm) u{(t + k)m}], k=0, 1.... D9.65)
Тогда автокорреляции второго ряда
р* (km)
M ±
и (рт + е„) и {(р + k) т + ep+k)
р-\
— ер + e
p+k
D9.66)
Разлагая р в ряд Тейлора, или, что эквивалентно, в ряд разно-
разностей, получаем, что с точностью до второго порядка по е
р* (km) = p (km) + 1 ? (ep+k ~ ep) p' (km) +
Если е имеет нулевое среднее, второй член мал, а в пределе
стремится к нулю. Обозначая символом о2 дисперсию е и
Tft — k-ю автокорреляцию е, получаем
р* (km) == p (km) + о2 A - xk) p" (km).
D9.68)
Поэтому, если о2 мало, автокорреляции в среднем искажаются
мало.
Рассмотрим, например, наблюдения, проводимые каждое
первое число месяца. Средняя продолжительность месяца в ви-
високосный год равна 30,437, соответствующая дисперсия = 0,7.
Первая автокорреляция ti равна —0,42. Нормируя, получаем,
что а2 = 0,7/C0,437) 2 = О,О376. Из D9.68) получаем, что авто-
автокорреляции по сравнению со случаем равных временных интер-
интервалов меняются мало, если р" или вторая разность р не очень
велики, а это на самом деле так.
То же самое касается и спектра. Низкие частоты слегка ме-
меняются, но общий эффект незначителен.
49.23 Дело обстоит не так, если мы рассматриваем агрегиро-
агрегированные величины, например осадки. Здесь эффект, связанный с
640
ГЛАВА 49
СПЕКТРАЛЬНАЯ ТЕОРИЯ
641
различием длин интервалов, может быть значительным. Это
становится очевидным, если вспомнить, что мы можем сравни-
сравнивать суммы, основанные как на 28, так и на 31 наблюдении
(в случае среднемесячных данных). По нашему мнению, в та-
таких случаях нужно стандартизировать данные, переходя к рав-
равным интервалам. Это, в частности, верно для таких данных, как
выпуск продукции за рабочую неделю, или потребление энер-
энергии за рабочий месяц.
Грэнджер A963) детально обсуждал этот вопрос с точки
зрения спектральной теории. См. также работу Кенуя A958).
УПРАЖНЕНИЯ
49.1 P(t)—полином степени k (O^.t^T). Показать, что ордината пе-
периодограммы, соответствующая частоте а, равна
4/>2(Г) I о (г2*-3)
а2Т2 tOV )¦
49.2 Члены ряда принимают значения ect, с > 0, 0 ^ t ^ Т. Показать,
что ордината периодограммы, соответствующая частоте а, равна
i«.
49.3 Известно, что
4 f sin Ъх
sin 5ж
Начертить график ряда, член которого равен х иа интервале @, 4я). Сравнить
с 49.10 и прокомментировать появляющийся спектр.
49.4 Получить D9.47).
49.5 Положив в D9.54)
Ль = 1 — 1а + 2а cos (nklq),
показать, что h равно сумме двух членов типа
— Р, а в другом Y==a + P-
ГГьюки, см, Блэкмэн и Тьюки, 1958,
Предлагались значения а = 0,25 или
а = 0,23.)
-^ J Y + n/q j sin j [q +-%) Y —
sin^—y —я/?
где в одном случае
49.6 Положив в предыдущем примере
получить выражение
• з 1
Sln Y
I
49.7 Положив в предыдущем примере
(Парзен, 1961.)
получить выражение
(Парзен, 1961.)
49.8 «( —стационарный нормальный ряд, У1=ИзД*2/2> Y2 = (^4/^2) — 3-
Показать, что асимптотически Yi распределено как N @, /?i) с
л?-в Ер?.
и Ya распределено как #@, #2) с
Показать, как использовать это для проверки нормальности стацнонарпого
процесса.
(Ломпнцки, 1961.)
49.9 Ряд из рц членов расположен в таблицу
Показать, что
Суммы:
А
В
ui
«ц + 1
"(р-Оц+1
OTi
рц Lj
рц Z-.
"ц+2
"(Р-1
/И2
/и. cos
т, sin
1
...
...
)Ц+2 • ••
...
2п/
\х '
2я/
1» '
«и
ц
НРИ
где А к В — суммы, входящие в периодограмму.
21 М. Кендалл, А^ Стьюарт
642
ГЛАВА 49
49.10 Продолжая предыдущий пример, рассмотреть
Л2 (ц) = D/n/Du
и показать, что если
и, = a sin Bл/Д) + bjt
где &j и периодический члеи не коррелированы, то
Вывести отсюда, что в окрестности к график зависимости ti от ц (периодо-
(периодограмма Унттекера) имеет пик ширины 2Х2/п, окружениый меньшими пиками.
; (Уиттекер, 1911.)
49.11 Значения ряда авторегрессии D7.74) типа Юла наблюдаются с
ошибками, причем ошибки, соответствующие различным членам ряда, иеза-
Спектральные плотности (таблица к упражнению 49.12)
Частота (число
циклов за год)
0
0,0157
0,0313
0,0469
0,0625
0,0781
0,0938
0,1094 -
0,1250
0,1406
0,1563
0,1719
0,1875
0,2031
0,2188
0,2344
0,2500
0,2656
0,2813
0,2969
0,3125
0,3281
0,3438
0,3594
0,3750
0,3906
0,4063
0,4219
0,4375
0,4531
0,4688
0,4844
0,5000
Вез
сглаживания
0,0000
10,4916
39,5419
18,6496
40,5257
1,1554
34,9011
52,4760
36,6309
2,7163
3,7282
9,6669
2,5688
0,0968
16,3082
5,5837
7,7572
1,3151
0,4748
2,4491
0,9332
1,9702
0,7401
4,0405
0,3481
0,4831
0,5796
0,1827
0,4529
0,4774
0,1512
1,1829
1,8403
G=15
19,3065
20,0120
21,8959
24,3510
26,6535
28,0290
27,8621
25,8092
22,0280
17,2623
12,6006
8,9806
6,7729
5,7301
5,2859
4,9314
4,4191
3,7474
3,0386
2,4260
1,9872
1,7203
1,5573
1,4114
1,2300
1,0181
0,8206
0,6847
0,6311
0,6486
0,7041
0,7582
0,7801
4=20
15,5732
18,2743
21,9328
25,1102
27,2150
29,1099
30,4033
28,9764
23,7428
16,5376
10,4166
6,9051
5,5586
5,3329
5,4431
5,3382
4,7363
3,7738
2,8106
2,0975
1,7045
1,5886
1,6005
1,5402
1,3106
0,9851
0,7045
0,5519
0,5288
0,5974
0,7097
0,8112
0,8521
G=30
11,6349
15,8810
24,0449
28,3488
26,1922
25,9544
33,5149
35,8784
25,2362
13,2443
7,8444
5,9028
4,6738
4,8532
5,9667
6,0461
4,9161
3,5804
2,5929
1,8886
1,3929
1,3985
1,7491
1,8142
1,3800
0,8537
0,5774
0,4695
0,4463
0,5478
0,7256
0,8687
0,9190
СПЕКТРАЛЬНАЯ ТЕОРИЯ
643
висимы. Показать, что сериальные корреляции (за исключением /ч>) умень-
уменьшаются в с раз, где с — постоянная. Пусть а' и Ь' — полученные из уравне-
уравнений Юла — Уокера D7.66) оценки величин а и р в уравнении
Показать, что для ряда, наблюдаемого с ошибками,
У/а' > Ь/а,
где а и Ь—оценки для того же ряда, наблюдаемого без ошибок.
49.12 Нами приведены значения спектральной плотности ряда таблицы
47.4 и рис. 49.3, а также результаты сглаживания с помощью ядра Парзена
(упражнение 49.7) и с использованием q сериальных корреляций (см. D9.52) —
D9.54)). Начертить график спектра и отметить эффект возмущения при слиш-
слишком больших q.
21*
ГЛАВА 50
ВРЕМЕННЫЕ РЯДЫ:
НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ
50.1 Теория временных рядов не достигла и, по-видимому,
никогда не достигнет той стадии развития, когда становится воз-
возможным ясное, структурное описание предмета. До некоторой
степени это обусловлено сложной природой изучаемого объекта:
мы вынуждены описывать не только распределения, но и зави-
зависимость автокорреляции от времени. Это приводит к обескура-
обескураживающему обилию параметров и большому количеству различ-
различных согласующихся с данными гипотез. Выбрать среди послед-
последних одну порой весьма затруднительно. В некоторых областях,
особенно в экономике, накопленный опыт не столь велик, чтобы
мы могли полагаться на наши модели с той же уверенностью,
с какой это делается, например, в физике. Ряд данных за 50 лет
считается достаточно большим для рядов экономических величин,
но, будь он и длиннее, у нас нет гарантии, что за этот период
сама система не претерпела важные структурные изменения.
50.2 Появление электронно-вычислительных машин избавило
исследователей от утомительных вычислений, которые раньше
служили серьезным препятствием к исследованию временных
рядов. Однако остались трудности, связанные с формулировкой
и проверкой гипотез, построением моделей изучаемых систем.
По этой причине в практической статистике, для того чтобы
строго поставить задачу и построить модель, очень часто прибе-
прибегают к помощи посторонней нестатистической информации каче-
качественного характера. Мы не будем здесь касаться соображений
и методов, которыми пользуются на этом этапе работы. Примем
лишь во внимание, что они существуют, а в этой последней
главе рассмотрим чисто статистические аспекты: оценивание и
лроверку гипотез, многомерные обобщения и несколько связан-
связанных между собой вопросов, касающихся идентификации и сме-
смешанных регрессионно-авторегрессионных систем.
Оценивание
50.3 Начнем с того, что подчеркнем некоторые общие мо-
моменты, которые в той или иной форме свойственны анализу вре-
временных рядов и являются камнем преткновения на пути полу-
получения точных результатов в оценивании и проверке гипотез,
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ 645
Рассмотрим функцию правдоподобия авторегрессионного
ряда. Ради наглядности ограничимся схемой Маркова, хотя
наши рассуждения будут носить общий характер. Пусть щ, ...
..., ип — последовательность наблюдений и
E0.1)
= Р«п-1 +
Если бы распределение величин е было известно, мы могли бы
считать, что соотношения E0.1) определяют преобразование
случайных переменных, приводящее к новым величинам щ, ...
..., ы„. Но здесь мы сталкиваемся с той трудностью, что соот-
соотношения включают также щ. В самом деле, имеется п величин
е и лт1 величин и. Добавим к E0.1) дополнительное равен-
равенство
щ = и0. E0.2)
Мы знаем, что Wo зависит только от ео, e-i и т. д. и, следова-
следовательно, не зависит от ei, ..., еп. Если плотность «о равна g(ti0),
а совместная плотность вь . . ., е„ равна f(eb . . . , еп), то вели-
величины Ыо, ei, .... еп имеют совместное распределение
ел) g («о) dsL ... den duo.
E0.3)
Осуществим теперь преобразование к величинам ы0, Щ, • ¦ ¦, «п-
Легко видеть, что якобиан преобразования равен единице, и,
следовательно,
dF = f («! — ри3, «2 — P"i. • • •, ип — p«rt_i) g («j) dua duy ... dun.
E0.4)
Использовать это выражение при построении оценок или крите-
критериев нам мешает то, что элемент «о неизвестен. (Если бы он был
известен, мы бы начали с него строить ряд наблюдений.) Есть
несколько способов преодоления указанной трудности, но все
они сопряжены с определенными ограничениями в окончатель-
окончательных выводах, а именно:
(а) с ограничением, что щ известно, при этом последующие
результаты поставлены в зависимость от его значения;
(б) с ограничением, что выборка циклична, т. е. что ы„ = «о;
(в) с предположением, что можно использовать асимптоти-
асимптотическую пренебрежимость величины «о.
50.4 Выберем третий путь. Предположим, например, что все
е. имеют нормальное распределение с единичной дисперсией.
Тогда ы0 нормально с дисперсией 1/A—р2) и с точностью до
646
ПОСТОЯННОЙ
ГЛАВА 50
E0.5)
Член, включающий uQ, равен —-^u\-\-puQuv Интегрируя, по-
получаем, что
п
log L = const +1 log A - р2) - 4" Z ("/ - Р"/-02 - iA ~ p2) B?'
/=2
E0.6)
При больших « сумма в E0.6) доминирует и асимптотически
п
log L 1 J) (и, - ри,-,J. E0.7)
i-2
Мы можем оценить р, максимизируя функцию правдоподо-
правдоподобия, что эквивалентно минимизации суммы квадратов п—1
членов.
Без учета погрешности аппроксимации результаты здесь та-
такие же, какие мы получили бы, рассматривая авторегрессию
как обычную регрессию. Поэтому оценка МП равна
р=!>/*,_,
50.5 Тот же результат можно получить иным способом.
Дисперсия щ равна A — р2), а корреляция между ut и ы/
есть р"-". Поэтому матрица рассеяния и,, .... ип равна
1-Р2
р
1
_я-2
E0.8)
р«-2
Как нетрудно проверить, определитель равен A — р2), а об-
обратная матрица равна
1 —р 0 0 ... О'
-р 1 +р2 -р 0 ... 0 ..
о -р i + P*-P ... о I- E0-9)
v-' =
о о
0
0 ... 1
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ 647
Следовательно, в нормальном случае, с точностью до постоян-
постоянных, логарифм функции правдоподобия равен
1=2
E0.10)
что снова приводит нас к E0.6).
50.6 Второе обстоятельство, которое следует отметить, ка-
касается связи между авторегрессией и скользящими средними.
Мы уже отмечали в 47.18, что схема авторегрессии эквивалент-
эквивалентна скользящему усреднению с бесконечным отрезком усредне-
усреднения. Поэтому может показаться, что провести оценивание в
случае скользящих средних довольно просто, если отрезок
усреднения в действительности конечен. Оказывается, что это не
так. Проиллюстрируем это на схеме
Если дисперсия е равна единице, матрица рассеяния ряда равна
1 + Р2 р 0 0 ... о
р 1 + р2 р о ... о
1 + В2 Р ... 0 I- E0.12)
Р
о
0
о
о
р
о
... 1 + Р2
При р = —р E0.12) почти совпадает с E0.9), но на самом
деле различие существенно, и E0.12) не так легко обратить.
Рассмотрим тем не менее E0.8) с р = —р, т. е. матрицу
E0.13)
Слегка видоизменим модель E0.11) так, чтобы ео равнялось
нулю. Тогда D«, = 1. Точно также, если Den = 1 — р2, то
Dua=l. Другие значения не затрагиваются, и, следовательно,
E0.13) является обращением матрицы рассеяния модифициро-
модифицированной схемы. Ясно, что асимптотически последняя совпадает
со схемой E0.11), поскольку были изменены лишь два крайних
члена.
648
ГЛАВА БО
Итак, с указанной степенью точности логарифм функции
правдоподобия равен
log I = const — -i- log A — р2) —
л—1
n—2
- <50Л4>
Это выражение включает все сериальные корреляции, тогда
как в схеме авторегрессии мы нуждались в стольких сериальных
корреляциях, сколько постоянных нам надо было оценить. Даже
если пренебречь невыписанными в E0.14) членами, выражение
все еще остается громоздким, и, в частности, уравнения МП
окажутся практически не поддающимися решению.
Пример 50.1
Можно предположить, что указанное препятствие преодо-
преодолимо, если использовать какую-нибудь иную оценку. Например,
первая автокорреляция схемы E0.11) равна
Р2). E0.15)
Тогда внушает доверие оценка Ь, являющаяся решением урав-
уравнения
6/A + б2) = г,. E0.16)
К сожалению, как показал Уиттл A953а), это очень неэффек-
неэффективная оценка.
Действительно, для больших выборок (см. D8.9))
» D'i = ttm {р2 + Р?_,Рг+1 - 4plPlP|+I + ЗДр»},
что в нашем случае сводится к равенству
Из E0.16) получаем
dr\ —
db'
и, следовательно, асимптотически
п оь = AJp2)a
Например, при g = 0,5
+р2L - зр2 A+э2)+т-
6 = 389/144.
E0.17)
E0.18)
E0.19)
E0.20)
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ 649
Рассмотрим log L в форме
"/-2рZ
?
1
Имеем
2A-р2)
Л.
МЛ = 1 - р2,
dp2 log i. — 2 ц (] _ р2J -г- A _ р2K } Л -+-
ал
откуда
Таким образом, дисперсия оценки МП (ср. A8.60))
глА 1 - Р2
E0.21)
При р = '/г это равно 3/4я, и сравнение с E0.20) показывает,
что дисперсия оценки Ь из E0.16) в 3,6 раза больше оптималь-
оптимального значения.
Это неожиданно, но легко понять. Оценка, определяемая из
E0.16), использует лишь первую сериальную корреляцию и
игнорирует информацию, содержащуюся в остальных корреля-
корреляциях, хотя, как мы видели, все они входят в функцию правдо-
правдоподобия.
Оценивание в теории авторегрессионных рядов
50.7 Рассмотрим общую схему линейной авторегрессии:
к
1оли = е(. E0.22)
/-о
Рассуждения, аналогичные рассуждениям 50.4, приводят нас
к тому, что если пренебречь краевыми эффектами, в нормаль-
нормальном случае оценки МП можно получить, минимизируя
п f к \2
Z i Z aiUt-l \ ¦
t-k+i к j=0 )
Последнее приводит нас к уравнениям Юла — Уокера D7.66),
650
ГЛАВА' 50
Иначе говоря, решать задачу оценивания можно так же, как и
в случае обычной регрессии.
Основная, теорема здесь принадлежит Манну и Вальду
A943),, которые строго доказали, что асимптотические оценки й
величин а по методу наименьших квадратов имеют те же выбо-
выборочные свойства, что и регрессионные оценки по методу наи-
наименьших квадратов для многомерного нормального случая.
Этого полезного результата достаточно для большинства
практических целей. Экспериментальное изучение рядов умерен-
умеренной длины (л л* 60) при равномерном распределении величин в
показало, что уравнения Юла —Уокера в этом случае довольно
надежны, хотя лучше выправлять смещение оценок автокорре-
автокорреляций методом Кенуя (см. 48.4).
Таблица 50.1
Остаточные значения ряда таблицы 45.4 (поголовье овец),
полученные после исключения тренда простым скользящим усреднением
по девяти точкам
Год
Остаток
A0 000)
1871
72
73
74
75
76
77
78
79
80
81
82
83
—176
—112
+50
+ 141
+60
-20
+ 12
+82
+ 130
-14
—166
-179
—84
Год
Остаток
A0 000)
Год
Остаток
A0 000)
Год
Остаток
U0OO0)
Год
Остаток
U0 000)
1884
85
86
87
88
89
90
91
92
93
94
95
96
+38
+97
+8
-5
-105
—99
+35
+159
+167
+34
— 103
—104
-15
1897
98
99
1900
01
02
03
04
05
06
07
08
09
-23
+17
+71
+35
+ 16
—27
—32
-49
-61
-52
—24
+68
+141
1910
11
12
13
14
15
16
17
18
19
20
21
22
+119
+66
—52
— 117
-61
+ 19
+ 128
+97
+69
—29
— 174
-107
— 142
1923 —109
24 -23
25 +60
26 +121
27 +94
28
29
30
31
-25
-90
-75
+72
32 +152
33 +112
34 —64
35 -87
50.8 Наиболее часто оказывается желательным проверить
гипотезы, касающиеся порядка авторегрессионных схем. Иначе
говоря, наиболее часто «авторегрессионность» ряда предпола-
предполагают заранее и проверяют, насколько далеко простирается ре-
регрессия. Из вышесказанного ясно, что мы можем увеличивать
порядок авторегрессии (вводя дополнительные члены) до тех
пор, пока уменьшение суммы квадратов перестанет быть ощути-
ощутимым. Фактически исследование в этом направлении авторегрес-
авторегрессии проще, чем обычной регрессии. Объясняется это тем, что
здесь мы не сталкиваемся с обычными трудностями, связанными
с исключением «незначимых» переменных в том случае, когда
независимые переменные в уравнении регрессии представляют
смешанный тип.
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ
651
Пример 50.2
В таблице 45.4 были приведены данные о поголовье овец в
Англии и Уэльсе с 1867 по 1939 гг. Рис. 49.4 указывает на при-
приблизительно линейный отрицательный тренд. В таблице 50.1 мы
приводим «остатки», полученные после исключения тренда про-
простым скользящим усреднением по девяти точкам. Нам следует
рассмотреть, в какой мере остаточный ряд может быть пред-
представлен в виде
,. E0.23)
Первые десять сериальных корреляций таковы:
Порядок корре-
корреляции ft
1
2
3
4
5
0,595
-0,151
-0,601
-0,537
-0,138
Порядок корре-
корреляции к
6
7
8
9
10
0,144
0,203
0,118
0,006
-0,078
Прежде всего рассмотрим, какой порядок имела бы схема
линейной авторегрессии. Наиболее легко это сделать, используя
частные корреляции между щ и ut-k при исключении всех про-
промежуточных наблюдений и множественные корреляции, опре-
определенные в B7.61). Получаем следующие данные:
Запаздывание (лаг)
ft
1
2
3
4
5
6
Значение частной
' корреляции г
с запаздыва-
запаздыванием к
0,595
—0,782
+0,097
—0,183
0,031
0,014
ft
JJ(i-r2)=i-«2
l
0,6460
0,2509
0,2485
0,2402
0,2400
0,2400
Очевидно, что мы не получим ощутимого выигрыша, выбрав
порядок линейной авторегрессии больший чем два. Отметим,
что большим значениям |г3| и |г4| соответствуют малые значе-
значения частных корреляций, в то время как малому значению \г?\
соответствует большое значение частной корреляции.
652
ГЛАВА 50
-ZOO
ZOO
Значения^
100
X
ж*
-W0
x* x.xx
х
X X
х
X
X
X
X X
X
х х. Ш
X*
zoo-
х х Значения(ц^
-100
х
х-
*-100
XXX
хх Ир М
х * Значения щ-э
х *
X X
L- ZOO
Рис. 50.1. Диаграммы рассеяния И; и «j-i (вверху) и н; и и^-2 (внизу) для
данных примера 50.2 (поголовье овец).
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ 653
Теперь было бы желательно проверить, насколько улучшит
согласие нашей модели с реальными данными введение в мо-
модель «криволинейных» членов (при существенном улучшении
согласия мы примирились бы даже с нестационарностью моде-
модели). Наиболее наглядно на этот вопрос можно ответить с по-
помощью диаграмм рассеяния щ относительно и,_, и щ относи-
относительно щ-2. Эти диаграммы приведены на рис. 50.1. Никакой
криволинейное™ (по крайней мере, на глаз) не видно и мы
приходим к выводу, что- если предположение об авторегрессии
правомерно, то мы имеем дело со схемой Юла
г + 8г, E0.24)
где дисперсия е составляет около 25 процентов (значение 1 — R*
выше — см. B7.56)) от дисперсии и.
Постоянные сц и а2 легко оценить, используя D7.77 8):
= Ь060, -02 =
1-г
+ 1 == — 0,782.
Окончательно уравнение авторегрессии имеет вид
Щ = 1 .ОбОы,-! - 0,782иг_2 + 8<. E0.25)
Критерий согласия для схем авторегрессии
50.9 Оказывается, что в схеме авторегрессии частные корре-
корреляции можно получить непосредственно. Этот факт использовал
л.енуи AУ4/Ь) при построении одного остроумного критерия со-
согласия (адекватности). F F
Аналогично E0.22) определим величины Гц равенством
t = 2-1 «/"<+/.
E0.26)
где, образно говоря, величины и «идут во времени» не назад
а вперед. '
Имеем
М
aiUt+i
к
a,ut+J+l) =
к к
&?' I = /S a/ S a*VI/+,_t,. E0.27)
где ур — р-я автоковариация щ.
v „ПрИ /^«2чВТОрая сумма спргва в СИЛУ Уравнений Юла-^
Уокера D7.66) равна нулю. То же верно и при / < 0 При / == 0
получаем v v
Otj, = Оел E0.28)
654
ГЛАВА 50
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ
655
Таким образом, если е — нормальная случайная величина,
то г\ — также нормальна и имеет ту же дисперсию. r\t зависит
от et+k и предыдущих величин 8 и, следовательно, не зависит от
.k+i при / > 0.
Рассмотрим теперь величины
E0.29)
Имеем
^ = Me]+!MT?t [n = (DeJ/n, / > k,
co
Пусть величины
0«/+ ... +akut+k),
E0.30)
E0.31)
D5.32)
г. E0.33)
Bee to имеют нулевое среднее, дисперсию, равную (D8/DmJ//i
и не коррелированы между собой.
Мы видим, что et+j совпадает с ut+j, если «исключить из ре-
регрессии» члены «t+j-i, ..., Ut+j-h- С другой стороны, r\t совпа-
совпадает с щ, если исключить щ+\, ..., ы«+ь. Таким образом, при
/ > k корреляция между et+j и r\t, т. е. со,-, равна частной корре-
корреляции членов ряда, отстоящих друг от друга на расстоянии /.
Для больших выборок, используя E0.22) и E0.33) и выбо-
выборочные значения для сериальных корреляций, получаем
t=i
= Aort
где
E0.34)
E0.35)
— а
Пример 50.3
Для схемы Юла D7.74) в силу E0.35) получаем, что
Ао = 1, Al = 2ap Л2 == af + 2<h' Аз — 2ai<h> Л
Следовательно, асимптотически
?й/ = Г/ + 2alrl_, + (oj + 2a2) r/-2 + 20,0/^, + a^_4> / > 2.
E0.36)
Дисперсия coj- равна
H-irS-@+«О1-»?}]•¦
E0.37)
В примере 50.2 для ряда из 65 остаточных членов мы получим,
что
О] = —1,060; а2 =0,782.
Подставляя в E0.36), имеем
(й, = г, — 2,12г;_1 + 2,688^-2— 1,658^-3+ 0,612^-4,
с дисперсией 9,69 X Ю~4.
Как оценки частных корреляций для рядов умеренной длины
эти величины довольно безразличны к влиянию выборочных
флуктуации или случайных ошибок. Конечно, оценивание здесь
основано на предположении, что мы можем использовать выбо-
выборочные оценки величин а. Имеем
со3 = 0,025, со4 = — 0,043, <о5 = — 0,001
при стандартной ошибке, равной 0,031. Как и в примере 50.2,
приходим к выводу, что схема второго порядка хорошо согла-
согласуется с реальными данными.
Процессы скользящих средних
.3
50.10 Мы уже отмечали трудности, возникающие при оцени-
оценивании параметров чистого процесса скользящих средних E0.11).
Очевидно, что эти трудности возрастают с увеличением длины
отрезка усреднения. В этом случае также можно получить
асимптотические выражения для функции правдоподобия, но
уравнения МП становятся очень громоздкими. Мы опишем ме-
метод, принадлежащий Дербину A959b) и сводящий в конечном
счете нашу задачу к задаче авторегрессии.
Рассмотрим простую модель E0.11). Модель эквивалентна
бесконечной авторегрессии —
st.
E0.38)
Сравним последнюю с конечной схемой авторегрессии поряд-
порядка k —
щ + сцы,-! + ОъЩ-2 + .. . + ЩЩ-k = «/» E0.39)
где
656
ГЛАВА 50
Схемы отличаются следующими после й-го члена членами авто-
авторегрессии:
., -p«,_fe_2+ ...} =(- p)fe+1e,-fe-i. E0.40)
Дисперсия последней величины равна p2fe+2De и при |р|<С 1
быстро стремится к нулю при увеличении k. Следовательно,
представление E0.39) можно сделать сколь угодно близким к
представлению E0.38), если выбирать k достаточно большим
(но малым по сравнению с п).
Пусть аи ¦ ¦ ¦, аь. — оценки величин аь .... од в E0.39), по-
полученные методом наименьших квадратов. Из теоремы Манна —
Вальда (см. 50.7 и A9.16)) следует, что все разности (а — а)
асимптотически нормальны с нулевым средним и матрицей рас-
рассеяния Vfera» гДе У* De — матрица рассеяния независимых пе-
переменных в уравнении регрессии, т. е. щ-\, .... ut-h- Последняя
матрица дается E0.12). Следовательно, асимптотически аи ...
..., ак имеют распределение
+ 2р
/=•1
dax ... dak. E0.41)
Выражение в фигурных скобках, обозначим его Q, — суще-
существенная часть функции правдоподобия, т%к как |Vft| =
= A—P2fe+2)A—р2) (см. упражнение 50.1). Выражение Q
можно несколько упростить. Рассмотрим уравнения Юла —
Уокера D7.66) в форме
+ «2Y2 + • • ¦ 4-
-i = — Yi.
= — Y2
42)
Положим Yo== A + P2)o2; o2 = De; yx =P02. Тогда
10,-1=0, г = 2, ..., k— Ь \ E0.43)
= 0.
Умножая j-е уравнение на —2а/ + а/ (/=1, .... k) и склады-
складывая, получаем
Q = A + 02) ? а? + 2р ? a,a1+l + 2paL - Ра,. E0.44)
= A + P2) E a2 + 2p Z
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ 657
Так как при больших k a\ приблизительно равно —р, положив
я0 = 1, получаем
Q = A + Р2) t a) + 2p t а а - 1. E0.45)
Оценку величины р получаем обычным образом, дифференци-
дифференцируя Q и приравнивая производную нулю. Окончательно,
* = -?<»/»,+,/?«?. E0.46)
50.11 Значение оценки легко вычислить, исходя из величина;
последние в свою очередь легко вычисляются с помощью обыч-
обычных авторегрессионных приемов. Дербин A959b), кроме того,
указал, что с точностью до первого порядка по п~1 (см. упраж-
упражнение 50.6)
ВЬ=
В нашем случае *)'
nM
E0.47)
/=-0
что при больших k стремится к 2 ][] (—РJ' = 2/A — р2). Итак,
при достаточно больших k
D6 = (l — p2)/«, E0.48)
и оценка Ь асимптотически эффективна.
50.12 Аналогично можно получить приемлемые результаты и
для процессов более высокого порядка, но выражения стано-
становятся здесь сложнее. Приведем без доказательства основной
результат.
Пусть
п
Ut^Ehet-i, E0.49)
о
где все е — независимы и одинаково распределены (не обяза-
обязательно нормально). Асимптотически оценки а величин а, полу-
полученные методом наименьших квадратов, имеют распределение
dF = "
ехр(~ТnQ)da'
E0-50)
*) С точностью до оA/л). (Прим. ред.)
658
ГЛАВА 50
где 02В —матрица рассеяния величин ut-u ..., «,•-&, а
q == (а _ яу в (а — я) = а'Ва — 2а'В* + а'Вя. E0.Е
Последнее упрощается до вида
Q = а'Ва + 2а'с — *'с, E0.52)
где с = (с1( .... cfe), a C/ = Y/M и снова до вида
л
Q = а'Ва + 2а'с + Z Р2- E0.53)
Оценки Ь величин Р получаются из соотношения
ft
0
ft-1
/ J / /"^
0
ft—ft+1
Z a/a/+ft-i
_ 0
ft—l
Z a,*H
ft
Z*/
0
ft-ft+2
Z ал+
¦
ft-ft+i
. . 0
k
ft_2 •'• Za/
_°ft-
'" ft-1 ~
. . ___
Zj a!aJ + l
0
ft—2
Z afa/+2
0
ft-ft
0
+ft
E0.54)
При больших л матрица рассеяния величин Ь приблизитель-
приблизительно равна
(± Гм d2Q Y\ E0.55)
Можно показать, что последняя равна ?//п, где
I-
l/=l Pi — P*_iPfc i+P?-P*_i-P* •••
. E0.56)
1-Pi
50.13 Полученные результаты позволяют в случае больших
выборок построить критерии для проверки гипотез. Например,
чтобы проверить гипотезу о том, что в E0.11), р = Ро. надо вы-
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ
659
числить Ъ, используя E0.46), и проверить, согласуется ли с дан-
данными, что
z = Vn (Ь - р0) A - р2)-1/2, E0.57)
имеет стандартное нормальное распределение.
Аналогично в общей схеме E0.49) надо проверить, согла-
согласуется ли с данными, что
A h
E0.58)
имеет ^-распределение с h ст. св. (Здесь (ып1) — матрица,
обратная E0.56).)
50.14 Мы снова можем построить критерий согласия для
всей модели. Рассматривая простую модель E0.11), заметим,
что nQ, где Q дается E0.45), распределено приблизительно, как
%2 с k ст. св. Подстановка из E0.46) в E0.45) показывает, что Q
можно представить еще в виде
E0.59)
Асимптотически п(Ь — РJ Z a/ эквивалентно «сумме квад-
квадратов» в линейной модели регрессии, оставшаяся часть является
«остаточной суммой квадратов». Таким образом, адекватность
модели можно проверить, исследуя согласие (с реальными дан-
данными) того факта, что величина
E0.60)
распределена по закону %2 с k — 1 ст. св.
В более общей модели E0.49) минимальное значение nQ
равно
и распределено, как %2 с k — Л ст. св., при условии, что модель
адекватна.
Подробности и некоторые численные результаты смотрите у Дербина
A959b). Ранее Волд A949) предложил более сложный критерий. Дербин для
случая второго порядка доказал, а для общего случая высказал гипотезу
о том, что предельный определитель рассеяния в схеме авторегрессии
ft
Z aiut—j== st совпадает с предельным определителем рассеяния в схеме
660
ГЛАВА 50
ft
скользящих средних ut = Е а,е(_,. Это было строго доказано Финчем A960)
о
о
и А. Уокером A961). Если и существует простое объяснение этого замечатель-
замечательного факта двойственности, то оно до сих пор неизвестно.
Схема авторегрессии со скользящими средними
в качестве ошибок
50.15 Рассмотрим смешанную схему
k h
Е
/=0
E0.62)
Задача получения эффективных оценок величин аир еще
полностью не исследована. Наиболее обещающий метод, при-
принадлежащий Дербину A960b), носит итерационный характер и
состоит в следующем.
Допустим, что нам дана некоторая последовательность а
значений а. Авторегрессионным преобразованием сведем вели-
величины и к величинам
k
zt = Е
/-о
и оценим постоянные р в модели
Получив оценки Ъ величин р, перейдем от уравнений
Е ajtit-i = Е bjBt-j
E0.63)
E0-64)
к уравнениям авторегрессии вида
T.a'jtit-j = at, E0.65)
где все а! — линейные комбинации величин а. Мы можем те-
теперь получить оценки величин а', а следовательно, и а. При не-
неограниченном повторении процедуры значения оценок величин а
и р сходятся к желаемым значениям.
50.16 Применение описанной процедуры связано с решением
двух задач. Первая состоит в обеспечении достаточно быстрой
сходимости, вторая — в выборе «хорошей» последовательности
начальных значений. Первая задача полностью еще не исследо-
исследована,— в анализе временных рядов хорошая сходимость — это
не то, на что можно положиться без достаточной проверки на
практике. Что касается второй задачи, то здесь следует помнить,
что хорошим приближением для схемы E0.62) служит авторе-
авторегрессионная схема высокого порядка. Выберем какую-либо схе-
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ 661
му такого типа и обозначим «остатки» символами et. Заменим в
E0.62) et на et. Тогда предварительные оценки величин а и fr
можно получить, минимизируя
к h \2
Е а,щ-, — Е р;е,_, j .
E0.66).
Пример 50.4
Рассмотрим модель
ut + aut-{ = е, + Ре^.
Приблизим ее схемой порядка k с «остатками» eti
E0.67>
E0.68>
E0.69>
Минимизируем
? (ut + au,_! — ре*-;J
и для оценок величин аир получим
Подставляя значения е из E0.68) и заменяя Е ЩЩ-Р на:
(Еы?)гр> получим асимптотические выражения
E0.71>
E0.72>
а1Г1 + а2Г2+ ¦¦• +akrk '
г1+?г+ ¦¦• +akrk+i
С этих оценок можно начать итерационный процесс.
50.17 Производящая функция автоковариаций для смешан-
смешанной схемы E0.62) со случайными значениями е равна (см. 47.15
и 47.18)
E0.73>
(E«,O(Ev О
Соответствующая спектральная плотность (см. 47.14) равна
» E0.74>
Основываясь на оценках величин аир, можно оценить и спек-
спектральную плотность. Вероятно, более уместно ставить вопрос об
«62
ГЛАВА 50
оценивании величин аире помощью наблюдений спектра. Этот
вопрос изучался Дербином A961).
50.18 Уиттл в серии своих статей (в частности, A951),
A953а) и A953b)) решал более общие задачи проверки гипотез
и оценивания. Методы этих работ, основанные большей частью
на максимизации функций правдоподобия, и сами результаты
относятся к стационарным временным рядам с непрерывным
спектром и носят весьма общий характер. Однако они не слиш-
слишком удобны для вычислений.
Некоторые многомерные обобщения
50.19 Допустим, что мы располагаем р рядами щ (i — 1, ...
..., р), наблюдаемыми в л временных точках, или в непрерыв-
непрерывном случае определенными на некотором отрезке времени. Зна-
Значение щ во временной точке t обозначим и«, а совокупность
(pXrt) значений и матрицей и. Как ив одномерном случае,
будем рассматривать и как реализацию процесса. Наша основ-
основная цель — определить тип процесса и его параметры.
В общем случае любой вектор-строка из и, рассматриваемый
как один из рядов, может содержать тренд, сезонность и осцил-
осцилляции. Однако попытка одновременно разложить все векторы
на их составляющие приводит к практически непреодолимым
трудностям. Предположим, что тренд и сезонные изменения уже
выделены, и мы остались с многомерным стационарным комплек-
комплексом и. Будем следовать Кеную A957).
50.20 Обозначим Y(i,> и р(,-,> соответственно ковариацию и
корреляцию «it и Uj,t-S. Аналогичные выборочные величины обо-
обозначим с(О> и r(t-,>.
При любом s совокупности из р(р+1)/2 таких величин
¦будем представлять в виде квадратных матриц \s, ps, cs и rs.
В одномерном случае ps = p_s, но ясно, что M(«f/«/i<+s) не
равно М (uitujt t—s), но равно M(uiit-.sult). Следовательно,
Y — Y
E0.75)
Как и свойственно многомерному случаю, число параметров
и оценок резко вырастает с ростом р. Будем называть Y(»j>
взаимной ковариацией щ и и, с запаздыванием s. Аналогично
P(ij)S назовем взаимной корреляцией. Мы будем оговаривать те
случаи, когда необходимо различать теоретические и выбороч-
выборочные величины, хотя чаще всего это можно не делать, если сим-
символы сами по себе указывают, с чем мы имеем дело.
50.21 Как и в одномерном случае рассмотрим три типа мо-
моделей: авторегрессию, скользящие средние и смешанную схему
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ 66*
авторегрессии и скользящих средних. Пусть е« — ряд независи-
независимых случайных элементов. Аналогично одномерному случаю
i
теперь мы будем опираться на соотношения
i р
и» = sE ? hjfij, *-,. E0.76>
Для соответствующей схемы авторегрессии имеем
Zo Z ^u^-i,t-s = eit- E0.77>
сдвига такой, что Dut = ыг_ь Выразим
E0.76) в форме
или в матричной форме
' р
где
B(D) = ZBsDs.
Точно так же в схеме авторегрессии E0.77)
s-0
где
Мы можем выписать решение E0.82):
E0.78>
E0.79>
E0.80>
E0.81>
E0.82>
E0.83>
Элементы матриц А и В —полиномы от D. Определим также-
величину
E0.84>
«64
ГЛАВА 50
50.22 Не теряя общности, мы можем изменить масштаб так,
чтобы &i имели нулевые средние, одну и ту же дисперсию, ска-
скажем а2, и были не коррелированы. Тогда
Подставляя щ из E0.79), получим, что
= коэфф. при Ds в o2(ZBtDl)('?,B',D-i).
¦Следовательно, можно записать, что
Аналогично для уравнения авторегрессии
E0.85)
E0.86)
E0.87)
Легко показать, что для смешанной схемы Aut = Bet
Y = A'1 (D) В (D) В' (IT1) (Л' (D-1))'1. E0.88)
Это многомерные аналоги E0.73). В них все D можно рас-
рассматривать как вспомогательные переменные аналогично тому,
что мы раньше записывали как z. Фактически E0.86) — E0.88)
лают нам производящие функции ковариации.
50.23 Получим для схемы авторегрессии естественное обоб-
обобщение уравнений Юла — Уокера D7.66).
Умножая E0.82) справа на urt_q и беря математическое ожи-
ожидание, получаем
М ? A,Dsu,u\-, = Е AM (ut_u't_q) =
ft
_ у
= 0,
q > 0. E0.89)
Юднако решить эти уравнения — дело нелегкое.
Вырождение
50.24 К обычным трудностям анализа временных рядов, с
жоторыми мы сталкивались и в одномерном случае, в многомер-
многомерной ситуации добавляются еще две.
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ
665
Прежде всего между переменными могут существовать ли-
линейные связи, и в этом случае матрицы А и В могут оказаться
вырожденными. Тогда следует предпринять шаги к исключению'
некоторых переменных.
Пример 50.5 (Кенуй, 1957)
Рассмотрим схему
«2* =
2.<-1>
E0.90>
Имеем
В силу E0.86)
\ = B(D)B'\
¦-(! 1).
Vo \+dJ
1+D
2
i+o-1 ).
-D+D~l '
E0.91)
E0.92)
Отсюда получаем, что |у| = 0 и ранг матрицы равен 2. Тогда
между величинами должна существовать линейная связь. В этом
случае ее можно увидеть почти сразу, но формально мы должны
найти собственный вектор, соответствующий нулевому собствен-
собственному числу у- Этот вектор пропорционален A+D, —A}?)
1 — D), и, таким образом, связь такова:
или
A + D) ии - A + D) и* + A - D)u3t = 0,
«К — «2* + «3* = — «1. i-1 + «2. 1-1 + «3, i-1-
E0.93)
50.25 На практике вырожденность встречается скорее как
исключение, чем как правило, и если она появляется, не состав-
составляет труда действовать в духе примера 50.5. Большие трудности
приносит то важное обстоятельство, что, какими бы хорошими
ни были оценки величин у, уравнение E0.88) не определяет А
и В однозначно.
Будем временно писать F вместо А~1В. Тогда E0.88) прини-
принимает вид
V = F(D)F'(D-1) E0.94)
Пусть Ф — любая диагональная матрица, ?-й диагональный
элемент которой равен ф<(Д)/ф,-(/?-1), W — любая диагональная
€66
ГЛАВА 50
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ
667
матрица с диагональными элементами типа ylfi()l^i(),
а / — любая матрица, такая что //' = /. Легко видеть, что то-
тогда в E0.94) F(D) можно заменить на F(D)(&(D)JW(D) и, та-
таким образом, одной ковариационной матрице соответствует мно-
то различных схем.
дроби —
Пример 50.6 (Кенуй, 1957)
Рассмотрим матрицы
4-Д Д Л
1 6 + Д J'
2+7Д
1+2Z)
5 3 + 2D
Г*~ b\ — \\-W 28 + ЗД
Легко проверить, что
\ р _ J_
)' * 17
— D
+ 2D
14 + 37Д — 5 — 12Д
55 + ЗОД 1 + 84Д
л что для каждой F
/ 6 + 2Д + 2Д
Y ~ V 3 + 7Д-1
.—i
Z + 7D
38 + 6Д + 6Д
,-)¦
Ъолее того, если мы умножим F\, F2, F3, F4 соответственно на
ортогональные матрицы J\, J2, /3» ^4, Y не изменится.
50.26 Нам осталось понять, все ли решения E0.88) приемле-
приемлемы; например, все ли они обеспечивают стационарность рядов.
Насколько известно, должны выполняться довольно жесткие ус-
условия, для того чтобы решение было единственным. Следующий
подход принадлежит Филлипсу A959).
Рассмотрим смешанную схему с независимыми остатками и
предположим, что: A) А не вырождена (этого можно добиться,
поступая так, как это делалось в примере 50.5) и B) \А\, как
полином от D, имеет различные корни к\, ..., km. Пусть a(D) —
присоединенная матрица для A(D) *). Тогда E0.88) можно пе-
переписать в виде
a(D)B(D)B/(D-1)ar{D~1) ._ ~
Y~ M^iM'CD-1)! * E0-95)
т
Представляя \А\ в виде произведения IX(D — Хг), мы видим,
г=1
что правая часть E0.95) допускает разложение на элементарные
*) Термин «присоединенная» употребляется разными авторами в разных
смыслах. Здесь под «присоединенной для А» матрицей имеется в виду матри-
матрица А-'|Л|. {Прим. перев.)
E0.96)
где Кг — (р X р) -матрица, определяемая, как это делается, в
обычной теории элементарных дробей, формулой
- Яг) а (Д) В (D) В' (Д-1) а' (р~')
— Г
~ L
Не желая, чтобы E0.96) содержало положительные степени
D, мы считаем, что степень |5| меньше, чем |Л|.
Так как Яг—простой корень, А(Хг) — однократно вырожде-
вырождена, а ранг присоединенной матрицы а(Хг) равен единице (из-
(известный результат из теории матриц). Тогда
«(Яг) = 6л> E0.98)
где kr — (р X 1)-вектор-столбец и хг — A X р)-вектор-строка
такие, что
A(K)kr = 0, E0.99)
хгЛ(Яг) = 0. E0.100)
В действительности ранг Кг тоже равен единице, так как,,
если A X р)-вектор-строка
(Д - Хг) *ГВ (Д) В/ (д-1) а' (д-1)'
, _ Г
h L
LL,
E0.101)
E0.102)
\A(D)\\A'(D-l)\
то, подставляя E0.98) в E0.97), получим
Kr = krtr.
Далее из E0.99) следует, что
А(Хг)Кг = 0. E0.103)
Тогда, если матрица у задана, мы можем разложить ее на
элементарные дроби и определить Кг и Кг. Таким образом, мы
можем получить систему уравнений E0.103). Однако не ясно,,
достаточно ли этих уравнений, чтобы определить А единствен-
единственным образом.
50.27 Рассмотрим прежде всего тот случай, когда все ска-
скалярные уравнения в Aut = Bet имеют один порядок v, и порядок
не может быть понижен. Наложим еще два ограничения: (а) все
элементы главной диагонали А имеют степень о, а степень
недиагональных элементов не превосходит v — 1 (это означает,,
кроме всего, что \А\ не равен нулю); (б) элементы соответ-
соответствующей строки в В имеют степень, меньшую чем v (это озна-
означает, кроме всего, что Я не присутствует в числителях E0.96))
«6S
ГЛАВА 50
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ
669
Не теряя общности, можно предположить, что коэффициент
при Dv в каждом диагональном элементе А равен единице. \А\
имеет степень pv, и, следовательно, pv = т. В каждой строке А
нужно определить pv коэффициентов. Для последних, положив
последовательно в E0.103) г=1, 2, ..., т, получаем неодно-
неоднородную систему независимых уравнений. Таким образом, эле-
элементы матрицы А определяются однозначно (т. е. матрица Л
идентифицируема).
После того как А найдено, из E0.95) и E0.96) получаем
формулу для B(D)B'(D~l)
A{D)K'rAr(D-1)
. E0.104)
r=l
Сама матрица В остается неоднозначно определенной. Од-
Однако из этого положения можно выйти, лишь используя допол-
дополнительную информацию.
50.28 Если уравнения системы имеют разный порядок, для
¦идентификации А требуется еще одно предположение. Пусть
уравнения в Aut = Bzt устроены так, что первое имеет наимень-
наименьший порядок, а каждое следующее имеет порядок не меньший,
чем предыдущее. Если А к В удовлетворяют E0.88), то это же
верно и для \\А и цВ, если ц—произвольная матрица постоян*
ных. Мы можем добавить любую строку матрицы А к любой
последующей строке, не нарушая условия, состоящего в том, что
степень недиагональных элементов меньше, чем у диагональ-
диагональных. Но мы не можем прибавлять строку к предшествующей.
Тогда ц может быть только треугольной матрицей с нулями
выше диагонали.
Мы можем сделать систему идентифицируемой (однозначно
определенной), если предположим, что элементы е не коррели-
рованы от одного уравнения к другому, иначе говоря, что В
диагональна. Тогда B(D)B'(D~l) диагональна, и, следовательно,
яедиагональные элементы матрицы }iBB'\i' равны нулю. Если
Ьц — диагональные элементы ВВ', то недиагональные элементы
цВ(D)В'(D~l) р,', находящиеся выше диагонали, равны
+ ^22*22^32 ^21*11^41 + ^22*22^42
Так как цп не может равняться нулю, цгь 1*31 и т. д. равны
нулю, а следовательно, равны нулю ц32, Щг и т. д. Итак, \х —
диагональна, и уравнения являются идентифицируемыми.
4
50.29 Достаточно ясно, что задачи, связанные с идентифика-
идентификацией очень трудны. Мы можем, по крайней мере исходя из эв-
эвристических соображений, оценить матрицу \, а следовательно
и произведение A'1 (D)B(D)B'(D-l)[Af (D~l)\-K Условия, кото-
которые обеспечивают переход к отдельным элементам в А и В, не
всегда легко проверить, и во всяком случае, чтобы достигнуть
определенности, часто приходится прибегать к посторонней ин-
информации.- Задача построения однозначно определенных моде-
моделей является одной из самых серьезных в теории многомер-
многомерных временных систем, но она выходит за рамки выбороч-
выборочного анализа.
Взаимные спектральные функции
50.30 Если мы могли рассматривать взаимные корреляции
рядов и получать та, что можно назвать взаимной коррелограм-
мой, то мы можем перейти и к обобщению на многомерный слу-
случай спектрального анализа.
Любой паре рядов, скажем щ и ы2, соответствует последова-
последовательность взаимных корреляций p(i2)s, s = —оо, . . ., оо. В каче-
качестве обобщения понятия спектра одного ряда (см. D7.21)), оп-
определим спектральную плотность формулой
(а) = ? p(i2), ехр (/
E0.105)
Соответствующая спектральная функция W(a) определена
на интервале от 0 до я. Обратно, как и в D7.23),
P(i2) s = -^
E0.106)
В одномерных формулах, благодаря симметрии типа ps = p-s,
в выражениях, связывающих спектральную плотность с кова-
риациями или корреляциями, члены с синусами взаимно уничто-
уничтожались. В многомерном случае p(i2)S не совпадает с P(i2),Hs)- Из
E0.105), получаем, что
оо
wl2 (а) = 1 + S {P(i2) j cos sa + p(l2) (-s) cos so} +
oo
+ * T. (P(i2) a sin s« — P(i2) (-s) sin sa} = с (a) + iq (a). E0.107)
50.31 с (a) называют ко-спектром или ко-спектральной плот->
ностью, q(a) — квадратурным спектром или квадратурной
спектральной плотностью. Иногда чертят заранее графики
670
ГЛАВА 50
зависимости обеих этих функций от а. Сумму квадратов с1 -}- q*
называют амплитудой спектра. Нормированное выражение
E0.108)
C'W— 0,@H, (а) '
где W\ и w2 — спектральные плотности щ и «2. называют коге-
когерентностью.
Фазовые связи между процессами изучаются с помощью диа-
диаграмм трех типов: фазовая диаграмма дает зависимость ty(a)
от а, где
4>(a) = arctg{-j{g-}; E0.109)
в диаграмме Арганда по оси абсцисс откладываются значения
c{a)/wi(a), а по оси ординат — значения q{a)jw\{a); диаграм-
диаграмма усиления дает зависимость #?2 (а) от а, где
*2m=jeW±- E0Л10>
Провести вычисления и построить графики можно с по-
помощью вычислительной машины. E0.108) и E0.110) являются
аналогами коэффициентов корреляции и регрессии. Дальнейшие
подробности можно найти в работе Грэнджера и Хатанаки
A964).
50.32 Для многомерных рядов типа скользящих средних или
авторегрессии существует непосредственная связь между про-
производящей функцией ковариаций и спектральной плотностью.
Действительно,
w (а) = A'1 {eia) В (eia) В' (е"а) [А' (е'»)]. E0.111)
Однако практически это не очень полезная формула.
Бриллинджер A965) обсуждал переход от простого и взаим-
взаимного спектра к полиспектру fe-мерного временного ряда.
Пример 50.7
Чтобы показать, как выглядят взаимные корреляции и вза-
взаимный спектр, рассмотрим искусственный ряд, построенный Ке-
нуем A957) и приведенный в таблице 50.2. Ряд удовлетворяет
соотношениям ;
= 0,2и,. *_1 + . t-\
E0.112>
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ 671
Таблица 50.2
Искусственный ряд (см. текст)
t
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
"it
118
102
131
129
72
78
117
134
174
146
94
62
56
39
37
8
—25
17
38
42
49
52
51
11
2
—18
7
20
—29
—20
11
57
65
98
"tt
155
128
148
99
97
63
33
44
73
63
54
27
2
37
0
—42
—79
—104
—65
2
6
21
—2Э
—16
—29
11
—15
28
6
39
—12
7
—3
9
150
114
122
132
114
123
91
67
12
104
38
42
—17
2
70
45
—54
—103
—109
—18
—10
38
29
—19
—26
— 18
—3
—58
27
53
68
—20
—37
43
t
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
"и
102
139
128
101
132
95
43
43
62
108
88
134
139
153
178
181
199
137
126
73
76
46
31
—20
—54
—29
—32
—82
-ПО
—76
—69
—92
—90
—71
19
61
58
64
91
89
94
41
—6
—11
— 19
36
51
69
108
127
162
139
МО
130
124
152
173
165
109
60
68
72
3
—34
—83
—51
—100
—122
Ht
35
—15
27
85
85
95
73
91
0
16
2
—2
—8
52
82
129
84
142
142
70
121
124
135
160
162
52
64
95
55
—23
—15
—35
—46
— 166
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
"и
—45
—74
—30
—46
—48
—88
—70
—82
—74
— 117
—97
—51
—42
—29
j
—28
— 1
26
62
81
77
57
52
54
82
45
40
33
46
—7
4
37
—137
— 125
—92
—70
—93
—66
—48
—16
—34
—22
—10
—64
—101
—90
—88
—29
—46
17
70
107
149
172
156
72
11
45
53
11
46
108
94
61
uzt
—88
—132
—73
—43
—72
—78
—15
—11
—1
13
—13
4
—34
—131
—105
—71
—48
—39
—29
33
103
126
169
172
19
2
54
21
—28
48
94
48
672
ГЛАВА 50
Величины 8 равномерно распределены на отрезке от —49 до
49. В таблице 50.3 приведены значения теоретических ковариа-
ций уа и выборочных ковариаций cs для s = 0, 1, 2, 3, 4, 5.
Сериальные корреляции вплоть до 25-го порядка приведены
в таблице 50.4.
На рис. 50.2 и 50.3 приведены графики логарифмов спек-
спектральных плотностей для трех рядов и логарифмов амплитуд
взаимных спектров. Трехмерный ряд является марковским.
Взаимные спектры его компонент достаточно хорошо отражают
модель. Вообще говоря, при изучении используются и моменты
порядка, большего чем 2.
60.33 Вряд ли стоит говорить, что задачи оценивания и про-
проверки гипотез, сами по себе далеко не простые, значительно
усложняются при переходе от одномерного случая к многомер-
многомерному.
Коррелрграммы отдельных рядов и спектры обычно рассмат-
рассматривают для того, чтобы выяснить, достаточно ли нам марков-
марковской схемы для объяснения эволюции данных или требуется бо-
более сложная модель. Решение таких вопросов основывается на
характере сериальных корреляций и ковариаций. Поскольку в
многомерной теории роль дисперсии играет определитель матри-
матрицы рассеяния, можно ожидать, что для многомерных временных
рядов соответствующие характеристики будут основаны на авто-
автоковариационных и автокорреляционных определителях. Точная
выборочная теория таких величин еще не развита, и на сегод-
сегодняшнем уровне знаний мы вынуждены довольствоваться недо-
недостаточно обоснованными, хотя и интуитивно разумными, про-
процедурами.
50.34 Рассмотрим сначала ковариационный определитель
\ys\. В схеме скользящих средних такие определители равны
нулю, начиная с некоторого значения s, скажем /. В схеме авто-
авторегрессии между последовательными матрицами у существует
связь. Так, в марковском случае
IVJ = P'IVol. E0.113)
(ср. с D7.22)), где
р= — 1,4,1/1 Ло I;
а в схеме Юла (см. пример 47.8)
Ys+) Ys
Y* Ys-1
где
Yi Yo
Yo Yi
A> I.
E0.114)
E0.115)
E0.116)
К сожалению, с ростом размерности растут выборочные
ошибки, искажающие истинный характер связей.
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ 673
Таблица 50.3
Значения ys и еа для ряда таблицы 50.2. (Подчеркнуты значения
определителей соответствующих матриц)
22
Г7 878,14 4 392.92 3 396,37т
14 392,92 6191,72 4 010,45 1
L3 396,37 5 010.45 5 831.96J
5,2245 X 10'"
[7 438,85 3 773,75 2 895,33"|
4 949,64 5 567,17 3 940,14 1
.3 935,63 5 572,55 4,509,41 J
1.4106 X Ю'°
г:
6 943,89 3 217,03 2 501,31
5 251.32 4 650,15 3166.38
L4 454,67 5 010,45 3 546,
3.8087 X Ю9
.31-,
,38
.13J
[5 888.39 2 372.97 1 924,39-|
5 169,59 3 085,29 2 184,82 I
4 773,33 3 411,38 2 342,53.1
2.7765 X Ю8
5 371.43 2 064,44 1705,91"
4 915,27 2 536,47 1,
L4 652.63 2 776,76 1
7,4966 X Ю7
Г
Г'
6 896,05 4 413,37 3 511,74-1 '
14 413.37 6 625.07 5 573.84 |
L3 511,74 5 573.84 6 161.75 J '
3.8320 X
Гб 487,04 3 877.69 3 097,75-|
I 4 822,82 5 984,09 4 624,31 |
1.3 S82.18 5 944.23 4 979.27 J
8,2402 X Ю9
Гб 053,67 3 384,15 2 784,75"!
I 5 008.42 5 175,63 3 681,88 I
1.4 421,45 5 315,40 3 925,26 J
3.4807 X Ю9
Гб 418,76
I 5 303,69
L4 726,19
2 752.01
3 790,42
4 185,14
1,0283 X Ю9
2 184,68-1
2 602,81 1
2 849,74.1
Гб 589,50
4 877.85
L4 510.29
2 865,88
4 224.71
4 549.42
2,6326 X Ю9
2 292.2S
2 932,37
3 332.35,
| 128,6
4 698,2
L4 376,8
128,65 2 388,92 1928,00
S.35 3 511,09 2 359,65
1376,84 3 819,96 2 824,63
2,5781 X Ю9
t,oo-i
>,65
Г4 602,27 2 096,25 1825,86"?
4 549,36 2 770.88 1 835,51 I
L4 211,30 3 140.85 2 009,68 J
9,1749 X Ю8
Кендалл, А, Стьюарт
674
ГЛАВА 50
г
га
я
г?
к
о'
га
t-
—— ININmnnn14
I I I I I I I I I I I I I I I I
oomxomto —
gg2:wS5
I I I I I I I I I
^^J-: —~CNCNCSCSCSCS
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ
675
/г
-3
0,1 0,1 0,3 ' 0,1* Ц5
Частота (циклы 8 единицу времени)
Рис. 50.2. Спектральные функции трех рядов из таблицы 50.2.
По ординате отложеи десятичный логарифм спектральной плотности, деленной на дне*
Персию ряда.
0,1 0,1 0,54 О,1*
Частота (циклы в единицу Времени)
0,5
Рис. 50.3. Амплитуда взаимного спектра трех рядов из таблицы 50.2.
По ординате отложен десятичный логарифм взаимной спектральной плотности, деленной
иа квадратный корень из произведения дисперсий соответствующих рядов.
22»
'676
ГЛАВА 50
Рассмотрим, например, значения |cs| и Ы при s — О,
для ряда примера 50.7:
о
1
2
3
4
5
5,225 X
1,411 ХЮ10
3,809 X Юв .
1,028X10»
2,777 X Ю8
7,497 X Ю7
3,832 X Ю|в
8,240 X Ю9
3,481 X Ю9
2,633 X Ю9
2,578 X Ю9
9,175 X Ю8
Флуктуации слишком велики, чтобы получить хорошее пред-
представление о связях.
50.35 Можно также рассматривать отношения YsY7ii- Напри-
Например, согласно E0.113), мы должны были бы ожидать, что для
схемы Маркова выборочные значения определителей, таких ма-
матриц стремятся к постоянной. Однако и здесь флуктуации зна-
значительны.
Еще ряд результатов в этой области читатель может найти
у Бартлетта и Раджалакшмана A953) и в монографии Кенуя,
где критерий, рассмотренный в 50.9, обобщается на многомер-
многомерный случай.
Системы уравнений
50.36 Обычно при построении математической модели си-
системы мы вводим ряд зависимостей различного типа между ха-
характеристиками системы. Простоты ради предположим, что эти
зависимости даются уравнениями (а не, например, неравен-
неравенствами) и линейны. На практике это условие не столь ограни-
ограничительно, как это может показаться, — иногда мы можем изба-
избавиться от нелинейности, преобразуя переменные, иногда нели-
нелинейные зависимости можно заменить линейными аналогично
тому, как кривую можно приблизить кусочно линейной функ-
функцией.
50.37 За исключением физических систем, точные детерми-
детерминированные зависимости на практике встречаются редко. В ти-
типичной ситуации в линейном соотношении между величинами
присутствует член, характеризующий «ошибку». Рассмотрим,
например, случай, когда между наблюдаемыми величинами у и
х предполагается простая зависимость
у=$х. E0.117)
Соотношение E0.117) может быть неточным по крайней мере
по трем причинам: 1), зависимость между р^на самом деле
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ
677
нелинейна, 2) наблюдаемые величины подвержены ошибкам на-
наблюдения, и в этом случае истинная зависимость относится к
ненаблюдаемым величинам tj и |, 3) зависимость сама по себе
точна, но существуют другие величины, также влияющие на у,
так что правильно было бы писать
у = р* + в, E0.118)
где е пока означает нечто неизвестное или, во всяком случае,
то, что мы не можем определить точно.
50.38 Уравнение E0.118) описывает структурную, не обяза-
обязательно стохастическую связь между величинами. Это не уравне-
уравнение регрессии. Однако, сталкиваясь с такими зависимостями на
практике, не так уж неразумно предполагать заранее, что е
случайно, и отказываться от такого предположения лишь после
того, как будет накоплен материал об истинном характере е.
Мы, кроме того, будем предполагать, что величины у и хне
включают в себя ошибок наблюдения.
Таким образом, мы пришли к системам линейных уравнений,
которые не включают в себя ошибок наблюдений, но содержат
случайные элементы. Наша цель — на основе наблюдений оце-
оценить постоянные в этих уравнениях и дисперсии случайных
членов. Мы уже рассматривали некоторые системы типа (а)
регрессии с независимыми ошибками, (б) авторегрессии с неза-
независимыми ошибками, (в) авторегрессии со скользящими сред-
средними в качестве ошибок. Перейдем теперь к беглому рассмо-
рассмотрению двух других типов: (г) регрессии с автокоррелирован-
автокоррелированными ошибками, (д) смешанных регрессионно-авторегрессион-
регрессионно-авторегрессионных систем.
Регрессия с автокоррелированными ошибками
50.39 Этот случай, по-видимому, впервые подробно обсу-
обсуждался Кокрэйном и Оркуттом A949), которые указали, что
оценки по методу наименьших квадратов не свободны от сме-
смещения, если члены, соответствующие ошибкам, коррелированы.
Критерий для проверки наличия ненулевых корреляций был по-
построен Дербином и Ватсоном A950—1). Точные результаты
в этом случае получить трудно, однако Дербину и Ватсону уда-
удалось построить статистику, ограниченную снизу и сверху стати-
статистиками, подчиняющимися распределению Р. Андерсона D8.8).
См. также работы Ватсона A955) и Ватсона и Хеннана A956).
50.40 Рассмотрим регрессию величин у по величинам х:
0*=-Pi*m+ ••• +РЛ* + И" t==X' •••• п- Eо-119)
Мы пишем здесь щ вместо обычных et для того, чтобы
подчеркнуть, что последние автокоррелированы. Часто, не
\
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ
678
ГЛАВА 50
679
совершая серьезной ошибки, можно полагать, что корреляции
величин и имеют авторегрессионную структуру:
E:-. 120)
к
,_/= 8,.
Если бы величины а были известны, мы могли бы привести
E0.119) к виду
ь k
E0.121)
к
или к виду
где
к
E0.122)
E0.123)
E0.124)
Уравнение E0.122)— обычное уравнение регрессии. Кокрэйн
и Оркутт A949), которым и принадлежит это так называемое
«авторегрессионное» преобразование, предложили, угадывая ка-
каким-то образом значения величин а, оценивать р с помощью
E0.122) и, если это необходимо, повторять процесс, перевычис-
перевычисляя остатки и получая дальнейшие приближения к значениям
величин а.
Дербин A960b) предложил иную процедуру, приводящую к
асимптотически эффективным оценкам. Положив yu = P^j. при-
приводим E0.121) к виду
Е
E0.125)
Если бы все y были независимы, мы могли бы,- как будет по-
показано ниже, рассматривать это асимптотически, как регрессию
yi по остальным у и х, и получать оценки а и у по методу наи-
наименьших квадратов. Если а, Ъ, с — соответствующие оценки а,
Р, y. в силу E0.119) получаем, что
к
T а1Уг-1 — Е
Tu
= yt + Е ctjUt-i — Е (си — a
. *-/•
y j E0.126)
Следовательно, все а и (с — ар) — полученные методом наи-
наименьших квадратов коэффициенты регрессии по ut-j и xt> t-j*
Следовательно, а^ — а:- и Сц — а^Рг асимптотически нормальны
с нулевым средним и матрицей рассеяния, которую можно опре-
определить. Поэтому мы можем выписать их функцию правдоподо-
правдоподобия и, максимизируя последнюю, получить оценки всех аир.
В некоторых случаях асимптотически эффективными являются оценки
метода наименьших квадратов, полученные просто из E0.119) (см. Гренандер
и Розеиблатт A957) и Р. Аидерсои и Т. Аидерсон A950)). Однако в этом
случае становятся непригодными критерии для проверки гипотез.
Смешанная регрессионно-авторегрессионная схема
50.41 Рассмотрим теперь случай регрессии авторегрессионно
связанных yh по фиксированным х:
k ц
Е o.,yt-j = Е Р/*« + в,. E0.127)
Последнее можно привести к виду, сходному с E0.126):
yt
к q
= — Е a,yt-, + E foxu + в*.
E0.128)
Это уже не регрессия с фиксированными величинами справа,
поскольку в схеме появились «запаздывающие» у. Дербин
A960а) показал, что независимо от того, распределены оста-
остаточные члены нормально или нет, появление «запаздывающих
величин» не влияет на асимптотические свойства оценок, полу-
полученных методом наименьших квадратов. Это естественное обоб-
обобщение теоремы Манна — Вальда, уже упоминавшейся в 50.7.
50.42 Мы не имеем здесь возможности развивать дальше тео-
теорию оценивания и проверки гипотез в статистических моделях,
наиболее важное направление которой к тому же изобилует
многочисленными подводными камнями. Однако некоторые об-
общие замечания сделать необходимо.
(а) Важно помнить, какие величины мы считаем фиксиро-
фиксированными, а какие — в силу ли их собственной природы или из
модельных соображений — случайными. Это, в частности, важ-
важно, если мы начинаем преобразовывать наши уравнения. На-
Например, если мы будем обозначать случайные величины строч-
строчными буквами, а фиксированные — заглавными, то регрессия
у = рх + в E0.129)
отнюдь не совпадает с регрессией
Л " а * '
E0.130)
680
ГЛАВА 50
(б)Интересно, что трактовка величины щ зависит от того,
в какой форме она появляется в схеме. В уравнении
Щ = Р"*-1
E0.131)
мы обычно рассматриваем и щ и ut~i как случайные величины.
Однако относительно момента времени t момент времени
(t— 1) уже «прошел» и Ut-\ известно. Таким образом, в опреде-
определенном смысле Ut-i не случайно. Например, если уравнение
E0.131) играет роль «предсказывающего», нас интересует ус-
условная величина щ\Щ-\, а не совместное распределение вели-
величин щ и Ut-\.
(в) Ясно, и к этому усиленно привлекал внимание Хаавелмо
A943), что оценивание постоянных лишь в некоторых уравне-
уравнениях, а не во всей системе, приводит к смещению. Таким обра-
образом, имеется еще один источник ошибок, о котором не следует
забывать: мы можем упустить из внимания часть модели.
(г) Иногда характер имеющихся в распоряжении исследова-
исследователя данных может спровоцировать на построение некоррект-
некорректных моделей.
Так, спрос на товары определяет их цену, цена определяет
предложение. Но записать соотношения типа
E0.132)
— значит проглядеть основное свойство системы, состоящее в
том, что существует разрыв во времени между изменением од-
одной величины -и изменением другой. Запаздывание может быть
столь небольшим, что оно не окажет влияния на статистический
материал, который мы в состоянии собрать, но игнорировать
указанный факт — значит, уменьшить полезность модели.
50.43 Скандинавская школа во главе с Волдом A964) на-
настаивает на том, что при построении экономических моделей
следует ограничиваться так называемыми моделями типа «при-
«причинных цепочек». Такой подход, уместный и при решении об-
общих задач анализа динамических систем, связан с явлениями,
порождаемыми некоей цепочкой причинных связей. Поведение
величины, которую мы изучаем (наблюдаемая величина), под-
подчинено причинным влияниям, которые характеризуются некото-
некоторым числом независимых переменных, характер и значения ко-
которых нам известны. Наблюдаемые величины могут зависеть от
других наблюдаемых нами величин, но характер зависимости
нам также должен быть известен. Теоретически уравнения, вы-
выражающие указанные зависимости, должны, по-видимому, отра-
отражать запаздывание во времени. Если это сделать невозможно,
уравнения должны рассматриваться как несимметричные и чи-
читаться слева направо. Например, простые линейные уравнения,
ВРЕМЕННЫЕ РЯДЫ, НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ
681
указывающие на зависимость цены от спроса —
Ц = аС,
— нельзя обращать, получая, что
E0.133)
E0.134)
Литература по построению моделей разрозненна, разноречи-
разноречива и неполна. Со статистическим анализом моделей дело об-
обстоит еще хуже. Монография Фиска A967) дает полезный обзор
чадач, связанных с системами уравнений. О методе причинных
щепочек можно прочесть в сборнике статей Волда A964). См.
также сборник статей С—Е—I—R A968).
Прогнозирование
50.44 Одна из основных целей анализа временных рядов со-
состоит в прогнозировании поведения изучаемой системы на не-
некоторый исследуемый период времени; по крайней мере, мы
должны уметь определять, возможно ли предсказание при при-
принятом нами уровне ошибок. Известны два подхода к задаче.
Первый носит чисто статистический характер: изучается прош-
прошлое поведение ряда, и в предположении, что система не меняет-
меняется во времени, предпринимается попытка экстраполяции ряда
на будущее без детального изучения самой системы. Так, на-
например, оценив постоянные авторегрессионного ряда, мы можем
написать, что
2 + е,, E0.135)
и оценить Ui, во-первых, подставляя в это уравнение известные
значения ut-\ и Щ-2', во-вторых, предполагая, что наилучшая
оценка возмущающего члена et, состоит в приравнивании его к
нулю. Если на основании прошлого опыта мы оценили диспер-
дисперсии е и оценок величин а\ и аг, мы можем построить довери-
доверительные интервалы для щ.
50.45 Этот откровенно эмпирический подход основан на сле-
следующих предположениях: (а) наша система такова, что схема
авторегрессии (или какая-то другая выбранная схема) хорошо
отражает истинный механизм явления, (б) этот механизм не
меняется или, во всяком случае, не меняется столь быстро, что-
чтобы сделать неверным предположение о том, что уравнение, осно-
основанные на прошлом опыте, будут отражать и поведение систе-
системы в будущем. Если мы, однако, хотим глубже понять природу
явления, мы должны построить модель самой системы, т. е.
мы должны постараться определить в специфической форме
связи, обусловливающие движение системы. Это более сложная
682
ГЛАВА 50
задача, требующая, с одной стороны, большего проникновения
в причинные механизмы явления, с другой — больших усилий
при оценивании различных параметров. Статистики обычно
предпочитают более простой подход и «экстраполируют буду-
будущее» на основе прошлого, не предпринимая попыток построить
модель самого явления. Это приводит к хорошим результатам
при прогнозировании на короткий срок. Но такой подход не
дает возможности предсказать, что произойдет, если характер
системы изменится.
50.46 Если бы обнаружилось, что схема авторегрессии или
регрессионная схема хорошо соответствуют прошлому опыту,
осуществить прогноз было бы легко. Мы просто использовали
бы аутентичные связи, чтобы предсказать будущее значения.
Это можно сделать для временных рядов любого типа. Если ряд
разлагается на такие компоненты, как тренд, сезонные измене-
изменения и осцилляции, мы можем предсказывать будущее каждой
компоненты и, воссоединяя их, предсказывать будущее всего
ряда. Как мы уже раньше отмечали, здесь основным является
предположение о взаимной независимости компонент.
50.47 На практике схемы второго порядка часто оказывают-
оказываются вполне удовлетворительными, т. е. мало что достигается до-
добавлением дополнительных членов. Очень большое внимание
уделялось случаю схем первого порядка, т. е. схеме Маркова.
В этом случае «предсказывающие» уравнения очень просты,
хотя, возможно, и слишком просты. Холт A957) предложил
эвристический подход, имеющий некоторые привлекательные
особенности.
Рассмотрим схему авторегрессии типа
E0.136)
Интуитивно кажется, что при |1 —а|< 1 эта схема весьма
удобна для прогноза, так как вклад прошлых членов в форми-
формирование ut+i уменьшается при переходе к более давним значе-
значениям времени. Если мы оценим Ut+i систематической компонен-
компонентой Ы(+1 из правой части E0.136), т. е. будем игнорировать e(+i,
получим,что
к &
ut+i — й, = а?A — аI щ-j — аЦA— а)'^-,-, =
о о
= а (и, - й,) — A — а)к+' и*-*-,. E0.137)
При значениях 11 — a |, не слишком близких к единице, и уме-
умеренно больших k, можно написать, что
ut+i — ut = a(ut — ut) = aet. E0.138)
ВРЕМЕННЫЕ РЯДЫ. НЕКОТОРЫЕ ДОПОЛНИТЕЛЬНЫЕ АСПЕКТЫ
683
Допустим, что а известно. В момент t-\- 1 мы знаем е,. Это
последнее было ошибкой оценки в момент t. Тогда мы можем
оценить ut+i, взяв оценку для t и добавив ссе*.
50.48 Оценить параметр а не так просто. Наиболее непосред-
непосредственный и требующий больших вычислений подход состоит в
попытке оценить «размах» значений а и вычислении сумм
Е {«/+1 — Щ — ¦¦• — a A — a)ft u,-k}2
для различных k. При этом а и k выбираются так, чтобы мини-
минимизировать последнее выражение.
Такая процедура не предусматривает большой точности при
определении оптимального а.
Системы типа E0.136) называют, по понятным причинам,
предсказывающими (или упреждающими) системами, исполь-
использующими скользящие средние с экспоненциальными весами. Бо-
Более детально они изучались Брауном A959), Барнардом Г.
A959), Коксом A961), Боксом и Дженкинсом A962) и Уордом
A963). Уинтерс (I960) обобщил результаты на случай, когда
имеются сезонные изменения.
50.49 На этом мы должны кончить. Мы сознаем, что некото-
некоторые вопросы можно было бы обсуждать и дольше, а многие еще
требуют дальнейшего изучения. Мы надеемся, что читатель, ко-
который смог выдержать до конца, сможет простить нам и недо-
недостатки нашей работы. Совсем не легко придать стройность и за-
законченность изложению предмета, который претерпевает столь
бурное развитие. И об этом не стоит жалеть — появляются но-
новые результаты, и их появление обусловлено жизнеспособностью
предмета, дальнейшего триумфа которого мы, несомненно, бу-
будем свидетелями. Мы в большом долгу перед авторами, чьи ра-
работы мы столь вольно излагали, мы просим их простить нас за
возможные ошибки и пропуски. И мы пишем эти последние
строки с чувством глубокого облегчения.
Библиографические замечания
Теперь стала доступной исчерпывающая «Библиография статистической
литературы> М. Д. Кендалла и Алисоиа Г. Дойга (Оливер и Бойд, Эдин-
Эдинбург) *), включающая 30 000 наименований с 16 века по 1958 г. 1-й том A962)
относится к 1950—58 гг., 2-й том A965) —к 1940—49 гг., 3-й том A966) —
ко. всем годам вплоть до 1939. Ссылки на работы, вышедшие после 1958 года
можно найти в Journal of Statistical Abstracts, периодически издаваемом Меж-
Международным статистическим институтом.
Существует также некоторое число специализированных библиографий.
Отметим, в частности, превосходную библиографию, изданную под редакцией
Г. Волда A969).
*) «Bibliography Statistical Literature», M. Q. Kendall and Alison G. Doig
(Oliver and Boyd, Edinburg).
684
ГЛАВА 50
УПРАЖНЕНИЯ
50.1 Показать, что если Vn—определитель матрицы E0.12), то
и, следовательно, Vn = (l - р2я+2)/A - р2).
50.2 Показать, что для схемы Маркова (обозначения Б0.9)
и что, следовательно, ряд примера 50.2 этой схеме не удовлетворяет.
50.3 Показать, что если G(z)—производящая функция автоковариаций
величин и, то производящаи функция автоковариаций величин т) из E0.26)
равна
и, что, следовательно, е и т) имеют одну и ту же производящую функцию
автоковариаций.
50.4 Докажите E0.32)
50.5 (Последовательное решение уравнений Юла — Уокера.)
Схема линейной авторегрессни имеет порядок к, коэффициенты а вычис-
вычислены в предположении, что порядок схемы равен s ^ к, что привело к зна-
значениям a»i, ..., а», и ац = —pi. Показать, что
o,st = ctj—i, t + aS3<Xs— i>s—и t=\ s — 1,
Ps + as—1, IPs—1 +<*s—2,2ps—2 + •'• + Од—1, s— lpl
ass'
l+css-i,
as_i,s-iPs-i
s=l, ... k.
(Дербии, 1960b.)
50.6 Используя обозначения 50.10, показать, что если функцию правдо-
правдоподобия записать в виде A — Р2) 2 f (Q) da так, что
то
Вывести отсюда, что приближенно D6 = М ( -т^- \ / М ( ~ЩГ J > а затем
получить E0.48).
(Дербин, 1959b.)
50.7 Доказать E0.88).
50.8 Показать, что если два ряда типа авторегрессии или скользищих
средних порождены одним случайным рядом, то для всех к
P(lUiPB2)ft-f — 2-1 PU2) »РB1) ft—i-
(Кену й, 1957.)
50.9 Показать, что, если в примере 50.6 матрицы F являются Л-матрнцами
схемы авторегрессии, то лишь одна из них определяет стационарный процесс.
50.10 Пусть матрица В из 50.26 — единичная матрица. Обсудить условия,
при которых схема авторегрессии даст однозначно определенное стационарное
решение.
ПОСЛЕСЛОВИЕ К ТРЕТЬЕМУ ТОМУ
. ' «Я полагаю разумным, перед тем как подойдет к концу Ваше пребывание
в Парламенте, высказать Вам некоторые свои мысли. Это уместно сделать
именно сейчас, ибо, уезжая, Вы сможете унести сказанное с собой...
Вы знаете сами, что я никогда не рассматривала ни одного дела, не
испросив совета, одинаково чтя и правду, и справедливость. Как должно всем
королям, желающим знать истину, я всегда готова была выслушать доводы и
pro и contra*). Но, внимая всем спорам, я сама всегда оставалась свободной
от предрассудков и предубежденности».
Елизавета I своему последнему Парламенту
*) pro et contra (лат.) — за и против,
ПРИЛОЖЕНИЕ
Таблица 1
Функция плотности нормального распределения
1 .-ix.
X
0.0
0,1
0,2
0.3
0.4
0.5
0,6
0,7
0.8
0.9
1.0
1,1
1,2
1,3
1,4
1.5
1,6
1.7
1.8
1,9
2,0
2,1
2,2
2,3
2,4
У
0,39894
0,39695
0,39104
0,38139
0,36827
0,35207
0,33322
0.31225
0,28969
0,26609
0,24197
0,21785
0,19419
0,17137
0,14973
0,12952
0,11092
0,09405
0,07895
0,06562
0,05399
0,04398
0,03547
0,02833
0,02239
Д1 (-)
199
591
965
1312
1620
1885
2097
2256
2360
2412
2412
2366
2282
2164
2021
1860
1687
1510
1333
1163
1001
851
714
594
486
Д2
—392
—374
-347
—308
-265
—212
-159
— 104
-52
-0
+46
+84
+ 118
+ 143
+ 161
+ 173
+177
+ 177
+ 170
+ 162
+150
+ 137
+ 120
+ 108
+91
X
2,5
2,6
2,7
2,8
2,9
3,0
3,1
3,2
3,3
3,4
3,5
3,6
3,7
3,8
3,9
4,0
4,1
4,2
4,3
4,4
4,5
4,6
4,7
4,8
у
0,01753
0,01358
0,01042
0,00792
0 00595
0,00443
0,00327
0,00238
0,00172
0,00123
0,00087
0,00061
0,00042
0,00029
0,00020
0,00013
0.00009
0,00006
0,00004
0,00002
0,00002
0,00001
0,00001
0,00000
Д1 (-}
395
316
250
197
152
116
89
66
49
36
26
19
13
9
7
4
3
2
2
—
—
—
—
—
Д2
+79
+66
+53
+45
+36
+27
+23
+17
+ 13
+ 10
+7
+ 6
+4
+2
+3
—
—
—
—
—
—
—
—
—
Функция нормального распределения
1 Г ~\х'
В таблице даны значения F(x) =—-=- \ е dx, т. е.
V 2я ^
Таблица 2
значения пло-
1 -
щади под кривой у — , е
, лежащей левее точки х; например, для
У2я
х = 1,86 (= 1,5 + 0,36) FJJ ,86) =0,9686
X
0,00
0,01
0,0+
5000
5040
0,5+
6915
6950
1,0+
8413
8438
1,5+
9332
9345
2,0+
9772
9778
2.5 +
92379
92396
3.0+
92865
92869
3,5 +
9377
9*78
ТАБЛИЦЫ
687
Продолжение
X
0,02
0,03
0,04
0,05
0,06
0,07
0,08
0,09
0,10
0,11
0,12
0,13
0,14
0,15
0,16
0,17
0,18
0,19
0,20
0,21
0,22
0,23
0,24
0,25
0,26
0,27
0,28
0,29
0,30
0,31
0,32
0,33
0,34
0,35
0,36
0,37
0,38
0,39
0,40
0,41
0,42
0,43
0,44
0,45
0,46
0,47
0,48
0,49
0,0+
5080
5120
5160
5199
5239
5279
5319
5359
5398
5438
5478
5517
5557
5596
5636
5675
5714
5753
5793
5832
5871
5910
5948
5987
6026
6064
6103
6141
6179
6217
6255
6293
6331
6368
6406
6443
6480
6517
6554
6591
6628
6664
6700
6736
6772
6808
6844
6879
0,5+
6985
7019
7054
7088
7123
7157
7190
7224
7257
7291
7324
7357
7389
7422
7454
7486
7517
7549
7580
7611
7642
7673
7704
7738
7764
7794
7823
7852
7881
7910
7939
7967
7995
8023
8051
8078
8106
8133
8159
8186
8212
8238
8264
8289
8315
8340
8365
8389
1.0+
8461
8485
8508
8531
8554
8577
8599
8621
8643
8665
8686
8708
8729
8749
8770
8790
8810
8830
8849
8869
8888
8907
8925
8944
8962
8980
8997
9015
9032
9049
9066
9082
9099
9115
9131
9147
9162
9177
9192
9207
9222
9236
9251
9265
9279
9292
9306
9319
1,5+
9357
9370
9382
9394
9406
9418
9429
9441
9452
9463
9474
9484
9495
9505
9515
9525
9535
9545
9554
9564
9573
9582
9591
9599
9608
9616
9625
9633
9641
9649
9656
9664
9671
9678
9686
9693
9699
9706
9713
9719
9726
9732
9738
9744
9750
9756
9761
9767
2,0+
9783
9788
9793
9798
9803
9808
9812
9817
9821
9826
9830
9834
9838
9842
9846
9850
9854
9857
9861
9864
9868
9871
9876
9878
9881
9884
9887
9890
9893
9896
9898
9901
9904
9906
9909
9911
9913
9916
9918
9920
9922
9925
9927
9929
9931
9932
9934
9936
2,5+
92413
92430
92446
92461
92477
92492
92506
92520
9^534
92547
92560
92573
92585
92598
9^609
92621
92632
9*643
92653
92664
92674
92683
92693
92702
92711
92720
9^28
92736
92744
92752
92760
9*767
92774
92781
92788
92795
92801
92807
92813
92819
92825
9г831
92836
92841
92846
92851
92856
9*861
3,0+
92874
92878
9*882
92886
92889
92893
92897
92900
9303
9306
9310
9313
9316
9318
9321
9324
9326
9329
9331
9334
9336
9338
9340
9342
9344
9346
9348
9350
9352
9353
9355
9357
9358
9360
9361
9362
9364
9365
9366
9368
9369
9370
9371
9372
9373
9374
9375
9376
3.5+
9378
9379
928О
9381
9381
9382
9383
9383
9384
9385
9385
9386
9386
9387
9387
9388
9388
9389
9389
9390
9390
9404
9408
9412
9415
9418
9422
9425
9428
9431
9433
9436
9439
9441
9443
9446
9448
9450
9452
9454
9456
9458
9459
94б1
9463
9464
9466
9467
Примечание. Знаки целой части (т. е. 0) в таблице опущены. По
вторяющиеся девятки замелены степенями; например. 9371 означает 0.99971].
Квантиля ^-распределения ТаблицаЗ
(Заимствованы из таблицы III книги сэра Рональда Фишера Statistical Methods for Research
Workers, Oliver and Boyd Ltd., Edinburgh.) ___
P-\-F
0,99
0.98
0,95
0.90 I 0.80 | 0,70
0,50
0,30
0,20
0,10
0,03
0,02
3,841
5,991
7,815
9,488
11,070
12,592
14,067
15,507
16,919
18,307
19,675
21,026
22,362
23,685
24,996
26,296
27,587
28,869
30,144
31,410
32,671
33,924
35,172
36,415
37,652
38,885
39,113
41,337
42,557
43,773
o.oi
6,635
9,210
11,345
13,277
15,086
16,812
18,475
20,090
21,666
23,209
24,725
26,217
27,688
29,141
30,578
32,000
33,409
34,805
36,191
37,566
38,932
40,289
41,638
42,980
44,314
45,642
46,963
48,278
49,588
50,892
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
0,0457
0,0201
0,115
0,297
0,554
0,872
1,239
1,646
2,088
2,358
3,053
3,571
4,107
4,660
5,229
5,812
6,408
7,015
7,633
8,260
8,897
9,542
10,196
10,856
11,524
12,198
12,879
13,565
14,256
14,953
0,0*628
0,0404
0,185
0,429
0,752
1,134
1,564
2,032
2,532
3,059
3,609
4,178
4,765
5,368
5,985
6,614
7,255
7,906
8,567
9,237
9,915
10,600
11,293
11,992
12,697
13,409
14,125
14,847
15,574
16,306
0,02393
0,103
0,352
0,711
1,145
1,635
2,167
2,733
3,325
3,940
4,575
5,226
5,862
6,571
7,261
7,96-2
8,672
9,390
10,117
10,851
11,591
12,338
13,091
13,848
14,611
15,379
16,151
16,928
17,708
18,493
0,0158
0,211
0,584
1,064
1,160
2,204
2,833
3,490
4,168
4,865
5,578
6,304
7,042
7,790
8,547
9,312
10,085
10,865
11,651
12,443
13,240
14,041
14,848
15,659
16,473
17,292
18,114
18,939
19,768
20,599
0,0642
0,446
1,005
1,649
2,343
3,070
3,822
4,594
5,380
6,179
6,989
7,807
8,634
9,467
10,307
11,152
12,002
12,857
13,716
14,578
15,445
16,314
17,187
18,062
18,940
19,820
20,703
21,588
22,475
23,364
0,148
0,713
1,424
2,195
3,000
3,828
4,671
5,527
6,393
7,267
8,148
9,034
9,926
10,821
11,721
12,624
13,531
14,440
15,352
16,266
17,182
18,101
19,021
19,943
20,867
21,792
22,719
23,647
24,577
25,508
0,455
1,386
2,366
3,357
4,351
5,348
6,346
7,344
8,343
9,342
10,341
11,340
12,340
13,339
14,339
15,338
16.338
17,338
18,338
19,337
20,337
21,337
22,337
23,337
24,337
25,336
26,336
27,336
28,336
29,336
1,074
2,408
3,665
4,878
6,064
7,231
8,383
9,524
10,656
11,781
12,899
14,011
15,119
16,222
17,322
18,418
19,511
20,601
21,689
22,775
23,858
24,939
26,018
27,096
28,172
29,246
30,319
31,391
32,461
33,520
1,642
3,219
4,642
5,989
7,289
8,558
9,803
11,030
12,242
13,442
14,631
15,821
16,985
18,151
19,311
20,465
21,615
22,760
23,900
25,038
26,171
27,301
25,429
29,553
30,675
31,795
32,912
34,027
35,139
36,250
2,706
4,605
6,251
7,779
9,236
10,645
12,017
13,362
14,684
15,987
17,275
18,549
19,812
21,064
22,307
23,542
24,769
25,989
27,204
28,412
29,615
30,813
32,007
33,196
34,382
35,563
36,741
37,916
39,087
40,256
5,412
7,824
9,837
11,668
13,388
15,033
16,622
18,168
19,679
21,161
22,618
24,054
25,472
26,873
28,259
29,633
30,995
32,346
33,687
35,020
36,343
37,659
38,968
40,270
41,566
42,856
44,140
45,419
46,693
47,962
I
n
Я
n
Примечание. Для значений v. ббльших 30, величину л/2% можно считать распределенной нормально со сред-
ним V2v — 1 и единичной дисперсией.
S !fc ;*¦"*; "ф-'ф-'ф. V V "ф.
ОСОСО^!СЛСЛф.СОЬЭ —
W ^_/ ^^ ^* \^ ^_/ ^* W ^^ ^-* ^^ ^^ ^_/ ^н^ ¦¦ J ^h' ^^ *¦„ ,J V~r 4
о со со Ъэ "со "to lo "to "to lc To To "to lo lo "— 'i—'i—"-—w-
¦.СОЮ'—ОСООО-^ОЭСЛф-СОЮ'— OtOOO-^JO^C
5U1*CON3 —
>^. »^ ^ ф»"*^ ел ел ел сл^^^Ъ^^^^^^сл^Ъ^'сл^^Ъ^'Ъэ'о^Ъ^Ъ^Ъ^Ъ^'а^Ъ^Ъ^Ъ^Ъ:
"^ 00 00 (?) tC* С5 ^D •—* ^~* Ю Ю Со СО *^ j— СП СЛ 01 "^ "^ ОО СО СО €_) •—• •—• Ю СО СО Ф» О1 О^ "^ 00 ОС- _.
COCOCOtO-^tO-^»— &> —* •ЧЮ-^СООоФ'^ОСЛ'—'-^COOO^COO^J фк."— (?>СЛФ»Ю>—ОС0000000;0О^-*Ф»'^»--05С0'—»tv -.>
^Й^^Ф^^^^^осо^осл^оооэо^оою^с^н-о^с^о^)^
ооо—р— coo5^ooootooco^oа"tOl&^to^э^^05»^oococoФ^coooOlfco350ocoФ^lJ
4_ ф» ф* ф» ^ ..
СОФ»Ф»СЛО5". .„__
СЭТСОСО-^СО'—<_>-^СЛС0Ю"
Я^^^ЖЙ'^Й??<01§Й?Й?0Ч°0Ро0о0о1оо'0092':<1^^^ ^Vi'^ViVjVi ЪЪЪспЪ'Ьслспоэ спсп ел ел спел ел ел слсл"сл
ОСООО^ОЭСЛф^СОЮ»—* ОСОСО-^СЭТСЛФ^СОЮ1—* ОС000<^05СЛ*»С0Ю'~*О<_>00<^СЛСЛФ» CO-tO 1—*0<_>00"*1С75СЛ*».СОЮ *-* О
s
pt
я
в
я
"О
1 s
Я "О
о а
g
/AS
I *
S о
28
о
а
о
а
н
в
а
ь.
s
Р
се
И
S
С
I
ЮЮМММЮЫЫСОСОА|^*>^СПСЛСВ*ЛЧООООЮОО NM^CnSCD
"" СОЧУСП M!C- UOia>OC001100J050CntD*00)MOS01CIlO)SO^—
"^-0>bStDOe"^tDCOOOCTCn"^N300tD-tOtDOJ*tDOOOOJOO--4WtD
©tO<0<OCO<0<0<0<0«3<00000000000 00 J» OO OO OOJSJM —J J-J ^-J ^
'о'«э'Ьо''ч"спсл V"oolo^-'"o"to оо^ тел 4^оо"ю'~'0«э'а)"чЪ5Ъ1
рррО .
5 О О О О О О О О О О О О О О О О
___ ___ _j E с5 ^Э CD О О О ^Э О О О О О О О О
fss
)ОО<
1ОО'
РВ
I
S!
-"8
S
О О
g g
о
es
ев
со
о
r>
в
о
о»
а
¦о
S
га
S
га
Квантили i- распределения
Заимствованы из таблиц сэра Рональда Фишера и Ф. Иэйтса: Statistical Tables for
Biological, Medical and Agricultural Research, Oliver and Boyd Ltd., Edinburgh.)
Таблица 5
P=2(l — F)
V=l
2
3
4
5
6
7
8
9
10
11
12
13
14
15
0,9
0,158
0,142
0,137
0,134
0,132
0,131
0,130
0,130
0,129
0,129
0,129
0,128
0,128
0,128
0,128
0,8
0,325
0,289
0,277
0,271
0,267
0,265
0,263
0,262
0,231
0,260
0,260
0,259
0,259
0,258
0,258
0,7
0,510
0,445
0,424
0,414
0,408
0,404
0,402
0,399
0,398
0,397
0,396
0,395
0,394
0,393
0,393
0,6
0,727
0,617
0,584
0,569
0,559
0,553
0,549
0,546
0,543
0,542
0,540
0,539
0,538
0,537
0,536
0,5
1,000
0,816
0,765
0,741
0,727
0,718
0,711
0,706
0,703
0,700
0,697
0,695
0,694
0,692
0,691
0,4
1,376
1,061
0,978
0,941
0,920
0,906
0,896
0,889
0,883
0,879
0,876
0,873
0,870
0,858
0,866
0,3
1,963
1,383
1,250
1,190
1,156
1,134
1,119
1,108
1,100
1,093
1,088
1,083
1,079
1,076
0,074
0,2
3,078
1,886
1,638
1,533
1,476
1,440
1,415
1,397
1,383
1,372
1,363
1,356
1,350
1,345
1,341
0,1
6,314
2,920
2,353
2,132
2,015
1,943
1,895
1,860
1,833
1,812
1,796
1,782
1,771
1,761
1,753
0,05
12,706
4,303
3,182
2,776
2,571
2,447
2,365
2,306
2,262
2,228
2,201
2,179
2,160
2,145
2,131
0,02
31,821
6,965
4,541
3,747
3,365
3,143
2,998
2.896
2,821
2,764
2,718
2,681
2,650
2,624
2,602
0,01
63,657
9,925
5,841
4,604
4,032
3,707
3,499
3,355
3,250
3,169
3,106
3,055
3,012
2,977
2,947
0,001
636,619
31,599
12,924
8,610
6,869
5,959
5,408
5,041
4,781
4,587
4,437
4,318
4,221
.4,140
4,073
я
s
en
со
Продолжение
P=2(l — F)
v-16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
40
60
120
00
0,9
0,128
0,128
0,127
0,127
0,127
0,127
0,127
0,127
0,127
0,127
0,127
0,127
0,127
0,127
0,127
0,126
0,126
0,126
0,126
0.8
0,258
0,257
0,257
0.257
0,257
0,257
0,256
0,256
0,256
0,256
0,256
0,256
0,256
0,256
0,256
0,255
0,254
0,254
0,253
0.7
0,392
0,392
0,392
0,391
0,391
0,391
0,390
0,390
0,390
0,390
0,390
0,389
0,389
0,389
0,389
0,388
0,387
0,386
0,385
0.6
0,535
0,534
0,534
0,533
0,533
0,532
0,532
0,532
0,531
0,531
0,531
0,531
0,530
0,530
0,530
0,529
0,527
0,526
0,524
0.5
0,690
0,689
0,688
0,688
0,687
0,686
Я.686
0,685
0,685
0,684
0,684
0,684
0,683
0,683
0,683
0,681
0,679
0,677
0,674
0,4
0,865
0,863
0,862
0,861
0,860
0,859
0,858
0,858
0,857
0,856
0,856
0,855
0,855
0,854
0,854
0,851
0,848
0,845
0,842
0.3
1,071
1,069
1,067
1,066
1,064
1,063
1,061
1,060
1,059
1,058
1,058
1,057
1,056
1,055
1,055
1,050
1,046
1,041
1,036
0,2
1,337
1,333
1,330
1,328
1,325
1,323
1,321
1,319
1,318
1.316
1,315
1,314
1.313
1,311
1,310
1,303
1,296
1,289
1,282
0.1
1,746
1,740
1,734
1,729
1,725
1,721
1,717
1,714
1,711
1,708
1,706
1,703
1.701
1,699
1,697
1,684
1.671
1,658
1,645
0.05
2,120
2,110
2,101
2,093
2,086
2,080
2,074
2,069
2,064
2,060
2,056
2,052
2,048
2,045
2,042
2,021
2,000
1,980
1,960
0,02
2,583
2,567
2.552
2,539
2,528
2,518
2,508
2,500
2,492
2,485
2,479
2,473
2,467
2,462
2,457
2,423
2,390
2,358
2,326
0,01
2,921
2,898
2,878
2,861
2,845
2,831
2,819
2,807
2,797
2,787
2,779
2,771
2,763
2,756
2,750
2,704
2,660
2,617
2,576
0,001
4,015
3,965
3,922
3,883
3,850
3,819
3,792
3,767
3,745
3,725
3,707
3,690
3,674
3,659
3,646
3,551
3,460
3,373
3,291
о»
to
to
a
•a
о
a
ж
и
Таблица 6
5%-иые точки г-распределении
(точки, в которых ф, р. =¦= 0,95). (Заимствованы из таблицы VI книги сэра Роиальда Фишера: Statistical Methods
for Research Workers, Oliver and Boyd Ltd., Edinburgh.)
к
ени
нач
СП
1
2
3
4
5
6
7
8
9
10
И
12
13
14
15
Значения Vi
1
2,5421
1,4592
1,1577
1,0212
0,9441
0,8948
0,8606
0,8355
0,8163
0,8012
0,7889
0,7788
0,7703
0,7630
0,7568
2
2,6479
1,4722
1,1284
0,9690
0,8777
0,8188
0,7777
0,7475
0,7242
0,7058
0,6909
0,6786
0,6682
0,6594
0,6518
3
2,6870
1,4765
1,1137
0,9429
0,8441
0,7798
0,7347
0,7014
0,6757
0,6553
] 0,6387
0,6250
0,6134
0,6036
0,5950
4
2,7071
1,4787
1,1051
0,9272
0,8235
0,7558
0,7080
0,6725
0,6450
0,6232
0,6055
0,5907
0,5783
0,5677
0,5585
5
2,7194
1,4800
1,0994
0,9168
0,8097
0,7394
0,6896
0,6525
0,6238
0,6009
0,5822
0,5666
0,5535
0,5423
0,5326
6
2,7276
1,4808
1,0953
0,9093
0,7997
0,7274
0,6761
0,6378
0,6080
0,5843
0,5648
0,5487
0,5350
0,5233
0,5131
8
2,7380
1,4819
1,0899
0,8993
0,7862
0,7112
0,6576
0,6175
0,5862
0,5611
0,5406
0,5234
0,5089
0,4964
0,4855
12
2,7484
1,4830
1,0842
0,8885
0,7714
0,6931
0,6369
0,5945
0,5613
0,5346
0,5126
0,4941
0,4785
0,4649
0,4532
24
2,7588
1,4840
1,0781
0,8767
0,7550
0,6729
0,6134
0,5682
0,5324
0,5035
0,4795
0,4592
0,4419
0,4269
0,4138
оо
2,7693
1,4851
1,0716
0,8639
0,7368
0,6499
0,5862
0,5371
0,4979
0,4657
0,4387
0,4156
0,3957
0,3782
0,3628
4
w
s
с
s
694
3
§
>
к
Значен
8
if
CM
OO
(O
Ю
P5
-
¦
3490
о
4022
о
4428
о
0,4760
0,5042
0,5241
0,5505
0,5876
0,6451
0,7514 j
to
3366
о
3919
о
4337
о
0,4676 |
0,4964 |
0,5166 |
0,5434 |
0,5811 |
0,6393 |
0,7466 1
3253
о
3827
о
4255 j
о
0,4602
0,4894
0,5099 |
0,5371 |
0,5753 |
0,6341 |
0,7424 |
ос
3151
о
3/43
о
4182
о
0,4535
0,4832
0,5040
0,5315
0,5701 |
0,6295
0.7386 |
О)
3057
о
3668
о
4116
о
0,4474
0,4776
0,4986
0,5265 !
0,5654 |
0,6254 ]
0,7352 |
о
сч
ПРИЛОЖЕНИЕ
2971
о
О5
О5
8
о
4055
о
0,4420
0,4725
0,4938
0,5219
0,5612
0,6216
0.7322
?
2892
о
3536
о
4001
о
0,4370
0,4679
0,4894
0.5178
0,5574
0,6182
0.7294
О)
О)
2818
о
3478
о
3950
о
0,4325
0,4636
0,4854
0,5140
0,5540
0,6151
0.7269
со
CN
2749
о
3425
о
3904
о
0,4283
0,4598
0,4817
0,5106
0,5508
0,6123
0.7246
¦ч<
ом
2685
о
3376
о
3862
о
0,4244
0,4562
0,4783
0,5074
0,5478
0,6097
0,7225
ю
сч
2625
о
о
со
со
со
о
3823
о
0,4209
0,4529
0,4752
0,5045
0,5451
0,6073
0.7205
to
гл иинэьвне
2569
о
3287
о
,3786
о
| 0,4176
| 0,4499
0,4723
0,5017
0,5427
| 0,6051
1 0.7187
ь-
см
2516
о
3248
о
,3752
о
| 0,4146
| 0,4471
| 0,4696
| 0,4992
| 0,5403
| 0,6030
1 0,7171
оо
см
2466
о
сч
со
о
,3720
| 0,4117
| 0,4444
j 0,4671
| 0,4969
| 0,5382
| 0,6011
1 0.7155
о>
2419
о
,3176
о
,3691
0,4090
0,4420
1 0,4648
0,4947
0,5362
0,5994
| 0,7141
о
со
1644
о
Ю
(О
СЧ
о
,3255
0,3702
0,4064
0,4311
0,4632
0,5073
0,5738
0,6933
S
о
,2085
S
8
0,3309
0,3706
0,3974
0,4319
0,4787
0,5486
0,6729
8
ТАБЛИЦЫ
695
Таблица 7
5%-ные точхи ^-распределения (точки, в которых ф. р. =0,95)
(Заимствованы нз таблиц сэра Рональда Фишера и Ф. Иэйтса: Statistical
Tables jor Biological, Medical and Agricultural Research, Oliver and Boyrf
Ltd., Edinburgh.)
V Vl
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
40
60
120
CO
i
161,40
18,51
10,13
7,71
6,61
5,99
5,59
5,32
5,12
4,96
4,84
4,75
4,67
4,60
4,54
4,49
4,45
4,41
4,38
4,35
4,32
4,30
4,28
4,26
43
4,22
4,21
4,20
4,18
4,17
4,08
4,00
3,92
3,84
2
199,50
19,00
9,55
6,94
5,79
5,14
4,74
4,46
4,26
4,10
3,98
3,88
3,80
3,74
3,68
3,63
3,59
3,55
3,52
3,49
3,47
3,44
3,42
3,40
3,38
3,37
3,35
3,34
3,33
3,32
3,23
3,15
3,07
2,99
3
215,70
19,16
9,28
6,59
5,41
4,76
4,35
4,07
3,86
3,71
3,59
3,49
3,41
3,34
3,29
3,24
3,20
3,16
3,13
3,10
3,07
3,05
3,03
3,01
2,99
2,98
2,96
2,95
2,93
2,92
2,84
2,76
2,68
2,60
4
224,60
19,25
9,12
6,39
5,19
4,53
4,12
3,84
3,63
3,48
3,36
3,26
3,18
3,11
3,06
3,01
2,96
2,93
2,90
2,87
2,84
2,82
2,80
2,78
2,76
2,74
2,73
2,71
2,70
2,69
2,61
2,52
2,45
2,37
5
230,20
19,30
9,01
6,26
5,05
4,39-
3,97
3,69
3,48
3,33
3,20
3,11
3,02
2,96
2,90
2,85
2,81
2,77
2,74
2,71
2,68
2,66
2,64
2,62
2,60
2,59
2,57
2,56
2,54
2,53
2,45
2,37
2,29
2,21
6
234,00
19,33
8,94
6,16
4,95
4,28
3,87
3,58
3,37
3,22
3,09
3,00
2,92
2,85
2,79
2,74
2,70
2,66
2,63
2,60
2,57
2,55
2,53
2,51
2,49
2,47
2,46
2,44
2,43
2,42
2,34
2,25
2,17
2,09
8
238,90
19,37
8,84
6,04
4,82
4,15
3,73
3,44
3,23
3,07
2,95
2,85
2,77
2,70
2,64
2,59
2,55
2,51
2,48
2,45
2,42
2,40
2,38
2,36
2,34
2,32
2,30
2,29
2,28
2,27
2,18
2,10
2,02
1,94
12
243,90
19,41
8,74
5,91
4,68
4,00
3,57
3,28
3,07
2,91
2,79
2,69
2,60
2,53
2,48
2,42
2,38
2,34
2,31
2,28
2,25
2,23
2,20
2,18
2,16
2,15
2,13
2,12
2,10
2,09
2,00
1,92
1,83
1,75
24
249,00
19,45
8,64
5,77
4,53
3.84
3,41
3,12
2,90
2,74
2,61
2,50
2,42
2,35
2,19
2,24
2,19
2,15
2,11
2,08
2,05
2,03
2,00
1,98
1,96
1,95
1,93
1,91
1,90
1,89
1,79
1,70
1,61
1,52
OO
254,30
19,50
8,53
5,63
4,36
3,67
3,2a
2,93
2,71
2,54
2,40
2.30
2,21
2,13
2,07
2,0 Г
¦
¦
1.9&
1,92
,88-
1,84
1,81
1,78
1,76
1,73
1,71
1,69
1,67
1,65
1.64
1,62
1,51
1,39
1,25.
1,00
Примечание. Нижняя 5%-ная точка представляет собой обратную
величину того табличного значения, которое получится, если V] и v2 поменять,
местами, т. е. в качестве Vi всегда следует выбирать количество степеней:
свободы, соответствующее наибольшей выборочной дисперсии.
Таблица 8
1%-ные точки 2-распределения (точки, в которых ф. р. =0,99)
(Заимствованы из таблицы VI книги сэра Рональда Фишера: Statistical Methods }or Research Workers, Oliver
and Boyd Ltd., Edinburgh.)
IN
P-
К
S
Я
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
l
4,1535
2,2950
1,7649
1,5270
1,3943
1,3103
1,2526
1,2106
1,1786
1,1535
1,1333
1,1166
1,1027
1,0909
1,0807
2
4,2585
2,2976
1,7140
1,4452
1,2929
1,1955
1,1281
1,0787
1,0411
1,0114
0,9874
0,9677
0,9511
0,9370
0,9249
3
4,2974
2,2984
1,6915
1,4075
1,2449
1,1401
1,0672
1,0135
0,9724
0,9399
0,9136
0,8919
0,8737
0,8581
0,8448
4
4,3175
2,2988
1.6786
1,3856
1,2164
1,1068
1.0300
0,9734
0,9299
0,8954
0,8674
0,8443
0,8248
0,8082
0,7939
Значения Vi
5
4,3297
2,2991
1,6703
1,3711
1,1974
1,0843
1,0048
0,9459
0,9006
0,8646
0,8354
0,8111
0,7907
0,7732
0,7582
6
4,3379
2,2992
1,6645
1,3609
1,1838
1,0680
0,9864
0,9259
0,8791
0,8419
0,8116
0,7864
0,7652
0,7471
0,7314
8
4,3482
2,2994
1,6569
1,3473
1,1656
1,0460
0,9614
0,8983
0,8494
0,8104
0,7785
0,7520
0,7295
0,7103
0,6937
12
4,3585
2,2997
1,6489
1,3327
1,1457
1,0218
0,9335
0,8673
0,8157
0,7744
0,7405
0,7122
0,6882
0,6675
0,6496
24
4,3689
2,2999
1,6404
1,3170
1,1239
0,9948
0,9020
0,8319
0,7769
0.7324
0,6958
0,6649
0,6386
0,6159
0,5961
oo
4,3794
2,3001
1,6314
1,3000
1,0997
0,9643
0,8658
0,7904
0,7305
0,6816
0,6408
0,6061
0,5761
0,5500
0,5269
a
¦a
о
1
s
и
z
CO
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
60
00
1,0719
1,0641
1,0572
1,0511
1,0457
1,0408
1,0363
1,0322
1,0285
1,0251
1,0220
1,0191
1,0164
1,0139
1,0116
0,9784
0,9462
0,9144
0,9051
0,8970
0,8897
0,8831
0,8772
0,8719
0,8670
0,8626
0,8585
0,8548
0,8513
0,8481
0,8451
0,8423
0,8025
0,7636
0,8331
0,8229
0,8138
0,8057
0,7985
0,7920
0,7860
0,7806
0,7757
0,7712
0,7670
0,7631
0,7595
0,7562
0.7531
0,7086
0.6651
0,7814
0,7705
0,7607
0,7521
0,7443
0,7372
0,7309
0,7251
0,7197
0,7148
0,7103
0,7062
0,7023
0,6987
0,6954
0,6472
0,5999
0,7450
0,7335
0,7232
0,7140
0,7058
0,6984
0,6916
0,6855
0,6799
0,6747
0,6699
0,6655
0,6614
0,6576
0,6540
0,6028
0,5522
0,7177
0,7057
0,6950
0,6854
0,6768
0,6690
0,6620
0,6555
0,6496
0,6442
0,6392
0,6346
0,6303
0,6263
0,6226
0,5687
0,5152
0,6791
0,6663
0,6549
0,6447
0,6355
0,6272
0,6196
0,6127
0,6064
0,6006
0,5952
0,5902
0,5856
0,5813
0,5773
0,5189
0,4604
0,6339
0,6199
0,6075
0,5964
0,5864
0,5773
0,5691
0,5615
0,5545
0,5481
0,5422
0,5367
0,5316
0,5269
0,5224
0,4574
0,3908
0,5786
0,5530
0,5491
0,5366
0,5253
0,5150
0,5056
0,4969
0,4890
0,4816
0,4748
0,4685
0,4626
0,4570
0,4519
0,3746
0,2913
0,5064
0,4879
0,4712
0,4560
0,4421
0,4294
0,4176
0,4068
0,3967
0,3872
0,3784
0,3701
0,3624
0,3550
0,3481
0,2352
0
53
w
<o
-698
ПРИЛОЖЕНИЕ
Таблица 9
1%-иые точки .Р-распределеаяя (точки, в которых ф. р. = 0.99)
.(Заимствованы из книги сэра Рональда Фишера и Ф, Иэйтса: Statistical
Tables [or Biological, Medical and Agricultural Research, Oliver and Boyd
Ltd., Edinburgh.)
^4 v1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
.25
26
J27
28
29
30
40
60
120
CO
l
4052
98,49
34,12
21,20
16,26
13,74
12,25
11,26
10,56
10,04
9,65
9,33
9.07
8,86
8,?8
8.53
8.40
8,28
8,18
8.10
8,02
7,94
7,88
7,82
7,77
7,72
7,68
7,64
7,60
7,56
7,31
7,08
6,85
6,64
2
4999
99,00
30,81
18,00
13,27
10,92
9,55
8,65
8,02
7,56
7,20
6,93
6,70
6,51
6,36
6,23
6,11
6,01
5,93
5,85
5.78
5,72
5,66
5,61
5,57
5,53
5,49
5,45
5,42
5,39
5,18
4,98
4,79
4.60
3
5403
99,17
29,46
16,69
12,06
9,78
8,45
7,59
6,99
6,55
6,22
5,95
5,74
5,56
5,42
5,29
5,18
5,09
5,01
4,94
4,87
4,82
4,76
4,72
4,68
4,64
4,60
4,57
4,54
4,51
4,31
4,13
3,95
3,78
4
5625
99,25
28,71
15,98
11,39
9,15
7,85
7,01
6,42
5,99
5,67
5,41
5,20
5,03
4,89
4,77
4,67
4,58
4,50
4,43
4,37
4,31
4,26
.4,22
4,18
4,14
4,11
4,07
4,04
4,02
3,83
3,65
3,48
3,32
5
5764
99,30
28,24
15,52
10,97
8,75
7,46
6,63
6,06
5,64
5,32
5,06
4,86
4,69
4,56
4,44
4,34
4,25
4,17
4,10
4,04
3,99
3,94
3,90
3,86
3,82
3,78
3,75
3,73
3,70
3,51
3,34
3,17
3,02
6
5859
99,33
27,91
15,21
10,67
8,47
7,19
6,37
5,80
5,39
5,07
4,82
4,62
4,46
4,32
4,20
4,10
4,01
3,94
3,87
3,81
3,76
3,71
3,67
3,63
3,59
3,56
3,53
3,50
3,47
3,29
3,12
2,96
2,80
8
5981
99,36
27,49
14,80
10,27
8,10
6,84
6,03
5,47
5,06
4,74
4,50
4,30
4,14
4,00
3,89
3,79
3,71
3,63
3,56
3,51
3,45
3,41
3,36
3,32
3,29
3,26
3,23
3,20
3,17
2,99
2,82
2,66
2,51
12
6106
99,42
27,05
14,37
9,89
7,72
6,47
5,67
5,11
4,71
4,40
4,16
3,96
3,80
3,67
3,55
3,45
3,37
3,30
3,23
3,17
3,12
3,07
3,03
2,99
2,96
2,93
2,90
2,87
2,84
2,66
2,50
2,34
2,18
24
6234
99,46
26,60
13,93
9,47
7,31
6,07
5,28
4,73
4,33
4,02
3,78
3,59
3,43
3,29
3,18
3,08
3,00
2,92
2,86
2,80
2,75
2,70
2,66
2,62
2,58
2,55
2,52
2,49
2,47
2,29
2,12
1,95
1,79
6366
99,50
26,12
13,46
9,02
6,88
5,65
4,86
4,31
3,91
3,60
3,36
3,16
3,00
2,87
2,75
2,65
2,57
2,49
2,42
2,36
2,31
2,26
2,21
2,17
2,13
2,10
2,06
2,03
2,0t
1,8Q
1,60
1,38
1,00
Примечание. Нижняя 1%-ная точка представляет собой обратную
величину того табличного значения, которое получится, если vi и Vj по-
поменять местами, т. е. в качестве Vi всегда следует выбирать количество
-степеней свободы, соответствующее наибольшей выборочной дисперсии.
ТАБЛИЦЫ
699-
Таблица 10
Симметрические функции. Формулы представлений расширенных
симметрических функций в терминах сумм степеней и обратные формулы.
(Заимствованы из таблиц Дэвид и Кендалла A949).)
Вес 1 (П=Ш
Вес 2
Вес 3
Вес 4
Вес 5
Вес 6
B)
(IJ
т
1
1
—1
1
C)
BH)
(IK
C1
1
1
1
B11
-1
1
3
2
—3
1
D)
C)(П
BJ
B)AJ
(II
К,
1
1
1
1
1
C.1
— 1
1
2
4
[2*1
— 1
1
1
3
Pl»l
2
—2
, , 1
1
6
A«1
—6
8
3
—6
1
E)
D)A)
C) B)
C)AJ
BJA)
B)AK
(D5
151
1
1
1
1
1
1
1
D11
— 1
1
2
1
3
5
132)
— 1
1
1
2
4
10
C1']
2
—2
— 1
1
3
10
B*11
2
—1
—2
1
3
15
|2131
—6
6
5
-3
-3
1
10
ПЧ
24
-30
-20
20
15
-10
1
1 >
F)
E)A)
D) B)
D) (IJ
CJ
C) B) A)
C)AK
BK
BJAJ
B)C1L
(IN
SI | [511
1 -1
1 1
1
1 2
1
1 1
[ 3
1 2
1 4
1 6
[421
— 1
1
1
'l
3
3
3
7
15
[414
2
—2
— 1
1
<
3
"l
6
15
C4
-1
[
1
1
1
2
4
10
C2Ц
2
—-1
—1
— 1
1
3
4
16
60
[314
—6
6
3
—3
2
—3
1
4
20
[24
2
—3
[
1
1
3
15
B2l4
—6
4
5
—1
2
4
— 1
1
6
45
B14
24
-24
— 18
12
—8
20
4
3
—6
1
15
[i6l
— 120
144
90
—90
40-
-120!
40
— 15.
45
— 15
1
Примечание. — Для представления функций [ ] в терминах ( ) ис-
используются только числа, стоящие в соответствующем столбце таблицы
над главной диагональю (включительно). Например, [41s] = 2 F) — 2E) A)—
—D) B)+D) (IJ. Аналогично для представления ( ) в терминах функций [ ]
следует использовать только числа, стоящие в соответствующей строке-
слева от главной диагонали (включительно). Например, D) (l)s = [6] +-
+2 [1] + [2] + [41*]
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
701
ЦИТИРОВАННАЯ ЛИТЕРАТУРА*)
Адичи (Adichie J. N.) A967a), Asymptotic efficiency of a class of поп-para-
поп-parametric tests for regression parameters, Ann. Math. Statist., 38, 884.
Аднчи (Adichie J. N.) A967b), Estimates of regression parameters based on
rank tests, Ann. Math. Statist. 38, 894.
Андерсон О. (Anderson О.) A914), Nochmals fiber «The elimination of
spurious correlation due to position in time and space», Biometrika 10,
269.
Андерсон Р. (Anderson R. L.) A942), Distribution of the serial correlation
coefficient, Ann. Math. Statist. 13, 1.
Андерсои Р. и Андерсон Т. (Anderson R. L. and Anderson T. W)
A956), Distribution of the circular serial correlation coefficient for resi-
residuals from a fitted Fourier series, Ann. Math. Statist. 21, 59.
Андерсон Р. и Банкрофт (Anderson R. L. and Bancroft T. A.) A952),
Statistical Theory in Research, McGraw-Hill. New York.
Андерсон Т. (Anderson Т. W.) A946), The non-central Wishart distribu-
distribution and certain problems of multivariate statistics, Ann. Math. Statist. 17,
409.
АндерсонТ. (Anderson T. W.) A958), Introduction to multivariate statis-
statistical analysis, Wiley, New York. (Русский перевод: Т. Андерсон, Вве-
Введение в многомерный статистический анализ, М., Физматгиз, 1963).
Андерсон Т. (Anderson T. W.) A962), The choice of the degree of a poly-
polynomial regression as a multiple decision problem, Ann. Math. Statist. 33,
255.
Андерсон Т. (Anderson Т. W.) A963a), Asymptotic theory for principal
component analysis, Ann. Math. Statist. 34, 122.
Андерсон Т. (Anderson Т. W.) A963b), A test for equality of means when
covariance matrices are unequal, Ann. Math. Statist. 34, 671.
Андерсон Т. и Дас Гупта (Anderson Т. W. and Das Gupta S.) A964a),
Monotonicity of the power functions of some tests of independence between
two sets of variates, Ann. Math. Statist. 35, 206.
Андерсон Т. и Дас Гупта (Anderson Т. W. and Das Gupta S.) A964b),
A monotonicity property of the power functions of some tests of the equa-
equality of two covariance matrices, Ann. Math. Statist. 35, 1059.
Армитедж (Armitage P.) A947), A comparison of stratified with unrestric-
unrestricted random sampling from a finite population, Biometrika 34, 273.
Арнольд (Arnold H. J.) A964), Permutation support for multivariate tech-
techniques, Biometrika 51, 65.
Атикулла (Atiqullah M.) A962), The estimation of residual variance in
quadratically balanced least-squares problems and the robustness of the
F-test, Biometrika 49, 83.
*) Отмеченные звездочкой статьи Вальда, Неймана, Пирсона, Стьюдента,
Уилкса и Фишера можно найти также в приведенных в конце списка собра-
собраниях статей.
Атикулла (Atiqullah M.) A964), The robustness of the covariance analysis
of a one-way classification, Biometrika 51, 365.
Афифи и ЕлашовР. (Afifi A. A. and Elashoff R. M.) A966), Missing
observations in multivariate statistics, I, Review of literature, J. Amer. Sta-
Statist. Ass. 61, 595.
Бал мер (Bulmer M. G.) A957), Approximate confidence limits for compo-
components of variance, Biometrika 44, 159.
Баиерджи (Banerjee K- S.) A964), A note on idempotent matrices, Ann.
Math. Statist. 35, 880.
Барнард Г. (Barnard G. A.) A959), Control charts and stochastic proces-
processes, J. R. Statist. Soc. B, 21, 239.
Барнард M. (Barnard M. M.) A935), The secular variations of skull cha-
characters in four series of Egyptian skulls, Ann. Eugen. 6, 352.
Барнетт и Льюис (Barnett V. D. and Lewis T.) A963), A study of the
relations between G. С E. and degree results, J. R. Statist. Soc. A, 126,
187.
Барра (Barra J. R.) A965), Carres latins et euleriens, Rev. Int. Statist. Inst.
33, 16.
Бартлетт (Bartlett M. S.) A933), On the theory of statistical regression,
Proc. Roy. Soc. Edin. 53, 260.
Бартлетт (Bartlett M. S.) A936), The square root transformation in ana-
analysis of variance, Suppl. J. R. Statist. Soc. 3, 68.
Бартлетт (Bartlett M. S.) A946), On the theoretical specification and samp-
sampling properties of autocorrelated time-series, Suppl. J. R. Statist. Soc. 8,
27, 85 (список опечаток, 1948 : 10).
Бартлетт (Bartlett M. S.) A947a), The use of transformations, Biometrics
3, 39.
Бартлетт (Bartlett M. S.) A947b),
tnbution, Ann. Math. Statist. 18, 1.
Бартлетт (Bartlett M. S.) A947c), Multivariate analysis, Suppl. J. R. Sta-
Statist. Soc. 9, 176.
Бартлетт (Bartlett M. S.) A950), Periodogram analysis and continuous
spectra, Biometrika 37, 1.
Бартлетт (Bartlett M. S.) A951a), The effect of standardization on a %2 ap-
approximation in factor analysis, Biometrika 38, 337.
Бартлетт (Bartlett M. S.) A951b), The goodness of fit of a single hypothe-
hypothetical discriminant function in the case of several groups, Ann. Eugen. 16,
199.
Бартлетт (Bartlett M. S.) A954), A note on the multiplying factors for
various xs approximations, J. R. Statist. Soc. B, 16, 296.
Бартлетт (Bartlett M. S.) A955), An Introduction to Stochastic Processes,
with Special Reference to Methods and Applications, Cambridge Univ. Press.
(Русский перевод: М. Бартлетт, Введение в теорию случайных про-
процессов, М., ИЛ, 1958).
Бартлетт и КендаллД. (Bartlett M. S. and Kendall D. G.) A946), The
statistical analysis of variance-heterogeneity and the logarithmic transfor-
transformation, Suppt. J. R. Statist. Soc. 8, 128.
Бартлетт и Плиз (Bartlett M. S. and Please N. W.) A963), Discrimina-
Discrimination in the case of zero mean differences, Biometrika 50, 17.
Бартлетт н Раджалакшман (Bartlett M. S. and RajalakshmanD.V.)
A953), Goodness of fit tests for simultaneous autoregressive series,
J. R. Statist. Soc. B, 15, 107.
Бартоломью (Bartholomew D. J.) A961), Ordered tests in the analysis of
variance, Biometrika 48, 325.
Басу (Basu D.) A958), On sampling with and without replacement, Sankhya
20, 287. У
The general canonical correlation dis-
702
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
A953); A gene-
Akad. 'Wetensch.
Беверидж (Beveridge W. H.) A921), Weather and harvest cycles, Econ U
БенардиВаи Элтерн (Benard A. and Van Elteren P.)
ralization of the method of m rankings, Proc. Коп. Ned.
A, 56 (Indag. Math. 15, 358).
Беннетт (Bennett В. M.) A951), Note on the solution of the generalized
Behrens-Fisher problem, Ann. Inst. Statist. Math., Tokyo, 2, 87.
Бёрмэн (Burman J. P.) A965), Moving seasonal adjustment of economic
time series, J. R. Statist. Soc. A, 128, 534; см. также тот же журнал A966),
129, 274.
Биггерс (Biggeis J. D.)A959), The estimation of missing and mixed-up
observations in several experimental designs, Biometrika 46, 91.
Б икел(Вкке1 P. J.) A965), On some robust estimates of location, Ann. Math.
Statist. 36, 847.
Бил, Кендалл М. и Манн (Beale E. M. L., Kendall M. G. and
Mann D. W.) A967), The discarding of variables in multivariate analysis,
Biometrika 54, 357.
Биркгоф (Birkhoff G. D.) A931), Proof of the ergodic theorem, Proc. Nat
Acad. Sci. USA, 17, 656.
Блом (Blom G.) A954), Transformations of the binomial, negative binomial,
Poisson and x2 distributions, Biometrika 41, 302.
Блэкнс (Blackith R. E.) A960), A synthesis of multivariate techniques to
distinguish patterns of growth in grasshoppers. Biometrics 16, 28.
Блэкмэн и Тыоки (Blackman R. В. and Tukey J. W.) A958), The Mea-
Measurement of Power Spectra from the Point of View of Communications En-
Engineering, Dover Co., New York.
Бозе (Bose R. C.) A936), On the exact distribution and moment-coefficients
of the D2 statistic, Sankhya 2, 143.
Бозе (Bose R. C.) A939), On the construction of balanced incomplete block
designs, Ann. Eugen. 9, 353.
Бозе (Bose R. C.) A942), A note on the resolvability of balanced incomplete
block designs, Sankhya 6, 105.
Бозе (Bose R. C.) A956), Paired comparison designs for testing concordance
between judges, Biometrika 43, 1KJ.
Бозе и Дрэйпер (Bose R. С. and Draper N. R.) A959), Second order ro-
tatable designs in three dimensions, Ann. Math. Statist. 30, 1097.
Бозе и Картер (Bose R. С. and Carter R. L.) A959), Complete represen-
representation in the construction of rotatable designs, Ann. Math. Statist. 30, 771.
Бозе, Клатуэрти и Шриканде (Bose R. С, Clatwothy W. H. and
Shrikande S. S.) A954), Tables of partially balanced designs with two as-
associate classes, North Carolina Agric. Exper. Sta. Tech. Bull. no. 107.
Бозе и Нэйр (Bose R. С. and_ Nair K. R) A939), Partially balanced in-
incomplete block designs, Sankhya 4, 337.
Бозе и Рой С. (Bose R. С. and Roy S. N.) A938), The distribution of the
studentized D2 statistic, Sankhya 4, 19.
Бозе и Шриканде (Bose R. С. and Shrikande S. S.) A959), On the fal-
falsity of Euler's conjecture about the non-existence of two orthogonal latin
squares of order At + 2, Proc. Nat. Acad. Sci. USA 45, 734.
Бозе и Шриканде (Bose R. С. and Shrikande S. S.) A960), On the
construction of sets of mutually orthogonal latin squares and the falsity
of a conjecture of Euler, Trans. Amer. Math. Soc. 95, 191.
Бозе, Шриканде и Паркер (Bose R. С, Shrikande S. S. and Par-
Parker R.) A960), Further results on the construction of mutually orthogonal
latin squares and the falsity of Euler's conjecture, Canadian J. Math. 12,
189.
Бозивич, Баикрофт и Хартли (Bozivich H., Bancroft T. A. and
Hartley H. О.) A956), Power of analysis of variance test procedures for
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
703
certain incompletely specified models, I, Ann. Math. Statist 27
1017.
Бокс (Box G. E. P.) A949), A general distribution theory for a class of like-
likelihood criteria, Biometrika 36, 317.
Бокс (Box G. E. P.) A954), Some theorems on quadratic forms applied in
the study of analysis of variance problems, I. Effect of inequality of va-
variance in the one-way classification, II. Effects of inequality of variance
and of correlation between errors in the two-way classification, Ann. Math
Statist. 25, 290, 484.
Бокс (Box G. E. P.) A957), Evolutionary operation: a method for increasing
industrial productivity, Appl. Statist. 6, 81.
Бокс и Андерсен (Box G. E. P. and Andersen S. L.) A955), Permutation
theory in the derivation of robust criteria and the study of departures from
assumption, J. R. Statist. Soc. B, 17, 1.
Бокс и Бенкен (Box G. E. P. and Behnken D. W.) A960), Simplex-sum
designs: a class of second order rotatable designs derivable from those of
first order, Ann. Math. Statist. 31, 838.
Бокс и -В а тс он (Box G. E. P. and Watson G. S.) A962), Robustness to
non-normality of regression tests, Biometrika 49, 93.
Бокс и Дженкинс (Box G. E. P. and Jenkins G. M.) A962), Some sta-
statistical aspects of adaptive optimization and control, J. R. Statist. Soc. B,
24, 297.
Бокс и Кокс Д. (Box G. E. P. and Cox D. R.) A964), An analysis of
transformations, J. R. Statist. Soc. B, 26, 211-
Бокс и Тидвелл (Box G. E. P. and Tidwell P. W.) A962), Transforma-
Transformation of the independent variables, Technometrics 4, 531.
Бокс и УилсоиК. (Box G. E. P. and Wilson К. В.) A951), On the expe-
experimental attainment of optimum conditions, J. R. Statist. Soc. B, 13, 1.
Бокс и Хантер (Box (G. E. P. and Hunter J. S.) A957), Multifactor ex-
experimental designs for exploring response surfaces, Ann. Math. Statist.
28, 195.
Борер (Bohrer R. A967), On sharpening Scheffe bounds, J. R. Statist. Soc.
B, 29, 110.
Браду (Bradu D.) A965), Main effect analysis of the general non-orthogo-
non-orthogonal layout with any number of factors, Ann. Math. Statist. 36, 88.
Браун Г. и Муд (Brown G. W. and Mood A. M.) A951). On median tests
for linear hypotheses, Proc. 2nd Berkeley Symp. Math. Statist, and Prob.,
159.
Браун P. (Brown R. G.) A959), Statistical Forecasting for Inventory Cont-
Control, McGraw-Hill, New York.
Брнллинджер (Brillinger D. R.) A965), An introduction to polyspectra,
Ann. Math. Statist. 36, 1351-
Брюэр (Brewer K. R. W.) A967), A note on Fellegi's method of sampling
without replacement with probability proportional to size, J. Amer. Statist.
Ass. 62, 79.
Буднэ (Budne T. A.) A959), The application of random balance designs,
Technometrics 1, 139.
Бхапкар (Bhapkar V. P.) A963), The asymptotic power and efficiency of
Mood's test for two-way classification, J. Indian Statist. Ass. 1, 24.
Б.х аттачария (Bhattachharyya G. K.) A967), Asymptotic efficiency of mul-
multivariate normal score test, Ann. Math. Statist. 38, 1753.
Бхучонгкул и Пури (Bhuchongkul S. and Puri M. L.) A965), On the
estimation of contrasts in linear models, Ann. Math. Statist. 36, 198.
Вайда (Vajda S.) A967a), Patterns and Configurations in Finite Spaces,
Griffin, London.
Вайда (Vajda S.) A967b), The Mathematics of Experimental Design: la-
complete Block Designs and Latin Squares, Criffin, London.
704
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Вальд (Wald А.) A940)*, A note on the analysis of variance With unegual
class frequencies, Ann. Math. Statist. 11, 96.
Вальд (Wald A.) A941)*, On the analysis of variance in case of multiple
classifications with unequal class frequencies, Ann. Math. Statist. 12, 346.
Вальд (Wald A.) A944)*, On a statistical problem arising in the classifica-
classification of an individual into one of two groups, Ann. Math. Statist. 15, 145.
Вальд (Wald A.) A947)*, A note on regression analysis, Ann. Math. Statist.
18, 586.
Вальд и Волфовиц (Wald A. and Wolfowitz J.) A943)*, An exact test
for randomness in the non-parametric case based on serial correlation, Ann.
Math. Statist. 14, 378.
Ван Элтерн и Нетер (Van Elteren P. and Noether G, E.) A959), The
asymptotic efficiency of the xs-test for a balanced incomplete block de-
design, Biometrika 46, 475.
Ватсои (Watson G. S.) A955), Serial correlation in regression analysis, I,
Biometrika 42, 327.
Вате он (Watson G. S.) A956), On the joint distribution of the circular se-
serial correlation coefficients, Biometrika 43, 161.
Ватсои и Хеннаи (Watson G. S. and Hannan E. J.) A956), Serial cor-
correlation in regression analysis, II, Biometrika 43, 436.
Вейсман (Wijsman R. A.) A957), Random orthogonal transformations and
their use in some classical distribution problems in multivariate analysis,
Ann. Math. Statist. 28, 415.
Винер (Wiener N.) A930), Generalized harmonic analysis, Acta Math. 55,
117.
Волд (Wold H. O. A.) A938), A Study in the Analysis of Stationary Time
Series, 2nd edn, 1954, Almqvist and Wiksell, Stockholm.
Волд (Wold H. O. A.) A949), A large-sample test for moving averages,
J. R. Statist. Soc. B, 11, 297.
Волд (Wold H. O. A.) (ed.) A964), Econometric Model Building: Essays on
the Causal Chain Approach, North Holland Publishing Co., Amsterdam.
Волд (Wold H. O. A.) A965), Bibliography on Time Series and Stochastic
Processes: an International Team Project, Oliver and Boyd, Edinburgh.
Волфовиц (Wolfowitz J.) A944), Asymptotic distribution of runs up and
down, Ann. Math. Statist. 15, 163.
Во с (Vos J. W. E.) A964), Sampling in space and time, Rev. Int. Statist.
Inst. 32, 226.
Габриэл (Gabriel K. R.) A963), Analysis of variance of proportions with
unequal frequencies, J. Amer. Statist. Ass. 58, 1133.
Габриэл (Gabriel K. R.) A964), A procedure for testing the homogeneity
of all sets of means in analysis of variance, Biometrics 20, 459.
Габриэл (Gabriel K- R.) A967), Simultaneous test procedures with applica-
applications, Ann. Math. Statist. 38.
Гаек (Hajek J.) A960), Limiting distributions in simple random sampling
from a finite population, Pub. Math. Inst. Hung. Acad. Sci. B, 5, 361.
Гаек (Hajek J.) A964), Asymptotic theory of rejective sampling with varying
probabilities from a finite population, Ann. Math. Statist. 35, 1491.
Гардине p, Грэндейдж и Хейдер (Gardiner D. A., Grandage A. H. E,
and Hader R. J.) A959), Third order rotatable designs for exploring res-
response surfaces, Ann. Math. Statist. 30, 1082.
Гасснер (Gassner B. J.) A965), Equal-difference BIB designs, Proc. Amer.
Math. Soc. 16, 378,
Г а у ч и (Gautschi W-) A959), Some remarks on Herbach s paper, «Optimum na-
nature of the f-test for Model II in the balanced case», Ann. Math. Statist.
30, 960.
Гейлор н Свини (Gaylor D. W. and Sweeny H. C.) A965), Design for
.. optimal prediction in simple linear regression, J. Amer. Statist. Ass, 60, 205.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
705
case,
Гейссер (Geisser S.) A964), Estimation in the uniform covariance
J. R. Statist. Soc. B, 26, 477.
Гербах (Herbach L. H.) A959), Properties of Model 11-type analysis of va-
variance tests, A: optimum nature of the f-test for Model II in the balanced
case, Ann. Math. Statist. 30, 939.
Гесс, Сэти и Балакришнан (Hess I., Sethi V. К. and Balakrish-
nan T. R.) A966), Stratification: a practical investigation, J. Amer Sta-
Statist. Ass. 61, 74.
Гест (Guest P. G.) A958), The spacing of observations in polynomial regres-
regression, Ann. Math. Statist. 29, 294.
Гири (Geary R. C.) A944), Extension of a theorem by Harald Cramer on the
frequency distribution of the quotient of two variables, J. R. Statist. Soc.
107, 56.
Гирш и к (Girshick M. A.) A939), On the sampling theory of the roots of de-
terminantal equations, Ann. Math. Statist. 10, 203.
Глезер (Gleser L. J.) A966), A note on the sphericity test, Ann. Math. Sta-
Statist. 37, 464.
Глейзберг (Gleissberg W.) A945), Eine Aufgabe der Kombinatorik und
Wahrscheinlichkeitsrechnung, Univ. Istanbul Rev. Fac. Sci. A, 10, 25.
Годэмб (Godambe V. P.) A955), A unified theory of sampling from finite
populations, J. R. Statist. Soc. B, 17, 269.
Годэмб (Godambe V. P.) A965), A review of the contributions towards a
unifield theory of sampling from finite populations, Rev. Int. Statist. Inst.
33, 242.
Гранди (Grundy P. M.) A954), A method of sampling with probability exa-
exactly proportional to size, J. R. Statist. Soc. B, 16, 236.
Грейбилл и Марсалья (Graybill F. A. and Marsaglia G.) A957),
Idempotent matrices and quadratic forms in the general linear hypothesis,
Ann. Math. Statist. 28, 678.
Грейбилл и Сэшадри (Graybill F. A. and Seshadri V.) A960), On the
unbiasedness of Yates' method of estimation using interblock information,
Ann. Math. Statist. 31, 786.
Грейбилл иУикс (Graybill F. A. and Weeks D. L.) A959), Combining:
inter-block and intrablock information in balanced incomplete blocks, Ann.
Math. Statist. 30, 799.
Грейбилл и Халтквист (Graybill F. A. and Hultquist R. A.) A961),
Theorems concerning Eisenhart's Model II, Ann. Math. Statist. 32,
261.
Гренандер и Розенблатт (Grenander U. and Rosenblatt M.) A957),
Statistical Analysis of Stationary Time Series, Wiley, New York.
Гринберг (Greenberg V. L.) A966), Robust estimation in incomplete blocks-
designs, Ann. Math. Statist. 37, 1331.
Грэнджер {Granger С W. J.) A963), The effect of varying month length
on the analysis of economic time series, L'industrie 1, 41.
Грэнджер и Хатанака (Granger С. W. J. and Hatanaka M.) A964),
Spectral Analysis of Economic Time Series, Princeton Univ. Press, Prin-
Princeton.
Гуд (Good I. J.) A950), The inversion of circulant matrices, Biometrika 37,
185.
Гудмэн и Хартли (Goodman L. A. and Hartley H. O.) A958), The pre-
precision of unbiased ratio-type estimators, J. Amer. Statist. Ass. 53, 491.
Гуерин (Guerin R.) A965), Vue d'ensemble sur les plans en blocs incomp-
lets equilibres et partiellement equilibres, Rev. Int. Statist. Inst. 33, 24.
Гхош Б. (Ghosh В. К.) A964), Simultaneous tests by sequential methods in
hierarchical classifications, Biometrika 51, 439.
Гхош Б. (Ghosh В. К.) A967), Sequential analysis of variance under ran-
random and mixed models, J. Amer. Statist. Ass. 62, 1401.
23 M. Кендалл, А, Стьюарт
706
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
ГхошМ. иШарма (Ghosh М. N. and Sharma D.) A963), Power of Tukey's-
test (or non-additivity, J. R. Statist. Soc. B, 25, 213.
Гхош С. (Ghosh S. P.) A963a), Post cluster sampling, Ann. Math. Statist.
34, 587.
Гхош С. (Ghosh S. P.) A963b), Optimum stratification with two characters,
Ann. Math. Statist. 34, 866.
Далэниус (Dalenius T.) A950), The problem of optimum stratification,
Skand. Aktuartidskr. 33, 203.
Далэниус (Dalenius T.) A952), The problem of optimum stratification in
a special type of design, Skand. Aktuartidskr. 35, 61.
Далэниус (Dalenius T.) A953), The economics of one-stage stratified samp-
sampling, Sankhya 12, 351.
Далэниус и Ходжес (Dalenius Т. and Hodges J. L., Jr.) A957), The
choice of stratification points, Skand. Aktuartidskr. 40, 198.
Далэниус и Ходжес (Dalenius Т. and Hodges J. L., Jr.) A959), Mini-
Minimum variance stratification, J. Amer. Statist. Ass. 54, 88.
Даниэлл (Daniell P. J.) A946), Discussion on «Symposium on autocorrela-
autocorrelation in time series», Suppl. J. R. Statist. Soc. 8, 88.
Даииэлс (Daniels H. E.) A956), The approximate distribution of serial cor-
correlation coefficients, Biometrika 43, 169.
Даниэле (Daniels H. E.) A962), The estimation of spectral densities,
J. R. Statist. Soc. B, 24, 185.
Данн (Dunn O. J.) A961), Multiple comparisons among means, J. Amer. Sta-
Statist. Ass. 56, 52.
Дарлинг (Darling D. A.) A952), On a test for homogeneity and extreme
values, Ann. Math. Statist. 23, 450 (исправление: 24, 135).
Дас Гупта, Андерсон Т. и Мудхолкар (Das Gupta S., Ander-
Anderson Т. W. and Mudholkar G. S.) A964), Monotonicity of the power func-
functions of some tests of the multivariate linear hypothesis, Ann. Math. Sta-
Statist. 35, 200.
Дейли (Daly J. F.) A940), On the unbiased character of likelihood-ratio-
tests for independence in normal systems, Ann. Math. Statist. 11, 1.
Дербин (Durbin J.) A951), Incomplete blocks in ranking experiments, Brit.
J. Psychol. (Statist. Sec.) 4, 85-
Дерби и (Durbin J.) A953), Some results in sampling theory when the units
are selected with unequal probabilities, J. R. Statist. Soc. B, 15, 262.
Дербин (Durbin J.) A954), Non-response and call-backs in surveys, Bull.
Int. Statist. Inst. 34B), 72.
Дербнн (Durbin J.) A958), Sampling theory for estimates based on fewer
individuals than the number selected, Bull. Int. Statist, Inst. 36C),
113
Дербин (Durbin J.) A959a), A note on the application of Q.uenouille's met-
method of bias reduction to the estimation of ratios, Biometrika 46, 477.
Дербин (Durbin J.) A959b), Efficient estimation of parameters in moving-
average models, Biometrika 46, 306.
Дербин (Durbin J) A960a), Estimation of parameters in time series regres-
regression models, J. R. Statist Soc. B, 22, 139.
Дербии (Durbin J.) A960b), The fitting of time-series models, Rev. Int.
Statist. Inst. 28, 233.
Дербин (Durbin J.) A961), Efficient fitting of linear models for continuous
stationary time series from discrete data, Bull. Int. Statist. Inst. 38D),
273
Дербин (Durbin J.) A965), A method of sample selection with unequal pro-
probabilities without replacement (Abstract.), Ann. Math. Statist. 36, 1327.
Дербин и Ватсон (Durbin J. and Watson G. S-) A950—1), Testing for
serial correlation in least squares regression, I, II, Biometrika 37, 409;
38, 159.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
707
Джеймс (James A. T.) A964), Distributions of matrix variates and latent
roots derived from normal samples, Ann. Math. Statist. 35, 475.
Джеймс (James A. T.J A966), Inference on latent roots by calculation of
hypergeometric functions of matrix argument, Proc. Symp. Multiv. Analy-
Analysis, Academic Press, New York.
Дженкинс (Jenkins G. M.) A954a), An angular transformation for the se-
serial correlation coefficient, Biometrika 41, 261.
Дженкинс (Jenkins G. M.) A954b, 1956), Tests, of hypothesis in the li-
linear autoregressive model, 1: Null hypothesis distributions in the Yule
scheme, II: Null distributions for higher order schemes; non-null distribu-
distributions, Biometrika 41, 405; 43, 186.
Дженкинс (Jenkins G. M.) A961), General considerations in the analysis
of spectra, Comments on the discussions of Messrs Tukey and Goodman,
Technometrics 3, 133, 229.
Джон (John S.) A961), Errors in discrimination, Ann. Math. Statist. 32,
1125.
Джонсон (Johnson N. L.) A948), Tests of significance in the variate dif-
difference method, Biometrika 35, 203.
Джонсон (Johnson N. L.) A953), Some notes on the application of se-
sequential methods in the analysis of variance, Ann. Math. Statist. 24, 614.
Джонсон (Johnson N. L.) A954), Sequential procedures in certain compo-
component of variance problems, Ann. Math. Statist. 25, 357.
Джон со и (Johnson N. L.) A957), Optimal sampling for quota fulfilment,
Biometrika 44, 518.
Диксон (Dixon W. J.) A944), Further contributions to the problem of serial
correlation, Ann. Math. Statist. 15, 119.
Док сум (Doksum K-) A967), Robust procedures for some linear models
with one observation per cell, Ann. Math. Statist. 38, 878.
Долби (Dolby J. L.) A963), A quick method for choosing a transformation,
Technometrics 5, 317.
Дрэйпер (Draper N. R.) A960a), Second order rotatable designs in four
or more dimensions, Ann. Math. Statist. 31, 23.
Дрэйпер (Draper N. R.) A960b), Third order rotatable designs in three di-
dimensions, Ann. Math. Statist. 31, 865.
Дрэйпер (Draper N. R.) A960c), A third order rotatable design in four
dimensions, Ann. Math. Statist. 31, 875.
Дрэйпер (Draper N. R.) A961), Third order rotatable designs in three di-
dimensions: some specific designs, Ann. Math. Statist. 32, 910.
Дункан (Duncan D. B.) A952), On the properties of the multiple compari-
comparisons test, Virginia, J. Sci. N. S-, 3, 49.
Дункан (Duncan D. B.) A955), Multiple range and multiple F-tests, Bio-
Biometrics 11, 1.
Дункан (Duncan D. B.) A957), Multiple range tests for correlated and he-
teroscedastic means, Biometrics 13, 164.
Дэвид (David H. A.) A963), The Method of paired Comparisons, Griffin,
London.
Дэвид и Арене (David H. A. and Arens В. Е.) A959), Optimal spacing
in regression analysis, Ann. Math. Statist. 30, 1072.
Дэви с (Davis H. T.) A941), The analysis of economic time series, Cowles
Comm. Res. Econ. (Bloomington, Indiana), Monogr. no. 6.
Дэвьес, Бокс, Коннор, Кузин, Химсворс и Силлитто (Da-
vies О. L. (also editor), Box G. E. P., Connor L. R, Cousins W. R., Hims-
worth F. R. and Sillitto G. P.) A954), The Design and Analysis of Indu-
Industrial Experiments, Oliver and Boyd, Edinburgh.
Дэмпстер (Dempster A. P.) A958), A high dimensional two sample signi-
significance test, Ann. Math. Statist. 29, 995.
23*
708
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Дэмпстер (Dempster А. Р.) A960—1), Random allocation design, I. On ge-
general classes of estimation methods, II. Approximate theory for simple ran-
random allocation, Ann. Math. Statist. 31, 885; 32, 387.
Дэмпстер (Dempster A. P.) A966), Estimation in multivariate analysis,
Proc. Symp. Multiv. Analysis, Academic Press, New York.
Дэрроч и Силви (Darroch J. N. and Silvey S. D.) A963), On testing mo-
more than one hypothesis, Ann. Math. Statist. 34, 555.
Елашов Дж., Елашов Р. и Голдмэн (Elashoff J. D., Elashoff R. M.
and Goldman G. E.) A967), On the choice o? variables in classification
problems with dichotomous variables, Biornetrika 54, 668.
Имхоф (Imhof J. P.) A960), A mixed model for the complete three-way
layout with two random-effects factors, Ann. Math. Statist. 31, 906.
Имхоф (Imhof J. P.) A962), Testing the hypothesis of no fixed main-effects
in Scheffe's mixed model, Ann. Math. Statist. 33, 1085.
Ито и Шудль (lto К- and Schull W. J.) A964), On the robustness of the
7"q test in multivariate analysis of variance when variance-covariance mat-
matrices are not equal, Biometrika 51, 71.
Иэйтс (Yates F.) A933), The analysis of replicated experiments when the
field results are incomplete, Empire J. Exper. Agric. 1, 129.
Иэйтс (Yates F.) A934). The analysis of multiple classifications with une-
unequal numbers in the different classes, J. Amer. Statist. Ass. 29, 51.
Иэйтс (Yates F.) A936a), Incomplete randomized blocks, Ann. Eugen 7, 121.
Иэйтс (Yates F.) A936b), A new method of arranging variety trials invol-
involving a large number of varieties, J. Agric. Sci. 26, 424.
Иэйтс (Yates F.) A937), The design and analysis of factorial experiments,
Imp. Bur. Soil Sci. (Harpenden) Tech. Comm. no. 35.
Иэйтс (Yates F.) A939), The recovery of inter-block information in variety
trials arranged in three-dimensional lattices. Ann. Eugen. 9, 136.
Иэйтс (Yates F.) A940a), The recovery of inter-block information in balan-
balanced incomplete block designs, Ann. Eugen. 10, 317.
Иэйтс (Yates F.) A940b), Lattice squares, J. Agric. Sci. 30, 672.
Иэйтс (Yates F.) A960), Sampling Methods for Censuses and Surveys, 3rd
edn. Griffin, London. (Русский перевод: Ф. й е й т с, Выборочный метод
в переписях и обследованиях, М., Статистика, 1965).
Иэйтс и Гранди (Yates F. and Grtmdy P. M.) A953), Selection without
replacement from within strata with probability proportional to size,
J. R. Statist. Soc. B, 15, 253.
Калински (Caliriski T.) A966), On the distribution of the f-type statistics
in the analysis a group of experiments, J. R. Statist. Soc. B, 28, 526.
Карлин и Стаддеи (Karlin S. and Studden W. J.) A966), Optimal
experimental designs, Ann. Math. Statist. 37, 783.
Кейлс (Keuls M.) A952), The use of «Studentized range» in connection with
an analysis of variance, Euphytica 1, 112.
Кемпсорн (Kempthorne O.) A952), The Design and Analysis of Experi-
Experiments, Wiley, New York.
Кеидалл (Kendall M. G.) A947), The estimation of parameters in linear
autoregressive time series, Econometrica Suppl. 17, 44.
Кендал л (Kendall M. G.) A954), Note on bias in the estimation of auto-
autocorrelation, Biometrika 41, 403.
Кеидалл (Kendall M. G.) A957), The moments of the Leipnik distribution,
Biometrika 44, 270.
Кендалл (Kendall M. G.) A961a), A theorem in trend analysis, Biometrika
48, 224.
Кендалл (Kendall M. G.) A961b), A Course in Multivariate Analysis,
2nd edn. Griffin, London.
Кендалл (Kendall M. G.) A966), Discrimination and classification, Proc.
Symp. Multiv. Analysis, Academic Press, New York.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
709
Кендалл и Смит Б. (Kendall M. G. and Smith В. Babington) A939), The
problem of m rankings, Ann. Math. Statist. 10, 275.
Кенуй (Queneuille M. H.) A947a), Notes on the calculation of autocorrela-
autocorrelations of linear autoregressive schemes, Biometrika 34, 365.
Кенуй (Quenouille M. H.) A947b), A large-sample test for the goodness of
fit of autoregressive schemes, J. R. Statist. Soc. 110, 123.
Кенуй (Quenouille M. H.) A948), Some results in the testing of serial cor-
correlation coefficients, Biometrika 35, 261.
Кенуй (Quenouille M. H.) A949a), A method of trend elimination, Biomet-
Biometrika 36, 75.
Кенуй (Quenouille M. H.) A949b), The joint distribution of serial correla-
correlation coefficients, Ann. Math. Statist. 20, 561.
Кенуй (Quenouille M. H.) A953a), The Design and Analysis of Experiment,
Griffin, London.
Кенуй (Quenouille M. H.) A953b), Modifications to the variate-difference
method, Biometrika 40, 383.
Кенуй (Quenouille M. H.) A956), Notes on bias in estimation, Biometrika
43, 353.
Кенуй (Quenouille M. H.) A957), The Analysis of Multiple Time-Series,
Griffin, London.
Кенуй (Quenouille M. H.) A958), Discrete autoregresive schemes with va-
varying time-intervals, Metrika 1, 21.
Кёртисс (Curtiss J. H.) A943), On transformations used in the analysis of
variance, Ann. Math. Statist. 14, 107.
Кинг (King B.) A967), Step-wise clustering procedures, J. Amer. Statist. Ass.
62, 86.
Кифер (Kiefer J.) A958), On the nonrandomized optimality and randomized
nonoptimality of symmetrical designs, Ann. Math. Statist. 29, 675.
Кифер (Kiefer J.) A959), Optimum experimental designs, J. R. Statist. Soc.
B, 21, 272.
Кифер и Волфовиц (Kiefer J. and Wolfowitz J.) A954), Optimum de-
designs in regression problems, Ann. Math. Statist. 30, 271.
Киш иГесс (Kish L. and Hess I.) A959), On variances of ratios and their
differences in multistage samples, J. Amer. Statist. Ass. 54, 416.
Клатуэрти и Левипкий (Clatworthy W. H. and Lewyckyj R. J.) A968),
см. Такэючи A962).
Кокрэйн и Оркутт (Cochrane D. and Orcutt G. H.) A949), Application
of least-squares regression to relationships containing auto-correlated er-
error terms, J. Amer. Statist. Ass. 44, 32.
Кокрэн (Cochran W. G.) A941), The distribution of the largest of a set of
estimated variances as a fraction of their total, Ann. Eugen. 11, 47.
Кокрэн (Cochran W. G.) A947), Some consequences when the assumptions
for the analysis of variance are not satisfied, Biometrics 3, 22.
Кокрэн (Cochran W. G.) A961), Comparison of methods for determining
stratum boundaries. Bull. Int. Statist. Inst. 38B), 345.
Кокрэн (Cochran W. G.) П963), Sampling Techniques, 2nd edn. Wiley, New
York. (Русский перевод: В. Кокрен, Методы выборочного обследования,
М., «Статистика», 1976.)
Кокрэн (Cochran W. G.) A964), On the performance of the linear discrimi-
discriminant function, Technometrics f>, 179.
Кокрэн (Cochran W. G.) A965), The planning of observational studies of
human populations, J. R. Statist. Soc. A, 128, 234.
Кокрэн и Блисс (Cochran W. G. and Bliss C. I.) A948), Discriminant
functions with covariance, Ann. Math. Statist. 19, 151.
Кокрэн и Гопкиис (Cochran W. G. and Hopkins С E.) A961), So-
Some classification problems with multivariate qualitative data. Biometrics
17, 10.
710
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Кокрэи и Кокс Г. (Cochran W. G. and Cox G. М.) A957), Experimen-
Experimental Designs, 2nd edn, Wiley, New York.
К ok с (Cox D. R.) A952), Sequential tests for composite hypotheses, Proc
Camb. Phil. Soc. 48, 290.
Кокс (Cox D. R.) A958a), Planning of Experiments, John Wiley, New York.
К о kc (Cox D. R.) (Ш58Ь), The interpretation of the effects of non-additivity
in the latin square, Biometrika 45, 69.
К о kc (Cox D. R.) A961), Prediction by exponentially weighted moving ave-
averages and related methods, J. R. Statist. Soc. B, 23, 414.
К ok с (Cox D. R.) A966), The null distribution of the first serial correlation
coefficient, Biometrika 53, 623.
Кокэн н Хан (Kokan A. R. and Khan S.) A967), Optimum allocation in
multivariate surveys: an analytical solution, J. R. Statist. Soc. B, 29,
115.
Кольер н Бейкер (Collier R. O. Jr. and Baker F. B.) A966), Some
Monte Carlo results on the power of the F-test under permutation in the
simple randomized block design, Biometrika 53, 199.
Константин (Constantine A. G.) A966), The distribution of Hotelling's ge-
generalised T%, Ann. Math. Statist. 37, 215.
Консул (Consul P. C.) A966), On the exact distribution of the likelihood
ratio criteria for testing linear hypotheses about regression coefficients,
Ann. Math. Statist. 37, 1319.
Консул (Consul P. C.) A967a), On the exact distributions of likelihood ra-
ratio criteria for testing independence of sets of variates under the null hy-
hypothesis, Ann. Math. Statist. 38, 1160.
Консул (Consul P. C.) A967b), On the exact distributions of the criterion
W for testing sphericity in a p-variate normal distribution, Ann. Math. Sta-
Statist. 38, 1170.
Корин (Korin B. P.) A968), On the distribution of a statistic used for testing;
a covariance matrix, Biometrika 55, 171.
Корнфилд и Тьюки (Cornfield J. and Tukey J. W.) A956), Average va-
values of mean squares in factorials, Ann. Math. Statist. 27, 907.
Коуден (Cowden D. J.) A962), Weights for fitting polynomial secular trends,
Univ. North Carolina Sch. Business Admin. Tech. Paper no 4.
Крускал (Kruskal J. B.) A965), Analysis of factorial experiments by esti-
estimating monotone transformations of the data, J. R. Statist. Soc. B, 27, 251.
Крэддок (Craddock J. M.) A965), A meteorological application of principal
component analysis, The Statistician 15, 143.
Куад (Quade D.) A967), Rank analysis of covariance, J. Amer. Statist. Ass.
62, 1187.
Kyn (Koop J. C.) A963), On the axioms of sample formation and their bea-
bearing on the construction of linear estimators in sampling theory for finite
universes, I, II, III, Metrika 7, 81 and 165.
Купмэнс (Koopmans Т. С.) A942), Serial correlation and quadratic forms
in normal variables, Ann. Math. Statist. 13, 14.
Кширсагар (Kshirsagar A. M.) A959), Bartlett decomposition and Wishart
distribution, Ann. Math. Statist. 30, 239.
Кширсагар (Kshirsagar A. M.) A961), The non-central multivariate beta
distribution, Ann: Math. Statist. 32, 104.
Лаубшер (Laubscher N. F.) A961), On stabilizing the binomial and nega-
negative binomial variances, J. Amer. Statist. Ass. 56, 143.
Лахири (Lahiri D. B.) A951), A method of sample selection providing un-
unbiased ratio estimates, Bull. Int. Statist. Inst. 33, B), 133.
Л ев айн (Levine A.) A966), A problem in minimax variance polynomial ex-
extrapolation, Ann. Math. Statist. 37, 898.
Левей (Levene H.) A952), On the power function of tests of randomness ba-
based on runs up and down, Ann. Math. Statist. 23, 34.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
711
Ледерманн (Ledermann W.) A937), On the rank of the reduced correla-
correlational matrix in multiplefactor analysis, Psychometrika 2, 85.
Лейпник (Leipnik R. B.) A947), Distiibuton of the serial correlation coef-
coefficient in a circularly correlated universe, Ann. Math. Statist. 18, 80.
Лейпник (Leipnik R. B.) A958), Note on the characteristic function of a se-
serial-correlation distribution, Biometrika 45, 559.
Леман (Lehmann E. L.) A959), Testing Statistical Hypotheses, Wiley, New
York. (Русский перевод: Э. Леман, Проверка статистических гипотез,
М., «Наука», 1964).
Леман (Lehmann E. L.) A963a), Robust estimation in analysis of variance,
Ann. Math. Statist. 34, 957.
Леман (Lehmann E. L.) A963b), Asymptotically nonparametric inference: an
alternative approach to linear models, Ann. Math. Statist. 34, 1494.
Леман (Lehmann E. L.) A963c), Nonparametric confidence intervals for a
shift parameter, Ann. Math. Statist. 34, 1507.
Леман (Lehmann E. L.) A964), Asymptotically nonparametric inference in
some linear models with one observation per cell, Ann. Math. Statist. 35,
726.
Линхэрт (Linhart H.) A959), Techniques for discriminant analysis with
discrete variables, Metrika 2, 138.
Л о ли (Lawley D. N.) A939), A generalization of Fisher's z-test, Biometrika
30, 180.
Лоли (Lawley D. N.) A956a), Tests of significance for the latent roots of
covariance and correlation matrices, Biometrika 43, 128.
Лоли (Lawley D. N.) A956b), A general method of approximating to the
distribution of likelihood ratio criteria, Biometrika 43, 295.
Лоли (Lawley D. N.) A959), Tests of significance in canonical analysis, Bio-
Biometrika 46, 59.
Лоли (Lawley D. N.) A963), On testing a set of correlation coefficients for
equality, Ann. Math. Statist. 34, 149.
Лоли и Максвелл (Lawley D. N. and Maxwell A. E.) A963), Factor
Analysis as a Statistical Method, Butterworths, London. (Русский перевод:
Д. Лоули и А. Максвелл, Факторный анализ как статистический метод,
М., «Мир», 1967 г.)
Ломницки (Lomnicki Z. А.) A961), Tests for departure from normality in
the case of linear stochastic processes, Metrika 4, 37. ^
Лоу (Low L. Y.) A964), Sampling variances of estimates of components of
variance from a non-orthogonal two-way classification, Biometrika 51, 491.
Любишев (Lubischew A. A.) A962), On the use of discriminant functions
in taxonomy, Biometrics 18, 455.
Мак Дональд и Томпсон В. (McDonald В. J. and Thompson W. A.)
A967), Rank sum multiple comparisons in one- and two-way classifica-
classifications, Bionietrika 54, 487.
Маллер (Muller E.-R.) A965), A method of constructing balanced incomplete
block designs, Biometrika 52, 285.
Манн (Mann H. B.) A945a), On a test for randomness based on signs of
differences, Ann. Math. Statist. 16, 193.
Манн (Mann H. B.) A945b), Nonparametric tests against trend, Economet-
rica 13, 245.
Манн (Mann H. B.) A949), Analysis and Design of Experiments, Dover, New
York.
Man и Вальд (Mann H. B. and Wald A.) A943), On the statistical
treatment of linear stochastic difference equations, Econometrica 11, 173.
Махаланобис (Mahalanobis P. C.) A930), On tests and measures of
group divergence, I, J. Proc. Asiat. Soc. Bengal 26, 541.
Мёр фи (Murthy M. N.) A957), Ordered and unordered estimators in samp-
sampling without replacement, Sankhya 18, 379.
712
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
М ё р ф и (Murthy M. N.) A963), Some recent advances in sampling theory,
J. Amer. Statist. Ass. 58, 737.
Мёрфи и Нанджамма (Murthy M. N. and Nanjamma N. S.) A959),
Almost unbiased ration estimates based on interpenetrating sub-sample es-
estimates, Sankhya 21, 381.
Микки (Mickey M. R.) A959), Some finite population unbiased ratio and
regression estimators, J. Amer. Statist. Ass. 54, 594.
Ми л л (Mill J. S.) A843), A System of Logic, Ratiocinative and Inductive:
Being a Connected View of the Principles of Evidence, and the Methods of
Scientific Investigation, 2 vols, London.
Mo л дон (Mauldon J. G.) A955), Pivotal quantities for Wishart's and related
distributions, and a paradox in fiducial theory, J. R. Statist. Soc. B, 17, 79.
Морэн (Moran P. A. P.) A947—8), Some theorems on time series, 1, II, The
significance of the serial correlation coefficient, Biometrika 34, 281; 35,
255.
Морэн (Moran P. A. P.) A949), The spectral theory of discrete stochastic
processes, Biometrika 36, 63.
Морэн (Moran P. A. P.) A967), Testing for serial correlation with exponen-
exponentially distributed variates, Biometrika 54, 395.
Мостеллер и Ютц (Mosteller F. and Youtz C.) A961), Tables of the
Freeman-Tukey transformations for the binomial and Poisson distributions,
Biometrika 48,' 433.
Мочли (Mauchly J. W.) A940), Significance test for sphericity of a normal'
n-variate distribution, Ann. Math. Statist. 11, 204.
Муд (Mood A. M.) A951), On the distribution of the characteristic roots of
normal second-moment matrices, Ann. Math. Statist. 22, 266.
Мур и Уоллис (Moore G. H. and Wallis W. A.) A943), Time series.
significance tests based on signs of differences, J. Amer. Statist. Ass. 38,
Муртейра (Muiteira B.) A951), Note on the variate differences of autoreg-
ressive series, Biometrika 38, 479.
Мустафа (Mostafa M. G.) A967), Note on testing hypotheses in an unba-
unbalanced random effects model, Biometrika 54, 659.
Мэдоу (Madow W. G.) A945), Note on the distribution of the serial corre-
correlation coefficient, Ann. Math. Statist. 16, 308.
Мэдоу (Madow W. G.) A948), On the limiting distributions of estimates ba-
based on samples from finite universes, Ann. Math. Statist. 19, 535.
Мэн л и (Manley G.) A953 and later), The mean temperature of Central Eng-
England, 1698—1952, Quart. J. R. Meteor. Soc. 79, 242.
Мэра и Саранджи (Mehra К- L. and Sarangi J.) A967), Asymptotic
efficiency of certain rank tests for comparative experiments, Ann. Math.
Statist. 38, 90.
Мэрриотт и Поуп (Marriott F. H. С and Pope J. A.) A954), Bias in
the estimation of autocorrelations, Biometrika 41, 390.
Мэртн (Murty V. N.) A961), An inequality for balanced incomplete block,
designs, Ann. Math. Statist. 32, 908.
Нанджамма, Мёрфи и Сэти (Nanjamma N. S., Murthy M. N., and Set-
Sethi V. K-) A959), Some sampling systems providing unbiased ratio estima-
estimators, Sankhya 21, 299.
Hap айн (Narain R. D.) A950), On the completely unbiased character of
tests of independence in multivariate normal systems, Ann. Math. Statist.
21, 293.
Нейман (Neyman J.) A934)*, On the two different aspects of the represen-
representative method; the method of stratified sampling and the method of purpo-
purposive selection, J. R. Statist. Soc. 97, 558.
Нейман (Neyman J.) A938)*, Contribution to the theory of sampling human
populations, J. Amer. Statist. Ass. 33, 101.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
713
Нейман и Скотт (Neyman J. and Scott E. L.) A960), Correction for bias
introduced by a transformation of variables, Ann. Math. Statist. 31, 643
Hep л OB (Nerlove M.) A964), Spectral analysis of seasonal adjustment pro-
procedures, Econometrica, 32, 241.
Нётер (Noether G. E.) A950), Asymptotic properties of the Wald-Wolfo-
witz test of randomness, Ann. Math. Statist. 21, 231.
Нието и Паскуаль (Nieto de Pascual J.) A961), Unbiased ratio esti-
estimators in stratified sampling, J. Amer. Statist. Ass. 56, 70.
Нортон (Norton H. W.) A939), The 7X7, squares. Ann. Eugen. 9, 269 (спи-
(список опечаток: 10, 1).
Ньюмэн (Newman D.) A939), The distribution of range in samples from a
normal population, expressed in terms of an independent estimate of stan-
standard deviation, Biometrika 31, 20.
Огава (Ogawa J.) A961), The effect of randomization on the analysis of ran-
randomized block design, Ann. Inst. Statist. Math., Tokyo 13, 105.
Огава (Ogawa J.) A963), On the null-distribution of the F-statistic in a
randomized balanced incomplete block design under the Neyman model,
Ann. Math. Statist. 34, 1558.
•Олкин (Olkin I.) A958), Multivariate ratio estimation for finite populations,
Biometrika 45, 154.
Парзен (Parzen E.) A961), Mathematical considerations in the estimation
of spectra. Comments on the discussions of Messrs Tukey and Goodman,
Technometrics 3, 167, 232.
Паттерсон (Patterson H. D.) A950), Sampling on successive occasions
with partial replacement of units, J. R. Statist. Soc. B, 12, 241.
Патхак (Pathak P. K) A96ia), Use of «order-statistic» in sampling wit-
without replacement, Sankhya A, 23, 409.
Патхак (Pathak P. K.) A961b), On the evalution of moments of distinct
units in a sample, Sankhya A, 23, 415.
Патхак (Pathak P. K-) A962a), On simple random sampling with replace-
replacement, Sankhya A, 24, 287.
Патхак (Pathak P. K.) A962b), On sampling with unequal probabilities,
Sankhya A, 24, 315.
Патхак (Pathak P. K.) A964a), On sampling schemes providing unbiased
ratio estimators, Ann. Math. Statist. 35, 222.
Патхак (Pathak P. K) A964b), On inverse sampling with unequal proba-
probabilities, Biometrika 51, 185.
Патхак (Pathak P. K) A964c), Sufficiency in sampling theory, Ann. Math.
Statist. 35, 795.
Пил л аи (Pillai К- С S.) A956), On the distribution of the largest
or the smallest root of a matrix in multivariate analysis, Biometrika
43, 122.
Пи л лай (Pillai К. С. S.) A964), On the distribution of the largest of se-
seven roots of a matrix in multivariate analysis, Biometrika 51, 270.
Пиллаи (Pillai К- С S.) A965), On the distribution of the largest characte-
characteristic root of a matrix in multivariate analysis, Biometrika 52, 405.
Пиллаи (Pillai К. С S.) A966), On the non-central multivariate Beta dis-
distribution and the moments of traces of some matrices, Proc. Symp. Multiv.
Analysis, Academic Press, New York.
Пиллаи (Pillai К. С. S.) A967a), On the distribution of the largest root of
a matrix in multivariate analysis, Ann. Math. Statist. 38, 616.
Пиллаи (Pillai К. С S.) A967b), Upper percentage points of the largest
roots of a matrix in multivariate analysis, Biometrika 54, 189.
Пиллаи и Джаячандраи (Pillai К- С. S. and Jayachandran К.) A967),
Power comparisons of tests of two multivariate hypotheses based on four
criteria, Biometrika 54, 195.
714
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Пирс (Реагсе S. С.) A963), The use and classification of non-orthogonal de-
designs, J. R. Statist. Soc. A, 126, 353.
Пирсон иУилкс (Pearson E. S. and Wilks S. S.) A933)*, Methods of
statistical analysis appropriate for k samples of two variables, Biometrika
25, 353.
Питмэн (Pitman E. J. G.) A938), Significance tests which may be applied
to samples from any population, III, The analysis of variance test, Biomet-
Biometrika 29, 322.
Плэкетт (Plackett R. L.) A950), Some theorems in least squares, Biometrika
37, 149.
Плэкетт (Plackett R. L.) A960), Models in the analysis of variance, J. R.
Statist. Soc. B, 22, 195.
Постен и Баргмаи (Posten H. О. and Bargmann R. E.) A964), Power
of the likelihood-ratio test of the general linear hypothesis in multivariate
analysis, Biometrika 51, 467.
Пури н Сен (Puri M. L. and Sen P. K-) A967a), On robust estimation in
incomplete block designs, Ann. Math. Statist. 38, 1587.
Пури и Сен (Puri M. L. and Sen P. K.) A967b), On some optimum non-
para-mtric procedures in two-way layouts, J. Amer. Statist, Ass 62,
1214.
Радж (Raj D.) A956), Some estimators in sampling with varying probabili-
probabilities without replacement, J. Amer. Statist. Ass. 51, 269.
Радж (Raj D.) A964), On double sampling for PPS estimation, Arm. Math,
Statist. 35, 900.
Радж и Хамис (Raj D. and Khamis S. H.) A958), Some remarks on
sampling with replacement, Ann. Math. Statist. 29, 550.
Pao Дж. (Rao J. N. K-) A963), On three procedures of unequal probability
sampling without replacement, J. Amer. Statist. Ass. 58, 202.
Pao Дж. (Rao J. N. K.) A965), A note on estimation of ratios by Quenouil-
le's method, Biometrika 52, 647.
Pao Дж. (Rao J. N. K.) A966), On the comparison of sampling with and
without replacement, Rev. Int. Statist. Inst. 34, 125.
Pao Дж. (Rao J. N. K.) A967), The precision of Mickey's unbiased ratio es-
estimator, Biometrika 54, 321.
Pao Дж. и Уэбстер (Rao J. N. К. and Webster J. T.) A966), On two met-
methods of bias reduction in the estimation of ratios, Biometrika 53, 571.
Pao Дж., Хартли и Кокрэн (Rao J. N. К., Hartley H. О. and Coch-
ran W. G.) A962), On a simple procedure of unequal probability sampling:
without replacement, J. R. Statist. Soc. B, 24, 482.
Pao П. и Мудхолкар (Rao P. R. S. and Mudholkar G. S.) A967), Gene-
Generalised muitivariate estimator for -the mean of finite populations, J. Amer,
Statist. Ass. 62, 1009.
P а о С. (Rao С. R.) A947), General methods of analysis for incomplete block
designs, J. Amer. Statist. Ass. 42, 541.
Pao С (Rao C. R.) A952), Advanced Statistical Methods in Biometric Re-
Research, Wiley, New York.
Рас С (Rao С. R.) A961), A study of BIB designs with replications 11 ta
15, Sankhya A, 23, 117.
Pao C. (Rao С R.) A966), Discriminant function between composite hypothe-
hypotheses and related problems, Biometrika 53, 339.
Pao С. и Слейтер (Rao С. R. and Slater P.) A949), Multivariate analysis
applied to differences between neurotic groups, Brit. J. Psychol. (Statist,
Sec.) 2, 17.
Рис (Rees D. H.) A966), The analysis of variance of designs with many
non-orthogonal classifications, J. R. Statist. Soc, B, 28, 110.
Робсон (Robson D. S.) A957), Applications of multivariate polykays to the
theory of unbiased ration-type estimation, J. Amer. Statist. Ass. 52, 511.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
715
Робсон и Витхаясаи (Robson D. S. and Vithayasai C.) A961), Unbia-
Unbiased componentwise ratio estimation, J. Amer. Statist. Ass. 56, 350.
Розенблатт (Rosenblatt M.) (ed.) A963), Proceedings of the Symposium
on Time Series Analysis held at Brown University, June 11—14, 1962, Wi-
Wiley, New York.
Рой Дж. и Шах (Roy J. and Shah K. R-) A962), Recovery of interblock
information, Sankhya A, 24, 269.
Рой С. (Roy S. N.) A939), p-statistics or some generalizations in analysis
of variance appropriate to multivariate problems, Sankhya 4, 381.
P о й С. (Roy S. N.) A957), Some Aspects of Mutivariate Analysis, Wiley, New
York.
Рой С. и Кобб (Roy S. N. and Cobb W.) (I960), Mixed model variance
analysis with normal error and possibly non-normal other random effects,
Part I, The univariate case, Ann. Nath. Statist. 31, 939.
Романовский В. (Romanovsky V. I.) A932), Sur la loi sinusoldale li-
mite, R. С Circ. Mat. Palermo 56, 82.
Романовский В. (Romanovsky V. I.) A933), Sur une generalisation de
la loi sinusoldale limite, R. S. Circ. Mat. Palermo 57, 130.
Росс (Ross A.) A961), Variance estimates in «optimum» sample designs,
J. Amer. Statist. Ass. 56, 135.
Роудс (Rhodes E. C.) A921), Smoothing, Tracts for Computers, no. 6, 1,
Cambridge Univ. Press.
Рубин (Rubin J.) A945). On the distribution of the serial correlation coeffi-
coefficient. Ann. Math. Statist. 16, 211.
Себер (Seber G. A. F.) A964a), Orthogonality in analysis of variance, Ann.
Math. Statist. 35, 705.
Себер (Seber G. A. F.) A964b), Linear hypotheses and induced tests, Bio-
Biometrika 51, 41.
С е н A. (Sen A. R.) A953), On the estimate of variance in sampling with va-
varying probabilities, J. Indian. Soc. Agric. Statist. 5, 119.
С е н П. (Sen P. K.) A966), On nonparametric simultaneous confidence regions
and tests for the one criterion analysis of variance problem, Ann. Inst.
Statist. Math. Tokyo 18, 319.
Сен П. (Sen P. K.) A967), A note on the asymptotic efficiency of Friedman's
X^-test, Biometrika 54, 677.
Сен П. и Пури (Sen Р. К. and Puri M. L.) A967), On the theory of rank or-
order tests for location in the multivariate one sample problem, Ann. Math.
Statist. 38, 1216.
Сер л (Searle S. R.) A958), Sampling variances of estimates of components
of variance, Ann. Math. Statist. 29, 167.
Силлитто (Sillitto G. P.) A964) см. Такэючи A962).
Симаик (Simaika J. В.) A941), On an optimum property of two important
statistical tests, Biometrika 32, 70.
Сингх (Singh M. P.) A967), The relative efficiency of some two-phase samp-
sampling schemes, Ann. Math. Statist. 38, Э37.
Сиотаии (Siotani M.) A964), Interval estimation for linear combinations
of means, J. Amer. Statist. Ass. 59, 1141.
¦Ситгривз (Sitgreaves R.) A952), On the distribution of two random mat-
matrices used in classification procedures, Ann. Math. Statist. 23, 263.
Слуцкий (Slutzky E.) A937), The summation of random causes as the
source of cyclic processes, Econometrica 5, 105.
Смит К. (Smith К.) A918), On the standard deviations of adjusted and in-
interpolated values of an observed polynomial function and its constants, and
the guidance they give towards a proper choice of the distribution of ob-
observations, Biometrika 12, 1. ...
Смит С. (Smith С. А. В.) A947), Some examples of discrimination, Ann.
Eugen. 13, 272 (список опечаток: 14, opp. p. 279).
716
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Сне декор (Snedecor G. W.) A946), Statistical methods: applied to experi-
experiments in agriculture and biology, 4th edn, Iowa State College Collegiate
Pre ;s, Ames, Iowa.
Спитволл (Spjetvoll E.) A967), Optimum invariant tests in unbalanced va-
variance components models, Ann. Math. Statist. 38, 422.
Спротт (Sprott D. A.) A962), Listing of BIB designs from r = 16 to 20„
Sankhya A, 24, 203.
Стейн (Stein C.) A966), An approach to the recovery of inter-block infor-
information in balanced incomplete block designs, in F. N. David (ed.) Re-
Research Papers in Statistics (Wiley, New York).
Стивене (Stevens W. L.) A948), Statistical analysis of a non-orthogonal
tri-factorial experiment, Biometrika 35, 346.
Стыоарт (Stuart A. ) A952), The power of two differencesign tests, J.
Amer. Statist. Ass. 47, 416.
Стыоарт (Stuart A.) A954), Asymptotic relative efficiencies of distribution-
free tests of randomness against normal alternatives, J. Amer. Statist. Ass.
49, 147.
Стыоарт (Stuart A.) A956), The efficiencies of tests of randomness against
normal regression, J. Amer. Statist. Ass. 51, 285.
Стыоарт (Stuart A.) A957), The efficiency of the records test for trend in
normal regression, J. R. Statist. Soc. B, 19, 149.
Стыоарт (Stuart A.) A964), Multistage sampling with preliminary random,
stratification of first-stage units, Rev. Int. Statist. Inst. 32, 193.
Стьюдент («Student») A908), The probable error of a mean, Biometrika 6, L
Сугияма (Sugiyama T.) A967a), On the distribution of the largest latent
root of the covariance matrix, Ann. Math. Statist. 38, 1148.
Сугияма (Sugiyama T.) A967b), Distribution of the largest latent root and
the smallest latent root of the generalized В statistic and F statistic ia
multivariate analysis, Ann. Math. Statist. 38, 1152.
Сэмпфорд' (Sampford M. R.) A962), Methods of cluster sampling with and
without replacement for clusters of unequal sizes, Biometrika 49, 27.
Сэмпфорд (Sampford M. R.) A967), On sampling without replacement
with unequal probabilities of selection, Biometrika 54, 499.
Сэттерсвейт (Satterthwaite F. E.) A941), Synthesis of variance, Psycho-
metrika 6, 309.
Сэттерсвейт (Sattertwaite F. E.) A959), Random balance experimenta-
experimentation, Technometrics 1, 111.
С э ш а д р и (Seshadri V.) A966), Comparison of combined estimators in ba-
balanced incomplete blocks, Ann. Math. Statist. 37, 1832.
Сюй (Hsu P. L.) A939), On the distribution of roots of certain determinantal
equations, Ann. Eugen. 9, 250.
Такэючи (Takeuchi K.) A962), A table of difference sets generating balan-
balanced incomplete blocks designs, Rev. Int. Statist. Inst. 30, 361. Исправления:.
Силлитто A964) и Клатуэртн и Левицкий A968), в том же журнале 32,.
251 и 36, 12.
Та мура (Tamura R.) A966), Multivariate nonparametric several-sample-
tests, Ann. Math. Statist. 37, 611.
Тин (Tin M.) A965), Comparison of some ratio estimators, J. Amer. Sta-
Statist. Ass. 60, 294.
Тннтнер (Tintner G.) A940), The variate difference method, Cowles Comra.
Res. Econ. (Bloomington, Indiana) Monogr. no. 5.
Томпсон (Thompson W. A. Jr.) A962), The problem of negative estimates
of variance components, Ann. Math. Statist. 33, 273.
Точер (Tocher K. D.) A952), The design and analysis of block experiments,.
J. R. Statist. Soc. B, 14, 45.
Трайон (Тгуоп R. C.) A939), Cluster Analysis, Edwards Bros., Ann. Arbor»
Michigan.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
717
Тыоки (Tukey J. W.) A949), One degree of freedom for non-additivity Bio-
Biometrics 5, 232.
Тыоки (Tukey J. W.) A951), Quick and dirty methods in statistics, II. Sim-
Simple analyses for standart designs, Proc. 5th Annu. Conf. Amer. Soc. Qual.
Contr. 189.
Тыоки (Tukey J. W.) A952), Allowances for various types of error rates.
Unpublished, Princeton University.
Тыоки (Tukey J. W.) A953), The problem of multiple comparisons, Unpub-
Unpublished, Princeton University.
Тыоки (Tukey J. W.) П956—7a), Variances of variance components, I. Ba-
Balanced designs, II. Tne unbalanced single classification, Ann. Math. Sta-
Statist. 27, 722; 28, 43.
Тьюки (Tukey J. W.) A957b), On the comparative anatomy of transforma-
transformations, Ann. Math. Statist. 28, 602.
Уайз (Wise J.) A955), The autocorrelation function and the spectral density
function, Biometrika 42, 151.
Уайз (Wise J.) A956), Stationarily conditions for stochastic processes of
the autoregressive and moving-average type, Biometrika 43, 215.
Уайт (White J. S.) A957), Approximate moments for the serial correlation
coefficient, Ann. Math. Statist. 28, 798.
Уайт (White J. S.) A961), Asymptotic expansions for the mean and variance
of the serial correlation coefficient, Biometrika 48, 85.
Уилк и Кемпсори (Wilk M. В. and Kempthorne О.) A955), Fixed, mi-
mixed and random models, J. Amer. Statist. Ass. 50, 1144.
Уилк и Кемпсорн (Wilk M. В. and Kempthorne О.) A956), Some aspects
of the analysis of factorial experiments in a completely randomized de-
design, Ann. Matn. Statist. 27, 950.
Уилк и Кемпсорн (Wilk M. В. and Kemplthorne О.) A957), Non-additi-
vities in a latin square disign, J. Amer. Statist. Ass. 52, 218.
Уилкиисон (Wilkinson G. N.) A957), The analysis of covariance with in-
incomplete data, Biometrics 13, 363.
Уилкинсон (Wilkinson G. N.) A958a), Estimation of missing values for
the analysis of incomplete data, Biometrics 14, 257.
Уилкинсон (Wilkinson G. N.) A958b), The analysis of variance and
derivation of standart errors for incomplete data, Biometrics 14,
360.
Уилкинсон (Wilkinson G. N.) A960), Comparison of missing value proce-
procedures, Australian J. Statist. 2, 53.
Уилкс (Wilks S. S.) A932)*, Certain generalizations in the analysis of va-
variance, Biometrika 24, 471.
Уилк с (Wilks S. S.) A935)*,
tributed statistical variables
On the independence of k sets of normaly dis-
. Econometrica 3, 309.
Уилкс (Wilks S. S.) A946)*, Sample criteria for testing equality of means,,
equality of variances and equality of covariances in a normal multivariate
distribution, Ann. Math. Statist. 17, 257.
Уилльямс E. (Williams E. J.) A952), Some exact tests in multivariate ana-
analysis, Biometrika 39, 17.
Уилльямс E. (Williams E. J.) A967), The analysis of association among:
many variates, J. R. Statist. Soc. B, 29, 199.
Уилльямс У. (Williams W. H.) A961), Generating undiased ration and reg-
regression estimators, Biometrics 17, 267.
Уилльямс У. (Williams W. H.) A962), On two methods of unbiased esti-
estimation with auxiliary variates, J. Amer. Statist. Ass. 57, 184.
Уин тер с (Winters P. R.) A960), Forecasting sales by exponentially weigh-
weighted moving averages, Management Set. 6, 324.
Уиттекер (Whittaker E. T.) A911), On the law whith governs the variations
of S. S. Cygni, Month. Notes Roy, Astron. Soc. 71, 686.
718
ЦИТИРОВАННАЯ ЛИТЕРАТУРА'
Уиттл (Whittle P.) A951), Hypothesis Testing in Time Series Analysis,
Almqvist & Wiksell, Uppsala.
Уиттл (Whittle P.) A953a), The analysis of multiple stationary time se-
series, J. R. Statist. Soc. B, 15, 125.
Уиттл (Whittle P.) A953b), Estimation and information in stationary time-
series, Ark. Mat. (Stockholm) 2, 423.
Уиттл (Whittle P.) A957), Curve and periodogram smoothing, J. R. Sta-
Statist. Soc. B, 19, 38.
Уишарт (Wishart J.) A928), The generalized product moment distribution
in samples from a normal multivariate population, Biometrika 20A, 32,
424.
Уишарт (Wishart J.) A929), The correlation between product moments of
any order in samples from a normal population, Proc. Roy. Soc. Edin. 49, 78.
Уишарт (Wishart J.) A948), Proofs of the distribution law of the second
order moment statistics, Biometrika 35, 55, 422.
Уишарт и Бартлетт (Wishart J. and Bartlett M. S.) A932), The dis-
distribution of second order moment statistics in a normal system, Proc. Camb.
Phil. Soc. 28, 455.
Уишарт и Бартлетт (Wishart J. and Bartlett M. S.) A933), The gene-
generalized product moment distribution in a normal system, Proc. Camb. Phil.
Soc. 29, 260.
Уокер A. (Walker A. M.) A961), On Durbin's formula for the limiting ge-
generalized variance of a sample of consecutive observations from a mo-
moving-average process, Biometrika 48, 197 (исправления: 476).
Уокер Г. (Walker G. Т.) A914), Correlation in seasonal variation of weat-
weather, III. On the criterion for the reality of relationships or periodicities,
Indian Meteor. Dept. (Simla) Mem. 21 (9), 22.
Уокер Г. (Walker G. T.) A931), On periodicity in series of related terms,
Proc. Roy. Soc. A, 131, 518.
Уоллис и Myp (Wallis W. A. and Moore G. H.) A941), A singnificance
test for time series analysis, J. Amer. Statist, Ass. 36, 401.
У орд (Ward D. H.) A963), Comparison of different systems of exponentially
weighted prediction, The Statistician 13, 173.
У op кинг (Working H. )A960), Note on the correlation of first differences
of averages in a random chain, Econometrica 28, 916.
Уэйгл (Wagle B. V.) A962), Some Contributions to the Theory of Multiva-
Multivariate Analysis, Unpublished Ph. D. Thesis, Univ. London.
Уэлч (Welch B. L.) A937), On the z-test in randomized blocks and latin
squares, Biometrika 29, 21.
Уэнг (Wang Y. Y.) A967), A comparison of sevaral variance component esti-
estimators, Biometrika 54, 301.
Фелледжи (Fellegi I. P.) A963), Sampling with varying probabilities wit-
without replacement: rotating and non-rotating samples, J. Amer. Statist. Ass.
58, 183.
Фил лил с (Phillips A. W.) A959), The estimation of parameters in systems
of stochastic differential equations, Biometrika 46, 67.
Финни (Finney D. J.) A941), The joint distribution of variance ration based
on a common error mean square. Ann. Eugen. 11, 136.
Финни (Finney D. J.) A952—), Statistical Method in Biological Assay, Grif-
Griffin, London.
Финч (Finch P. D.) A960), On the covariance determinants of moving-ave-
moving-average and autoregressive models, Biometrika 47, 194.
Фиск (Fisk P. R.) A967), Stochastically dependent equations, Griffin, Lon-
London.
Фишер (Fisher R. A.) A929)*, Tests of significance in harmonic analysis,.
Proc. Roy. Soc. A, 125, 54.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
719
Фишер (Fisher R. A.) A935—), The Design of Experiments, Oliver and
Boyd, Edinburgh.
Фишер (Fisher R. A.) A936)*, The use of multiple measurements in taxono-
mic problems, Ann. Eugen. 7, 179.
Фишер (Fisher R. A.) A939)*, The sampling distribution of some statistics
obtained from non-linear equations, Ann. Eugen. 9, 238.
Фишер (Fisher R. A.) A942)*, The theory of confounding in factorial expe-
experiments in relation to the theory of groups, Ann. Eugen. 11, 341.
Фишер (Fisher R. A.) A945)*, A system of confounding for factors with
more than two alternatives, giving completely orthogonal cubes and higher
powers, Ann. Eugen. 12, 283.
Фортье и Соломон (Fortier J. J. and Solomon H.) A966), Cluste-
Clustering procedures, Proc. Symp. Multiv. Analysis, Academic Press, New
York.
Фостер (Foster F. G.) A957—8), Upper percentage points of the generali-
generalized Beta distribution, II, III, Biometrika 44, 441; 45, 492.
Фостер и Рис {Foster F. G. and Rees D. H.) A957), Upper percentage
points of the generalized Beta distribution, I, Biometrika 44, 237.
Фостер н Стыоарт (Foster F. G. and Stuart A.) A954), Distribution-
free tests in time-series based on the breaking of records, J. R. Statist.
Soc. B, 16, 1.
Фридмэн М. (Friedman M.) A937), The use of ranks to avoid the assump-
assumption of normality implicit in the analysis of variance, J. Amer. Statist. Ass.
32, 675.
Фридмэн М. (Friedman M.) A940), A comparison of alternative tests of
significance for the problem of m rankings, Ann. Math. Statist. 11, 86.
Фридмэи X. иРубнн (Friedman H. P. and Rubin J.) A967), On some in-
invariant criteria for grouping data, J. Amer. Statist. Ass. 62, 1159.
Фримэн Г. и Джефферс (Freeman G. H. and Jeffers J. N. R.) A962),
Estimation of means and standard errors in the analysis of non-orthogonal
experiments by electronic computer, J. R. Statist. Soc. B, 24, 435.
Фримэн М. иТьюки (Freeman M. F. and Tukey J. W.) A950), Transfor-
Transformations related to the angular and the square root, Ann. Math. Statist. 21,
607.
Хаавелмо (Haavelmo T.) A943), The statistical implications of a system of
simultaneous equations, Econometrica 11, 1.
Ханани (Hanani H.) A961), The existence and construction of balanced in-
incomplete block designs, Ann. Math. Statist. 32, 361.
Хансен и Гурвиц (Hansen M. H. and Hurwitz W. N.) A943),
On the theory of sampling from finite populations, Ann. Math. Statist.
14, 333.
Хансен и Гурвиц (Hansen M. N. and Hurwitz W. N.) A946), The prob-
problem of non-response in sample surveys, J. Amer. Statist. Ass. 41, 517.
Хансен и Гурвиц (Hansen M. N. and Hurwitz W. N.) A949), On the
determination of optimum probabilities in sampling, Ann. Math. Statist.
20, 426.
Хансен, Гурвиц и Мэдоу (Hansen M. H., Hurwitz W. N. and Ma-
dow W. G.) A953), Sample Survey Methods and Theory, 2 vols, Wiley,
New York.
Ханурав (Hanurav T. V.) A967), Optimum utilization of auxiliary infor-
information: nps sampling of two units from a stratum, J. R. Statist. Soc. B, 29,
374.
Харвилл (Harville D. A.) A967a), Estimability of variance components for
the two-way classification with interaction, Ann. Math. Statist. 38, 1508.
Харвилл (Harville D. A.) A967b), Statistical dependence between random
effects and the numbers of observations on the effects for the unbalanced
one-way random classification, J. Amer. Statist. Ass. 62, 1375.
720
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Хармэн (Harman H. H.) A9C0), Modern Factor Analysis, Univ. Chicago
Press. (Русский перевод: Г. Харман, Современный факторный анализ,
М., «Статистика», 1972).
Хартер (Harter H. L.) A957), Error rates and sample sizes for range tests
in multiple comparisons, Biometrics 13, 511.
Хартли (Hartley H. O.) A938), Studentization and large-sample theory,
Suppl. J. R. Statist. Soc. 5, 80.
Хартли (Hartley H. O.) A955), Some recent developments in analysis of
variance, Commun. Pure Appl. Math. 8, 47.
Хартли (Hartley H. O.) A959)? Analytic studies of survey data in Istituto
di Statistica (Roma), Volume in Onore di Corrado Gini, 1, 213.
Хартли и Рао Дж. (Hartley H. O. and Rao J. N. K.) A967), Maximum-
likelihood estimation for the mixed analysis of variance model, Biometrika
54, 93.
Хартли и Росс (Hartley H. О. and Ross A.) A954), Unbiased ratio es-
estimators, Nature 174, 270.
Хейланд (Heyland A.) A965), Robustness of the Hodges-Lehmann estima-
estimates for shift, Ann. Math. Statist. 36, 174.
Хекст (Hext G.) A964), A note on pre-whitening and recolouring, Stanford
Univ. Dept. Statist. Tech. Rep. no. 13.
Хендерсон (Henderson С R.) A953), Estimation of variance and cova-
riance components, Biometrics 9, 226.
Хеннаи (Hannan E. J.) A960), The estimation of seasonal variation, Austra^
lian J. Statist. 2, 1.
Хеннан (Hannan E. J.) A961), Testing for a jump in the spectral function,
J. R. Statist. Soc. B, 23, 394.
Хигхем (Htgham J. A.) A882), On the adjustment of mortality tables, J.
Inst. Actuar. 23, 335.
Хигхем (Higham J. A.) A885), On the graduation of mortality tables, J.
Inst. Acti^ar. 25, 245.
Хили и Тейлор (Healy M. J. R. and Taylor L. R.) A962), Tables for po-
power-law transformations, Biometrika 49, 557.
Хиллс (Hills M.) A966), Allocation rules and their error rates, J. R. Statist.
Soc. B, 28, 1.
Хил л с (Hills M.) A967), Discrimination and allocation with discrete data,
Applied Statistics 16, 237.
Хин чин (Khintchin A. Ya.) A932), Zu Birkhoff's Losung des Ergodenprob-
lems, Math. Ann. 107, 485.
Xorr (Hogg R. V.) A961), On the resolution of statistical hypotheses, J.
Amer. Statist. Ass. 56, 978.
.Ходжес и Леман (Hodges J. L., Jr. and Lehmann E. L.) A962), Rank
methods for combination of independent experiments in analysis of variance,
Ann. Math. Statist. 33, 482.
Ходжес и Леман (Hodges J. L., Jr. and Lehmann E. L.) A963), Estima-
Estimates of location based on rank tests, Ann. Math. Statist. 34, 598.
Холландер (Hollander M.) A967), Rank tests for randomized blocks when
the alternatives have an a priori ordering, Ann. Math. Statist. 38, 867.
Холловэй и Данн (Holloway L. N. and Dunn O. J.) A967), The robust-
robustness of Hotelling's T\ J. Amer. Statist. Ass. 62, 124.
Холт (Holt С. С.) A957), Forecasting seasonals and trends by exponentially
weighted moving averages, Carnegie Inst. Technol. Res. Memo. no. 52
(NONR 760@1)).
ЗСорвитц и Томпсон Д. (Horvitz D. G. and Thompson D. J.) A952),
A generalization of sampling without replacement from a finite universe,
J. Amer. Statist. Ass. 47, 663.
Хорснелл (Horsnell G.) (i953), The effect of unequal group variances on
the F-test for the homogeneity of group means, Biometrika 40, 128.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
721
Хотеллииг (Hotelling H.) A931), The generalization of Student's ratio,
Ann. Math. Statist. 2, 360.
Хотеллинг (Hotelling H.) A936), Relations between two sets of variates,
Biometrika 28, 321.
Хотеллинг (Hotelling H.) A951), A generalized TMest and measure of
multivariate dispersion, Proc. 2nd Berkeley Symp. Math. Statist, and Prob.,
23.
Хоув (Howe W. G.) A955), Some contributions to factor analysis, U. S.
Atom. Energy Comm. Rep. ORNL-1919.
Хоул (Hoel P. G.) A937), A significance test for component analysis, Ann.
Math. Statist. 8, 149.
Хоул (Hoel P. G.) A958), Efficiency problems in polynomial estimation, Ann.
Math. Statist. 29, 1134.
Хоул (Hoel P. G.) A965a), Minimax designs in two dimensional regression,
Ann. Math. Statist. 36, 1097.
Хоул (Hoel P. G.) A965b), Optimum designs for polynomial extrapolation,
Ann. Math. Statist. 36, 1483.
Хоул и Левайи (Hoel P. G. and Levine A.) A964), Optimal spacing and
weighting in polynomial prediction, Ann. Math. Statist. 35, 1553.
Чако (Chacko V. J.) A963), Testing homogeneity against ordered alterna-
alternatives, Ann. Math. Statist. 34, 945.
Чеймберс (Chambers J. M.) A967), On methods of asymptotic approxima-
approximation for multivariate distributions, Biometrika 54, 367.
Чу (Chew V.) A966), Confidence, prediction and tolerance regions for the mul-
multivariate normal distribution, J. Amer. Statist. Ass. 61, 605.
Шатцов (Schatzoff M.) A966a), Sensitivity comparison among tests of tha
general linear hypothesis, J. Amer. Statist. Ass. 61, 415.
Шатцов (Schatzoff M.) A966b), Exact distributions of Wilks's likelihood
ratio criterion, Biometrika 53, 347.
Шах (Shah K. R.) A964), Use of inter-block information to obtain uniformly
better estimators, Ann. Math. Statist. 35, 1064.
Шеффе (Scheffe H.) A953), A method for judging all contrasts in the ana-
analysis of variance, Biometrika 40, 87.
Шеффе (Scheffe H.) A956a), A «mixed model» for the analysis of variance,
Ann. Math. Statist. 27, 23.
Шеффе (Scheffe H.) A956b), Alternative models for the analysis of varian-
variance, Ann. Math. Statist. 27, 251.
Шеффе (Scheffe H.) A959), The Analysis of Variance, Wiley, New York.
~ " Г. Ш е ф ф е, Дисперсионный анализ, М., Физматгиз,
A955), Seasonal computations on Univac, Amer. Sta-
(Русский перевод:
1963).
Ш и скин (Shiskin J.)
tistician 9A), 19.
Шискин и Эйзенпресс (Shiskin J. and Eisenpress H.) A957), Seasonal
adjustments by electronic computer methods, J. Amer. Statist. Ass. 52, 415.
Шметтерер (Schmetterer L.) A960), On a problem of J. Neyman and
E. Scott, Ann. Math. Statist. 31, 656.
Шорак (Shorack G. R.) A967), Testing against ordered alternatives in Mo-
Model I analysis of variance: normal theory and non-parametric, Ann. Math.
Statist. 38, 1740.
Шривастава и Бознвич (Srivastava S. R. and Bozivich H.) A962),
Power of certain analysis of variance test procedures involving prelimi-
preliminary tests, Bull. Int. Statist. Inst. 39 C), 133.
Эйзенпресс (Eisenpress H.) A956), Rergession techniques applied to sea-
seasonal corrections and adjustments for calendar shifts, J. Amer. Statist. Ass.
51, 615.
Эйзепхарт (Eisenhart C.) A947), The assumptions underlying the analysis
of variance, Biometrics 3, 1.
722
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Экман (Ekman G.) A959), An approximation useful in univariate stratifi-
stratification, Ann. Math. Statist. 30, 219.
Эндрюс (Andrews F. C.) A954), Asymptotic behaviour of some rank tests
for analysis of variance, Ann. Math. Statist. 25, 724.
Энском б (Anscombe F. J.) A948), The transformation of Poisson, binomial
and negative binomial data, Biometrika 35, 246.
Энском б (Anscombe F. J.) A959), Quick analysis methods for random ba-
balance screening experiments, Technometrics 1, 195.
Энском б (Anscombe F. J.) A961), Examination of residuals, Proc. 4th Ber-
Berkeley Symp. Math. Statist, and Prob. 1, 1.
Энскомб и Тьюки (Anscombe F. J. and Tukey J. W.) A963), The exa-
examination and analysis of residuals, Technometrics 5, 141.
Эштон, Хили и Липтои (Ashton Е. H., Healy M. J. R. and Upton S.)
A957), The descriptive use of discriminant functions in physical anthro-
anthropology, Proc. Roy. Soc. B, 146, 552.
Юдэн, Кемпсорн, Тьюки, Бокс, Хантер (Youdep W. J., Kempthor-
ne O., Tukey J. W., Box G. E. P. and Hunter J. S.) A959), Discussion of
the papers of Messrs Satterthweite and Budne, Technometrics 1, 157 (aut-
(authors' response to discussions: 184).
Юл (Yule G. U.) A926), Why do we sometimes get nonsense-correlations bet-
between timeseries? — A study in sampling and the nature of time-series,
J. R. Statist. Soc. 89, 1.
Юл (Uule G. U.) A927), On a method of investigating periodicities in dis-
disturbed series, with special reference to Wolfer's sunspot numbers, Phil.
Trans. A, 226, 267.
Янг (Young D. H.) A961), Quota fulfilment using unrestricted random sam-
sampling, Biomeyrika 48, 333.
C-E-I-R A968), Mathematical model Building in Economics and Industry, Grit-
fin, London.
Собрания статей
R. A. Fisher, Contributions to Mathematical Statistics, Wiley, New York,
1950
A Selection of Early Statistical Papers of J. Neyman, Cambridge Univ. Press,
The Selected Papers of E. S. Pearson, Cambridge Univ. Press, 1966.
«Student's» Collected Papers, Biometrika Office, University College London,
1942
Selected Papers in Statistics and Probability by Abraiiam Wald, McGraw-Hill,
New York, 1955; reprinted by Stanford Univ. Press, 1957
S S W i 1 k s, Collected Papers, Contributions to Mathematical Statistics, Wi-
Wiley, New York, 1967.
УКАЗАТЕЛЬ
Автоковариации (autocovariance) 557;
спектр, как их производящая функция
567; см. Автокорреляции, Временные
ряды
Автокорреляции (autocorrelation) 557;
в эргодических процессах 562—565;
спектр, как их производящая функция
562, 567; автокорреляционная функция
для непрерывных рядов 579; частные ав-
автокорреляции 583—585; смещение при
оценивании 593—596; регрессия с авто-
коррелнрованиыми ошибками 677—679;
см. Сериальные корреляции
Авторегрессионные ряды (autoretrresslve
series) 573—578; и скользящие средние
674, 647—649, 655—660; уравнения Юла —
Уокера 574, (упражнение 50.5) 684; дис-
дисперсия (упражнение 47.7) 586—587; пред-
предоставление в виде комбинированной пос-
последовательности рядов Маркова и Юла
(упражнение 47.12) 587; матричное пред-
представление (упражнения 47.16—47.17)
588; теория сериальных корреляций для
больших выборок 592—593; переменные
разности (упражнения 48.15—48.16) 618;
влияние начального значения иа оценку
€44—647; оценивание 649—653; частные
автокорреляции 653; критерии согласия
€53—654; со скользящими средними в ка-
качестве ошибок 660—661; схема, смешан-
смешанная с регрессией 679—681; см. Марков-
Марковские ряды, Юла ряды
Аддитивность (additivity) 28; критерий
Тьюки ее проверки 43, (пример 35.3) 41;
193; преобразования ведущие к а. 141
Адичи (Adichie J. N.), устойчивость оце-
оценок в ДА 163
Андерсен (Andersen S. L.), устойчивость
ппоцедур ДА 147
Андерсон О. (Anderson О), метод пере-
переменных разностей 535, 538
Андерсон P. (Anderson R. L.), метод
Иэйтса взвешенных квадратов от сред-
средних вначеиий 50: ортогональные полино-
полиномы в ДА 79; ковариационный анализ 82;
распределение сериальных корреляций
598—602; автокоррелированные ошибки 677,
679
Андерсон Т. (Anderson T. W.), проверка
степени полиномиальной регрессии (уп-
фажиение 37.3) 169; нецентральное рас-
распределение Уишарта 367; распределение
обобщенной дисперсии (упражнение
41,9) 370; критерии независимости 362:
многомерный анализ 395; функции мощ-
мощности для многомерных критериев 396;
многомерная регрессия (упражнения
42.15—42.16) 398—399; собственные числа
413; дискриминация (упражнения
44.2—44.3) 471—472; автокоррелированные
ошибки 679
Арене (Arens В. Е.), планирование поли-
иомииальиой регрессии 234
Арксинуса преобразования (angular trans-
transformations 143, (упражнения 37.4—37.5)
169—170
Армитедж (Armitage P.), расслоенный вы-
выбор 259, 262, (упражнения 39.14—39.15)
297
Арнольд (Arnold H. J.), влияние переста-
перестановок иа распределение V 396
Архаров П. В., предельные теоремы для
собственных чисел 413 (сноска)
Атикулла (Atiqullah M.), устойчивость
процедур ДА 156
Афифн (Afifi А. А.), потерянные наблю-
наблюдения 168 (упражнение 37.21) 174
Балакришиан (Baiakrisnan T. R-), фор-
формирование слоев 268
Балмер (Buimer M. Q.). доверительные
интервалы в модели II ДА 110, упраж-
упражнение 36.15) 128
Баидерджи (Banerjee К. S.). разложение
квадратичных форм от нормальных пе-
переменных 16
Баикрофт (Bancroft Т. А.), метод Иэйтса
взвешенных квадратов от средних зна-
значений 50; ортогональные полиномы в ДА
79; ковариационный анализ 82; объеди-
объединения в модели II ДА (пример 36.6)
105
Баргман (Barqmann R. Е.), мощность
критерия ОП 396
Барнард Г. (Barnard Q. А.), экспоненци-
экспоненциальные веса 683
Барнард М. (Barnard M. М.), данные о
черепах египтяи (пример 42.3) 390—393.
Барнетт (Barnett V. Д.), канонический
анализ исследований в образовании 425
БарраШагга J. R.), обзор по латинским
и ортогональным квадратам 200
Бартлетт (Bartlett M. S.). преобразования
135—136, 138, (упражнение 37.6) 170;
асимптотическое распределение корре-
• ляционного определителя (пример 41.4)
353—354; распределение выборочной кор-
корреляции (упражнение 41.13) 370—371;
разложение (упражнение 41.16) 371; ана-
анализ данных о черепах египтян (пример
42.3) 390—393; проверка гипотез о соб-
собственных числах 410; канонические кор-
корреляции 426; факторный анализ 432; ди-
дискриминация 454, 467; стандартные
ошибки сериальных корреляции 591,
(упражнения 48.2, 48.8—48.9) 615—6161
722
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
Экман (Ekman G.) A959), An approximation useful in univariate stratifi-
stratification, Ann. Math. Statist. 30, 219.
Эндрюс (Andrews F. C.) A954), Asymptotic behaviour of some rank tests
for analysis of variance, Ann. Math. Statist. 25, 724.
Энском б (Anscombe F. J.) A948), The transformation of Poisson, binomial
and negative binomial data, Biometrika 35, 246.
Энском б (Anscombe F. J.) A959), Quick analysis methods for random ba-
balance screening experiments, Technometrics 1, 195.
Энском б (Anscombe F. J.) A961), Examination of residuals, Proc. 4th Ber-
Berkeley Symp. Math. Statist, and Prob. 1, 1.
Эискомб и Тьюки (Anscombe F. J. and Tukey J. W.) A963), The exa-
examination and analysis of residuals, Technometrics 5, 141.
Эштон, Хили и Липтон (Ashton E. H., Healy M. J. R. and Lipton S.)
A957), The descriptive use of discriminant functions in physical anthro-
anthropology, Proc. Roy. Soc. B, 146, 552.
Юдэн, Кемпсорн, Тьюки, Бокс, Хантер (Youdep W. J., Kempthor-
ne O., Tukey J. W., Box G. E. P. and Hunter J. S.) A959), Discussion of
the papers of Messrs Satterthweite and Budne, Technometrics 1, 157 (aut-
(authors response to discussions: 184).
Юл (Yule G. U.) A926), Why do we sometimes get nonsense-correlations bet-
between timeseries? — A study in sampling and the nature of time-series,
J. R. Statist. Soc. 89, 1. .
Юл (Uule G. U.) A927), On a method of investigating periodicities in dis-
disturbed series, with special reference to Wolfer's sunspot numbers, Phil.
Trans. A, 226, 267.
Янг (Young D. H.) A961), Quota fulfilment using unrestricted random sam-
sampling, Biomeyrika 48, 333.
C-E-I-R A968), Mathematical model Building in Economics and Industry, Grif-
Griffin, London.
Собрания статей
R. A. Fisher, Contributions to Mathematical Statistics, Wiley, New York,
1950
A Selection of Early Statistical Papers of J. Neyman, Cambridge Univ. Press,
The Selected Papers of E. S. Pearson, Cambridge Univ. Press, 1966.
«Student's» Collected Papers, Biometrika Office, University College London,
1942
Selected Papers in Statistics and Probability by Abraham Wald, McGraw-Hill,
New York, 1955; reprinted by Stanford Univ. Press, 1957.
S S Wilks, Collected Papers, Contributions to Mathematical Statistics, Wi-
Wiley, New York, 1967.
УКАЗАТЕЛЬ
Автоковариации (autocovariance) 557;
спектр, как их производящая функция
567; см. Автокорреляции. Временные
ряды
Автокорреляции (autocorrelation) 557;
в эргодических процессах 562—565;
спектр, как их производящая функция
562, 567; автокорреляционная функция
для непрерывных рядов 579; частные ав-
автокорреляции 583—585; смещение при
оценивании 593—596; регрессия с авто-
коррелироваииыми ошибками 677—679;
см. Сериальные корреляции
Авторегрессионные ряды (autoretjresslve
series) 573—578; и скользящие средние
574, 647—649, 655—660; уравнения Юла —
Уокера 574. (упражнение 50.5) 684; дис-
дисперсия (упражнение 47.7) 586—587; пред-
представление в виде комбииироваииой пос-
последовательности рядов Маркова и Юла
(упражнение 47.12) 587; матричное пред-
представление (упражнения 47.16—47.17)
588; теория сериальных корреляций для
больших выборок 592—593; переменные
равности (упражнения 48.15—48.16) 618;
влияние начального значения иа оценку
€44—647; оценивание 649—653; частные
автокорреляции 653; критерии согласия
€53—654; со скользящими средними в ка-
качестве ошибок 660—661; схема, смешан-
смешанная с регрессией 679—681; см. Марков-
Марковские ряды, Юла ряды
Аддитивность (addltivity) 28; критерий
Тыоки ее проверки 43, (пример 35.3) 41;
193; преобразования ведущие к а. 141
Адичи (Adichie J. N.), устойчивость оце-
оценок в ДА 163
Андерсен (Andersen S. L.), устойчивость
ппоцедур ДА 147
Андерсон О. (Anderson О), метод пере-
переменных разностей 535, 538
Андерсон P. (Anderson R. L,), метод
Иэйтса взвешенных квадратов от сред-
средних значений 50; ортогональные полино-
полиномы в ДА 79; ковариационный анализ 82;
распределение сериальных корреляций
598—602; автокоррелированиые ошибки 677,
679
Андерсон Т. (Anderson T. W.), проверка
степени полиномиальной регрессии (уп-
фажнение 37.3) 169; нецентральное рас-
распределение Уишарта 367; распределение
обобщенной дисперсии (упражнение
41.9) 370; критерии независимости 382:
многомерный анализ 395; функции мощ-
мощности для многомерных критериев 396;
многомерная регрессия (упражнения
42.15—42.16) 398—399; собственные числа
413; дискриминация (упражнения
44.2—44.3) 471—472; автокоррелироваииые
ошибки 679
Арене (Arens В. Е.), планирование поли-
номинальиой регрессии 234
Арксинуса преобразования (angular trans-
transformations 143, (упражнения 37.4—37.5)
169—170
Армитедж (Armitage P.), расслоенный вы-
выбор 259, 262, (упражнения 39.14—39.15)
297
Арнольд (Arnold H. J.), влияние переста-
перестановок на распределение V 396
Архаров П. В., предельные теоремы для
собственных чисел 413 (сноска)
Атикулла (Atiquilah M.), устойчивость
процедур ДА 156
Афифи (Afifi А. А.), потерянные наблю-
наблюдения 168 (упражнение 37.21) 174
Балакришнан (Baiakrisnan T. R.), фор-
формирование слоев 268
Валмер (Buimer M. G.), доверительные
интервалы в модели II ДА 110, упраж-
упражнение 36.15) 128
Бандерджн (Banerjee К- S.). разложение
квадратичных форм от нормальных пе-
переменных 16
Баикрофт (Bancroft Т. А.), метод Иэйтса
взвешенных квадратов от средних зна-
значений 50; ортогональные полиномы в ДА
79; ковариационный анализ 82; объеди-
объединения в модели II ДА (пример 36.6)
105
Варгман (Barqmann R. Е), мощность
критерия ОП 396
Барнард Г. (Barnard Q. А.), экспоненци-
экспоненциальные веса 683
Барнард М. (Barnard M. М.), данные о
черепах египтян (пример 42.3) 390—393.
Бариетт (Barnett V. Д.), канонический
анализ исследований в образовании 425
Барра (Barra J. R.), обзор по латинским
и ортогональным квадратам 200
Бартлетт (Bartlett M. S.), преобразования
135—136, 138. (упражнение 37.6) 170;
асимптотическое распределение корре-
¦ ляциояяого определителя (пример 41.4)
353—354; распределение выборочной кор-
корреляции (упражнение 41.13) 370—371;
разложение (упражнение 41.16) 371; ана-
анализ данных о черепах египтян (пример
42.3) 390—393; проверка гипотез о соб-
собственных числах 410; канонические кор-
корреляции 426; факторный анализ 432; ди-
дискриминация 454, 467; стандартные
ошибки сериальных корреляци1 591,
(упражнения 48.2. 48.8—48,9) 615—616J
724
УКАЗАТЕЛЬ'
критерий для ординаты спектра 630;
сглаживание спектра (пример 49.4) 635;
многомерные временные ряды 676
Бартоломью (Bartholomew D. J.), альтер-
альтернативы об упорядочениях (упражне-
(упражнение 35.15) 86-87
Басу (Basu D.), достаточность в теории
выборочных обследований 245
Беверндж (Beveridge W.), индексы цен на
пшеницу (таблица 47.1) 560—561; перио-
периодограмма 627
Белц (Belz M. Н.), доказательство ме-
метода всех сравнений Шеффе (упражне-
(упражнение 35.19) 87
Бенард (Benard А.), ранговые крнтерни
для СНБ 221
Бенкен (Behnken D. W.), ротатабельиые
планы 230
Беннет (Bennett В. М.). многомерные кри-
критерии средних 396, (упражнение 42.12) 398
Бёрмэи (Burman J. P.), сезонные изме-
изменения 551
Бнггерс (Biggers J. D.), потерянные на-
наблюдения 167
Бнкел (Bickel P. J.), устойчивость оце-
оценок в ДА 163
Бил (Beaie E. M. L.), модифицированная
оцеика-отиошение (упражнение 40.14)
338; отбрасывание величин 414
Биноминальное распределение (binomial
distribution), преобразования выборочных
статистик 143, (упражнения 37.4, 37.6)
114—115; выбор (упражнения 39.13,
39.23) 297, 298; см. Отрицательное бино-
биномиальное распределение
Бнркгоф (Birkhoff G. D.), эргодическая
теорема 559. 562
Блисс (Bliss G. I.), дискриминация 461
Блоки (blocks* 182: и слои 262; см. Экс-
Эксперименты, Случайные блоки
Блом (Blom G.), преобразования 141
Блэкис (Blacklth R. Е.), дискриминация454
Блэкмэн (Blackman R. В.), спектральный
анализ 636, 637, 638, (упражнение 49.5)
640
Бозе (Bose R. С), ошибочность прздпо-
ложения Эйлера о греко-латииских
квадратах 199; построение латинских
квадратов 200; неравенство для разло-
разложимых СНБ 209, (упражнение 38.18)
238; построение СНБ 209—211; планы
связанных парных сравнений 221—222;
ЧСНБ 223; ротатабельиые планы 230;
дз-статистика Махалаиобиса 368; не-
нецентральное распределение вектора
средних (упражнение 41.1) 368
Бозивич (Bozivich H.), объединение в
модели 11 ДА (пример 36.6) 103
Бокс (Box G. Е. Р.), приближенный F-
критерий в ДА (упражнение 36.7)
126—127; распределение линейной функ-
функции от х2 величин (упражнение 36.14)
127—128; преобразования 129—133, (уп-
(упражнения 37.1, 37.9) 168—170; анализ
остатков 145; устойчивость процедур ДА
147, (упражнения 37.10—37.12) 171; слу-
случайные сбалансированные эксперименты
191; смешивание 229; эволюционная
операция 230; асимптотические разло-
разложения критерия ОП 378—380; экспонен-
экспоненциальные веса 683
Борер (Bohrer R-). доверительные интер-
интервалы для сравнений в ДА 78
Браду (Bradu D.), неортогональная ад-
днтивиая трехфакториая перекрестная
классификация 62
Брант (Brunt D.), данные об осадках-
(таблица 45.2) 477
Браун Г. (Brown Q.W.), медианные крн-
крнтерни 161—162, (упражнения 37.18—37.20)
117—118
Браун P. (Brown R. Q.), экспоиенцналь^
ные веса 683
Бриллннджер (Briilinger D. R.), полн-
спектр 670
Брюэр (Brewer К. R. W.). выбор с не-
неравными вероятностями 247
Будиэ (Budne Т. А.), случайные сбалан-
сбалансированные эксперименты 191
Бхгпкар (Bhapkar V. P.), медианные кри->
терии 163
Бхаттачария (Bhattacharyya О. К.), эф-
эффективность многомерных свободных от
распределения критериев 396
Бхучонгкул (Bhuchongkui S.), устойчи-
вость оценок в ДА 164
Бэбингтон Смит (Smith В. Babington),
использование рангов при ДА (упраж-
(упражнение 37.14) 172
Бэйкер (Baker F. В.), устойчивость,
^-критериев для случайных блоков 203-
Вайда (Vajda S.), латинские квадраты
200; планы СНБ 211; планы ЧСНБ 223-
Вальд (Wald А.), доверительные интер-
интервалы в несбалансированной модели П
ДА ИЗ, (упражнение 36.16) 128; дискри-
дискриминация 471, (упражнение 44.2) 471—
472); критерий ранговой сериальной кор-
корреляции 498; метод НК Для авторегрес-
сиоииых рядов 650, 679
Ваи Элтери (Van Eitern P.), ранговые
критерии для СНБ 220—221
Ватсон (Watson Q. S.), устойчивость про-
процедур ДА 147, (упражнения 37.10—37.12)
171; совместное распределение сериаль-
сериальных корреляций 602, 615; регрессия с-
автокоррелированнымн ошибками 677
Вейсман (Wijsman R.), разложение Барт-
летта (упражнения 41.17—41.18) 371
Веса (weights), их выбор в ДА для линей»
ной модели 44—46
Взаимодействий ошибки (interactive er-
errors) 123
Взаимодействия (interactions) в ДА 28,.
58; критерий Тыоки для них (пример
35.3) 41. 43; независимость их равенства
нулю от системы весов 45; независи-
независимые и связанные 115—116; объекта и
обработки 123
Вилкоксои (Wiicoxon F.), критерий НО,
203, 220
Винер (Wiener N.), автокорреляционная
функция 581
Витхаясаи (Vithayasal С), оценки-отно-
оценки-отношения 318
Вложенные гипотезы (nested hypotheses)
132, (упражнения 37.1—37.3) 168—169
Возвращения (replacement), выбор с в. и
без в. 240; см. Обследования
Волд (Wold H.)/ ряды скользящих сред-
средних 572, 669; ряды авторегрессни 575,
(упражнение 47.6) 586; модели «причии-
иых цепочек» 680. 681
Волфовиц (Wolfowitz J.), планирование
регрессии 234; критерии фаз 490; кри-
критерий ранговой сериальной корреляции-
498
Вое (Vos J. W. Е.). выбор, одновремен-
одновременный по времени и пространству (упраж-
(упражнение 40.10) 337
УКАЗАТЕЛЬ'
72S
Временные ряды (time-series) 474—684;
общая часть 474—481; составляющие в. р.
482—483, 506; критерии случайности 485—
499; скользящие средине 506—554; ста-
стационарные 555—556; эргодические 559,
562; интенсивность 566; периодограмма
566; ряды скользящих средних 567—573;
ряды авторегрессии 573—578; непрерыв-
непрерывные ряды 578—582; фильтры н переда-
передаточные функции 582—583; бесконечные
и циклические процессы 584—585; сери-
сериальные корреляции 499—501, 590—619;
снектральная теория 562—566, 620—643;
оценки и критерии для авторегресснон-
ных рядов и рядов скользящих сред-
средних 644—562, 677—681; многомерные
662—676; системы уравнений 676—677;
прогнозирование 681—683; см. Авторег-
рессиониые, Марковские, Скользящих
средних, Юла ряды. Автокорреляции,
Переменных разностей метод. Сериаль-
Сериальные корреляции, Случайности критерий.
Спектр, Тренд
Выбор с отбрасыванием (reiective samp-
sampling) 251 Р
Выбор с равными долями (ВРД) (uni-
(uniform sampling fraction) 259
Выборка по группам (quota sampling),
(упражнение 40.11) 337—338
Выборочное среднее (sample mean), его
моменты 243—245
Выборочные обследования (sample surve-
surveys), см. Обследования
Выровненные ранговые крнтерни (alig-
(aligned rank tests), в ДА 161
Габрнэл (Gabriel К. R.), ДА средних зна-
значений в клетке 62; одновременные н
ступенчатые критерии в ДА 72—74 78,
(упражнения 35.12, 35.17—35.18) 87
Гаек (Hajek J.), предельная нормаль-
нормальность 244—245; выбор с отбрасыванием
251
Гамма-распределеиие (gamma distributi-
distribution), логарифмическое преобразование
(пример 37.2) 136—131?
Гардинер (Gardiner D. А.), ротатабель-
ные планы 230
Гармонический анализ (harmonic analy-
analysis), см. Спектр
Гассиер (Qassner В. J.), планы СНБ (уп-
(упражнение 38.20) 239
Гаучи (Gautschi W.), полнота расширен-
расширенного экспоненциального семейства 96
ЮЗ
Гейлор (Gayior D. W.), планирование по-
полиномиальной регрессии 234
Гейссер (Qeisser S.), многомерное нор-
нормальное распределение (упражнение
Генеральное среднее (general mean), 23,
Гербах (Herbach L. Н.), проверка гипотез
в модели II ДА 104, (упражнения 36.5—
36.6), 126
Тесс (Hess I.), формирование слоев 268;
оценки-отношения 318
Гест (Quest P. Q.), планирование полино-
полиномиальной регрессии 233—234
Гири (Geary R. С), распределение отно-
отношения 610
Гиршик (Girshick M. А.), собственные чис-
числа 365, 411—412, (упражнение 43.9) 435;
канонические корреляции (упражнение
43.8) 435, (упражнение 43.10) 435
Главные компоненты (principal compo-
components) 402. см. Главных компонент ана-
анализ
Главные эффекты в ДА (main effects In
AV), 28, 58
Главных компонент анализ (component
analysis) 400—408; собственные числа и
вектора, геометрическая интерпретация
401—406; нормировка 406; проверка гипо-
тев о собственных числах 408—412; ин-
индексы деловой активности 413; метевео-
логические данные (пример 43.4) 414—
419: см. Факторный анализ
Глезер (Gleser L. J.), критерий сферич-
сферичности 383
Глейзберг (Gleissberg W.), критерий слу-
случайности 490
Гнездовая классификация (nested classifi-
classification) 52 (сноска); си. Классификация^
иерархическая
Годэмб (Godambe V. Р.), лниейиые оценки
в выборочных обследованиях 252
Голдмэн (Goldman G. Е.), дискриминация.
458
Гомоскедастичность (homoscedasticity), кри-
критерий ОП ее проверки 132, (упражнения
37.1—37.3) 168—169; см. Однородность
Гопкиис (Hopkins С. Е.), дискриминация^
455, (пример 44.5) 457—458
Госсет (Gosset W. S.), см. Стьюдент
Граиди (Grundy P. M.), выбор с нерав-
неравными вероятностями 250, (упражнение
39.11) 236—297
Грейбилл (Graybill F. А.), разложение-
квадратичных ферм от нормальных пере-
переменных 16; модель II ДА 90, 95—98; ин-
информация между блоками 220
Греко-латииские квадраты (Graeco — Latin-
squares) 196—201, (упражнение 366)
235—236; прн факторных экспериментах 2Х
Гренандер (Grenander U.). спектральный
анализ 638; регрессия с автокоррелиро-
автокоррелированными ошибками 679
Гринберг (Greenberg V. L.), устойчивость-
оценок в ДА 164
Группировка (clustering), при планирова-
планировании выборки 269—271. 279, (упражнение
39.22) 298; при классификации 467—471
Грэидейдж (Grandage A. H. Е.), ротата-
ротатабельиые планы 230
Грэнджер (Granger С), спектральный-
аналнз 638, 640. 670
Гуд (Good I. J.), циркулянтная матрица
544, (упражнение 46. 13) 553
Гудмэи (Goodman L. А.), несмещенные
оценки-отношения 305, 307, 309
Гуерин (Guerin R.), обзор по СНБ и-
ЧСНБ 208—209, 223
Гурвиц (Hurwitz W. N.), выборочные об-
обследования 241; выбор с пропорциональ-
пропорциональными объему вероятностями 281; подбор
вероятностей извлечения 291; уклонение
от ответа при обследованиях (упражне-
(упражнение 40.7) 335—336
Гхош Б. (Ghosh В. К), последовательные
процедуры ДА 121
Гхош М. (Ghosh M. N.), критерий Тьюки
проверки аддитивности 43
Гхош С. (Ghosh S. Р.). формирование
слоев 268: двухэтапный выбор с груп-
группировкой 325
ДА, см. Дисперсионный анализ
Далэниус (Dalenius Т.), формирование-
слоев 265—268, (упражнение 39.17) 298
726
УКАЗАТЕЛИ
Даннэлл (Danieli P. J.), сглаживание спект-
спектра (пример 49.5) 636
.Даниэле (Daniels H. Е.), приближения
распределений сериальных корреляций
609—615; спектральные анализ 638
Данн (Dunn О. J.), доверительные интер-
интервалы для сравнение в ДА 78, (упраж-
(упражнение 35.14) 86; устойчивость критерия
Т' 396
.Дарлинг (Darling D. А.), объединение кри-
критериев ДА 68
Дас Гупта (Das Gupta S.), функция мощ-
мощности многомерных критериев 396
Двумерное нормальное распределение (bi«
variate normal distribution), стабилизи-
стабилизирующее дисперсию преобразование выбо-
выборочного коэффициента корреляции (при-
(пример 37.3) 130—131; распределение Уишар-
та выборочных дисперсий и ковариаций
(пример 4i.i) 348; моменты выборочных
ковариаций (пример 41.2) 349; нулевое
распределение собственных чисел мат-
матрицы рассеяния (пример 41.7) 366—367;
распределение выборочной корреляции
(упражнение 41.13) 370—371
.Двухфакторный перекрестный ДА, см.
Классификация по двум признакам, пе-
перекрестная
Двухэтапная выборка (two-phase sampling)
319—325; с расслоением 319—322; функ-
функция стоимости 322—324; д. в. для оце-
оценок-отношений 324—326; для регрессион-
регрессионных оценок 325
Дейли (Daly J. F.), несмещенность кри-
критерия ОП независимости 382
Дербин (Durbin J.), ранговые критерии
для СНБ 220, (упражнение 36.17) 238;
оценки дисперсии в многошаговом вы-
выборе 286, 289, 294, 319 (упражнения
39.26—39.27,) 298—299; выбор с неравными
вероятностями (упражнения 39.2, 39.4) 294,
295; уменьшение смещения для оценок-
отношений 308, 309; асимптотическая ли-
линейность оценок-отношений и регресси-
регрессионных 318; области изучения 327, (упраж-
(упражнения 40.15—40.16) 339; уклонение от от-
ответа при обследованиях (упражнение
40.8) 336; распределение сериальных кор-
корреляций 602; спектр и сезонные измене-
изменения 638; скользящие средние и авторег-
авторегрессия 655—662, (упражнение 50.6) 684;
регрессия с автокоррелированными ошиб-
ошибками 677—678; смешанная регрессиоино-
авторегрессиониая схема 679; уравнения
Юла — Уокера (упражнение 50.5) 684
Джаячандраи (Jayachandran К), мощно-
мощности критериеа для вектора средних и
критерии независимости 396
Джеймс (James А. Т.), собственные числа
368
Дженкннс (Jenkins G. М.), совместное рас-
распределение сериальных корреляций 598,
615. (упражнения 48.18—48.19) 618—619;
распределение сериальных корреляций в
марковском случае 607. 609, (упражне-
(упражнение 48.17) 618; спектральный анализ 636;
экспоненциальные веса 683
Джефферс (Jeffers J. N. R.), иеортого-
нальная трехфакторная перекрестная
классификация 62
Джон (John S), дискриминация (пример
44.5) 457—458, (упражнение 44.2) 471—472
Джонсон A. (Johnson A. H. L.) преоб-
преобразования квадратного кория (упражне-
(упражнение 37.15) 172
Джонсон Н. (Jonson N. L.), последова-
последовательные процедуры ДА 121; выборка по
группам (упражнение 40.11) 337—338; ме-
метод переменных разностей 539
Диксон (Dixon W. J.), сериальные кор-
корреляции 604—605, (упражнение 48.20) 619
Дискриминация и классификация (discri-
(discrimination and classification); 437—473: ли-
линейная дискриминация 438—443; геометри-
геометрическая интерпретация 441, 453; квадра»
тичная 322; критерии 448—449; с функ-
функцией стоимости 450; для k генеральных
совокупностей 450—454; качественные дан-
данные 454—456; отказ от решения 455—456;
смещение при оценивании вероятностей
ложной классификации 456—458; избы-
избыточные переменные 468; стандартные
ошибки коэффициентов 458—460; свобод-
свободные от распределения методы 461—466;
различия в характеристиках рассеяния
466—467; классификация 467—471
Дисперсионный анализ (ДА) (anaiysl3 of
variance) в линейной модели (модель I)
II—87; определение 13, 18, 88; геометри-
геометрическая интерпретация 24, 64; главные
эффекты и взаимодействия 28, 58; вы-
выбор весов 44—46; пустые клетки 5i; объе-
объединение критериев 64—69; множественные
сравнения 69—78; ортогональные полино-
полиномы 79: альтернативы об упорядочениях
79; ковариационный анализ 79—82; в мо-
модели II 88—115, 117, 120; несмещенные
квадратичные оценки 9i—93; достаточные
статистики 93—96, (упражнение 36.12) 127;
соответствие с моделью I 96—98; проверка
гипотез в модели II 102—106, 107—108, (уп-
(упражнения 36.1—36.6, 36.8) 125—127;
мощность, доверительные интервалы, от-
отрицательные значения оценок в моде-
модели II 109— НО, (упражнения 36.И, 36.15—
36.16) 127—128; несбалансированный слу-
случай в модели П ПО—ИЗ; обобщение мо-
моделей 113—121; смешанные модели 118—
121; последовательные процедуры 12i; раз*
мещение экспериментальных объектов,
рандомизация 121—124; выбор модели
124—125; преобразования 129—142; анализ
остатков 143—146; устойчивость 146—156;
свободные от распределения методы 156—
i6i; медианные критерии 161—164; поте-
потерянные наблюдения 164—168, (упражне-
(упражнение 37.21) 174; для блочных эксперимен-
экспериментов 188—190; для случайных блоков 192—
193; для латинских квадратов 196, (уп-
(упражнение 38.6) 162; для СНБ 213; с ис-
использованием информации между бло-
блоками 218: в факторных экспериментах
226: см. Классификация по одному приз-
признаку н т. д.
Доксум (Doksum К.), устойчивость оце-
оценок в ДА 164; проверка гипотез против
альтернатив об упорядочениях 203
Долби (Dolby J. L), преобразования 131
Дополнительная информация (supplemen-
(supplementary information) 301—339; см. Двухэтац-
ная выборка. Оценки отиошеиня. Рег-
Регрессионные оценки
Достаточность (sufficiency), в модели II
ДА 95—96, 112—113, (упражнение 36.12)
127; в теории выборочных обследований
245—246, 254. (упражнение 39.1) 294, (уп-
(упражнения 39.30—39.31) 299—300
Дрэйпер (Draper N. R.), ротатабельиые
планы 230
Дункан (Duncan D. В.), критерии стюдеи»
тизированного размаха в ДА 73—74
УКАЗАТЕЛЬ
727
Дэвид (David H. А.), парные сравнения
221—222; планирование полиномиальной
регрессии 234
Дэвис (Davis H. Т.), критерий в гармони-
гармоническом анализе 630
Дэвьес (Davie3 О. L.), смешивание 229,
эволюционная операция 230
Дэмпстер (Dempster А. Р.), случайный
выбор планов 190; многомерный крите-
критерий для двух выборок 359; многомер-
многомерные оценки 372, 408; канонические кор-
корреляции 427
Дэрроч (Darroch J. N.), мощность мно-
многомерных критериев 396
Елашов Дж. (Eiashoff J. D.), дискрими-
дискриминация 458
Елашов P. (Eiashoff R. М.), потерянные
наблюдения 168, (упражнение 37.21) 174;
дискриминация 458
Зейков (Zaycoff R.), метод переменных
разностей 538
Знаков равиостей критерий (difference-
sign test) 491—494, 498, (упражнения
45.2—45.3, 45.6) 502—503
Иерархическая классификация, см. Клас-
Классификация
Измерений ошибки (technical errors) i23
Имхоф (Imhof J. P.), смешанные модели
в ДА 118, 121
Индекс деловой активности (index num-
number), аиалнз главных компонент 413
Интенсивность (Intensity) 566, см. Времен-
Временные ряды
Информация между блоками (inter-biock
information) 213—220, (упражнения
38.14—38.16) 237—238
Инциденций матрица (incldente matrix),
для эксперимента 183
Ито (По К), устойчивость критерия 7*6 396
Иэйтс (Yates F.), метод взвешенных квад-
квадратов от средних вначеиий 50, (упраж-
(упражнения 35.5—35.7) 84; потерянные наблю-
наблюдения 164, 168; планы СНБ 207; инфор-
информация между блоками 216, 219; решетча-
решетчатые планы 223; смешивание 229; обсле-
обследования 241; выбор с неравными вероят-
вероятностями 250; систематический выбор 270;
оценки дисперсии в многошаговом вы-
выборе 286, 289, 294, 319; эффективность
многошагового выбора 293; двухэтапный
выбор 325; области изучения 327; после-
последовательные возможности выбора (уп-
(упражнения 40.9—40.10) 336—337
Калински (Caiinski Т.), анализ группы
экспериментов 121
Канонические величины (canonical variab-
variables) 400—436; корреляции 419—427, (уп-
ражиеиия 43.5—43.8, 43.10) 435; стандарт-
стандартные ошибки 434—435; см. Главных ком-
компонент анализ, Собственные числа. Фак-
Факторный анализ
Карлии (Kariin S.), оптимальные экспери-
эксперименты 190
Картер (Carter R. L.), ротатабельиые пла-
планы 230
Квадратичные формы (quadratic forms),
их равложеине 13—17
Квадратного корня (square root) преобра-
преобразования, (пример 37.1) 135—136, 143 (уп-
(упражнения 37.15—37.17) 172—173
Квазислучайный выбор (quasi-random зат-
pling) 270
Кейлс (Кеи1з М.), критерий стьюдеитизи»
роваиного размаха в ДА 73—74, (упраж-
(упражнение 35.10) 85
Келли (Kelley T. L.), анализ главных ком-
компонент для психологических данных:
(пример 43.5) 423
Кемпсорн (Kempthorne О.), модели в ДА
115; полная рандомизация 123—124; слу-
случайные сбалансированные эксперименты'
191; математическое ожидание СрК для.
случайных блоков и латинских квадра-
квадратов 202; ДА для планов СНБ 213; ана-
анализ ЧСНБ 223; решетчатые планы 225;
смешивание 229; последовательность экс-
экспериментов 229
Кеидалл Д. (Kendaii Д. G.), логарифми-
логарифмическое преобразование 138
Кендалл М. (Kendall M. G.), использова-
использование рангов в ДА (упражнение 37.14) 172;
га-мерная геометрия 345 (сноска); вычис-
вычисления при анализе главных компонет
406; ранги при анализе главных компо-
компонент 413; отбрасывание величин 414;
факторный анализ 432; классификация-
(пример 44.7) 470—471, пределы весов
скользящих средних 511 (сноска); сме-
смещение для сериальных корреляций 596,
(упражнения 48.4, 48.11) 615; 616; распре-
распределение сериальных корреляций в мар-
марковском случае 607
Кенуй (Quenouille M. Н), последователь-
последовательность экспериментов 292; метод умень-
уменьшения смещения 308. 372. 427, 596; метод
переменных разностей 542, (упражнения'
46.7—46.И) 552—553; выравнивание трен-
тренда 542—544, 546, (упражнение 46.12) 553;
теория больших выборок сериальных
корреляций для рядов авторегрессни-
593. (упражнение 48.14) 617—618; ненуле-
ненулевое распределение сериальных корреля-
корреляций в марковском случае 607; преобра-
преобразованное (упражнение 48.13) 617; совме-
совместное распределение сериальных корре-
корреляций 615; устойчивость теории сериаль-
сериальных корреляций 615; неравные времен-
временные интервалы во временных рядах 640;
частные корреляции и критерий согла-
согласия для авторегрессиоиных рядов 653;
многомерные временные ряды 662—666,.
670, 676; ряды с общими ошибками (уп-
(упражнение 50.8) 684
Кёртисс (Curtlss J. H.), преобразования
139
Книг (King В.), методы формирования,
групп 469
Кифер (Kiefer J.), оптимальные экспери-
эксперименты 190; планирование регрессии 231,.
234—235
Киш (Kish L.), оценки дисперсии (упраж-
(упражнение 39.16) 297; оценки-отношения 318
Классификация, см. Дискриминация н>
классификация
Классификация гнездовая (nested classi-
classification) 52 (сноска); см. Классифика-
Классификация иерархическая
Классификация иерархическая (hierarchi-
(hierarchical classification), в модели I ДА 52—
57; двухфакторная (пример 35.5) 53;
трехфакторная 56—57, (упражнение 35.3).
•728
УКАЗАТЕЛЬ'
84; в модели II 108—109. сбалансирован-
сбалансированной двухфакторная (прнмер 36.7) 108;
сбалансированная трехфакторная (при-
(пример 36.8) 109
Классификация миогофакториая (multi-
way classification), в модели I ДА 57—
64, (упражнение 35.6) 84: в модели II
106—109, (упражнение 36.8) 127; критерии
перестановок 160—161
классификация по двум признакам, пере-
перекрестная (two-way cross-classification}, в
модели I ДА 25—52; пропорциональные
частоты 34. (пример 35.2) 36; сбаланси-
сбалансированная (прнмер 35.3) 41, (упражнение
35.2) 83—84; непропорциональные часто-
частоты 46. (пример 35.4) 47, 48—50. (уп-
(упражнения 35.4—35.5, 35.7) 84—85, (уп-
(упражнения 37.7—37.8) 170; пустые клетки
51: сбалансированная в модели II (при-
(примеры 36.4, 36.6) 100, 105, (упражнение
36.6) 126; несбалансированная в модели
II 113; в общей модели 115—121; крите-
критерии перестановок 157—160; медианные
критерии 161—163, (упражнения 37.18—
37.20) 173
'Классификация по одному признаку (one-
(oneway classification), в модели I ДА (при-
(пример 35.1) 19, (упражнение 35.1), 83; сба-
сбалансированная в модели II, (примеры
36.1—36.3, 36.5) 90, 94, 98. 104, (упражне-
(упражнения 36.1,36.3,36.5,36.10—36.11, 36.13) 125—
127; несбалансированная модель II ПО—
113, (упражнения 36.12—36.13) 127
Классификация смешанная (mixed classi-
classification), перекрестная и иерархическая
57—58
-Классификация трехфакторная перекрест-
перекрестная (three-way cross-classification), в
модели I ДА 58—64; сбалансированная
(пример 35.6) 62, (упражнение 35.8) 85;
непропорциональные частоты 62; сбалан-
сбалансированная в модели II 105—107; сба-
сбалансированная в смешанной модели 118;
критерии перестановок 160—161
Классификация, упорядоченная и метриче-
метрическая (ordered and metrical) 79, (упраж-
(упражнение 35.15) 86—87
Классифицированные данные (classified
data) 26, ДА для иих, см. Классифика-
Классификация иерархическая, многофакторная и т. д.
Клатуэрти (Clatworthy W. Н.), таблицы
СНБ 211; ЧСНБ 223
Кобб (Cobb W.), смешанная модель ДА
121
Ковариационный анализ (analysis of cova-
riance) 79—82, 157. 301 (сноска)
Кокрэйн (Cochrane D.), регрессия с авто-
автокоррелированными ошибками 677—678
Кокрэн (Cochran W. G.), разложение СК
12; объединение критериев ДА 68; устой-
устойчивость процедур ДА 147; статистиче-
статистические выводы в выборочных обследова-
обследованиях 176; планы СНБ 211; ДА для пла-
планов СНБ 213; решетчатые планы 225;
смешивание 229; последовательность экс-
экспериментов 229; выборочные обследова-
обследования 241; формирование слоев 267—268;
(упражнение 39.18) 298; систематический
выбор 270; оценки-отношения н регрес-
регрессионные 318; двухэтапный выбор 325; об-
области изучения 327; случайное формиро-
формирование слоев (упражнение 40.6) 335; ди-
дискриминация 455, (приме,) 44.5) 457—458,
458. 461, (упражнения 44.6—44.9) 473
'Кокс Г. (Сох О. М.). планы СНБ 211; ДА
для планов СНБ 213; решетчатые планы
225; смешивание 229; последовательность
экспериментов 229
Кокс Д. (Сох D. R.), ковариационный
анализ 80; последовательные процедуры
ДА 121; преобразования 129—133, (упраж-
(упражнение 37.1) 168—169; анализ остатков 145;
статистические выводы из эксперимен-
экспериментов 181; математическое ожидание СрК
для латинских квадратов 202; сериаль-
сериальные корреляции 615; экспоненциальные
веса 683
Кокэн (Kokan A. R.), расслоенный выбор
264
Кольер (Kolller R. О. Jr.), устойчивость
^-критериев для случайных блоков 203
Компоненты дисперсии (components of va-
variance) 90; см. ДА в модели II; канони-
канонические, см. Главных компонент анализ
Конечные совокупности (finite populations)
240; см. Обследования
Коннор (Connor L. R.), смешивание 229,
эволюционная операция 230
Константин (Constantlne A. Q.), распреде-
распределение Го критерия 396
Консул (Consul P. С), распределение крн-»
терня ОП 382, 383, 393
Корин (Ког'ш В. Р.), критерий ОП для
матрицы рассеяния 383
Корифилд (Cornfield J.), математические
ожидания СрК в ДА 107; модели в ДА
115, 118
Коррелограмма (correlogram) 601, 557; к.
и спектр 563—565; см. Временные ряды
Корреляции коэффициент (correlation coef-
coefficient), стабилизирующее дисперсию пре-
преобразование для выборки нз нормальной
совокупности (прнмер 37.3) 139—140; ка-
канонический 419—427; см. Автокорреляции,
Сериальные корреляции
Корреляционный определитель (correlation
determinant), моменты и асимптотиче-
асимптотическое распределение (примеры 41.4—41.5)
352—355; в критерии ОП проверки неза-
виснмостн 382
Коуден (Kowden D. J.), скользящие сред-
средние 517
Круг Г. К., планирование экспериментов
230 (сноска)
Крускал (Kruskal J. В.), монотонные пре-
преобразования 133
Крэддок (Craddock J. M.), анализ главных
компонент для метеорологических дан-
данных (прнмер 43.4) 414—419
Крэйг (Craig А. Т.), независимость квад-
квадратичных форм 14
Куад (Quade D.), ранговые критерии в
ковариационном анализе 157
Кузин (Cousins W. R), смешиваине 229,
эволюционная операция 230
Куп (Koop J. С), линейные оценки в вы-
выборочных обследованиях 252
Купмэнс (Koopmans Т. С), сериальные
корреляции 605
Кширсагар (Kshirsagar A. M.), миогомер-
иое бетта-распределение 368, разложение
Бартлетта (упражнения 41.16—41.17) 371
Латинские квадраты (latin squares) 198—
201, (упражнения 38.5—38.7) 235—236:
устойчивость к нормальной теории 201—
204; прн факторных экспериментах 226
Лаубшер (Laubscher N. F.), преобразова-
преобразования в ДА (упражнения 37.4—37.5) 169—
170
УКАЗАТЕЛЬ
729»
Лахири (Lahirl D. В.), выбор с неравны-
неравными вероятностями (упражнение 39.11)
296—297; устранение смещения для оце-
оценок-отношений 317
Левайн (Levine А), планирование полино-
полиномиальной регрессии 234
Левен (Levene H.), критерий случайности
490. 491, (упражнения 45.6—45.7) 503
Левицкий (Lewyckyj R. J.), таблицы СНБ
211
Ледерман (Ledermann W.), анализ глав-
главных компонент 401
Лейпинк (Leipnik R. В.), сериальные кор-
корреляции 605—607, 609
Леман (Lehmann E. L.), выровненные ран-
ранговые критерии 161; устойчивость оце-
оценок в ДА 163—164; многомерные крите-
критерии 395
Линейная модель (linear model), ДА в
ией (модель 1) 11—87; разложение не-
нецентральных квадратичных форм 13—17;
устранение сингулярности 27—28; выбор
весов 44—46; общий случай непропорцио-
непропорциональных частот 62; объединение крите-
критериев 64—69; множественные сравнения
69—78; ковариационный анализ 79—82;
расширение для учета новых параметров
81—82; преобразования к ней 129—134;
потерянные наблюдения 164—168, (уп-
(упражнение 37.21) 174; для блочных экспе-
экспериментов 184—190; для выбора без воз-
возвращения 241—243; многомерный случай
385—389, (пример 42.3) 390—393; см. Дис-
Дисперсионный анализ. Классификация
Линхэрт (Linhart H.}, дискриминация 455
Липтон (Lipton S.), данные о представи-
представителях мужского пола (прнмер 42.4)
394—395
Логарифмические преобразования (logarith-
(logarithmic transformations), (примеры 37.2,
37.4) 136—137, 140, 143
Логит преобразования (logit transformati-
transformations) 142
Лоли (Lawley D. N.), распределение ста-
статистики ОП 380; критерий Го 396; анализ
главных компонент (пример 43.2) 406—408,
410; канонические корреляции 425, 426;
факторный анализ 429—432, (упражнение
43.11) 436
Ломиицкн ( Lomnicki Z. А.), критерий нор-
нормальности стационарного процесса (уп-
(упражнение 49 8) 641
Лоу (Low L. Y.) оценки в несбалансиро-
несбалансированной модели II ДА 113
Льюис (Lewis Т.). канонический анализ
исследований в образовании 426
Любишев (Lubischew А. А.), дискримина-
дискриминация 467
Мак Дональд (McDonald Б. J.), методы
множественных сравнений ранжирован-
ранжированных сумм 74
Максвелл (Maxwell A. E.), анализ главных
компонент (прнмер 43.2) 406—408; фак-
факторный анализ 429, 432, (упражнение
43.11) 436
Маллер (Muller E. R.), планы СНБ 211
Малютов М. Б., планирование оптималь-
оптимального эксперимента 230 (сноска)
Манн Д. (Mann D. W.), отбрасывание ве-
величин 414
Мани X. (Mann H. В.), латинские квадра-
квадраты 200; построение СНБ 209; смешивание
229; критерий знаков разностей 494, (уп-
(упражнение 45.3) 502: критерий ранговой
корреляции 496: метод НК для авторег-
ресснонных рядов 650, 679 р
Марковские ряды (Markoff series), авто-
автокорреляции (пример 47.2) 558; обратные
соотношения (пример 47.3) 558; коррело-
коррелограмма и спектр (пример 47.7) 575 576-
частные автокорреляцяи 583—584; семи-
семиинварианты и нормальность (упражиение-
47.2) 586. (упражнение 47.3) 586; группы,
членов ряда (упражнение 47.15) 588;
стандартные ошибки сериальных корре--
ляций (прнмер 48.3) 592; ковариации се-
сериальных корреляций (пример 48.4) 592—
593; смещение в оценках сериальных кор-
корреляций (пример 48.7) 595—596. (упраж-
(упражнения 48.4—48.5) 615; учет более высоких
порядков 696; «ненулевое» распределение
сериальных корреляций 606—607. 611—
615, (упражнения 48.13, 48.17) 617, 618;
влияние начального значения 645—647;
многомерные 676; в прогнозировании
682
Марсалья (Marsaglla G.), разложение
квадратичных форм от нормальных пе-
переменных 16
Матрица рассеяния (dispersion matrix), ее
собственные числа 361; критерий ОП для
м. р. 383; оценки м. р. с использованием
СК остатков 386, 387—389; см. Обобщен-
Обобщенная дисперсия, Собственные числа
Махаланобис (Mahalanobis Р. С). Д1-
-статнетнка и обобщенное расстояние
367—368
МД, см. Минимальная дисперсия
Медианные критерии (median tests), в ДА
161—164, (упражнения 37.18—37.20) 173
Мешающие факторы (nuisance tactors)
182; два 193; три или более 198—201
Мёрфи (Murthy M. N.). выборочные об-
обследования 241; достаточность при об-
обследованиях 254, (упражнения 39.30— ¦
39.31) 299—300; несмещенные оценки-отно-
оценки-отношения 318. (упражнение 40.1) 334
МЗР, см. Минимальная значимая разность
Микки (Mickey M. R.), несмещенные рег-
регрессионные оценки 313
Милл (Mill J. S.), правила эксперимен-
экспериментальных исследований 176
Минимальная дисперсия (МД) (minimumi
variance), размещение по слоям с МД
260. 263
Минимальная значимая разность (МЗР)'
(least significant difference), критерий
МЗР в ДА 70—71
Многомерный анализ (multivariate analysis).
340—473: для временных рядов 662—676;
см. Главных компонент анализ, Дискри-
Дискриминация и классификация, Каноничес-
Канонические величины. Корреляционный опреде-
определитель. Матрица рассеяния. Независи-
Независимость, Обобщенная дисперсия, Однород-
Однородность, Регрессия, Собственные числа,.
Сферичности критерий, Уишарга распре-
распределение. Факторный анализ
Многошаговый выбор (hiulti-stage samp-
sampling) 272—294, (упражнения 39.24, 39.28,
39.29). 298. 299; оценки 273; м. в. с рав-
равными вероятностями 274—280; с нерав-
неравными вероятностями 280—284: оценки зна-
значения дисперсии 284—289, 318—319; функ-,
ция стоимости и МД 290; подбор вероят-
вероятностей 291—293; эффективность 293; рас-
расслоение 294; оцеикн-отношеиия и регрес»-
сионные 318—319; области изучения 331—
333
730
УКАЗАТЕЛЬ'
.Многоэтапная выборка (multi-phase samp-
sampling), 325
Множественные сравнения (multiple com-
comparisons), в ДА 69—78
.Молдон (Mauldon J. G.). парадоксы мно-
многомерных оценок 396
-Морэн (Могап Р. А. Р.), теорема Слуцко-
Слуцкого о синусоидальном пределе S71; момен-
ты сериальных корреляций 596—598, 61S,
(упражнения 46.5—48.6, 48.12, 48.21) 615—
617, 619
Мостеллер (Mosteller F.), таблицы пре-
преобразований 136, (упражнение 37.4) 169
.Мочли (Mauchly j. W.), критерий сферич-
сферичности 383
-Муд (Mood A. M.), медианные критерии
161 — 162, (упражнения 37.18—37.20) 173;
собственные числа 365—366
-Мудхолкар (Mudholkar G. S.), многомер-
многомерные оценки при обследованиях 308; функ-
функции мощности многомерных критериев
396
Мур (Moore A. M.), критерии случайности
490, 492
Муртейра (Murtelra В.), метод переменных
разностей (упражнения 48.15—48.16) 618
.Мустафа (Mostafa M. G.), критерий в не-
несбалансированной модели II ДА 113
Мэдоу (Madow W. G.), выборочные обсле-
обследования 241; предельная нормальность
244—245; сериальные корреляции 605—606
_Мэнли (Manley G.), метеорологические дан-
данные (пример 43.4) 414
Мэра (Mehra К. L.), выровненные ранговые
критерии 161
.Мэрриотт (Marriott F. Н. С), смещение
в оценках сериальных корреляций 596
.Мэртн (Murty V. N.), неравенство для СНБ
(упражнение 38.13) 237
Наименьшие квадраты (НК) (least squares),
при выборе без возвращения 241—243;
в дискриминации 449, (упражнения 44.10—
44.11) 473; для скользящих средних 505—
506, 517—518, 543; в авторегрессиониых
рядах 650, 679; см. Линейная модель
"Налимов В. В., планирование экстремаль-
экстремальных экспериментов 230 (сноска)
Нанджамма (Nanjamma N. S.), несмещен-
несмещенные оценки-отношения 318, (упражнение
40.1) 334
"Нарайи (Naraln R. D.), несмещенность
критерия ОП независимости 382
-Независимость (Independence), критерий
ОП ее проверки (упражнения 41.10—
41.11) 370, 381—382, 395—396, (упражне-
(упражнение 42.4) 396—397; мощность различных
критериев 396; эквивалентность проверке
равенства собственных чисел 409
Меймаи (Neyman J.), смещение, вызванное
преобразованием 142; расслоенный выбор
259; двухэтапиая выборка 319
ГНеравиые вероятности (unequal probabi-
probabilities), при выборе без возвращения 246—
254, (упражнения 39.2—39.11) 294—295, (уп-
(упражнения 39.30—39.31) 299—300: лииейиые
оценки 249—253; с возвращением 254—256;
н. в. и расслоение 256—258; а группировка
269—271; н многошаговый выбор 271—273,
280—294; выбор с пропорциональными объ-
объему .'поятностями 281—284; оценка зна-
значения дисперсии 284—289; нх подбор для
МД 291—293; их подбор для устранения
смещения 317—318; двухэтапная выборка
для их определения 325; см. Многошаго*
вый выбор. Обследования, Расслоенный
выбор
Нерлов (Nerlove M.), спектральный анализ
637
Нецентральные квадратичные формы (non-
central quadratic forms), их разложение
13—17
Нётер (Noether G. Е.), ранговые критерии
для СНБ 220; критерий ранговый сери-
сериальной корреляции 498
Нието де'Паскуаль (Nieto de Pascual J.).
Несмещенные оценки-отношения 304, 306,
309. 318
НК, см. Наименьшие квадраты
Нормализующие преобразования (normall*
zing transformations) 139—141
Нормальное распределение (normal dlstrl*
butlon), логарифмическое преобразовав
ние выборочной дисперсии (примеры 37.2»
37.4) 136—137, 140; преобразование извле-
извлечения квадратного корня для выбороч»
Ной дисперсии (пример 37.5) 140—141:
см. Двумерное нормальное, Многомерный
анализ
Нормальные метки (normal scores), преоб-
преобразования к иим 142; их использование
в ДА 157, 159—161, 203
Нортон (Norton H. W.), обзор по латин-
латинским квадратам 200
Ньюмэн (Newman D.), критерий стьюден-
тизнрованного размаха в ДА 73, 74, (уп-
(упражнение 36.10) 85
Нэйр (Nair К. R.). ЧСНБ 223
Области изучения (domain of 3tudy) 326—
333; пересекающие слои 327—331; (упраж-
(упражнения 40.15—40.16) 339; при многошаговом
выборе 33i—333
Обобщенная дисперсия (generalized vari-
variance) (определитель рассеяния), распре»
деление и моменты (пример 41.3) 350—352,
(пример 41.5) 354—355, (упражнения 41.8—
41.9) 370; ее оценки 372
Обработки (treatments) 182; ДА для ни?
226
Обратный выбор (inverse sampling), (yn.
ражненне 40.3) 334
Обследования (surveys), сравнение с экс-
экспериментами 175—176, 262; теория 240—339;
случайный выбор без возвращения 241——
243; моменты выборочного среднего 243—
245; достаточность 245—246; см. Двух-*
этапная выборка, Многошаговый выбор.
Неравные вероятности. Области изуче-
изучения, Оценкн-отношения, Расслоенный вы-
выбор. Регрессионные оценки
Объединение критериев ДА (combination
of AV tests) 64-69
Объединения процедуры (pooling procedu-
procedures) в ДА, (пример 36.6) 105; при регрес-
регрессии (упражнение 37.3) 169
Объекта ошибки (unit еггогз) 123
Огава (Ogawa J.), устойчивость F-крите-!
риев для случайных блоков и СНВ 203,
220
Одновременные процедуры проверки (at.
multaneous test procedures) 71—78, (уп-
(упражнения 35.11—35.14, 35.16—36.17, 36.19)
85—87
Однородность (homogeneity), критерий ОП
ее проверки 373—380, (пример 42.1) 381,
(пример 42.2) 383—385, (упражнения 42.1—
42.3) 396; см. Гомоскедастичиость
УКАЗАТЕЛЬ
73F
Одвофакторный ДА в модели I, см. Клас-
Классификация по одному признаку
Олкни (Olkin J.), многомерные оценки при
обследованиях 308. 318
ОП, см. Отношение правдоподобия
Опознаваемость элементов (recognizlble
individuals), в теории выборочных обс-
обследований 240, 245—246 251—252
Оркутт (Orcutt G. Н.), регрессия с авто-
автокоррелированными ошибками 677—67Е
Ортогональные квадраты (orthogonal squat
res) 199, (упражнения 38.6—38.7) 235—
236; пои факторных экспериментах 226
Остатки (residuais), их анализ 143—i46;
их матрица рассеяния 386, 387—389
Отношение правдоподобия (ОП) (Likeliho-
(Likelihood ratio), критерий ОП, в модели II ДА
(упражнения 36.5—36.6) 126; для вложен-
вложенных гипотез 132, (упражнения 37.1—37.3)
168—169; в многомерном анализе 373—399;
см. Матрица рассеяния, Независимость,
Однородность, Регрессия, Сферичность
Отрицательное биномиальное распределе-
распределение (negative binomial bistribution),
преобразования арксинуса 143, (упраж-
(упражнение 37.5) 169—170
Оцеика-произведение (product estimator),
(упражнение 40.2) 334
Оценкн-отиошеиия (ratio estimators), сме-
смещенность 301—302, 308—31 i, 317—318; со-
состоятельность 302; модификация 303;
(упражнения 40.1—40.2) 334, (упражне-
(упражнения 40.13, 40.14) 338; сравнение диспер-
дисперсий 304—311; при расслоенном н много-
многошаговом выборе 318—319; асимптотиче-
асимптотическая линейность 318; при двухэтапном
выборе 324—325
Ошибки объекта, взаимодействий и изме-
измерений (unit. Interactive and technical
errors) 123
Парзен (Parzen E.), спектральный аналиа
636, 637, (упражнения 49.6—49.7) 640—641
Паркер (Parker R.), ошибочность предпо-
предположения Эйлера о греко-латинских ква-
квадратах 199
Парные сравнения (paired comparisons)
221
Паттерсон (Patterson H. D.), последова-
последовательная возможность выбора (упражне-
(упражнения 40.9—40.10) 336—337
Патхак (Pathak P. К.), достаточность в
теории выборочных обследований 245—
246, (упражнение 39.30) 299—300; 318, (уп-
ражнгние 40.3) 334—335
Передаточные функции (transfer function)
582—533; см. Временные ряды i
Переменных разностей метод (varlate-dlffe-
гепсе method) 531—542, (упражнения
46.7—46 11) 552—553, (упражнения 48.15—
48.16) 61,8
Перестановок критерии (permutation tests),
в ДА 157—161, 203, 220
Периодограмма (periodogram) 566. см.
Временные ряды, Спектр
Пиллаи (Plllai К. С), распределение соб-
собственных чисел 367, 368; мощности кри-
критериев для вектора средних и критерии
независимости 396
Пнрс (Pearce S. С), обзор по неортого-
неортогональному ДА 62
Пирсон (Pearson E. S.), критерии одно-
однородности (пример 42.2) 383
Питмэн (Pitman E. J. G-). критерии пере-
перестановок 159, (упражнение 37.13) 171
Планирование (design), его задачи 175
176; уравнение плана 206; см. Обследо-
Обследования, Эксперименты
Плиз (Please N. W.), дискриминация 467'
Плэкетт Plackett R. L.), модели в дд.
115, 124; взятые дважды наблюдения к
ДА 168
Поверхности отклика (response surfaces!,
230
Полиномы (pollnomlal), проверка степени.'
при регрессии (упражнение 37.3) 169;
планирование регрессии 230—236
Полная рандомизация (complete randomi-
randomization) 122
Полнота (completness) расширенного эк-
экспоненциального семейства 103
Последовательные возможности выбора'
(sampling on successive occasions), (уп-
(упражнения 40.9—40.10) 336—337
Последовательные процедуры ДА (seguen-
tial AV procedures) 121
Постен (Posten H. О.), мощность крите-
критерия ОП 396
Потерянные наблюдения (missing obser-
observations) i64—168, (упражнение 37.21) 174-
Поуп (Pope J. А.), смещение в оценках
сериальных корреляций 596
Предпочтения (preference), эксперименты
с п. 221
Преобразования (transformations), к нор-
нормальной линейной модели 129—134; их
цели 133—134; монотонные 133;стабилизи-
рующие дисперсии 134—139; нормализую-
нормализующие 139—141; ведущие к аддитивности
141—142; устраняющие смещение 142—
143; анализ остатков 142—145; см. Арк-
Арксинуса. Квадратного корня и Логариф-
Логарифмические преобразования
Пробит преобразоваиня (problt transfor-
transformations) 142
Пропорциональные объему вероятности-
(probabilities proportional to size) 280—
284, 293; см. Неравные вероятности, Обс-
Обследования
Пропорциональный выбор 259; см. ВРД
Пуассона распределение (Polsson distri-
distribution), извлечение квадратного кория
(пример 37.1) 135—136, упражнения
-37.15—37.16) 172—173; выбор (упражнеиия-
39.13. 39.23) 297, 298
Пурн (Puri M. L.), устойчивость оценок
в ДА 164; многомерный ранговый крите-
критерий 396
Пустые клетки (empty cells), при двух-
факториой перекрестной классифнкации.--
51—52
Равиовзвешивающий выбор self-weigh-
self-weighting sampling) 280—281, 291—292, 331
Радж (Raj D.), достаточность при обсле-
обследованиях 246, (упражнение 39.1) 294; не-
неравные вероятности 253—254, (упражне-
(упражнения 39.9—39.10) 296; двухэтапный уыбор-
с подбором вероятностей 325
Раджалакшман (Rajalakshman D. V.),
многомерные временные ряды 676
Разложение нецентральных квадратичных
форм (decomposition of non-central qu-
quadratic forms) 13—17
Размах (range), критерий выборочного»
размаха в ДА 71—74
Ранги (ranks), преобразования 142; их
использование в ДА 156—157, 159—161,.
(упражнения 37.13—37.14) 171—172, 203;
нх использование в ДА для СНБ 220?,
732
УКАЗАТЕЛЬ'
УКАЗАТЕЛЬ1
733
критерии во временных рядах, основан-
основанные на ранговой корреляции 494—498;
критерий ранговой сериальной корреля-
корреляции (упражнение 45.5) 502
Рандомизация полная (complete randomi-
randomization), 122, 124; в экспериментах 1ТГ—
U4
Рао Дж. (Rao J. N. К.), метод МП в сме-
смешанной модели ДА 121; выбор с возвра-
возвращением и без 246; неравные вероятности
251; уменьшение смещения для оценок-
отношений 308; случайное формирование
слоев, (упражнение 40.6) 335
Рао П. (Rao P. S. R. S.), многомерные
оценки при обследованиях 308
Рао С. (Rao С. R.), планы СНБ 211; ДА
для планов СНБ 213; анализ ЧСНБ 223;
дискриминация 448, 451, 461, (пример 44.4)
452—453
Расслоенный выбор (stratified sampling)
256—269, (упражнения 39.13—39.15, 39.17—
39.21) 297—298; обоснование 256—258; вы-
выбор объема слоев 259—262; слои н блоки
262; размещение с МД при фиксированной
стоимости 263—264; формирование слоев
264—268, (упражнения 40.4—40.6) 335; оцен-
оценка его влияния 268—269; р. в. и группи-
группировка 271; при многошаговом выборе 294;
оценки-отношения и регрессионные 318;
с двухэтапной выборкой 319—322; области
изучения 330—333, (упражнения 40.15—
40.16) 339; выборка по группам (упраж-
(упражнение 40.11) 337—338
Расщепленные планы (split-plot designs)
229
Реализации (realization) случайного про-
процесса 556
Регрессионные оценки (regression estima-
estimators) 311—313; несмещенность 313—316;
р. о. при расслоенном и многошаговом
выборе 318—319; асимптотическая линей-
линейность 318; пря двухэтапной выборке 319—
325
Регрессия (regression), проверка степени
полинома (упражнение 37.3) 169; преобра-
преобразования (упражнение 37.9) 170; планиро-
планирование р. 230—235; в многомерном анали-
анализе 385—390, (пример 42.3) 390—393. (упраж-
(упражнения 42.15—42.16) 398—399; с автокорре-
лнрованиыми ошибками 677—679; см.
Авторегресснонные ряды
Рекордных значений критерий (records test)
497, (упражнения 45.8—45.9) 603—504
Решетчатые планы (lattice designs) 223—225
Рис (Rees D. Н.), неортогональная адди-
аддитивная трехфакторная перекрестная клас-
классификация 62; распределение собствен-
собственных чисел 367, (пример 42.4) 394—395
Робсон (Robson D. S.), оценки-отношения
305, 318: оценка-произведенне (упражне-
(упражнение 40.2) 334
Розенблатт (Rosenblatt M.), спектральный
аиалнз 638; регрессия с автокоррелиро-
автокоррелированными ошибками 679
Рой Дж. (Roy J.), информация между
блоками 220
Рой С. (Roy S. N.), смешанные модели ДА
121; распределение собственных чисел 365,
367; Д'-статистика Махаланобнса 368
Романовский В., синусоидальный предел
Слуцкого 571
Росс (Ross А.), размещение при расслоен-
расслоенном выборе (упражнение 39.20) 298: не-
несмещенные оценки-отношения 303
Ротатабельные планы (rotatable designs)
230
Роудс (Rhodes E. С), выравнивание трен-
тренда 542
Рубин Дж, (Ruhln J.), методы формирова-
формирования групп 469
Рубин X. (Rybin H.), сериальные корреля-
корреляции 605
Саранджи (Sarangi J.), выровненные ран-
ранговые критерии 161
Сбалансированная классификация (balan-
(balanced classification) (с равным числом на-
наблюдений в клетках) 40—41; важность в
модели II, а не в модели I 94; устойчи-
устойчивость 158; см. Классификация
Сбалансированные неполные блоки (СНБ)
(balanced Incomplete blocks) 207—213,
217—223. (упражнения 38.10—38.13, 38.16—
38.18) 236—238; неприводимые 209; сим-
симметричные, дуальные, разложимые, афин-
иоразложимые 209; дополнительный план
210; ДА 210—213; с информацией между
блоками 220; перестановочные распре-
распределения 220; эксперименты с предпочте-
предпочтением 221; парные сравнения 221—222:
смешивание 226—227
Свнни (Sweeny H. С), планирование поли-
полиномиальной регрессии 234
Свободные от распределения методы (distri-
(distribution-free methods), в ДА 156—164; при
многомерной проверке параметров распо-
расположения 396; в дискримниацин 449. 461,
(упражнения 44.10—44.11) 473
Связанные взаимодействия (tied Interacti-
Interactions) 115—116
Себер (Seber G. A. F.), ортогональность
в ДА 60; мощность многомерных крите-
критериев 396
Сезонные изменения (seasonal variation)
482—484, 546—551, 556; с. и. и спектр 638;
см. Скользящие средине. Тренд
Сен A. (Sen A. R.), схемы выбора с нерав-
неравными вероятностями (упражнения 39.5—
39.6) 295
Сен П. (Sen P. К.), устойчивость оценок
в ДА 164; эффективность критериев пе-
перестановок для случайных блоков 220;
многомерный ранговый критерий 396
Сериальные корреляции (serial correlation),
использующие ранги 498. (упражнение
45.5) 502; определение 499—501, (упраж-
(упражнения 45.10—45.11) 504; с. к. и дисперсии
разностей 539—540: с. к. и метод перемен-
переменных разностей 542. (упражнения 46.10—
46.11) 552—553: теория для больших вы-
выборок 590—593, (упражнения 48.3, 48.9—
48.10) 615—616; смещение 593—596; точные
выражения для моментов 596—598, (уп-
(упражнения 48.5—48.6, 48.12, 48.18—48.19)
615—619; распределение в нормальном слу-
случае 598—615, (упражнение 48.20) 619; пре-
преобразования 609, (упражнение 48.13) 617;
см. Автокорреляции
Сёрл (Searle S. К.), оценки в несбаланси-
несбалансированной модели II ДА 113
Снлви (Silvey S. D.), мощность критериев
396
Силлитто Sillitto Q. Р.). таблицы СНБ 211
Симаик (Simaika J. Б.), мощность критерия
Т 395
Сингх (Singh M. Р.), двухэтапная выборка
325
Сиотанн (Slotani M.), доверительные ин-
интервалы для сравнений в ДА 78
Систематический выбор (systematic samp-
sampling) 270
Снтгривз (Sitgreaves R.), дискриминация
(упражнение 44.2) 471—472
Скользящие средине (moving average)
506—554; как полиномы метода НК 505—
506; формулы коэффициентов до пятой
степени 508—509; формулы в терминах
разностей 511—512; формулы Спеисера
для 15 и 21 точек (примеры 46.3—46.4)
' 514—515; с. с. и краевые эффекты 515—
517; использование ортогональных поли-
полиномов 517—518; см. Сезонные изменения.
Скользящих средних ряды, Тренд
Скользящих средних ряды (moving average
series), 567—573, с. с. р. и ряды авторег-
рессин 573, 647—649; оценки и критерии
согласия 655—660, (упражнение 50.6) 684;
с. с. р. как ошибки в авторегрессноииых
рядах 660—662; экспоненциальные веса
683; см. Авторегрессионные ряды, Вре-
Временные ряды
Скотт (Scott E. L.), смещение, вызванное
преобразованием 142
Слейтер (Slater P.), дискриминация дан-
данных по неврастении (пример 44.4) 452—
453
Слуцкого—Юла эффект (Slutzky—Vule ef-
effect) 523; теорема о синусоидальном пре-
пределе (пример 47.6) 570—571
Случайности критерии (tests of randomness)
485—499; см. Знаков разностей. Рекорд-
Рекордных значений. Экстремальных точек кри-
критерии, Ранги, Сериальные корреляции.
Фазы
Случайные блоки (randomized blocks) 122,
191—193, (упражнения 38.3—38.4) 235; ус-
устойчивость к нормальной теории 201—204;
при факторных экспериментах 226
Смешанные модели (mixed models) 118—
121; с использованием информации меж-
между блоками 213—220
Смешивание (confounding) 226—229; в фак-
факторных экспериментах 228
Смещение (bias), вызванное преобразова-
преобразованием 142—143
Смит К. (Smith К.), планирование полино-
полиномиальной регрессии 234, (упражнение
38.19) 239
Смит С. (Smith С. А. В.), квадратичная
дискриминация 448
СНБ, см. Сбалансированные непол-
неполные блоки
С не декор (Snedecor Q. W.), метод Иэйтса
взвешенных квадратов от средних значе-
значений 50
Собственные числа (latent roofs) матрицы
рассеяния. «иулевое> распределение 361 —
366, 367, 368. (упражнение 4i. 14) 371, (при-
(пример 42.4) 394—395; эквивалентность про-
проверки независимости и равенства с. ч.
409, (пример 43.3) 409; проверка равенства
нулю 409; проверка равенства малых с. ч.
410; результаты для больших выборок
411—412; в дискриминации 453—454; см.
Главных компонент анализ. Канонические
корреляции. Факторный анализ
Ссломон (Solomon H.), классификация по
компонентам 468
Сопутствующие переменные (concomitant
variables) 80. 301 (сноска)
Спектр (spectrum), спектральная плотность,
спектральная функция 565; как произ-
производящая функция автокорреляций 567;
для марковских рядов и рядов Юла
(примеры 47.7—47.8) 575—577; для непре-
непрерывных рядов 58Э; влияние фильтра «а
спектр 583; спектральная теория 620—643;
гармонический анализ 620—622; частота
Найквиста и неразличимые частоты 622
625; влияние гармонической компоненты
625—628; влияние других периодичиостей
и тренда 628—629: критерии для орди-
ординаты спектра 629—630; сглаживание 632—
633; оценивание плотностей 636—638;
спектр и сезонные изменения 638; нерав-
неравные временные интервалы 638—640: вза-
взаимные спектральные функции 669—676;
когерентность 670, полиспектр 670; см.
Временные ряды
Спенсера формула для 15 и 21 точек (при-
(примеры 46.3—46.4) 514—515
Спитволл Eр]ф1уо11 Е.). несбалансирован-
несбалансированная модель И ДА 113, (упражнение 36.16)
128
Спротт (Sprott D. А.), планы СНБ 211
Сравнения (contrasts) 75; одновременные
доверительные интервалы для иих 74—78,
(упражнения 35.11—35.14. 35.16—35.19) 85—
87
Средние квадраты (СрК) (mean squares),
их математические ожидания в модели II
ДА 98, 106—107
Стабилизация дисперсии (stabilization of
variance) 134—139
Стаддеи (Studden W. J.), оптимальные
эксперименты 190
Стационарные временные ряды (stationary
time-series) 556; см. Временные ряды
Стейн (Stel.n С), использование информа-
информации между блоками 220
Стивене (Stevens W. L.), неортогональная
трехфакториая перекрестная классифика-
классификация 62
Стоимость (cost), функция с. в выбороч-
выборочной теории 263—264; при расслоенном вы-
выборе 263—264; при многошаговом выборе
290; при подборе вероятностей 291—293;
при двухэтапной выборке 322—324; укло-
уклонение от ответа (упражнение 40.7) 235—
236
Ступенчатые процедуры (step-by-step pro-
procedures), в ДА 68—74, (упражнение 35.18)
87
Стьюарт (Stuart А.), случайное формиро-
формирование слоев (упражнения 40.4—40.6) 336;
критерий знаков разностей 494, 498; кри-
критерий рекордных значений 497, (упраж-
(упражнения 45.8—45.9) 503—504; критерий экст-
экстремальных точек 498. (упражнение 45.4)
502: критерии ранговой корреляции 498;
критерии ранговой сериальной корреля-
корреляции 498 (упражнение 45.5). 502
Стьюдент («Student», Goeeet W. S.). кри-
критерий МЗР в ДА 70
Стьюдентизироваиный размах (studentized
rang), критерий в ДА 71—74
Сугияма (Sugiyama Т.), распределение соб-
собственных чисел 367
Сферичности критерий (sphericity test) 382—
383, (пример 43.3) 409
Сэмпфорд (Sampford M. R.), выбор с не-
неравными вероятностями (упражнение 39.2)
294; обратный выбор (упражнение 40.3K34
Сэтн (Sethi V. К), формирование слоев
268; несмещенные оценки-отиошеиня 318
Сэттеосвэйт (Satterthwaite F. Е.), прибли-
приближенный ^-критерий в ДА (упражнение
36.7) 126—127; случайные сбалансирован-
сбалансированные эксперименты 190—191
Сэшадри (Seshadri V.). информация между
блоками 220
Сю (Hsu P. L.). собственные числа 365;
многомерное бетта-распределение 368
734
УКАЗАТЕЛЬ"
Такэючи (Takeuchi К.), планы СНВ 211
Тамура (Tamura R.), многомерные свобод-
свободные от расиределення критерии о пара-
параметрах расположения 396
Тейлор (Taylor L. R.), таблицы преобразо-
преобразований 131
Тидвелл (Tidwell P. W.), преобразования
131, (упражнение 37.9) 170
Тин (Tin M.), оценки-отношения 310—311,
(упражнения 40.13—40.14) 338
Тнитнер (Tintner G.), метод переменных
разностей 538, S39
Томпсон В. (Thompson W. A. Jr.), методы
множественных сравнений ранжирован-
ранжированных сумм 74; неотрицательные оценки
дисперсий в модели II ДА ПО
Томпсон Д. (Thompson D. J.), выбор с не-
неравными вероятностями 250
Точер (Tocher К. D.), потерянные наблю-
наблюдения 166; другие «испорченные> экспе-
эксперименты 168; блочные эксперименты 182,
206, (упражнения 38.2—38.3, 38.8—38.9)
235—236; информация между блоками 219,
(упражнение 38.15) 238
Трайон (Tryon R. С), классификация по
компонентам 468
Тренд (trend) 482—484, 505; критерии отсут-
отсутствия т. 490—491, 498; влияние выделения
т. методом скользящих средних на дру-
другие компоненты (эффект Слуцкого —
Юла) 519—531, 542—546, (упражнение 46.12)
554; см. Скользящие средние
Тьюки (Tukey J. W.), критерий проверки
аддитивности 43; множественные сравне-
сравнения 70—78; критерий стьюдентнзирован-
ного pasMaxa 71—74; одновременные до-
доверительные интервалы для разностей и
сравнений 74—78; (упражнение 35.13) 86;
математическое ожидание средних квад-
квадратов в ДА 107; оценки в несбалансиро-
несбалансированной модели II ДА 113; модели в ДА
115. 118; моменты для оценок дисперсий
в ДА (упражнение 36.10) 127; преобразо-
преобразования 131, 136, (упражнение 37.4) 169; ана-
анализ остатков 143; случайные сбалансиро-
сбалансированные эксперименты 191; спектральный
анализ 636, 637, 638 (упражнение 49.5) 640
Тюрин Ю. Н., проверка нормальности мно-
многомерной выборки 115 (сноска)
Уайз (Wise J.), ряды авторегрессии 574,
(упражнение 47.17) 588
Уайт (White J. S.), смещение в оценках
сериальных корреляций 596; моменты се-
сериальных корреляций в марковском слу-
случае 609
Уикс (Weeks D. L.), информация между
блоками 220
Уилк (Wllk M. В.), модели в ДА 115; пол-
полная рандомизация 123—124; математичес-
математическое ожидание СрК для латинских квад-
квадратов 202
Уилкинсон (Wilkinson G. N.), потерянные
наблюдения 167—168
Уилкс (Wilks S. S.), критерий ОП незави-
независимости классов переменных (упражне-
(упражнения 41.10—41.11) 370, 382; критерий одно-
однородности 376. (пример 42.2) 383, (упраж-
(упражнение 42.7) 397
Уилльямс Е. (Williams E. J.), каноничес-
канонический анализ 427; дискриминация 454
Уилльямс У. (Williams W. Н.), несмещен-
несмещенные регрессионные оценки 313, 318
Уилсон Е. (Wilson E. В.), преобразование-
141
Уилсои К. (Wilson К. В.), эволюционная
операция 230
Уинтерс (Winters P. R.), экспоненциаль-
экспоненциальные веса 683
Уиттекер (Whittaker E. Т.), периодограмма
(упражнения 49.9—49.10) 641—642
Уиттл Whittle P.), ряды авторегрессии (уп-
ражение 47.16) 588; матрица автокорре-
автокорреляций (упражнение 47.18) 588: оценивание
спектральных плотностей 637; оценива-
оценивание для рядов скользящих средних (при-
(пример 50.1) 648—649; оценки и критерии для>
временных рядов 662
Уишарт (Wishart J.), распределение выбо-
выборочных ковариацнй для многомерного-
нормального случая 343—349, (упражне-
(упражнения 41.6—41.7) 369—370; иецентральное-
367; корреляция между выборочными ко-
вариацнями (упражнение 41.4) 369; рас-
распределение ковариации (упражнеиие-
41.13) 370—371; вид распределения матри-
матрицы рассеяния остатков 388
Уокер A. (Walker A. M.), схемы авторег-
рессин и скользящих средних 660
Уокер Г. (Walker G), уравнения для ря-
рядов авторегрессин 574; критерий в гар-
гармоническом анализе 630
Уоллнс (Wallis W. А.), критерии случай-
случайности 490, 492
Уорд (Ward D. Н.), экспоненциальные ве-
веса 683
Уоркинг (Working H.), группы в марков-
марковских рядах (упражнение 47.15) 588
Устойчивость (robustness) процедур ДА
146—156, 163—164
Уэбстер (Webster J. Т.), уменьшение сме-
смещения для оценок-отиошеинй 308
Уэйгл (Wagle В.), распределение собствен-
собственных чисел 367
Уэлч (Welch В. L.), устойчивость процедур
ДА 154, 204
Уэиг (Wang Y. Y), оценки в модели 11 ДА
100
Фазы (phases), во временных рядах 486,
488—491, (упражнение 45.1) 501—502; в
гармоническом анализе 621
Факторные эксперименты 225—226; сме-
шиваиие 228; частичное дублирование
229
Факторный анализ (factor analysis) 427—
433, (упражнения 43.11—43.13) 436: неоп-
неопределенность системы уравнений 428;
решение методом МП 429—431; критерий
для числа факторов 431—432; обсужде-
обсуждение 432—433; см. Главных компонент
ana.ins
Федоров В. В., оптимальные эксперименты
230 (сноска)
Фелледжн (Fellegl 1.), выбор с нерав-
неравными вероятностями 247. 251
Ферхаген (Verhagen A. M. W.). доказа-
доказательство метода всех сравнений Шеффе
(упражнение 35.19) 87
Филлипс (Phillips A. W.), многомерные
временные ряды 666
Фильтры (filters) 582—583; см. Временные
ряды
Фиини (Finney D. J.), объединение кри-
критериев ДА 68; пробит и логит преобра-
преобразования 142
Финч (Finch P.), схемы авторегрессии и
скользящих средних 660
УКАЗАТЕЛЬ
735
Фиск (Fisk P. R.), уравнения со стохасти-
стохастической зависимостью 68i
Фишер (Fisher R. A. Sir Ronald), основа-
основатель ДА 13; критерий МЗР в ДА 71;
преобразование г 139; критерий двойной
симметрии 158; пропаганда рандомиза-
рандомизации 177; статистические выводы нз экс-
экспериментов 181; неравенство СНБ 208;
смешивание 229; собственные числа 365;
дискриминация (пример 44.1) 441—444,
471; критерий в гармоническом ана-
анализе 630
Фортье (Fortler J. J.), классификация по
компонентам 468
Фостер (Foster F. G.), распределение соб-
собственных чисел 367, (пример 42.4) 394—
395; критерий рекордных значений 497,
(упражнения 45.8—45.9) 503—504
Фридмэн М. (Friedman M.), использование
рангов в ДА (упражнение 37.14) 172
Фркдмэн X. (Friedman H. Р.), методы
формирования групп 469
Фрямэн Г. (Freeman G. Н.) неортогональ-
неортогональная трехфакторная перекрестная клас-
классификация 62
¦Фрнмэн М. (Freeman M. F.), преобразо-
преобразования 136, (упражнение 37.4) 169
Хаавелмо (Haavelmo Т.), системы урав-
уравнений 680
Халтквист (Hultquist R. А), модель II
ДА 90, 95—98
Хамис (Khamis S. Н.), теория выборочных
обследований 246. (упражнение 39.1J94
Хаи (Khan S.), расслоенный выбор 264
Хананн (Hanani H.), неравенство СНБ
208
Хансен (Hansen M. Н.), выборочные об-
обследования 241; выбор с пропорциональ-
пропорциональными объему вероятностями 281; подбор
вероятностей извлечения 291; уклонение
от ответа прн обследованиях (упражне-
(упражнение 40.7) 335—336
Хантер (Hunter J. S.), случайные сбалан-
сбалансированные эксперименты 191; поверх-
поверхность отклика 230
Хаяурав (Hanurav Т. V.), выбор с нерв-
нервными вероятностями 251
Харвилл (Harville D. А.), оценки в несба-
несбалансированной модели II ДА 113, 124
Хармэн (Harman H. Н.), факторный ана-
анализ 432
Хартер (Harter H. L.), методы множест-
множественных сравнений 74
Хартли (Hartley H. О), объединение крите-
критериев ДА 65—69; критерий Ньюмэна —
Кейлса 74, (упражнение 35.10) 85; объе-
объединение в модели II ДА (пример 36.6)
105; метод МП в смешаниной модели
ДА 121; несмещенные оценкн-отношения
303, 305, 307, 309; области изучения 327;
случайное формирование слоев (упраж-
(упражнение 40.6) 335
Хатанака (Hatanaka M.), спектральный
анализ 638, 670
Хейдер (Hader R. J.), ротатабельные планы
230
Хейланд (Hфylaпd А.), устойчивость оце-
оценок в ДА 163
Хекст (Hext G.), спектральный анализ
638
Хендерсон (Henderson С. R.), оценки в
несбалансированной модели II ДА 113
Хениан (Наппап Е. J), многомерные вре-
временные ряды 615 (сноска); спектр и со-
зонные изменения 638; регрессия с авт«-
коррелированными ошибками. 677
Хнгхем (Hlghara J. А.), выравнивание
тренда (упражнение 46.6) 552 виивание
Хнкс Ч. (Hlks С. R.), принципы плаиипп
вання эксперимента 230 (сноска) иро*
Хили. (Healy M. J. R.), таблицы преобра-
преобразований 131; данные о представителях
мужского пола (пример 42.4) 394 395
Хиллс (Hills M.), дискриминация 455 458
Хилферти (Hilferty M. М.), преобразова-
преобразование 141
Химсворс (Hlmsworth F. R.), смешивание
229; эволюционная операция 230
Хннчни А. Я-, эргодическая теорема 559
562
Хогг (Hogg R. V.), вложенные гипотезы
(упражнение 37.2) 169; проверка степени
полиномиальной регрессии (упражнение
37.3) 169; мощность критериев 396
Ходжес (Hodges J. L.), выровненные ран-
ранговые критерии 161; устойчивость оценок
в ДА 163-Т-164; формирование слоев 267
Холландер (Hollander M.), проверка ги-
гипотез против альтернатив об упорядоче-
няях 203
Холловэй (Holloway L. N.), устойчивость
критерия Т2 396
Холт (Holt С. С), экспоненциальные веса
682
Хорвитц (Horvitz D. G.), выбор с нерав-
неравными вероятностями 250
Хорснелл (Horsnell G.), устойчивость про-
процедур ДА 147
Хотеллинг (Hotelling Н.), Т1— распреде-
распределение критерия ДА 121; стабилизация
дисперснн 130; Т2 — распределение 355,
359, (упражнение 41.12) 370; геометриче-
геометрическая интерпретация 356—358; Т* и R2
367—358; Т2 н F 358; критерий Т2 для
одной выборки 358; критерий Т2 для
двух выборок 359; Т2 и О2 для двух вы-
выборок 368; нецентральное Т2 367, 396;
критерий Го для нескольких выборок
396; устойчивость и мощность критерия
V 396, (упражнения 42.11, 42.13—42.14)
397—398; Т2 как критерий ОП (упражне-
(упражнение 42.10) 397; Т2 в обобщении критерия
Шеффе (упражнение 42.12) 398; канони-
канонические корреляции 419, (пример 43.5)
423—424, 425, (упражнения 43.5—43.7)
434—435
Хоув (Howa W. G.), факторный анализ
431
Хоул (Hoel P. G.), планирование регрессии
233—235; распределение корреляционного
определителя (упражнение 41.8) 370
Циклические (circular) сериальные корре-
корреляции 501; процессы 585; см. Времен-
Временные ряды
Чако (Chacko V. J.), альтернативы об упо-
упорядочениях в ДА 79
Частично сбалансированные неполные бло-
блоки (ЧСНБ) (partially balanced incomp-
incomplete blocks), 222—223
Чеймбепс (Chambers J. M), асимптотика
многомерных распределений 368
Чернова Н. А., планирование экстремаль-,
ных экспериментов 230 (сноска)
Чу (Chew V.), обзор по многомерным до-
вернтельиым н прочим областям 373
Чупров (Tschuprow А. А.), расслоенный
выбор 259
736
УКАЗАТЕЛЬ
Шарма (Sharma D.), критерий Тьюкн про-
проверки аддитивности 43
Шатцов (Schatzoff M.), распределение кри-
критерия ОП 377, 393; сравнение критериев
для вектора средних 396
Шах (Shah К. R.), информация между
блоками 220
Шеффе Scheffe Н.), критерий Тьюки про-
проверки аддитивности 43; независимость
равенства взаимодействий нулю от си-
системы весов 4S; двухфакториый перек-
перекрестный ДА с непропорциональными ча-
частотами 50; перекрестная классификация
с пустыми клетками 52; трехфакториая
иерархическая классификация 57; сме-
смешанная классификация 58; геометриче-
геометрическая интерпретация многофакторной пе-
перекрестной классификации 64; методы
множественных сравнений 74; одновре-
одновременные доверительные интервалы для
всех сравнений 77—78, (упражнения
36.11—36.13) 85—86; ковариационный ана-
анализ 82; математические ожидания СрК
в ДА 107; трехфакториая иерархическая
классификация в модели II 109; довери-
доверительные интервалы в модели II ДА ПО,
(упражнение 36.15) 128; модели для ДА
115; смешанная модель 115, 118, 120—121;
устойчивость процедур ДА 147; взаимо-
взаимодействия в латниских квадратах 197;
устойчивость для случайных блоков и
латинских квадратов 202—204; задача
двух средних 396
Шискин (Shiskin J.), сезонные изменения
551
Шметтерер (Schmetterer L.), смещение,
вызванное преобразованием 142
Шорак (Shorack G. R.), альтернативы об
упорядочениях 79
Шривастава (Srivastava S. R.), процедуры
объединения в- модели II ДА (пример
36.6) 105 ,
Шриканде (Shrikande S. S.), ошибочность
предположения Эйлера о греко-латин-
греко-латинских квадратах 199; ЧСНБ 223
Шулль (Schull W. J.) устойчивость кри-
критерия о 396
Эволюционная операция (evolutionary ope-
operation) 229—230
Эйзеипресс (Elsenpress H.). сезонные из-
изменения 551
Эйзенхарт (Elsenhart С), модели ДА 88
Эйлер, латинские квадраты J96; непра-
неправильное предположение о греко-латин-
греко-латинских квадратах 199
Эквивалентные выборки (equivalent sanip-
les) 245
Экман (Ekman G.), формирование слоев
267
Эксперименты (expirements), их планиро-
планирование 176—235; сравнение с обследовани-
обследованиями 175—176, 262; принципы проведения
рандомизация 176—184; блочные экспери-
эксперименты 182—191; матрица инциденций
183; линейная модель 184—190; ДА 188
190; планирование 190—191; два мешаю-
мешающих фактора 193—196; информация меж-
между блоками 214—220; с предпочтением
221; факторные 225—226; смешивание
226—229; последовательность э. 229—230;
планирование регрессии 230—235; см.
Сбалансированные неполные блоки, Ла-
тннские квадраты. Случайные блоки
Экстремальных точек критерий (turning-
points test), 485—488, 489—490, (упражне-
(упражнение 45.4) 602
Эндрюс (Andrews F. С), медианные кри-
критерии 162
Эискомб (Anscombe F. J.), преобразования
136, (упражнения 37.4—37.5) 169—170; ана-
анализ остатков 143—145, (упражнения 37.15—
37.16) 172—173; случайные сбалансирован-
сбалансированные эксперименты 191
Эргоднческий (ergodic) процесс 559, 562, см.
Временные ряды
Эштон (Ashton Е. Н.), даииые о предста-
представителях мужского пола (пример 42.4)
394—395
Юдэн (Youden W. J.), случайные сбаланси-
сбалансированные эксперименты 191; квадраты
Юдэна 221
Юл (Yule G. U.), эффект Слуцкого—Юла
523; уравнения для рядов авторегрессии
574; см. Юла ряды
Юла ряды (Yule series), коррелограмма и
спектр (пример 47.8) 576, 577; предельный
случай (пример 47.10) 578; непрерывный
аналог (пример 47.11) 581; частные авто-
автокорреляции 584; дясперсия ^упражнение
47.8) 587; автокорреляции остатков (уп-
(упражнение 47.10) 587; стандартные ошиб-
ошибки сериальных корреляций (упражнения
48.2, 48.14) 615. 617; сериальные корреля-
корреляции с ошибками наблюдений (упражне-
(упражнение 49.11) 642—643; критерий согласия
(пример 50.3) 654—655; многомерные 672
Ютц (Youtz С), таблицы преобразований
136, (упражнение 37.4) 169
Янг (Young D. Н.), выборка по группам
(упражнение 40.11) 337—338:
С—Е—I—R — сборник статей по построе-
построению моделей 681