/
Author: Ван дер Варден Б.Л.
Tags: математика прикладная математика естественные науки математическая статистика
Year: 1960
Text
и * л
Издательство
иностранной
литературы
#
MATHEMATISCHE
STATISTIK
von
Dr. B. L. VAN DER WAERDEN
Professor der Mathematik an der Universitat
Zurich
SPRIXGER — VERLAG
BERLIN - GUTTIXGEN - HEIDELBERG
19 5 7
Б. Л. ван дер Варден
МАТЕМАТИЧЕСКАЯ
СТАТИСТИКА
Перевод с немецкого
Л. Н. БОЛЬШЕВА
Пол редакцией
Н. В. СМИРНОВА
ИЗДАТЕЛЬСТВО
ИНОСТРАННОЙ ЛИТЕРАТУРЫ.
Москва, 1960
АННОТАЦИЯ
Эта книга знакомит читателя с основами математической статистики.
Ее автору, известному ученому ван дер Вардену, удалось, не поступаясь
математической строгостью, построить свое изложение таким образом,
что для чтения книги не требуется знакомства ни с какими специальными
разделами математики. Многочисленные примеры, иллюстрирующие при-
применение математической статистики к разного рода научным и практи-
практическим задачам, представляют значительный интерес.
Книга принесет большую пользу как специалистам-прикладникам,
использующим в своей работе юетолн математической статистики, таи и
научным работникам, аспирантам и студентам, специализирующимся в
этой области.
Редакция литературы по математическим паукам
ПРЕДИСЛОВИЕ
К РУССКОМУ ПЕРЕВОДУ
По мере того как из года в год расширяется область приложе-
приложения математической статистики, заметно возрастает спрос на раз-
различного типа руководства по этой дисциплине. Большинство из
руководств ориентируется в первую очередь на потребности име-
имеющихся тех или иных специалистов-прикладников (экономистов,
агрономов, биологов, медиков, физиков, инженеров-производствен-
инженеров-производственников и т. д.). В книгах такого типа статистические методы при-
применяются в тех или иных конкретных случаях, а задача матема-
математического обоснования этих методов остается в стороне. Эта по-
последняя задача рассматривается в сравнительно небольшом числе
книг, рассчитанных главным образом па лиц, специализирую-
специализирующихся в области теории вероятностей и математической ста-
статистики (научных работников, студентов и аспирантов матема-
математических факультетов и т. п.).
Эти книги по своему объему, по детальности изложения и по
уровню применяемого математического аппарата трудно доступны
научным работникам и инженерам, занимающимся приложени-
приложениями статистики. Между тем широкое проникновение математи-
математической статистики в различные науки и отрасли техники тре-
требует руководства особого типа, в котором рассматривались бы
общие постановки задач статистики в форме, доступной для неспе-
неспециалистов.
К такого рода книгам относится и выпускаемая в русском
переводе «Математическая статистика» известного ученого Б. Л. ван
дер Варденя (автора курса «Современная алгебра», получившего
мировую известность).
Рассматривая свою книгу лишь как введение в современные
статистические теории, автор ограничивает свою задачу изложе-
изложением вполне сложившихся отделов математической статистики,
оставляя в стороне менее разработанные, но, пожалуй, наиболее
характерные для современного этапа развития науки проблемы
последовательного анализа, теории решающих функций и ста-
статистику случайных процессов. В сжатом, но мастерском изложе-
изложении автор наряду с теоретико-вероятностными основами стати-
статистики знакомит читателя с теорией статистической оценки пара-
параметров и проверки гипотез, простейшими схемами дисперсном-
Предисловие к русскому переводу
ного анализа и теории корреляции. В трактовке этих класси-
классических задач и методов автору удалось найти во многих случаях
новый нетрадиционный подход, значительно облегчающий их
понимание и усвоение. Как интересные новинки следует отметить
теорию несмещенных оценок (гл. VIII), развитую у нас в работах
А. Н. Колмогорова и примененную им к некоторым практически
важным задачам приемочного контроля; теорию некоторых новых
непараметрических тестов (критерий Вилкоксона, Х-тест и др.)
(гл. XII), сопровождаемую поучительным исследованием их мощ-
мощности, и, наконец, теорию ранговых коэффициентов корреляции
(гл. XIII).
В книгу вошло много примеров из практики, частью состав-
составлявших предмет консультаций, которые давались автором спе-
специалистам-прикладникам, частью заимствованных из специальных
работ, главным образом по генетике, агрономии, медицине. Бегло
и несколько поверхностно рассмотрены простейшие приложения
математической статистики к изучению экономических явлений.
Переводчиком Л. Ы. Большевым устранены некоторые неточ-
неточности немецкого текста и в ряде случаев введены пояснения к
примерам, слишком лаконично сформулированным автором.
Н. В. Смирнов
ПРЕДИСЛОВИЕ
Эта книга является результатом многолетней деятельности
по практическому применению статистики. Со студенческих лет
мне постоянно приходится иметь дело с экономистами, медиками,
философами, биологами и инженерами, обращающимися ко мне
со статистическими вопросами. Изучая литературу и размышляя,
я знакомился все с лучшими и лучшими методами. Данная книга
посвящается обоснованию этих методов и их применению к воз-
возможно наиболее поучительным примерам из области естество-
естествознания и социологии. Это позволит, как я надеюсь, уберечь чита-
читателя от тех или иных ложных путей, которыми я сам шел вначале.
Примеры не являются искусственной конструкцией над теорией,
а заимствованы из практики, поэтому некоторым примерам необ-
необходимо было предпослать обстоятельное объяснение.
Основные математические понятия я излагаю по возможности
кратко и, смею надеяться, попятно. В некоторых случаях ока-
оказываются необходимыми длинные теоретические выводы, однако
там, где это представляется возможным, более трудные доказа-
доказательства будут заменяться ссылками на существующие хорошие
учебники. Не имеет смысла вновь развивать математические тео-
теории, обстоятельно и ясно изложенные Колмогоровым, Каратео-
дори и Крамером.
Предполагается, что читателю известны элементы теории
функций и теории интеграла Лебега. Это, конечно, не означает,
что без такой подготовки читатель не сможет понять эту книгу:
он должен будет лишь некоторые теоремы принять без доказа-
доказательства или ограничиться изучением тех более элементарных
разделов, в которых предполагаются известными только диффе-
дифференциальное и интегральное исчисления и аналитическая геомет-
геометрия (гл. I—IV и X—XII).
Эту книгу следует рассматривать лишь как введение в мате-
математическую статистику, не претендующее на полноту изложения.
Многие важные разделы теории, такие, как последовательный
анализ, теория решающих функций и вероятностные процессы,
автор вынужден был целиком опустить. Этим теориям посвя-
посвящены специальные труды выдающихся специалистов, например
Wald Л., Sequential analysis (Wiley), New York, 1947;
Предисловие
Wald A., Statistical decision functions (Wiley), New York, 1950;
Doob J. L., Stochastic processes (Wiley), New York, 19531.
Дальнейшая литература указана во многих местах книги,
причем ссылки делаются там, где это представляечея удобным
или полезным — непосредственно в тексте или в подстрочном при-
примечании. Новая мода на литературные ссылки в конце главы или
даже в конце книги неизбежно влечет за собой пугающую необ-
необходимость постоянного перелистывания страниц. Я не стремился
к единообразию литературных ссылок и избегал чрезмерных со-
сокращений.
Первая редакция этой книги возникла в 1945 г. Она служила
пособием для курса теории ошибок и статистики в лаборатории
нефтяной компании «Роялдач Шелл» в Лмстердаме. Последующая
редакция была критически прочитана доктором Е. Бачелетом
(Базель). Ему, а также профессору Е. Л. Леману (Беркли) я
очень благодарен за чрезвычайно ценные замечания. Я благода-
благодарен также г-ну X. Р. Фишеру и г-ну Е. Ыивергельту (Цюрих)
за выполнение рисунков и участие в правке корректур.
Сентябрь 1956. Б. Л. ван дер Варден
1 Имеется русский перевод: Д у б Дж. Л., Вероятностные процессы,
ИЛ, М., 1956. — Прим. перев.
® Общие
основы
3) Матыатические'
вспомогательные
средства
с) Вероятности
и частоты
(?) Эмпирическое
определение
функций
распределения
E) Интегралы
Фурье и
теоремы
(В) Теория
ошибок
(?) Метод
наименьших
квадратов
I
(В) Оценки
неизвестных
параметров
I Корреля-\
ция
(9) Оценка параметров
по наблюоенным
частотам
результатов
биологических
испытаний
Проверка гипотез
B) Порядковые
критерии
Логическая структура книги.
Штриховые линии указывают, что для понимания соответствующих глав
изучение предшествующих глав полезно, но не является необходимым.
ВВЕДЕНИЕ
В старых трудах о количественных закономерностях в мас-
массовых совокупностях понятия частоты, среднего значения, дис-
дисперсии и т. д. развивались лишь для конечной совокупности.
О понятии бесконечной совокупности не возникало и мысли.
Английские и американские статистики, напротив, каждую ста-
статистическую совокупность воспринимают принципиально как
случайную выборку из неограниченной совокупности возмож-
возможностей. Частота события в этом понимании является лишь оцен-
оценкой для вероятности события, а эмпирическое среднее (выбороч-
(выборочное среднее) — оценкой для идеального среднего значения, или
математического ожидания. С этой точки зрения узловым вопросом
математической статистики является вопрос: как. далеко могут
отклоняться величины, вычисленные по выборке, от соответству-
соответствующих идеальных значений^
Так сложилось к настоящему времени убеждение в необхо-
необходимости построения математической статистики на основе теории
вероятностей.
Теория вероятностей как точная математическая теория в
надлежащем объеме впервые была построена А.Н. Колмогоровым.
В дальнейшем мы будем опираться на аксиоматику Колмогорова,
не заботясь о происхождении понятия вероятности. Эта теория,
построенная чисто математически, оправдывается в приложениях
так же хорошо, как Эвклидова геометрия или Ньютонова меха-
механика; этого вполне достаточно. Философское объяснение понятия
вероятности, несомненно, интересно и важно, однако оно едва
ли уместно в таком учебнике, как этот.
Логическая структура этой книги изображена в приведенной
выше схеме.
Главы I—VI посвящены аксиоматике теории вероятностей
по Колмогорову и ее различным статистическим приложениям,
в том числе теории доверительных границ для неизвестной веро-
вероятности и доверительной зоны для неизвестной функции распре-
распределения, различным простым вариантам критерия х2. гауссовой
теории ошибок и критерию Стьюдента. В главах I, III и V изла-
излагаются вспомогательные математические средства; гл. II, IV и VI
посвящены статистическим приложениям.
12 Введение
Центральную часть книги образуют два больших, взаимно
связанных раздела: Теория оценок (гл. VII—IX) и Теория про-
проверки гипотез (гл. XI, XII).
Отправным пунктом теории сценок является способ наимень-
наименьших квадратов, развитый Гауссом. Гаусс указал два обоснова-
обоснования этого способа. Первое из них формулируется так: паиверо-
ятнейшим значением неизвестного параметра является такое
значение, для которого вероятность наблюденного события будет
наибольшей. Второе обоснование, которому сам Гаусс отдавал
предпочтение, исходит из того требования, что оценки должны
иметь возможно меньшие средние ошибки.
Р. А. Фишер распространил оба этих обоснования на значи-
значительно более общие проблемы отыскания оценок. Требование
наибольшей вероятности наблюденных значений приводит к оцен-
оценкам наибольшего правдоподобия, а требование наименьшей сред-
средней ошибки — к понятию эффективных оценок. В широком классе
случаев принцип максимального правдоподобия приводит дей-
действительно к эффективным оценкам. Уточнение этого понятия
и точные доказательства по Фреше, Рао, Леману и Шеффе будут
даны в гл. VIII, а применения к наблюденным частотам — в гл. IX.
Современная теория проверки гипотез берет свое начало от
критерия х2 Пирсона и критерия t Стьюдепта. Р. Л. Фишер рас-
расширил область применения этих методов. Он ввел понятие, «сте-
«степеней свободы» и вскрыл взаимосвязь с теорией оценок, указав
на то, что в критерии у_2 следует пользоваться только эффектив-
эффективными оценками. Точные доказательства его утверждений даны
Нейманом и Е. Пирсоном. Ими сформулированы также общие
принципы, лежащие в основе современной теории критериев^
Все это будет изложено и пояснено на примерах в гл. XI.
В теории ранговых критериев (гл. XII) также выявляется
ценность этих принципов. Однако математические вспомога-
вспомогательные средства, необходимые для понимания этой главы, здесь
много скромнее: они главным образом ограничиваются матери-
материалом гл. I и II и предельной теоремой из гл. V.
Обработке результатов биологических испытаний посвящена
гл. X. И хотя здесь речь идет о задаче теории оценок в смысле
гл. VIII, подготовительный материал также исчерпывается со-
содержанием гл. I и II.
Заключительная гл. XIII посвящена коэффициентам корре-
корреляции и ранговой корреляции. Как видно из схемы логической
структуры книги, здесь предполагается известным лишь содер-
содержание гл. I—VI.
ГЛАВА 1
ОБЩИЕ ОСНОВЫ
Изучение этой главы безусловно необходимо.
§ 1. Основные понятия теории вероятностей
А. ПРЕДВАРИТЕЛЬНОЕ РАЗЪЯСНЕНИЕ И ПРИМЕРЫ
В теории вероятностей рассматриваются события, наступ-
наступление которых зависит от случая и вероятности, которые могут
быть выражены числами.
Понятие вероятности является статистическим понятием.
Для выяснения статистического смысла этого понятия следует
многократно реализовать те условия, при которых может осуще-
осуществляться определенное событие, и установить, с какой частотой
это событие осуществляется. Если вероятность осуществления
события равна р, то это означает, что в ряду из п таких повторе-
повторений событие наступает в среднем пр раз. Конечно, число наступ-
наступлений события совершает колебания около среднего значения
пр, которые мы позже оценим точнее.
События обозначаются большими буквами А, В Вве-
Введем следующие обозначения.
АВ (читается: А и В) — событие, которое осуществляется
тогда и только тогда, когда An В осуществляются одновременно.
А (читается: отрицание А) — событие, которое осуществля-
осуществляется тогда и только тогда, когда не происходит событие А.
Е — событие, которое осуществляется всегда.
А -|- В (читается: А или В) — событие, которое осуществля-
осуществляется тогда и только тогда, когда осуществляется либо А, либо В,
либо оба эти события одновременно.
Если А и В несовместны, т. е. не могут осуществляться одно-
одновременно, то вместо А-\- В пишут А -+- В (читается опять: А или
В). Аналогично в случае любого конечного, а также и бесконеч-
бесконечного числа попарно несовместных событии
2 А, = А, + ¦¦¦ + А„,
1
2а,= л + а2~\— .
1
Вероятность события А обозначается Р(А). Следующие при-
примеры поясняют употребление этих понятии.
14 Гл. I. Общие основы
Пример 1. Игральная кость бросается три раза. Событиями являются
псе мыслимые результаты таких бросаний, как, например, F, 1, 1), пли все
комбинации таких результатов, связанные словом «или»: например, «F, 1, 1)
пли D, 5, 6)» является событием, а именно суммой событий F, 1, 1) и D, 5, 6).
Вероятность выпадения б очков при первом бросании не обязательно
равна V6: кость может оказаться фальшивой и иметь случайные неправиль-
неправильности. Если она приближенно симметрична и однородна, то разумно пред-
предположить, что вероятность близка к 1/6. В противном случае эту вероят-
вероятность можно приближенно определить лишь с помощью большого числа
бросаний кости, установив, сколь часто при этом выпадают 6 очков.
Пример 2. Производится стрельба по мишени. Идеализируя действи-
действительность, предположим, что пробоина в мишени является точкой и что
мишень всегда поражается. Событием является попадание в какую-нибудь
ограниченную часть мишени. Каждой частичной области мишени соответ-
соответствует, таким образом, событие, в частности, всей мишени — событие Е.
Вероятность любого такого события тем больше, чем больше площадь
соответствующей области, а также чем ближе к середине лежит эта область:
целятся ведь в середину мишени. Попадание в отдельную точку также
является событием, но вероятность этого события равна нулю, так как
точка не имеет площади. Если события А и В соответствуют определенным
областям мишени, то сумма А + В соответствует объединению обеих
областей, а произведение АВ — их пересечению.
Б. СОБЫТИЯ
Если желательно математически уточнить употребление фор-
формальных операций АВ, А, Л + В и А + В, то имеются два пути:
поле событий можно рассматривать либо как булевскую алгебру,
либо как тело множеств.
В первом понимании «события» являются неопределяемыми
объектами, и указанные операции должны лишь удовлетворять
определенным аксиомам (см. С. Caratheodory, МаВ und Integral,
Basel, 1956).
Во втором понимании «события» являются подмножествами
множества Е, причем АВ является пересечением, А — допол-
дополнением, А + В — объединением.
Оба подхода эквивалентны, так как по известной теореме
Стоуна1 каждая булевская алгебра изоморфна некоторому телу
множеств. Первый подход, может быть, естественнее (см. Кар-
pos Г>. Л., Zur mathematischen Begriindung der Wahrscheinlich-
keitstheorie, Sitzungsber. Bayer. Akad. Mimohen, 1948), но второй
математически проще. Поэтому, следуя Колмогорову2, мы будем
все «события» трактовать как множества «элементарных событий».
1 См. Stone М. П., Trans. Amer. math. Soc, 40 A936), 37, или Her-
Hermes H., Einfuhrung in die Verbandstheorie, Springer-Verlag, 1955, § 20.
2 См. Колмогоров А. II., Основные понятия теории вероятно-
вероятностей, ОНТИ, М., 1936, а также Reielienbach H., Wahrseheinlich-
lieitslehro.
§ 1. Основные понятия теории вероятностей 15
В этом понимании Е является множеством всех элементарных
событий, которые в данной ситуации можно рассматривать как
возможные события.
В. ВЕРОЯТНОСТЬ
В основу теории вероятностей по Колмогорову можно поло-
положить следующие аксиомы1:
1. Если А и В — события, то А, АВ и А + В тоже события.
2. Каждому событию А можно поставить в соответствие дей-
действительное число Р(^1) зь 0.
3. Е является событием с Р(Е) = 1.
4. Если А и В несовместны, то
р(А + В) = р(А) + Р(В).
5. Если все события последовательности Аи А2,... не могут
осуществиться одновременно, то
lim р(.41 А2- ¦¦ Ап) = 0.
л—»<»
Из аксиом 3 и 4 следует, что
р(А) = \-р(А) A)
и поэтому Р(-4) не превосходит единицы:
0=«рD)^1. B)
Далее, если Av..., An взаимно несовместны, то имеет место
теорема сложения:
р(Л {¦ .. . -г Ап) = Р(А) + ¦ • • + Р(Ап). C)
Из аксиомы непрерывности 5 следует, что теорема сложения
также справедлива для бесконечного количества событий; если
А = А± + А2 + . . .
является событием, то
р(А) = р(Л) + Р(Л) + • ¦ • D)
Очень простые доказательства этих теорем имеются в цитиро-
цитированной монографии Колмогорова «Основные понятия теории ве-
вероятностей».
1 Формулировка аксиом у автора несколько отличается от форму-
формулировки, данной в указанной выше работе Л. II. Колмогорова. — Прим.
ред.
1G Гл. I. Общие основы
Г. УСЛОВНЫЕ ВЕРОЯТНОСТИ
Пусть Р{А) ф 0. Условная вероятность события В в предпо-
предположении, что событие А произошло, определяется равенством
Отсюда следует, что
= р(В\А)р(А). F)
Последняя формула справедлива также- и для Р(А) = 0; мно-
множитель Р(В\ А) в этом случае может быть любым числом.
В приложениях, как правильно заметил Рихтер1, условная
вероятность Р(В\ А) почти никогда не вычисляется по определе-
определению E), а делаются какие-либо предположения о р(В\А). на
основе которых по формуле F) вычисляется Р(АВ) (как в случае,
изложенном в примере 3). Собственно говоря, следовало бы отка-
отказаться от определения условной вероятности р(В\А) равенством
E) и включить ее в число неопределяемых понятий аксиоматики.
В этом случае F) можно бы было принять за аксиому.
Однако в этой книге мы не будем заниматься вопросами акси-
аксиоматики н, следуя Колмогорову, примем E) в качестнеопределения.
Пример 3. Из урны, содержащей г белых и Лт — г черных шаров, пооче-
поочередно извлекаются 2 шара (без возвращения). Какова вероятность: а) при
первом извлечении получить белый шар, б) при первом и втором извлече-
извлечениях получить белые шары, в) при втором извлечении получить белый шар?
При этом предполагается, что шары в урне хорошо перемешаны, так что
вероятность извлечь определенный шар одинакова для всех шарои. Предпо-
Предполагается также, что условная вероятность извлечь но нторой раз какой-
либо шар, если при первом извлечении уже получен некоторый опреде-
определенный шар, одинакова для всех оставшихся N — 1 шаров.
Обозначим Л] событие, которое заключается в том, что при первом
извлечении появится шар с номером j, и В к — событие, которое заключается
в том, что при втором извлечении появится шар с номером к. Из указанных
предположений следует, что
P(Aj) = 1
и
P(Bk\Aj) = ^-j (j9~k).
Согласно правилу умножения F), вероятность появления при первом
извлечении шара с номером j и при втором извлечении шара с номером к
одинакова для всех пар (j, к) с jk/: к, а именно
1Richter H., Grundlegung dor Waluscheinlichkeitsrechnung, Math.
Annalen, 126 и 126. См. также F i n s 1 e r P., Elemente der Math., 2 A047),
112.
§ 1. Основные понятия теории вероятностей 17
Количество пар, у которых первый шар белый, равно г (N— 1). Следова-
Следовательно, ьероятность появления белого шара при первом извлечении равна
г(У ~ 1) г
Аналогично количество пар, у которых второй шар белый, равно г (Лг — 1),
поэтому вероятность появления белого шара при втором извлечении равна
г/У. Наконец, число пар (j, к) шаров белого цнета равно г (г— I), следова-
следовательно, вероятность того, что оба раза появятся белые шары, равна
г(г - 1)
N(N — 1)'
Д. ФОРМУЛА ПОЛНОЙ ВЕРОЯТНОСТИ
Предположим, что при некотором опыте могут осуществиться
взаимно исключающие друг друга события А1;. .., Ап, сумма ко-
которых является достоверным событием:
Е = Л -I А + .. . + Ап.
Согласно C) и F), для любого такого разложения имеет место
формула полной вероятности
). G)
Е. НЕЗАВИСИМОСТЬ
Пара или более таких разложений
E=At+At+... -Ь Лп! E-=Bl + Bt + ... + Вт,.. .
называются независимыми, если для всех h, г,. . ., к справедливы
равенства
Р( А В, ... Dk) = P( Ah) p(Bi) . .. р(Д). (8)
События А, В,. . ., D в конечном числе называются независимыми,
если независимы разложения Е = А -\- А, Е = В 4- Д...,
Е = D + D.
В этом случае справедливы равенства
..D) = p(A)p(B)...p(D),
р[АВ ...D) = Р(А) р(В). . . p(D) и т. д.
В приложениях независимость обычно не определяется ра-
равенством (8), а постулируется. Два опыта полагают независи-
независимыми, если исход одного практически исключает какое-либо влия-
влияние на исход другого.
2 Б. JI. ван дер Варден 1062
18 Гл. I. Общие основы
Ж. БЕСКОНЕЧНЫЕ СУММЫ
Бесконечная сумма А1 -\- А2 -\- . . . несовместных событий не
обязана являться событием и иметь вероятность. Однако мето-
методами лебегоЕСКой теории меры можно расширить тело «событий»
до тела «измеримых множеств», определив, таким образом, для
этих множеств А* меру р*(А*), что в расширенной области снова
будут иметь место аксиомы 1—5 и для исходных событий А мера
Р* будет совпадать с вероятностью р:
р*(А) = р(А).
Если, кроме того, вероятность Р(А) зависит от неизвестного
параметра С, то рассматривают лишь такие множества А*, ко-
которые измеримы при всех значениях д.
Каждая сумма счетного числа множеств А* является снова
множеством типа А*, причем имеет место теорема о полной ад-
аддитивности:
р*(А* + A* -f- . . . ) = р*(А*) -г Р*(Л*) + • • • • (9)
Доказательство этой теоремы см., например, в книге С. Сага-
theodory, Vorlesungen iiber reelle Funktionen A918), p. 237—2581.
В дальнейшем, если это потребуется, мы будем предполагать
указанное расширение тела событий выполненным, не отмечая
звездочками различие между новыми множествами и их мерами,
с одной стороны, и исходными событиями и вероятностями — с дру-
другой. Таким образом, впредь будет предполагаться, что сумма со-
событий Аг + А2 + . . . снова является событием и что для счетных
сумм справедлива теорема сложения.
§ 2. Случайные величины. Функции распределения
А. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Случайной величиной, или стохастической переменной, называют
величину, значение которой зависит от случая. Точнее: пусть х —
действительная функция, определенная на множестве Е, такая,
что для каждого элементарного события ? значение х(?) является
действительным числом. Пусть, далее, эта функция измерима в
том смысле, что для любого действительного числа t множество
тех ?, для которых x<t, является измеримым множеством. Мы
условились, однако, рассматривать каждое измеримое множество
как событие (в расширением смысле). Следовательно, предполо-
предположение измеримости означает, что для любого t множество тех ?,
для которых х < t, представляет собой событие.
1 О полной аддитивности меры см. также Халмош П., Теория
меры, ИЛ, М., 1953. — Прим. перев.
§ 2. Случайные величины. Функции распределения
19
Простейшим является случай, когда множество Е предста-
вимо в виде конечной суммы частичных множеств
Е=А1 + А2 + ...^ Ал,
причем на каждой части Ак функция х принимает постоянное
значение хк. Если Ак являются событиями, то требование изме-
измеримости выполняется.
В примере 1 (§ 1) общее число очков, ньшагшее при троекрат-
троекратном бросании игральной кости, является случайной величиной,
принимающей конечное число значений (от 3 до 18). В примере
2 обе координаты х,у точки попадания —случайные величины.
Б. ФУНКЦИИ РАСПРЕДЕЛЕНИЯ
Если х — случайная величина, a t изменяется от —оо до + °°,
то вероятность события х< t представляет собой неубывающую,
непрерывную слева функцию от t, которую мы, следуя Колмого-
Колмогорову1, назовем функцией распределения F(t) величины х:
= p(x<t). A)
Функция F(t) стремится к нулю при t —> — оо и к единице
при t -» -г оо. Это легко выводится из аксиомы непрерывности 5.
Рис. 1. График ступенчатой функции.
Если t стремится к а слева, то F(l) стремится к F(a), но если t
стремится к а справа, то F(t) стремится к р(х =s t). Разность
этих пределов
AF(a) = F(a -f 0) — F(a — 0)
является вероятностью того, что х в точности равна а. Далее
дл я а< Ъ имеем
F(b) — F(a) = p(a =s x < b). B)
1 Другие авторы определяют F(t) как вероятность события a- =s t.
В этом случае Fit) непрерывна справа.
2*
20 Гл. I. Общие основы
Для приложений особенно важны два случая. If ел и величина
ж принимает лишь конечное число значений <1( t2,.... ^ с вероят-
вероятностями рг, р.г, . . ., рп, то F(l) представляет собой ступенчатую
функцию, график которой в точке t = tt имеет скачок, равный по
величине pt.
В. ПЛОТНОСТЬ ВЕРОЯТНОСТИ
В другом случае, когда F(t) непрерывно дифференцируема,
F'{t) = f{t).
О^гласно B), тогда
ь
Р(а =s х < Ъ) = F{b) — F(a) = j f{t) dt. C)
a
Из C) предельным переходом при а -» — оо получаем
ь
p(x<b) = F(b)=\f(t)dt.
откуда предельным переходом при Ъ —> оо находим
t,-\. D)
Функция f(t) называется плотностью вероятности величины
х. Выражаясь популярно, но неточно, можно сказать, что f{t)dl
есть вероятность того, что х заключена в пределах между t и
t + dt.
Г. НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
Известным примером плотности вероятности является гаус-
гауссова функция ошибок
f{t) = -i = e ** . (ГО
с |/2я
Рассматривая вместо х величину (х — а)/с, можно для этой
величины получить плотность вероятности более простого вида
,Ф" 2. Случайные ветчины. Функции распределения
21
Па рис. 2 сверху изображен график этой функции. В § 12 будет
доказано, что
G)
поэтому функция F) удовлетворяет условию D). Соответствующая
функция распределения имеет вид
(8)
(см. рис. 2 снизу, а также табл. 1 в конце книги).
Р и с. 2. График гауссовой функции ошибок.
Название «гауссова функция ошибок» ссновано на тем, что,
но Гауссу, плотность вероятности для случайных ошибок астро-
астрономических наблюдений выражается формулой E). Однако име-
имеется много других случайных величин, плотнеет и кероятности
которых точно или приближенно выражаются этой формулой.
Поэтому функции F) и (8) заслуживают более подробного изу-
изучения.
Для вычисления интеграла ошибок при не слишком больших
значениях t плотность f(t) разлагают в бесконечный ряд
22 Гл. I. Общие основы
2 ' 2! 22 3! 2»
и интегрируют:
l , 1
о
Для больших 2 имеется асимптотическое разложение, кото-
которое получается следующим образом. Имеем
Если положить т'2/2 = а; и <2/2 = и, то интеграл примет вид
Интегрируя по частям, найдем
со оо
\е х 2 dx = е и 2—; \е х * dx =- е и *—Rlt (II)
а и
где —Вх — отрицательный остаточный член. Для того чтобы
оценить В1 сверху, интегрируем по частям еще раз:
Rx=\\e Xx *dx=je "и «—I.|je *х '* dx <\ е "и s
U
Если A1) подставить в A0), то получится искомая асимпто-
асимптотическая формула
A2)
Если желательно сделать остаток величиной порядка t~b,
ю нужно снова один раз проинтегрировать по частям и тогда
получится
§ 2. Случайные величины. Функции распределения 23
О < S2 < 1 • 3
Путь дальнейших уточнений ясен. В качестве множителя
при ехр I—— tA будет получаться частная сумма знакочере-
знакочередующегося ряда
и остаточный член всегда будет меньше первого из отброшенных
членов.
Асимптотический ряд A4) мало пригоден для численных
расчетов со многими десятичными знаками, потому что, хотя вна-
вначале члены ряда и убывают, однако в дальнейшем они начинают
возрастать. Однако ван Вейнгарден1 указал преобразование,
которое превращает A4) в сходящийся ряд, с успехом исполь-
используемый в численных расчетах для средних и больших значений t.
В табл. 1 в конце книги табулирована функция и = Ф{?),
в табл. 2 — обратная функция t = W(u). В этой книге указанные
функции будут неизменно обозначаться буквами Ф и W.
Точки перегиба кривой с уравнением у = f(t) имеют абсциссы
t = ±\, так как вторая производная
в интервале (—1, +1) отрицательна, а вне этого интервала не-
неотрицательна. С ростом t функция f(t) очень быстро убывает.
На интервал от —2 до +2 приходится более 95% общей площади,
расположенной между кривой и осью абсцисс, на интервал от
—3 до +3 около 99,7%, а на интервал от —4 до +4 — только
немногим менее 100%. Таким образом, для всех практических
целей можно ограничиться интервалом от •—4 до +4: вероятность
того, что случайная величина (х — а)/с примет значение вне
этого интервала, практически равна нулю.
Все функции распределения, для которых плотности вероят-
вероятности задаются формулой вида E), называются функциями
нормального распределения. Постоянная а указывает абсциссу
точки максимума функции f(t), а постоянная с — расстояние между
проекциями точки максимума и точки перегиба на ось абсцисс.
Таким образом, с является мерой «широты» кривой.
1 Van Wijngaaiden Л., A transformation of foitnal series, Proc.
Kon. Ned. Akarl. Amstoidam, Section of Science, A 5C AЕ5Я), 537.
24 Гл. 1. Общие основы
§ 3. Среднее значение и квадратичное отклонение
А. МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
Среднее значение или математическое ожидание Qx случайной
величины х, принимающей лишь конечное число значений tlf . . ., tn,
определяется как сумма этих значений, умноженных на их вероят-
вероятности:
Из определения ясно, что среднее значение х заключено
между наименьшим и наибольшим возможными значениями
случайной величины ж. Среднее значение можно также определить
как центр тяжести возможных значений tk с весами рк.
Если случайная величина х имеет плотность вероятности
f(t), то в определении среднего значения вместо суммы появляется
интеграл:
+ °°
Sx=\tf(t)dt. B)
В случае произвольной функции распределения F(t) интеграл
B) нужно заменить так называемым интегралом Стильтьеса
= $tdF(t). C)
Общее понятие интеграла Стильтьеса нам в дальнейшем не
понадобится, так как мы вполне обойдемся специальными слу-
случаями A) и B); поэтому, точности ради, укажем лишь определение
интеграла C) по Фреше:
?ж = lim 2 М [F(kh + h) — F(kh)]. D)
Среднее значение является специальным случаем интеграла
Лебега. Л именно, если Ек представляет собой событие kh=s
*s х < (k -\ 1) h, то интеграл Лебега от ж в области В по мере
Р(А) определяется так:
ж p(dE) = lim ? kh Р{ВЕк). E)
/1—.0 А- —оо
В
Если, в частности, положить В -. Е, то E) перейдет в D).
В теории интеграла Лебега доказывается, что сумма х \ у
двух измеримых функций ж и у также измерима и что интеграл
$ 3. Среднее значение и квадратичное отклонение 25
этой суммы по любому измеримому множеству В равен сумме
интегралов слагаемых:
{dE) = \х ?(dE)
в в в
При этом предполагается, что оба интеграла в правой части
равенства конечны. Доказательство можно найти в книге С.
Caratheodory, «Vorlesungen iiber reelle Funktionen», или в новой
книге того же автора «МаВ und Integral».
Если, в частности, выбрать Б = Е, то из последнего равенства
будет следовать, что среднее значение суммы равно сумме средних
значений слагаемых, если эти средние значения конечны:
б(* - у) = & х + 6 у F)
и аналогично для произвольного числа слагаемых
6(«i + • . • -г *„) = S «i + • • • + S а?„. G)
Если с — постоянная, то очевидно, что
g(cx) = cgx. (8)
Для краткости мы иногда будем обозначать ^ х = х.
Б. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Пара или более случайных величин х, у, . . . называются неза-
независимыми, если для любых действительных чисел t, и, . . . события
х < t, у < и, . . .
являются независимыми. Из независимости событий х < t,
у < и, . . . следует, что события
a =s х < Ъ, с =s I/ < й, . . .
также будут независимыми и поэтому, если речь идет, например,
о двух независимых величинах х и у, справедливо равенство
Р(а =sac<6, c=sy<d) = p(a=sx<b) p(c =s i/ < d).
В этом случае среднее значение произведения равно произведе-
произведению средних значений:
8x-?y (9)
и аналогично для произвольного числа независимых случайных
величин
?(«! х,. . . хп) =х1х,...хп. A0)
Доказательство см., например, в книге Л. Н. Колмогорова
«Основные понятия теории вероятностей», стр. 69, формула F).
2G Гл. I. Общие основы
В КВАДРАТИЧНОЕ ОТКЛОНЕНИЕ И ДИСПЕРСИЯ
Квадратичное отклонение <г = сгж случайной величины х опре-
определяется как положительный квадратный корень из дисперсии
<г* = ?(х — хJ = 6(х2 — 2хх + ж2). A1)
Вычисляя правую часть A1) по формулам G) и (8), получим
о-2 = g(a*) - 2ж2 + ж2 = 6(ава) - F х)\ A2)
Если с — постоянная, то очевидно., что
сгсх = ссгх. A3)
Для дисперсии суммы имеет место равенство
°t+r = 6(х — х + у — уJ =
= &(х - жJ + 2g[(x -х){у- у)] + С(У - УJ-
Если х и у независимы, то средний член обращается в нуль:
&[(х — х)(у — у)] = &{х - х) &(у - у) = О,
и мы получаем
O-2l =о-2 + Сг2. A4)
х+у х ' у v '
Эта формула справедлива и для разности двух независимых
случайных величи1г:
ж—Г * ' у
В случае произвольного количества попарно независимых вели-
величин дисперсия суммы х = х^ + . . . -г ж„ равна сумме дисперсий
слагаемых
о-2 = *!-!-... -t-cr». A5)
Для вычисления средних значений и дисперсий полезна сле-
следующая формула, являющаяся обобщением формулы B):
)g(x)=\g{t)f{t)dt. A6)
В § 4 мы рассмотрим дальнейшее обобщение этой формулы
и дадим ее доказательство. Теперь же мы рассмотрим пример при-
применения этой формулы.
Пример 4. Случайная величина ас имеет гауссову плотность пероятно-
сти
/(О = т^ «Г!"'".
1/2,1
§ 3. Среднее значение и квадратичное отклонение 27
Каковы среднее значение и квадратичное отклонение ж? Согласно B),
среднее значение равно
J1 Г
t f(t) dt = —— \
"Г ОО
te * dt= 0.
Дисперсия о-2 равна среднему значению случайной величины (а; — ОJ = х2.
Если мы положим g(t) — 1г и применим формулу A6), то получим
= &(*-) = {t*f(t)dt = -^ I «2
J У2л /
2 '
dt.
Интегрируя по частям, найдем
г2=[-4='е~2Т +~{et'dt=O+ 1 = 1,
следовательно, о- = 1. В общем случае
1 1 С-"
Поступая так же, как и раньше, найдем, что ?> х — а и о- — с. Поэтому
впредь мы всегда будем вместо с писать сг:
Г. НЕРАВЕНСТВО ЧЕБЫШЕВА
Практическое значение квадратичного отклонения сг заклю-
заключается в том, что отклонения случайной величины х от ее среднего
значения х, намного превышающие квадратичное отклонение о-,
являются маловероятными. Точный смысл этого утверждения
формулируется с помощью неравенства Чебышева:
Если g — произвольное положительное действительное число,
то вероятность события \х — х\ > да- меньше, чем д~-.
Доказательство весьма просто и основано на определении
математического ожидания величины (х—асJ
Для вычисления g(ae — жJ, согласно определению A), нужно
возможные значения случайней величины
I/ = (X — XJ
умножить на соответствующие вероятности и произведения сло-
сложить. Возможные значения распадаются на дне группы. К пер-
28 Гл. I. Общие основы
Boii группе принадлежат значения =s д2а-2 и ко второй — значения
> д-огг. В соответствии с этим сумма произведений разобьется
на две частичные суммы, первая из которых неотрицательна,
так как неотрицательны все ее слагаемые. Вторая частичная
сумма больше произведения д'2<т2 Р, где Р— вероятность ее бытия
(х — асJ > д~и. Предполагается, что Р не равно нулю (если
р = 0, то все становится тривиальным). Таким образом, для всей
суммы получаем неравенство
<т-> g-v-P,
откуда следует утверждение:
Р<-\.
9-
Точно так же проводится доказательство и для случая, когда
математическое ожидание определяется интегралом C). Пусть
F(t) — функция распределения случайной величины у. Интеграл
<r* = ?y .-= J t dF(t)
распадается на сумму двух интегралов, из которых первый бе-
берется по области t =s g'2(r2, а второй — по области / > д'2а-'2.
Первое слагаемое этой суммы неотрицательно, а второе > д'2а-2Р.
Таким образом, гг2 > д'2сг'2Р и, следовательно, Р < д~2.
В большинстве случаев вероятность Роказывается значительно
меньше, чем д~2. Например, для нормального распределения
вероятность события \х— а\> За- равна 0,0027, т. е. она много
меньше, чем У9.
Частным случаем неравенства Чебышева для случая а-=Ь
является следующее утверждение:
Если квадратичное отклонение равно нулю, то вероятность
того, что х будет отличаться от постоянного значения х, также
равна нулю.
§ 4. Интегральные представления средних значений
и вероятностей
А. ПРЯМОУГОЛЬНИКИ И ОТКРЫТЫЕ МНОЖЕСТВА
Под прямоугольником в плоскости uOv мы понимаем множе-
с гео точек, координаты которых удовлетворяют неравенствам
а *? и < Ъ, с =з v < d.
Любое открытое множество М в плоскости vOv представимо
в виде суммы счетного числа таких прямоугольников. Л именно
если эту плоскость разбить на прямоугольники с помощью верти-
§ 1. Интегральные представления средних значений и вероятностей 29
кальпых и горизонтальных равноотстоящих прямых и выделить
те прямоугольники, которые целиком принадлежат множеству
М, затем каждый из оставшихся прямоугольников такими же
прямыми разбить на четыре равных прямоугольника и снова выде-
выделить прямоугольники, целиком принадлежащие М и т. д., то каж-
каждая точка множества М в конце концов окажется в каком-либо
из прямоугольников Bj, т. е.
Пели х и у случайные величины, то a*sx<bnc=sy<d
события, следовательно, одновременное выполнение этих нера-
неравенств также является событием. Наступление этого события
происходит тогда и только тогда, когда точка X с координатами
х, у принадлежит прямоугольнику Л (a =s и < Ь, с == v < d). Это
справедливо для любого прямоугольника, поэтому принадлеж-
принадлежность X множеству М = Е1 + Д> — . . . также является событием.
При этом предполагается, что множество событии расширено
таким образом, что бесконечная сумма событий Лх -f А„ + . . .
также есть событие (§ 1Ж).
Если принадлежность точки X множесжу М в плоскости
uOv является событием и поэтому имеет вероятность, то множе-
множество М называется измеримым, а вероятность события, соответ-
соответствующего множеству М, называется мерой этого множества.
В силу аксиом теории вероятностей эта мера обладает обычными
свойствами вполне аддитивных мер.
Согласно вышесказанному, каждое открытое множество из-
измеримо. Отсюда следует, что любое замкнутое множество также
измеримо, так как его дополнение открыто.
Пусть х и у — случайные величины и пусть g(u. v) — непрерыв-
непрерывная функция действительных переменных и и v. Тогда д(х, у)
снова является случайной величиной. Для доказательства этого
нужно лишь показать, что при любом действительном t
д{х, у) < t
непременно является событием. После всего сказанного выше
это очевидно, так как, в силу непрерывности функции д, множе-
множество тех точек {и, v), для которых справедливо неравенство
д(и, v) < t, является открытым множеством. Легко доказать,
что то же самое остается в силе, если функция д(и, v) кусочно-
непрерывна; функция д(и, v) называется кусочно непрерывной,
если плоскость Е можно разбить на сумму конечного числа изме-
измеримых множеств Мг + . . . + Мп, на каждом из которых д(и, v)
непрерывна. Впрочем, далее будут употребляться лишь простей-
простейшие случаи этой теоремы, в которых функция д(и, v) или кусочно
постоянна, или па каком-либо множестве Мл непрерывна, а на
дополнении Е — М1 равна нулю.
30 Гл. I. Общие основы
Б. ДВУМЕРНЫЕ ПЛОТНОСТИ ВЕРОЯТНОСТИ
Говорят, что пара случайных величин (ас, у) обладает плот-
плотностью вероятности f(u, v), если для любых действительных
а < Ъ и с < d вероятность события
а == х < Ъ и с *sy < d
равна интегралу функции f{u, v) по прямоугольнику
a *s и < Ъ, с *s v < d
в плоскости uOv:
ь и
Р(а =s х < Ъ, с =sy < d) = f(u, v) du dv.
а с
Интеграл в правой части должен быть обычным римановым
интегралом; предполагается, что функция f(u, v) интегрируема по
Риману.
Теперь мы можем распространить формулу A6) из § 3 на функ-
функции двух переменных:
Теорема I. Если пара случайных величин (ас, у) обладает плот-
плотностью вероятности {{и, v), а функция g(u, v) интегрируема по
Риману, то
-\-оо -|-оо
6 д(х, у) = \ | д(и, v) f(u, v) du dv, A)
причем предполагается, что (риманов) интеграл справа сходится.
Аналогичное утверждение справедливо для произвольного количества
случайных величин ас, i/,... .
Доказательство. Сначала в плоскости uOv рассмот-,
рим большой квадрат — n=s и <п, — n*sv < n и предположим,
что функция g(u, v) вне этого квадрата равна нулю. Наш квадрат
можно разбить на т2 одинаковых частей, являющихся также
квадратами. Если теперь на каждом частичном квадрате заменить
функцию д(и, v) ее верхней и нижней гранями, то получатся ку-
кусочно-постоянные нижняя функция дх(и, v) и верхняя функция
д2(и, v). Для случайных величин ^(ас, у) и д2(х,у), принимающих
лишь конечное число значений, справедливость формулы A)
очевидна:
в дМ, У) =\\ ЯМ, v) f(u, v) dudv, B)
в дг{х, У) = \\ дг(и, v) f(u, v)du dv. C)
Левая часть B) представляет собой сумму возможных значении
9i(x>ll), умноженных на соответствующие вероятности, а правая
часть -- сумму интегралов по частичным квадратам. Если в
§ 4. И нтегральные представления средних значений и вероятностей 31
каждом таком интеграле вынести постоянный множитель
gx(u, v) за знак интеграла, то справа получим ту же сумму, что и
слева. Доказательстве справедливости формулы C) будет анало-
аналогичным.
Для произвольно)'! пары значений х, у случайных величин
х, у имеем, очевидно,
9i(x, У) ^ 9ix> У) ^ 9г(х> У)-
откуда следует
6 9i(x, У)^& 9{х, у) <; 8 д2(х, у).
Если теперь стороны частичных квадратов устремить к нулю,
то правые части B) и C), между которыми заключено &д{х,у),
будут стремиться к правой части A). Отсюда следует справедли-
справедливость формулы A) для видоизмененных функций д^Ци, v), прини-
принимающих нулевое значение вне большого квадрата.
Теперь остается совершить предельный переход при п —» оо_,
который просто осуществляется применением теоремы из лебего-
лебеговой теории интегрирования. Согласно этой теореме, интеграл
по сумме множеств Ах -\- А2 + . . . равен сумме интегралов
по Ах, А2,.... В нашем случае Ах является событием, которое
наступает, если точка (х,у) попадает в квадрат — 1 «« < 1,
— 1 =s v < 1. Аналогично, наступление события Аг -j- Аг связано с
попаданием этой точки в квадрат — 2 « и < 2, — 2=sw<2
и т. д. Интеграл Лебега от случайной величины д(х, у) по мно-
множеству Ах -\- А2 -{-... -\- Ап, согласно доказанному, равен
интегралу Римана от произведения д(и, v) f(u, v) по квадрату
— n=su < п, — п =е v < п. Отсюда непосредственным предельным
переходом при п —» оо получаем формулу A).
В. ВЫЧИСЛЕНИЕ ВЕРОЯТНОСТЕЙ ПОСРЕДСТВОМ ИНТЕГРИРОВАНИЯ
Важнейшее применение теоремы I заключается в следующем.
Пусть G — произвольное открытое множество в плоскости uOv
и пусть X — случайная точка с координатами (х,у). Спрашивается,
какова вероятность события «X принадлежит С»?
Для того чтобы осуществить возможность применения теоремы
I, мы введем функцию
1, если (и, v) принадлежит G,
О, если (и, v) не принадлежит G.
Среднее значение случайной величины д(х,у) равно вероят-
вероятности того, что X принадлежит G. Формула A) в этом случае
получает вид
Р(Х €0) =J7(«, v)dudv. D)
32 Гл. I. Общие основы
Результат может быть без труда обобщен для произвольного
количества случайных величин:
Теорема II. Если совокупность случайных величин х.у, . . .
обладает плотностью вероятности f(x, у,. . .), то вероятность
попадания случайной точки X с координатами х, у, . . . в произ-
произвольную область G равна интегралу от функции f no этой области:
р(ХeG) = [/(и, с. . .)dudv E)
Г. ФУНКЦИЯ РАСПРЕДЕЛЕНИЯ СУММЫ СЛУЧАЙНЫХ ВЕЛИЧИН
Применим теорему II к решению следующей задачи: Две не-
независимые случайные величины х и у имеют плотности вероят-
вероятности f(u) и g(v). Какова функция распределения суммы х А у?
В силу независимости х и у, вероятность того, что х лежит в
пределах а\\Ь,ау — в пределах end, равна произведению
Ь d Ь d
J/(«) du J g(v) dv — J j f(u) g(v) du dv.
а с ас
Следовательно, пара случайных величин (ж, у) имеет плотность
вероятности
f(u, v) ¦= f(u) g{v).
Значение функции распределения H(t) случайной величины
х А- у в точке t равно вероятности того, что х + у < t:
H(t) - Р(х у < t).
По теореме II эта вероятность равна двойному интегралу
Щ1) = \ J /(и) g[v) du dv.
Это г интеграл можно записать в виде повторного интеграла:
¦1 ~ (—»
H(t) -
Если во внутреннем интеграле ввести новую переменную
интегрирования ги =¦ и -\- v, то получим
Щ1) = | duj f(u) g{w- и) du:
.s>' 4. Интегральные представления средних значений и вероятностей 33
Меняя порядок интегрирования (для неотрицательных функ-
функций такая замена всегда возможна), найдем
/ ' о©
Я(/) ^ j dw\ f(u) g(w — и) du. F)
— ею —oo
Эта функция распределения обладает плотностью вероят-
вероятности
h(t) = \f(u)g(t- и) du. G)
Таким образом, имеет место
Теорема III. Плотность вероятности суммы независимых
случайных величин с плотностями f{t) и g(t) дается формулой G).
Пример 5. Случайные величины ас и ;/ независимы и подчиняются нор-
нормальным распределениям. Какова функция распределения суммы х-\-у?
Пусть плотности вероятности х и у имеют вид
/(О —тт^е~2-(—), (8)
о-}'2 л
g(t) - _.. е " ("г ") . (9)
Без ограничения общности можно предполагать, что а = Ь -- О,
так как заменой х и у на х — а и у — Ъ соответственно мы всегда можем
прийти к этому случаю. По теореме Ш сумма z --- х -4- у имеет плотность
вероятности
-(¦ оо -\-°°
Г 1 Г -1 Г"' I ('~цI
h(t) --=. /(и) g(t — u)du = е 2 La» ^ т« J du =
I 2ясгт
с 2 т clu, A0)
где
11 t Г-
а= ) ., /3 = —, -у = — .
О Т2 Т2 Т2
Вводя новую переменную интегрирования
Р A1)
A2)
полу
3 Б.
чим
.'I. ван
дер
Вардсн
h(t) -
- 1062
V = Ь
1 f
2ла-т)
а
о
С~ 2
34 Гл. 1. Общие основы
где
— р- (tr-- 1- т) t2 г- гзт-4
6 --=—:—
a
или
1 л Г i 1 1 , ] Го _
h(l) = е~ 2 \е~ 2 "" dv =- — е" 2 / __
2згсгт J 2л(гт I a
— оо
1 1 С
Таким образом, z подчиняется нормальному распределению со средним
знпчением 0 и дисперсией о-2-'- т2. Следовательно, исходная сумма х -\- у
также распределена нормально со средним значением о + Ъ и дисперсией
о-2 + т2.
Это же самое справедливо и для разности х ¦—у с той, конечно, поправ-
поправкой, что среднее значение в этом случае будет равно а — Ь.
Повторным применением найденного результата устанавливается,
что сумма произвольного количества независимых нормальных случай-
пых величин снова распределена нормально.
ГЛАВА II
ВЕРОЯТНОСТИ И ЧАСТОТЫ
В этой главе основными являются первые три параграфа (§ 5,
6, 7). Последующие три параграфа (§ 8, 9, 10) посвящены прило-
приложениям к демографической статистике, медицине, биологии и
физике. Тот, кто желает быстрее познакомиться с важными поня-
понятиями «эмпирического среднего» и «эмпирического квадратичного
отклонения», может от § 7 сразу перейти к § 18.
§ 5. Биномиальное распределение
А. ФОРМУЛА БЕРНУЛЛИ
Предположим, что опыт, результат которого зависит от случая,
многократно реализуется при одинаковых условиях. Например,
ботаник путем скрещивания определенного родительского мате-
материала выводит потомство и классифицирует его по окраске цветов
или по другим признакам. Каждый потомок является продуктом
случая, а различные окраски цветов — возможными результатами
опыта. Или хирург производит одну и ту же операцию над рядом
пациентов и подсчитывает, сколько пациентов выздоравливает и
сколько умирает.
Простоты ради предположим, что в каждом опыте имеется
лишь две возможности А и А, например, либо пациент умирает,
либо не умирает. Смерть первого пациента является событием
Ли смерть второго — событием А.г и г. д. до Ап. Предполагается,
что
1. Все опыты Е = А1 - Аъ Е = А3 + А2,. . ., Е = Ап -\- Ап
независимы.
2. Все вероятности PiAJ, Р(А2), . . ., Р(Ап) имеют одно и то же
значение р.
Может показаться, что в приложениях к конкретным практи-
практическим задачам условие 2 выполняется редко. Пациенты данного
хирурга имеют неодинаковую конституцию: у одних сердце
лучше, у других хуже; большое значение имеют возраст и пол
и т. д. Однако все это не мешает применимости теории, поскольку
выбе.р пациентов не систематический, а случайный. Если наш
хирург принимает пациентов независимо друг от друга и в том
порядке, в каком они к нему поступают, то условие 2 можно счи-
считать выполненным. При этом не исключается, конечно, определен-
з*
36 Гл. 11. Вероятности и частоты
ный отбор для выявления тех пациентов, которым операция не
нужна или для которых она слишком опасна. Недопустим лишь
такой порядок операций, когда, например, сначала оперируют
только мужчин, а затем — только женщин: мужчины и женщины
должны следовать друг за другом в случайном порядке. Если
Р(Ж) — вероятность того, что на операционном с голе находится
женщина, и Р(С\Ж) — вероятность смерти женщины, а Р(М)
и р(С\М) —соответствующие вероятности для мужчин, то по
формуле полной вероятности (§ 1) вероятность смерти случайно
выбранного пациента равна
Р(С) = Р(Ж) Р(С\Ж) \-Р{М)р{С\М). A)
Таким образом, вероятность р(С) остается постоянной, и поэто-
поэтому условие 2 выполняется даже в том случае, когда условные
вероятности смерти мужчин и женщин различны. Это заключение
остается также справедливым, если пациентов классифицируют
вместо пола по какому-нибудь другому признаку, и вероятности
смерти для различных классов различны.
При фармакологических опытах, в которых подопытных жи-
животных подвергают действию определенного яда или какого-
либо другого вещества, стремятся к тому, чтобы все животные
находились в наиболее сходных условиях. Поэтому дозы вещества
выбирают не равными, а пропорциональными весу животных.
Однако для применимости общей теории это не является необ-
необходимым, так как если животные выбираются случайно и неза-
независимо (без учета их веса), то можно спокойно подвергать их
воздействию одинаковых доз и, несмотря на это, считать, что ве-
вероятность реагирования одинакова для всех животных. Обосно-
Обосновать это можно точно так же, как в разобранном выше случае
пациентов мужского и женского пола. Кроме того, следует отме-
отметить, что индивидуальное различие подопытных животных по
их чувствительности к яду столь значительнее различия в весе,
что последним без колебаний можно пренебречь.
В теории вероятностей обычно полагают
Р(А)=р и P(l)= q (p+ q=\).
Вероятность того, что в последовательнее:и из п опытов к раз
произойдет событие А и оставшиеся I ра.ч — событие А, согласно
Бернулли.равна
(l) ^ A=--п-к). B)
Доказательство. Вероятность того, что в к определен-
определенных случаях наступит событие Л, а в остальных случаях --- собы-
§ о. Биномиальное распределение 37
тие А, равна pkql. Количество различных комбинаций по к слу-
!п\
чаев из общего числа п равно , . Следовательно, вероятность
того, что в каких-либо к случаях наступит событие А, а в осталь-
_ i
пых — событие А, равна .
В. СРЕДИНЕ ЗНАЧЕНИЕ И КВАДРАТИЧНОЕ ОТКЛОНЕНИЕ
ЧИСЛА НАСТУПЛЕНИЙ СОБЫТИЯ
Если для каждого г определить случайную величину ас,-, прини-
принимающую значения -И или 0, смотря по тому, осуществляется ли
при г-м опыте событие А{ или нет, то сумма
X =«! -г Х2 + . . . + Хп
будет случайной пелнчиной, принимающей значение к, если
событие А наступит к раз. Величины xt независимы, так как
опыты Е =¦ А( -р А{ предполагаются независимыми. Среднее зна-
значение величины xt равно
g ж,- =-- р ¦ 1 + q ¦ 0 = р.
Аналогично, средним значением величины ас? является
,f, х\ = р • 1 + q • 0 = р.
Следовательно, дисперсия величины xt равна
сг,2 = ? х2, - (? ж,-)- = р — р2 = р A - р) = pq.
Среднее значение и дисперсия величины х = хг + . . . + хп равны
g х = пр, C)
о-2 = erf + . . . + о-2 = npq.
Поэтому квадратичное отклонение величины х имеет вид
а- = ]fnpq~. D)
В. ЗАКОН БОЛЬШИХ ЧИСЕЛ
Согласно неравенству Чебышева, вероятность того, что слу-
случайная величина х — пр примет значения, по абсолютной вели-
величине намного превышающие <х, чрезвычайно мала. События,
имеющие очень маленькую вероятность, следует рассматривать как
почти невозможные; при однократной реализации условий, для
которых эти события теоретически возможны, нельзя рассчиты-
рассчитывать на их осуществление. На этом принципе основано вообще
38 Гл. II. Вероятности и частоты
каждое, практическое применение теории вероятностей. Поэтому
те значения к — пр, с которыми практически приходится счи-
считаться, являются величинами порядка не выше ^npq. Множи-
Множитель д можно отбросить и говорить: к — пр практически является
величиной порядка ^пр. Преимущество последней формулировки
особенно обнаруживается тогда, когда речь идет о редком событии
и, следовательно, р близка к 0, a g — к 1.
Частота положительных исходов или частота наступления
события А определяется отношением числа к к числу та:
А = - . E)
Если теперь мы построим случайную величину
Лх
= — ,
п
значения которой равны h = к/п, то, согласно C) и D), математи-
математическое ожидание и квадратичное отклонение h будут даваться
формулами
Qh = p, (гь =
Постоянное подчеркивание различия между случайной вели-
величиной h и теми значениями h, которые эта величина может прини-
принимать, делает язык изложения излишне утомительным и поэтому
в дальнейшем от него следует отказаться. Мы будем просто гово-
говорить о частоте h, молчаливо подразумевая при этом, что эта ча-
частота зависит от случая и, следовательно, обладает средним зна-
значением и квадратичным отклонением. Точно так же станем мы
поступать и во всех подобных случаях. Буквы жирного шрифта
будут встречаться в тексте все реже и реже и лишь там, где воз-
возникнет принципиальная необходимость вспомнить общие основы
из гл. I.
Среднее значение h равно р. Следовательно, значения |Л—р\,
с которыми приходится встречаться при практических расчетах,
являются величинами порядка не ниже, чем
Так как 0 < pg =s1/i, то можно также сказать: практически
| Л — р\ является величиной порядка не ниже, чем п~'1\
Смысл этого утверждения заключается в следующем: те
значения \h — р\, которые велики сравнительно с «-'/¦, имеют
все вместе лишь исчезающе малую вероятность.
Если количество опытов п возрастает, то п-'Ь стремится к
нулю. Таким образом, частота все более и более приближается к
§ 6. Отклонение частоты h от вероятности р 39
значению вероятности р. На этом законе больших чисел основана
принципиальная возможность статистического истолкования тео-
теории вероятностей.
§ 6. Как велико может быть отклонение частоты h
от вероятности р?
А. ПРИБЛИЖЕНИЕ БИНОМИАЛЬНОГО РАСПРЕДЕЛЕНИЯ
НОРМАЛЬНЫМ РАСПРЕДЕЛЕНИЕМ
Муавр и Лаплас исследовали биномиальное распределение
при больших значениях п и аппроксимировали его некоторым
значительно более удобным непрерывным распределением. Эти
результаты хорошо известны, и поэтому мы ограничимся здесь
лишь их кратким изложением1. Сначала введем приближенное
выражение вероятности Wk для больших пр и nq, а именно
+L(p-q).'i-l-(p-q)^, A)
где 2= к — пр. При выводе этой формулы предполагается, что
z являются величинами порядка <r = Ynpq. Однако формулу A)
можно применять, не задумываясь, и тогда, когда z велики по
сравнению с а-, так как в этом случае правая и левая части A)
исчезающе малы2. Рис. 3 показывает, насколько хорошим является
приближение A) даже при не очень больших п. Здесь для п = 8,
р = q = 1/2 точные значения Wk изображены высотами прямо-
прямоугольников, а приближенные значения — ординатами непрерыв-
непрерывной кривой. Так как в этом случае р—q = О, то непрерывная
кривая является гауссовой кривой ошибок; если р—q-?0,
то влияние дополнительного множителя в A) сделает соответству-
соответствующую кривую асимметричной. В пределе при п —» оо эта асим-
асимметрия исчезает.
Из приближенной формулы A) следует, что функция распре-
распределения случайной величины х может быть достаточно хорошо
1 Вывол этих результатов, основанный на формуле Стпрлинга
и! =-• пп е~л
| @<tfn<l),
\ \2п)
можно найти в учебниках по теории вероятностей, из которых особою
предпочтения заслуживает учебник: Марков Л. А., Исчисление ве-
вероятностей, 4-е изд., ГИЗ, 1924.
2 Можно показать, что A) остается справедливой, если z2/o- —» 0 при
it —> ос. Нсли это условие не соблюдается, формулу A) можно видоиз-
видоизменить так, чтобы и относительная погрешность приближения по-преж-
по-прежнему была бы мала при больших п (см, Ф е л л е р, Введение в теорию
вероятностей и ее приложения, ИЛ, М., 1952, гл. VII, стр. 147). — Прим.
ред.
40
Гл. 11. Вероятности и частоты
аппроксимирована интегралом от гауссовой функции ошибок.
Так как х может принимать лишь конечное число значений к =
--0, \,...,п, то в действительности функция распределения х
является ступенчатой функцией1 (рис. 4).
7
7
\
\
О 4 g
Р и с. 3. Вероятности WK при п -- 8, р = 1/г.
О
8
Рис. 4. График функции распределения
случайной величины х при п = 8, р = х/г-
Суммированием можно подсчитать общую вероятность тех
значений к, для которых абсолютная величина разности к—пр
не превышает произведения до- = д Y?ipq:
| к — пр\ =s g
или, что то же самое,
B)
C)
1 Имеются непрерывные кривые, которые даже при не очень больших
п приближают биномиальное распределение еще лучше, чем гауссова
кривая ошибок. См. Wise AI. E., Proo. Kon. Ned. Akad. Amsterdam (section
of sciences), A 57, 513.
<? 6. Отклонение частоты h от вероятности р 41
Таким образом, устанавливается, что эта вероятность прибли-
приближенно равна интегралу
о
2Ф(д)—\ = -ДИ e~*''rf*. D)
\ 2л J
О
С ростом д функция Ф(д) столь быстро стремится к единице, что
при д = 2,58 вероятность 2Ф (д) — 1 = 0,99, а при д — 3 равна
даже 0,9973. Это свойство словами выражается так: значения
к — пр, превьаиающие по абсолютной величине утроенное квадра-
квадратичное отклонение, столь маловероятны, что при расчетах их
едва ли следует принимать во внимание.
Этот результат справедлив1 не только для очень больших,
но, как показывают численные подсчеты, и для не очень больших
значений п. Вообще в математической статистике часто оказы-
оказывается, что 4 уже является большим числом. Если пр и nq (или
к и I) оба больше четырех, можно уверенно пользоваться сформу-
сформулированным выше правилом Зсг.
Б. ОЦЕНКА КВАДРАТИЧНОГО ОТКЛОНЕНИЯ
Трудность применения правила Зсг заключается в том, что,
хотя практически к, I и п (и, следовательно, частота К) бывают
известны, однако р и q (а следовательно, и квадратичное откло-
отклонение о-) обычно остаются неизвестными. Для выхода из этого
затруднения имеются различные пути.
Наиболее надежный из них заключается в замене pq наи-
наибольшим возможным значением этого произведения г/^ При этом
cr = Ynpq заменяется величиной У я/2. Этот прием особенно
хорош тогда, когда наблюденная частота h близка к Уг-
Второй возможный путь заключается в замене р и q величи-
величинами Л и 1 — h. При этом cr = ^fnpq заменяется величиной
. E)
Для больших п это вполне допустимо, так как по закону боль-
больших чисел р близко к h; здесь нужна лишь осторожность, когда
к или I малы (скажем, меньше 4). Л именно, если h близко к нулю,
то результаты употребления р (I —р) или h A — h) могут ока-
оказаться существенно различными. Иначе говоря, при малых к
или I существует опасность, что определенное таким образом s
1 Более точные приближения к биномиалыкму распределению были
получены С. Н. Бернштейном [Изв. АН СССР, серия мятом., Т A943), 3—16]
л Феллероы [Annales of Math. Statistic, 16 A945), 319—329].— Прим. ред.
42 Гл. II. Вероятности и частоты
окажется значительно меньше ог, поэтому, заменяя о- на s, мы
получим заниженную оценку для квадратичного отклонения.
Особенно резко это заметно в крайнем случае при к = 0. Пред-
Предположим, что некоторый хирург оперировал 90 пациентов и при
этом не наблюдалось ни одного смертельного исхода. Статистика
наблюдений здесь столь обширна, что о действительной смерт-
смертности р можно высказать утверждение: величина р заведомо
мала. Однако нет оснований полагать, что р— h меньше утроен-
утроенной оценки s = J/(Ы)[п квадратичного отклонения а-, ведь в нашем
случае s = 0, а вряд ли кто-нибудь решится утверждать, что
смертность в точности равна нулю.
Один всегда возможный выход из этого затруднения будет
указан в следующих параграфах1. Здесь же мы ограничимся ука-
указанием небольшой поправки, которую при не слишком малых
к и I целесообразно применить при вычислении s2 для того, чтобы
компенсировать возможное уменьшение значения квадратичного
отклонения. Именно если сравнить s2 = (Ы)/п с о-2 = npq, то
окажется, что среднее значение s2 равно не о-2, а о-2 (и—1)/я.
Путь вычислений таков:
г , ~ к(п — к) _ & кп — g fc2
ь в- - о - --- - - —п—
Так как g к = пр и
б к2 = (g &J +о-2 = (пру- + npq,
то
рп- — (p2n2 + pan) о
— --^Г^-- ' - = пр — пр°- —pq =
= npq — pq= (n —\)pq =
Следовательно, оценкой, среднее значение которой точно рав-
равняется сг2, будет не s2, a
п— \ п — 1 v '
Для того чтобы теперь получить исправленную оценку диспер-
дисперсии частоты h, нужно s'2 разделить на п2, так как h — к/п и v2 =
= о-2/п2. Таким образом, оценка о-2 имеет вид
2 _ _ kl Ml — h) ,~
''' пг(п \) п 1 • ( '
1 Другой прием связан с отысканием такой функции от h, дисперсия
которой почти не зависит от р. Подробнее об этом см. R а о С. К.,
Advanced Statistical Methods in Biometric Research, Wilev, KewYork, 1952, p.
'>07—vid -
:>07
# 6. Отклонение частоты h от вероятности р 43
Среднее значение s^ равно
<т2 'ЮТ
?¦> 2 2 * "* / Q \
Если воспользоваться оценками Л для ?> и ej| для сг^, то можно
всегда быть уверенным, что в среднем будут получаться правиль-
правильные результаты: эти оценки не имеют смещений, т. е. лишены си-
систематических ошибок.
Пример 6. С 1871 по 1900 г. в Швейцарии родились 1 359 671 мальчик
и 1 285 086 девочек (см. Polya, Handbuch dcrbiol. Arbeitsmethoden, S. 742).
Что можно сказать о величине вероятности рождения мальчика?
Частота рождения мальчика равна
k I 359 67I
h = - = = 0,5141.
п 2 644 757
Число наблюдений очень велико, поэтому при расчетах можно, без
сомнения, воспользоваться нормальным распределением. Квадратичное
отклонение h равно
D О
— ы I/ —--= 0,0003.
п |/ An
Если условиться, что возможные отклонения р от h не превышают
Зсг, то мы должны будем сделать заключение, что, по-видимому, вероятность
р лежит в пределах 0,5132 и 0,5150.
В. ОДНОСТОРОННИЕ И ДВУСТОРОННИЕ ГРАНИЦЫ ДЛЯ h
Неравенство C) указывает двусторонние границы для частоты
Л. Вероятность того, что h будет удовлетворять этому неравен-
неравенству, приближенно равна 2Ф(д) — 1.
Если теперь мы положим Ф(д) = 1 —/3, то вероятность того,
что неравенство C) выполняется, будет равна
2Ф(д) —1 = 1—2/?.
Следовательно, вероятность неравенства, противоположного C),
равна 2/3. Число 2/3 можно сделать сколь угодно малым, если
только выбрать д достаточно большим. Как уже упоминалось,
для д = 2,58 будет 2ув = 0,01.
Если неравенство C) не выполняется, то это означает, что
либо Л меньше нижней границы, либо h больше верхней границы,
определяемых неравенством C):
— или
В обоих случаях вероятности почти одинаковы и, следова-
следовательно, приближенно равны /3. Для того чтобы прийти к этом>
приближению, нужно в A) пренебречь дополнительными членам!
44 Гл. II. Вероятности и частоты
с z и z3; следовательно, это приближение уже не такое хорошее,,
как D). Однако если удовлетвориться этим грубым приближе-
приближением, то можно сказать: с вероятностью ~ 1 —/3 имеет меспь
неравенство
и точно так же с вероятностью ~ 1 — /3 имеет место другое
неравенство
hs*p —
Правые части этих неравенств указывают односторонние
границы для Л.
В табл. 3, в конце книги, указаны значения д, соответствую-
соответствующие различным доверительным уровням. В этой таблице довери-
доверительным уровнем односторонней границы называется величина
/3, а доверительным уровнем двусторонней границы -- величина
2C. Величины C и д связаны соотношением
_ ] а (Од
§ 7. Доверительные границы для неизвестной
вероятности
А. ПОСТАНОВКА ЗАДАЧИ
Пусть в условиях, описанных в предыдущем параграфе, наблю-
наблюдается некоторая частота h = k/n. Какие границы можно указать
для неизвестной вероятности р?
Если требовать абсолютную надежность, то об этих границах
нельзя сказать ничего более содержательного, чем то, что ими
являются числа 0 и 1. Указание всяких других границ сопряжено
всегда с риском совершить ошибку, вероятность которой назы-
называют доверительным уровнем. Допустимую вероятность ошибки,
т. е. доверительный уровень двусторонних границ для р, мы будем
снова обозначать 2/3.
Выбор доверительного уровняв значительной степени зависит
от той цели, которую мы перед собой ставим. Например, тарифы
компании по страхованию жизни должны быть рассчитаны таким
образом, чтобы банкротство вследствие случайного повышения
смертности было чрезвычайно маловероятным: здесь может ока-
оказаться неприемлемым даже уровень 0,01, так как он означает,
что из ста таких страховых компаний в среднем одна обанкро-
обанкротится. С другой стороны, при статистических исследованиях в
биологии и медицине имеется так много дополнительных источ-
источников ошибок (например, недостоверность теоретических пред-
§ 7. Доверительные границы для неизвестной вероятности
45
положений, упрощающие допущения и т. д.), что дополнительная
ошибка от применения статистики, соответствующая уровню
0,01, представляется сравнительно безобидной. Очень часто удов-
удовлетворяются даже величиной 2,8 = 0,05.
Очень хорошие графические таблицы Коллера1 рассчитаны
для уровня 2/3=0,0027, соответствующего утроенному квадра-
квадратичному отклонению нормального распределения. Англичане в
большинстве случаев пользуются уровнями 2/3 = 0,05 или 0,01.
В качестве доверительного уровня в дальнейшем мы, как правило,
будем выбирать 0,01. Однако теоретические выводы останутся
справедливыми для любого /3.
К. ПРИБЛИЖЕННОЕ РЕШЕНИЕ ЗАДАЧИ ПРИ БОЛЬШИХ П
Согласно формуле C) § 6, при больших п с вероятностью
W = 1 — 2/3 выполняется неравенство
К A)
Вместо A) можно также написать
о2
(h—-pJ=& — p(\ —р). B)
Величину д, соответствующую
заданному значению /9, можно
найти в табл. 3, в конце книги,
где в последнем столбце указаны
величины <72. Например, если
выбрать 2р = 0,01, то найдем, что
д = 2,58 и д"- - -. 6,63. Если же вы-
выбрать 2/3 = 0,05, то будет д = 1,96
и д- = 3,84.
Если эмпирическую частоту h и вероятность р принять в ка-
качестве координат точки Q в плоскости hOp, то геометрическим
местом точек, координаты которых удовлетворяют неравенству
B), будет замкнутая область с границей в виде эллипса, целиком
расположенная между прямыми с уравнениями h = 0 и h = 1.
Эллипс проходит через точки с координатами @,0) и A,1) и ка-
касается горизонтальных сторон единичного квадрата. Величины
осей эллипса зависят от д и п: чем больше число опытов п, тем
уже эллипс. Положение точки Q зависит от случая, так как коор-
координата h является случайной величиной. Вероятность попадания
точки Q внутрь или иа границу эллиптической области при любом
Рис. 5. Доверительный эллипс.
1 К о 11 е г S., Graphische Tafeln zur Beurteilung statistischor Zahlcn,
2. Aufl., Dresden, 1943.
40 Гл. II. Вероятности и частоты
значении р приближенно равна 1 — 2/3. Иными словами (при 2/3 =
= 0,01), утверждая, что точка Q не находится вне эллипса, мы в
среднем ошибемся лишь в одном случае из ста.
На практике обычно р неизвестно, a h известно. Прямая с
уравнением Л = const пересекает эллипс в двух точках, ординаты
которых можно найти, решая квадратнее уравнение
(Л — р)- = д-р(\—р). C)
Отрезок, соединяющий эти течки, расположен внутри эллипса.
Следовательно, если высказывается утверждение, что неизвестная
вероятность р заключена между двумя корнями рх и р2 квадрат-
квадратного уравнения C), то вероятность сшибки равна 2/3, так как это
утверждение эквивалентно утверждению: Q не находится вне
эллипса.
Это не означает, что в каждом отдельном случае при заданных
h и п можно утверждать с вероятностью 0,99, что р лежит между
рх и рг. В любом из этих случаев р имеет определеннее, хотя и
неизвестное значение, и высказывание: Pi^P^Pt — либо спра-
справедливо, либо ложно. Если оно справедливо, то ему с;:отнетствует
вероятность 1, а если ложно, то — 0. Однако если имеется несколь-
несколько последовательностей наблюдений, то, вычислив для каждой
последовательности значения pv и р2, статистик может утверждать,
что в любом случае Pi^P'spo. При этом он ошибется лишь в
одном случае из ста. Следует подчеркнуть, что нельзя производить
отбор опытов с целью получения какой-то определенной частоты:
частоты h должны быть такими, какими они получаются по воле
случая.
Решая квадратное уравнение C), получим значения довери-
доверительных границ, между которыми предположительно заключено
истинное значение р:
1 1/ ~ " "" 1
hn -i- ^д*-—д h h(\ — h) n + - (f
п + д2
1 лГ Г
я" + д V 'гA — Л) п -(-
2 У 4
D)
Вычисления по этим формулам довольно утомительны. Более
практичен следующий графический прием.
Если в C) положить
- Р -- г7- .г. (Г.)
$ 7. Доверительные границы для неизвестной вероятности
47
то уравнение эллипса C) перейдет в уравнение окружности
я*=р(\—р). F)
Если h известно, то в плоскости хОр уравнение E) задает пря-
прямую, пересекающую окружность F). Эта прямая проходит через
точку с координатами (О, К) и имеет угловой коэффициент — g/Y~n-
Окружность F) (диаметром около 10 см) можно заранее начертить
на миллиметровой бумаге. Затем на сси Ор (рис. 6) следует отло-
0
у J
ri
Y,
в
0
с
_-^
Р и с. б. Графическое построение
доверительных границ.
Р и с. 7. Вспомогательный чер-
чертеж.
жить точку U с координатами @, К): через эту точку должна
проходить прямая E). Направление этой прямой можно опреде-
определить с помощью вспомогательного чертежа (рис. 7) в плоскости
X0Y: на осях координат откладывают отрезки длины fn и g
или, если желают иметь большую точность, отрезки О А = 2 ][п
\\ OB = 2g. Направление ЛВ совпадает с направлением искомой
прямой. Величину /и можно найти или по таблице квадратных
корней или графически (если п не очень велико); для этого на оси
OY в отрицательном направлении откладывается отрезок ОС =
= 2 см, а в положительном направлении — отрезок ОМ =
-¦-¦ (п — 1) см. Из точки М, как из центра, проводят окружность,
проходящую через точку С. Эта окружность пересечет ось
ОХ в точке А. Диаметр окружности равен 2МС — 2 (п -- 1) см,
поэтому {OAf = ОС{2МС — ОС) = 4га. Если теперь через
точку Л провести прямую, параллельную АВ (см. рис. 6), то эта
прямая пересечет пашу первую окружность в двух течках, орди-
ординаты которых равны р1 и р2. Непосредственно отсчитывая эти
ординаты по миллиметровой бумаге, мы найдем искомые довери-
доверительные границы. Если воспользоваться лишь верхней (или лишь
48 Гл. IT. Вероятности и частоты
нижней) доверительной границей, то доверительный, уровень будет
ранен р.
Указанные здесь приближенные формулы становятся нена-
ненадежными, когда одно из математических ожиданий пр или nq
мало. Поэтому формулы D) или эквивалентное им геометрическое
построение я советую применять лишь тогда, когда оба результата
наблюдений
А1 = Jin и п — к =-¦ A — h)n
по величине не менее четырех единиц.
Пример 7. С 1948 по 1952 г. в хирургической клинике Цюрихского
университета было произведено 79 легочных операций с целью ликвида-
ликвидации расширения бронхов. Из 79 оперированных пациентов в течение после-
послеоперационной недели умерли трое1. Следовательно, наблюденная смерт-
смертность равна
h- 100 = 4 • 100 = 3,8%.
По формулам D) или посредством конструкции, указанной на рис. 6,
найдем следующие 5%-ные границы2 для истинной смертности (в %):
р1 = 1,3?,,, р* = 10,6%.
Так как наблюденное количество смертельных исходов меньше четы-
четырех, то, осторожности ради, следует несколько расширить интервал между
доверительными границами и сделать заключение: истинная смертность,
по-видимому, более 1 % и менее 11 %.
Из этого примера видно, сколь мала точность определения вероятности
по умеренному числу наблюдений.
В. ТОЧНОЙ PI-ПШНИН ЗАДАЧИ
Только что указанное приближенное решение задачи отыскания
доверительных границ было основано на замене точного биномиаль-
биномиального распределения B) из § 5 некоторым непрерывным распределением
A) из §6. Как показывает рис. 4, аппроксимирующая кривая иногда
расположена ниже, а иногда выше точной ступенчатой линии. Вслед-
Вследствие этого точное значение доверительного уровня для прибли-
приближенных доверительных границ в зависимости от истинного значения
вероятности3 р иногда оказывается несколько больше, а иногда не-
несколько меньше, чем 2/3.
1 W о g m a n n F., Die operative Behandlung der Bronchektasirn,
Diss. Zurich, 1955, Zusammonfassung. S. 39.
2 5%-ной границей называется такая доверительная граница, которой
соотпетствует доверительный уровень 0,05. — Прим. перев.
3 В заметке van с 1 г г Waerden В. L., Vcrtrauensfionzen fur un-
bekannte Wahrscheinlichkeiten, Sitzungsber. saehs. Akad. \Yiss.,~01 A939), 213,
имеется график доверительного уровня как функции р, для предельного
случая редких событий.
,•? 7. Доверительные границы для неизвестной вероятности 49
Однако, следуя Клопперу и Е. Пирсону1, можно указать
такие доверительные границы, для которых доверительный
уровень =s 2/3, причем вероятность выхода за каждую из обеих
доверительных границ не превышает /3. Рассмотрим точную
формулу биномиальных вероятностей
G)
Если р не слишком близка к 0 или к 1, то Wk с ростом к сначала
монотонно возрастает, в некоторой точке к, близкой к пр, она
принимает наибольшее значение и затем монотонно убывает (см.
рнс. 3). Сумма всех Wk равна единице:
п
Односторонняя доверительная граница с доверительным уров-
уровнем =« р определяется следующим образом. Пусть К — целое
число @ =s К < п). Образуем из (8) частичную сумму от 0 до К:
SK(p)=--2Wk(p). (9)
о
SK(p) равна вероятности того, что к примет какое-либо из значе-
значений от 0 до К.
Если 8К продифференцировать пори затем привести подобные
члены, то мы получим следующую отрицательную функцию:
К" Г
*-р8к(р) = - п «Г-1 -г 2^ [* [l] P"-1 q«-k-- (я - *) [l)pkqn'k-1\ -"-=
К\(п—К —1I
Попутно заметим, что из A0) следуеч интересное интеграль-
интегральное представление SK(p) в виде «неполной бета-функции»:
1
Однако теперь мы воспользуемся лишь тем обстоятельством,
что, в силу A0). SK является непрерывной убывающей функцией
1 С 1 о р р с г С. J. and Pearson E. S., Biometrika, 2Г> A934), 404.
4 Б. Л. вап дер Вардсн - 10G2
Гл. II. Вероятности и частоты.
от р, которая при р — О принимает значение 1, а при р = 1 — зна-
значение 0. Отсюда следует, что SK один и только один раз принимает
любое промежуточное значение. Следовательно, для каждого
К < п можно определить рк так, чтобы при р = рк функция SK(p)
принимала значение /3:
Sk(Pk) = Р-
Клоппер и Пирсон сформулировали следующее правило:
Если в некотором эксперименте получена частота k/n, торк следует
принять в качестве верхней доверительной границы, т. е. отбросить
все те значения р, которые больше, чем рк. В этом случае можно
утверждать, что вероятность ошибочно отбросить истинное
значение р меньше р.
Доказательство. Если истинное р отброшено, то это
значит, что р > рк. Так как 8к является убывающей функцией р,
то отсюда следует, что
8к(р) < Sk(pk) = /3.
Пусть К — наибольшее из тех значений индексов т, для ко-
которых Sr(p) < р, тогда к =s К, т. е. к совпадает с одним из значе-
значений 0, 1, . . . , К. Но вероятность того, что к примет одно из зна-
значений от 0 до К, в точности равна SK(p) и, следовательно, она
меньше /3, что и требовалось доказать.
Таким образом, для к< п верхняя доверительная граница
рк совпадает с решением уравнения
W0(p) + Wt(p) + ...+ Wk(p) = p.
Аналогично если к> 0, то соответствующая нижняя дове-
доверительная граница является решением уравнения
Wk{p) + Wk+1(p) + . . . 4 Wn(p) = p.
При к = 0 нижней доверительной границей является, ко-
конечно, нуль н точно так же при к = п верхней доверительной
границей является единица.
Точные доверительные границы, определенные по Клопперу
и Пирсону, значительно шире, чем приближенные границы рх
и р2, описанные выше в разделе Б этого параграфа1. Это связано
1 Если п —* оо, то можно показать, что отношение длин приближенного
и точного доверительных интервалов стремится к единице, следовательно,
эти интерпалы асимптотически эквивалентны. При этом разность между
приближенной и точной границами стремится к нулю. Для практического
построения точных доверительных границ с доверительными уровнями
р = 0,005 и р — 0,025 удобно пользоваться таблицами, имеющимися в
книге Дупина-Варковского И. В. и Смирнова Н. В., Теория вероят-
вероятностен и математическая статистика в технике (общая часть), ГИТТЛ,
М., 1955. — Прим. перев.
.<? S. Проблема случайного отбора. Выборочный метод 51
с -:tM, что истинный доверительный уровень приближенных дове-
доверительных границ с изменением к колеблется около 2уЗ, в то время
как уровень значимости точных границ не превышает 2/3 (как
правило, он бывает меньше 2f3).
Какими же границами следует пользоваться, точными или
приближенными? Мне представляется, что если условились счи-
считать допустимым риск ошибки, вероятность которого равна 2/3,
то, по-видимому, следует примириться и о колебаниями этой ве-
вероятности около 2/3. Если оценивается не одна, а несколько ве-
вероятностей, и при этом каждый раз пользуются приближенными
доверительными границами, то отклонения доверительных уровней
вверх н вниз будут компенсировать друг друга и поэтому в сред-
среднем доверительные границы будут ошибочными лишь в 2/3 ¦ 100
случаях из ста возможных. При очень малых значениях к (на-
(например, к< 4) для большей уверенности приближенную нижнюю
доверительную границу следует несколько понизить.
§ 8. Проблема случайного отбора.
Выборочный метод
Из урны, содержащей К белых и L черных шаров (К -\- L = N),
извлекается наугад п шаров (без возвращения). Какова веро-
вероятность того, что среди извлеченных шаров будет ровно к белых
и I черных (kJrl = n)?
Число возможных отборов п шаров из общего количества N
равно . Если шары хорошо перемешаны, то все эти отборы
одинаково вероятны; следовательно, каждый из них имеет ве-
вероятность l/ 1. Число возможных отборов, содержащих к бе-
, (K\!L\ т
лых и I черных шаров, равно , , . Таким ооразом, искомая ве-
роятность равна
K\(L\
к)\1) А'! L\ п\ (Лт —«)! ...
~гп~] ~~ it! (К — к)] ' l\ (L~—l)\ ' Ш " (
Если теперь, так же как в § 5, внести случайную величину ж.
значения которой совпадают с количеством извлеченных белых
шаров, то окажется, что ж равна сумме a*t -j- . . . -\- хп, где ж,- за-
зависит от цвета г-го извлеченного шара, а именно, если ?-й шар
белый, то ж,- =-- 1, если же этот шар черный, то ж,- = 0. Вероят-
Вероятность того, что ж примет значение к, выражается формулой A).
4*
52 Гл. II. Вероятности и частоты
Распределение вероятностей, соответствующее A), называют ги-
пергеометри ческим распределением.
Вычислим теперь среднее значение и дисперсию случайной
величины х. Согласно § 1 (пример 3), вероятность того, что ж,- = 1,
равна K/N. Аналогично вероятность того, что ж, жу- = 1, равна
либо у7у^1) (если izr/z Л< либо K/N (если г =¦ j).
Таким образом,
Отсюда следует, что
с-г — V р г — п1х-
2 2" *,- ату) =
А' , . МК(К—1)
ЛТ2(Л' —1)"
С(Л' _А-)(Л^— и) A' Luf.V- «)
Л'г(ЛГ—1)
Таким образом, значения &, с которыми практически прихо-
приходится иметь дело, лежат вблизи от среднего значения nK/N,
причем отклонение
Л
является величиной порядка
!1Г(Х — п)
С помощью ффмулы Стирлинга для и !, которую мы выведем
в § 12, люжгю найти асимптотическую формулу для вероятности
A) при б:)льитх K,L,n и N—п. Опуская длинные выкладки,
укажем лишь результат1:
1 Теорему о нормальном приближении для гипергеометрического,
распределения см. в книге С. Н. Берпштеина, Теория вероятностей, изд. 4.
ГТТИ, М., 1946. — Прим. персе.
tf 8. Проблема случайного отбора. Выборочный метод
53
Wl L _
Следовательно, как и в § 6, вероятность того, что к будет за-
заключено в пределах (nK/N) — да- и (nK/N) -f- <7"", приближенно
равна
= 20(^)^1.
E)
Величину д по-прежнему можно выбрать таким образом, чтобы
интеграл E) принимал заданное значение 1 — 2/3 (см. табл. 3).
Неравенство
к '
U * д ^
вероятность которого выражается формулой E), можно пере-
переписать так:
(kN ~ nKJ =s g2N2o-2
или, если воспользоваться для сг формулой C),
Следовательно, вероятность неравенства G) приближенно
равна 1—2/3. Это приближение является равномерным в сле-
следующем смысле: для всякого е> 0 существует такое М(е), что
коль скоро все математические ожидания четырех случайных ве-
величин 1с, I, К — к и L — I будут больше М, то вероятность не-
неравенства G) будет отличаться от 1 —2/3 менее чем на ?. Этим
обстоятельством мы воспользуемся в следующем разделе.
Пример S. Сущность выборочного метода, применяемого в статистике
народонаселения и в экономической статистике, заключается в том, что
статистическому обследованию подвергают лишь некоторую часть всего
населения. Эта часть в том или ином смысле должна представлять все насе-
население (как говорят, выборка должна быть репрезентативной, т. е. пред-
представительной), например население больших городов, малых городов и
деревень, север/шх и южных областей и т. д. должно встречаться в выборке
примерно в тех же соотношениях, которые характерны для всего населения
страны. Тогда частоты, вычисленные по выборке (например, смертность
по различным причинам), будут являться приближенными значениями
соответствующих частот для всего населения. Какие при этом следует ожи-
ожидать отклонения выборочных частот h от соответствующих частот Н для
нсего населения?
Если выборка из всего населения произведена случайно, то эта задача,
очевидно, идентична нашей задаче с урной. Частотами, о которых шла речь,
являются
N
(8)
64 Гл. II. Вероятности и частоты
Среднее значение h равно Н, квадратичное отклонение h дается фор-
формулой
[КЦХ - я) \[Н(\-Н) К'-п
Л' — 1Г \ ^ У\' (
Следует ожидать, что отклонения \h — Н\ в 99?о всех случаев ока-
окажутся меньше, чем 2,58-0-/,.
Обстоятельное изложение задач, связанных с выборочным
методом, можно найти в недавно появившейся книге1: Schmette-
rer L., Einfuhrung in die mathematische Btatisiik. Springer-V erlag,
Wien, 1956, Кар. 2Х.
§ 9. Сравнение двух вероятностей
А. ПОСТАНОВКА ЗАДАЧИ
Еще более важной задачей, чем задача оценки отдельной ве-
вероятности (особенно в медицине и биологии), является задача
сравнения двух вероятностей. Например, если хирург испытал
новый метод операции на ряде пациентов и при этом частота
смертельных исходов оказалась меньше, чем при прежнем ме-
методе операции, то свидетельствует ли это об уменьшении смерт-
смертности? Или, например, найдено новое лечебное средство против
некоторой болезни; раньше из 400 пациентов умирали 40, т. е.
10%, а после применения нового средства из 50 пациентов умер
лишь один, т. е. 2%. Свидетельствует ли это о действенности ле-
лекарства или же различие частот следует приписать влиянию
случая?
Пусть найденные частоты равны
Л1=^-, Л, =-*, A)
1 щ ' * ет2 ' v '
а соответствующие вероятности равны р1 и р2. Предположим,
что оказалось h1> h2; как велика должна быть разность h1 — h.,.
чтобы с достаточной уверенностью можно было утверждать, что
Pi > Рг?
Как мы уже видели в § 5, случайная величина Л2 имеет сред-
среднее значение й и квадратичное отклонение ^ = Ур^/щ. График
функции распределения hx близок к гауссовой кривой сшибок с
дополнительной асимметрией, влияние которой хорошо аппрок-
аппроксимируется дополнительными членами в формуле A), § 6. Анало-
1 См. также Д у н и и - Б а р к о в с к и \\ И. В. и С м и р и о в Н. В.,
Теория вероятностей и математическая статистика и технике (общая часть),
ГИТТЛ, М., 1955; Хальд А., Математическая статистика с техни-
техническими приложениями (перевод с англ.), ИЛ, М., 1956. — Прим. перев.
§ 9. Сравнение двух вероятностей 55
гичное обстоятельство справедливо и для Л2. Следовательно, раз-
разность hx—h2 имеет среднее значение pL—р., и дисперсию
о-* = а-1 -\- а\. B)
В § 4 ( пример 5) мы видели, что разность двух независимых
нормальных случайных величин снова подчиняется нормальному
распределению. Если же \ и Л3 распределены лишь приближенно
нормально, то \ — Л2 будет также иметь приближенно нормаль-
нормальное распределение. Это приближение будет еще лучше, чем со-
соответствующие приближения для распределений hx или h2, так
как • функция распределения разности ht—Л2 имеет меньшие
скачки и меньшую асимметрию, чем функции распределения /ij
ил и h2.
Таким образом, мы, без сомнений, можем принять, что hx — Л2
имеет нормальное распределение со средним значением р1—р2
и квадратичным отклонением сг. Но тогда следует, что значения
\(hl—h2) — (ру—р2)\, превышающие ^-кратное квадратичное
отклонение, будут очень редки, причем g связано известным со-
соотношением с заданным доверительным уровнем 2/3 (например,
<7 = 2,58 при 2/J = 0,01). Следовательно, если Лх — Л2 больше,
чем дсг, то можно считать, что разность р1 — р., положительна.
Но здесь опять возникает трудность, связанная с тем, что
точное значение о- неизвестно. Имеются два пути для преодоле-
преодоления этой трудности. Идя по первому менее предпочтительному
пути, в формуле B) неизвестные величины <г\ и а\ заменяют их
приближенными значениями
и образуют сумму
s1 = s\-\ 4, C)
среднее значение которой равно о--, однако в отдельных случаях
s'1 может заметно отклоняться от о-2. Вместо условия ht — h2 > дсг
теперь требуют, чтобы разность h1 — Л2 была больше, чем gs.
Если Tij и п2 велики, а частоты hx и h2 не слишком близки к нулю
или к единице, то при применении этого правила с д = 2,58 наши
выводы будут ошибочными в среднем лишь в одном случае из ста.
Б. КРИТЕРИЙ х'
Второй путь связан с более простыми вычислениями, кроме
того, он предпочтительнее и теоретически. Основной гипотезой,
которую, может быть, следует отвергнуть и которая поэтому
нуждается в проверке, является предположение, что различие
Л1ри Л2 чисто случайное и что в действительности pL = p.2. Посту-
56 Гл. II. Вероятности и частоты
пая так, как поступал Сократ, когда он хотел диалектически
опровергнуть утверждение своего собеседника, сначала допускают,
что гипотеза рх = рг верна, и затем делают вывод: если эта гипо-
гипотеза находится в противоречии с фактами, то ее следует отвергнуть.
В предположении, что рх = рг = р, имеем
_ 0-2 I д-2 _ Pg(Wi + Щ) _ PqN = рд
N
где N = пх + «2. Теперь снова заменим неизвестную вероятность
р соответствующей частотой. Для этой цели теперь имеется зна-
значительно больше материала, чем имелось раньше для отдельных
Pi и Рг> так как мы теперь можем объединить вместе результаты
всех N = пх + пг опытов, из которых кг + к2 = К дали поло-
положительный исход, а 1Х + 1г = L — отрицательный. Поэтому р и
q заменяют частотами
Н = § и 1-Я=4 W
и получают приближенное значение <г2 (в силу указанных в § 6
Б соображений знаменатель N заменяют на N—1):
Эта формула более надежна, чем выведенная ранее формула (ЗI.
Если окажется, что
IК — h\ > д«,
или, что то же самое,
или
QH — KYn^N — 1)
KL >
то гипотезу рх = р2 следует отвергнуть.
Положим
2 _ (^ — Н
х
и назовем только что сформулированный критерий критерием
1 Это верно, если верна основная гипотеза. В противном случае более
надежной может оказаться формула C), так как формула E) будет в этом
случае давать приближенные значения о-2 со значительной систематической
ошибкой. — Прим. перев.
§ 0. Сравнение двух вероятностей 57
X2 для сравнения двух вероятностей. Если Л2 и Л2 заменить их зна-
значениями, то вместо F) можно написать
2_ (Ми-ЛугОЧА— 1)
В. ОБОСНОВАНИЕ
Для обоснования этого критерия нужно доказать, что если
гипотеза Pi = р2-верна, то вероятность неравенства
X2 * 0* (8)
приближенно равна
При этом будет предполагаться, что ?гх и п2 являются большими
числами и рх = ?>2 = ?> не слишком близки к нулю или к единице,
так что математические ожидания рщ, рп2, qnx и qn2 также яв-
являются большими числами. Тогда с большой, вероятностью будут
велики klt k2, /x = щ — kt и 12 = п2 — к2. Случаи, когда одно из
этих четырех чисел мало, хотя и возможны, однако они не играют
сколько-нибудь заметной роли при вычислении вероятности не-
неравенства (8).
Пусть Р(К) — вероятность того, что kt + k2 примет опреде-
определенное целочисленное значение К, и пусть р(^'2 =s g-\K) — ус-
условная вероятность неравенства /2 =s g~ в предположении, что
kx -\- h = К. Тогда по формуле полной вероятности (§ 1, формула
G))
* У1) = 2 Р(К) Р(г *: 9-\Щ. (Ю)
Следовательно, если мы сможем доказать, что все условные
вероятности р(%2 =s g'z\K) приближенно равны 1—2E, то при-
применение критерия х2 будет оправдано. Действительно, если каж-
каждый отдельный множитель в правой части A0) заключен в пре-
пределах 1 — 2/3 — s и 1 — 2E -j- e, то левая часть A0) лежит в тех
же пределах.
Вероятность, соответствующая паре значений (к1г к2) с кЛ -)-
+ к2 = К, равна
68 Гл. II. Вероятности и частоты
Вероятность Р(К) совпадает с вероятностью того, что из Лг
независимых испытаний ровно К испытаний будут иметь поло-
положительный исход, следовательно,
Условная вероятность, соответствующая паре значений (к1г к2)
при условии, что &! + к2 = К, по определению условной веро-
вероятности (§ 1, формула E)) равна отношению
Если теперь для упрощения обозначений положим
п1 = п, 1с1 = к, 1Х = I,
то получим
Pile К к\К) - п\(Х — у)\Ю.1А ,]П
При делении множители р и q сократились, и найденный ре-
результат совпадает с формулой A) § 8. Это означает, что условная
вероятность Р(к, К—^isT) в точности равна вероятности по-
появления к белых и I черных шаров при п-кратном извлечении из
урны, содержащей К белых и L черных шаров.
Далее, если в G) положить к2 = К — к и пг = N — п, то по-
получим
, _ (kN-nKr-(N-i)
*¦ ~ KLn{N — n) - V1 i
Следовательно, неравенство X' ^ 91 в точности совпадает с
неравенством G) § 8. Но, согласно § 8, вероятность этого нера-
неравенства приближенно равна 1 — 2/3, что и требовалось доказать.
Идея этого доказательства принадлежит М. Гипперту. Фор-
Формула G) с Л'— 1 в числителе впервые была указана X. Шеллин-
Шеллингом; ранее вместо N— 1 всегда писали Лт.
Г. ПРИМЕНЕНИЕ ОДНОСТОРОННЕГО И ДВУСТОРОННЕГО КРИТЕРИЕВ X1
На практике критерий х2 применяют не только для проверки
гипотезы р1 = рг, но также и для выявления, какая из двух ве-
вероятностей больше: рх или р2? Невольно напрашивается следу-
следующее правило (мы скоро убедимся в его справедливости). Если
X2 > д- и при этом Ъ.-^ > Л2, то следует считать, что р1 > р.г. С дру-
другой стороны, если х2 > Я'1 и К < Л2. то следует считать, что pt < рг.
9. Сравнение двух вероятностей 59
Если в действительности рг = pir то, как мы видели, веро-
вероятность ошибочного заключения РхФТг близка к 2/3. А именно,
в силу обоснования критерия %2, вероятности неравенств Лх> Л2
и hj < Л2 приближенно равны, поэтому с вероятностью, при-
примерно равной Д, может быть сделан ошибочный вывод рх > 2}2
и почти с такой же вероятностью может возникнуть другой оши-
ошибочный вывод р1 < рг.
По если рг <р-2, то вероятность одновременного осуществле-
осуществления двух событий х2> 9~ и Ах > Л2 будет меньше /3. Следова-
Следовательно, в этом случае вероятность ошибочного заключения рг > р2
будет также меньше /3.
Аналогично если р1 > р2, то вероятность ошибочного вывода
Pi <Рг, полученного на основе критерия хг> будет меньше, чем Д.
Во всех трех случаях этого критерия вероятности ошибоч-
ошибочных выводов не превышают 2Д
Если применяется односторонний вариант критерия %2, то
это означает, что заключение р1 > р% (или соответственно рх < р2)
делается лишь в том случае, когда величина х1 достаточно ве-
велика и Лх > h2 (или, соответственно, h1 < Л2); во всех остальных
случаях от выводов воздерживаются. Практически очень часто,
например, бывает интересно выяснить, действительно ли новое
лекарство лучше старого? При этом не требуется ответа на во-
вопрос, не будет ли действие нового лекарства одинаковым или худ-
худшим, чем действие старого? Доверительный уровень односторон-
одностороннего критерия составляет лишь половину соответствующего
уровня значимости двустороннего критерия.
Д, НАДЕЖНОСТЬ ПРИ НЕБОЛЬШИХ N
Критерий х~ можно уверенно применять и при небольших
значениях N. На рис. 8, заимствованном из работы Гильдемац-
стера и автора этой книги, графически изображена зависимость
истинного уровня критерия от р для некоторых типичных слу-
случаев (приближенный уровень значимости выбран равным 2/3 -=
= 0,01). Сплошные линии соответствуют случаю, когда в чис-
числителе G) стоит N, а штриховые — случаю, когда N заменено
величиной N—1. Лишь в отдельных местах штриховые линии
превышают 1%-ную границу, причем величина этого превышения
мала и большинство кривых расположено ниже указанной
границы.
Пример 9. С 1946 по 1951 г. в медицинской клинике Цюрихского уни-
университета для лечения последствий тромбоза—образования сгустков
крови в кровеносных сосудах — 252 раза применялись антикоагулянты1.
Из 252 пациентов умерли 7, следовательно, смертность равнялась 2,8%.
1 Pugatsch I., Zur Antikoagulantienbehandlung dor Venenthromboson
in dor innoren Aledizin, Diss. Zurich, 1054.
Гл. II. Вероятности и частоты
С 1937 по 1942 г. антикоагулянты вообще не применялись. При подсчетах
нз всех случаев «консервативного» лечения тромбоза этих лет были исклю-
исключены тс, в которых лечен не янтикоагулянтамн противопоказано. Оказа-
Оказалось, что из 205 оставшихся пациентов, подвергнутых консервативному
лечению, умерли 37, т. е. 18,0%. Можно ли благотворность действия анти-
антикоагулянтов считать доказанной?
Вычисляя х% по формулам F) или G), получим
Хг = 30,2.
1 %-ная граница равна 6,6, 0,1%-ная граница равна 10,8. Величина •//¦
значительно превышает обе эти границы. Следовательно, о случайности
О 0.2 ОА 0.6 0.8 1.0 О
О 0.2 0.4 Off ОМ 10 О
Рис. 8. Зависимость уровня значимости критерия у} от р [из работы:
Gildemeister und van dor Waerdcn, Ber. sach. Akad. Wiss., 95 A943)].
снижения смертности при антнкоагулянтной терапии не может быть
и речи.
С методической точки зрения можно бы было возразить против того,
что оба ряда опытов относятся к различным периодам времени. Статистик-
фанатик, возможно, стал бы часть пациентов лечить консервативно и одно-
одновременно другую часть — по новой терапии. Однако медик, стремящийся
сделать все нозможное для спасения жизни пациентов, в случае грозящего
смертью тромбоза никогда так не поступит.
Если статистические данные о результатах лечения получены из
двух рядов экспериментов, проводившихся не одновременно, то всегда
следует ставить вопрос, не могут ли, помимо примененной терапии, с тече-
течением времени оказывать влияние и другие факторы (колебания эпидемиоло-
эпидемиологических условий, гигиенических условий, условий питания и т.д.)? В
случае тромбоза, конечно, следует заключить, что решающим фактором
оказалась новая терапия.
9. Сравнение двух вероятностей С1
Е. ТОЧНЫЙ КРИТЕРИЙ ФИШЕРА
Применяя тот же самый ход рассуждений, которым мы вос-
воспользовались в § 9 В для обоснования критерия х2 в предельном
случае больших математических ожиданий, можно, как показал
Р. Л. Фишер, построить точный критерий, для которого одно-
односторонний уровень значимости всегда не превосходит j8.
Конструкцию этого критерия можно уяснить на примере, за-
заимствованном из работы Точера (К. D. Tocher, Biometrika, vol.
37, 130). Пусть наблюдались следующие числа:
кх = 2 ^ = 5 (п1 = 7)
кг - 3 12 = 2 (пг = 5)
(К = 5) (L - 7) | (N = 12)
Из этих чисел образуем так называемую «таблицу 2 X 2» и
рядом запишем все те таблицы 2x2, для которых суммы по
строчкам и столбцам имеют те же самые значения, что и в пер-
первой таблице, а величины кг строго меньше соответствующей наб-
наблюденной величины:
Наблюденная
таблица
2
3
5
5
2
7
7
5
12
Дополнительные
таблицы
1 6
4 1
5 7
7 0 7\
5 5 Oj
12 5 7l
7
5
12
Затем вычислим и сложим условные вероятности, соответ-
соответствующие всем этим таблицам, предполагая, что lcx -j k2 = К.
k2 К) - fciWi! ti, у Л., ¦ (М
В данном случае получим
Р = 0,265 + 0,044 + 0,001 = 0,310.
Критерий гласит: Если сумма Р не превосходит /5, то гипотеза
Pi = Р-2 отвергается в пользу конкурирующей гипотезы pt < р2.
Например, если j8 = 0,05 и из опыта получены указанные
выше числа B, 5, 3, 2), то гипотеза рх = рг не отвергается. Однако
если бы осуществился один из двух случаев, соответствующих
дополнительным таблицам, то гипотезу следовало бы отвергнуть.
Условная вероятность осуществления «дополнительных» случаев
удовлетворяет неравенст ву
0,044 -;• 0,001 <0,05,
следовательно, условная вероятность того, что гипотеза pL = p2
будет ошибочно отвергнута, не превосходит 0,05.
02 Гл. II. Вероятности и частоты
Вообще, пусть А — событие, которое наступает тогда и только
тогда, когда на основе указанного выше критерия гипотеза р1 = р.,
отвергается в пользу конкурирующей гипотезы рх < р2. Обозна-
Обозначим р(А\К) условную вероятность этого события при заданных
значениях сумм по столбцам К = \ -\- к2 и L = Z2 -j- Z2 и в пред-
предположении, что гипотеза pt = p2 справедлива. Тогда, в силу
самой конструкции критерия, всегда имеет место неравенство
A4)
Безусловная вероятность события А равна
A5)
к
где суммирование распространяется на все возможные значения
К. Так как, согласно A4), Р(А\К) =? /3 &ля всех К, то сумма A5)
не превосходит уЗ:
р 2 р(К) =/з.
Следовательно, вероятность ошибки одностороннего критерия
Фишера всегда не превосходит р. В случае двустороннего критерия
эта вероятность не превосходит, конечно, 2р.
В действительности при малых или не очень больших щ и
п2 вероятность ошибки критерия Фишера оказывается, как
правило, существенно меньше 2р. Этот критерий излишне осто-
осторожен и требует значительно больше вычислений, чем критерий у*.
§ 10. Частота редких событий
Л. ФОРМУЛА ПУАССОНА
Если в задаче Бернулли п велико, а вероятность р очень мала,
так что пр является небольшим числом, то формулы B), C) и D)
из § 5 и связанные с ними следствия остаются, конечно, справед-
справедливыми, однако указанное там асимптотическое разложение уже не
будет иметь места. Для этого крайнего случая Пуассоном найдена
другая асимптотическая формула, а именно
W ~— р-ъ 111
k k\ * '
Здесь Wk — вероятность того, что в последовательности из п
независимых испытаний редкое событие А осуществится ровно
I- раз, Л = пр — математическое ожидание к. Выражение A) от п
зависит неявно. 3ia формула применима ки всем редким собы-
событиям, таким, как несчастные случаи, случаи разрушения атом-
атомного ядра и т. д.
«У 10. Частота редких событий 63
Доказательство приближенной формулы A) очень просто.
Согласно точной формуле,
Первый множитель не зависит от п, второй при п —» °о стре-
стремится к е~х, а остальные множители стремятся к 1. Следовательно,
предел Wк равен правой части A).
До сих пор п было конечным числом (хотя, может быть, и
очень большим), поэтому A) являлась лишь приближенной фор-
формулой. Рассмотрим теперь идеализированный эксперимент, в
котором число успехов может быть любым целым числом k =
— 0,1,2,... и для которого формула A) является не прибли-
приближенной, а точной. Иными словами, мы рассматриваем случайную
величину х, возможными значениями которой являются числа
к = 0, 1, 2, . . ., которым соответствуют вероятности
о—X Ю\
Ступенчатая функция распределения этой случайной величины
х называется функцией распределения Пуассона:
Как и следовало ожидать, F(t) при t -» оо стремится к еди-
н ице.
Среднее значение х равно
t пп . — ^ А" - (>—^ г I/1 О—Л Ji ij—Л ^ —- А р—Л/»Л / 1^1
(^ ^ «.¦ - — ^^ 7 f ^^ J Т ^^ 11 1 ЧТ \" /
Точно так же
— > ?— л I > о—К
= л-' 4. А.
Следовательно, дисперсия равна
о-2 = С(ж2) — (S жJ = Я2 -|- Л - Л2 = Л,
E4
Гл. Л. Вероятности и частоты
поэтому о- = fA. To же самое получим и из выведенной ранее
формулы
аг =
предельным переходом при пр —> Л и q —» 1.
Следовательно, значения случайной величины х, с которыми
приходится иметь дело при практических расчетах, заключены
между А — grfA и Л 4- дух, при этом практически достаточно
02
7
О / 2 S 4 5 6 7 8 9 7О
Р и с. 9. Точное и асимптотическое распределение Пуассона (Я = 4).
выбрать значение д, не превышающее 3 или 4. Возможны ли даль-
дальнейшие уточнения?
Для больших Л и соответственно больших Jc = л -L z суще-
существует асимптотическое разложение Wк:
D)
Это разложение получается из A) § 6 при 2=1- Рис- 9 показы-
показывает, что уже для А :- 4 соответствующее приближение оказы-
оказывается очень хорошим. Число 4 снова выступает в качестве боль-
большого числа. Оказывается, что даже при не очень больших А функ-
функцию распределения Пуассона B) можно очень хорошо приблизить
функцией нормального распределения с поправкой на асиммет-
асимметрию. Поэтому вероятность того, что х заключена в пределах
/. — д УА и А -,- дУ'А , приближенно равна
о
2Ф(д) - 1 = I/ M е 2 dt.
о
Основываясь па этом, как и в § 7, по наблюденному значению
§ 10. Частота редких событий 65
к можно построить доверительные границы для А, решая квадрат-
квадратное уравнение \к — А| = ± g|/А~ или
E)
Значение д*- снова следует взять из табл. 3. Обе доверительные
границы являются решением E):
+ \д*, К = * +|;д2 + д]/к + J-ф. (б)
Если используется лишь одна из эгих двух границ, то соответ-
соответствующий доверительный уровень уменьшится приблизительно
вдвое против прежнего.
О вычислении точных доверительных границ см. Garwood F.,
Biometrika, 28, A936) 437.
Пример 10. В течение 5 час. некоторым счетчиком космического излу-
излучения было зарегистрировано 80 космических частиц. Процесс регистрации,
конечно, подвержен влиянию случая: если бы рядом с действовавшим был
поставлен другой аналогичный счетчик, то вполне возможно, что он при
той же интенсивности космического излучения зарегистрировал бы, ска-
скажем, 70 или 90 частиц. Целью наблюдений является не регистрация слу-
случайного числа частиц к, а оценка среднего значения А числа частиц для
всех аналогичных счетчиков в данной области в течение определенного
отрезка времени. Среднее значение Я. является мерой интенсивности косми-
космического излучения. Каковы границы, в которых может быть заключено Я?
Так как совокупность космических частиц, попадающих в счетчик,
составляет лишь крохотную долю совокупности всех частиц, пролетающих
в данной части пространства, то можно применить формулу Пуассона для
редких событий. Согласно этой формуле, квадратичное отклонение вели-
величины к равно о- = УХ. Так как к близко к Я, то в = Yk=l[80 рз 9 пригодно
для оценки ст. Поэтому результат измерения в обычных обозначениях
записывается так:
число частиц за 5 час: 80 ± 9
или число частиц за 1 час: 16 ± 1,8.
По правилу утроенного квадратичного отклонения отсюда следует,
что среднее значение Я. числа частиц за 5 час. предположительно заключено
в границах
к — 3s = 80 — 27 =- 53 и к -\- 3s = 80 + 27 = 107.
По более правильной формуле F) с д = 3 находим несколько более высокие
значения границ
\ = 84,5 — ЗУ82 = 57 и Aj = 84,5 + 3 }'82 = 112.
Доверительный уровень, соответствующий величине д = 3, близок к 0,27%.
Б. СРАВНЕНИЕ ДВУХ ЧАСТОТ
При сравнении двух частот редких событий можно посту-
поступать подобно тому, как было указано в § 9. Пусть, например,
в течение отрезков времени tx и t2 произошло kt и кг успехов соот-
соответственно. Если средние количества успехов за единицу времени
б Б. Л. ван дер Вардш - 10С2
gg Гл. 11. Вероятности и частоты _
/??, = f1 И т??2 = 2 G)
'1 '2
различны, то возникает вопрос, можно ли это различие считать
чисто случайным?
Предположим, что это различие было чисто случайным, т. е.
что истинные средние значения количеств успехов за единицу
времени были равны друг другу. Если мы это среднее значение
обозначим буквой р., то величины
будут математическими ожиданиями количеств успехов х± и х2
за tx и t2 секунд соответственно. Квадратичные отклонения будут
равны ]/'ixtx и У jxt2. Распределения хг и х2 приближенно нор-
нормальны. Следовательно, разность
t ~~Т ' '
будет также иметь приближенно нормальное распределение с
нулевым средним значением и дисперсией
Если в результате эксперимента окажется, что абсолютная
величина разности (8) превышает ^-кратное квадратичное откло-
отклонение
;;i — v I > Я*
или
1'">9^r(tx + t2), A0)
то гипотезу о чистой случайности различия частот следует от-
отвергнуть.
Величина /л, однако, нам не известна. Как и в § 9, для преодо-
преодоления этого затруднения постараемся заменить /л возможно наи-
наилучшей оценкой, использующей весь материал наблюдений. Так
как за время t± + t2 произошло кх -f k2 успехов, то в качестве
оценки для ц, выберем величину
ш = | + ~2. A1)
Если в неравенстве A0) заменить р. этой оценкой, то получится
следующий практический критерий: наблюдаемое различие коли-
.¦? 10. Частота редких событий 67
честв успехов за единицу времени следует считать неслучайным,
коль скоро выполняется неравенство:
>.-&<*. + *>• <12>
Величина д2 определяется по табл. 3 в конце книги.
Если применяется односторонний критерий, т. е. если заклю-
заключение делается либо лишь в случае положительной разности,
либо лишь в случае отрицательной разности в скобках левой
части A2), то соответствующий уровень значимости составляет
лишь половину прежнего.
Этот критерий можно записать так же, как критерий %",
положив
Обоснование критерия %2 достигается ровно так же, как это
было сделано в § 9 В. Здесь мы можем отказаться от проведения
обоснования, так как позднее мы снова вернемся к этому критерию
и рассмотрим его с более общей точки зрения (§ 56Ж).
ГЛАВА Ш
МАТЕМАТИЧЕСКИЕ ВСПОМОГАТЕЛЬНЫЕ СРЕДСТВА
В первом чтении эту главу можно пропустить с тем, чтобы
позднее, по мере надобности, обращаться к ней.
§ 11. Кратные интегралы.
Переход к полярным координатам
Мы будем называть областью любое открытое множество
в пространстве действительных переменных х, у,. . . .
Как известно, двойной интеграл по плоской области G
I = \\Rx,y)dxdy
G
можно вычислять двумя последовательными однократными инте-
интегрированиями
= jdyjf(x,y)dx.
При этом внутреннее интегрирование по х производится по всем
тем интервалам, которые образуются пересечением прямой у =
= const с областью G. Что касается пределов интегрирования по
у. то ими служат нижняя и верхняя грани координаты #для точек
области G.
Точно так же (т + и)-кратный интеграл
1 = I ¦ • • J/(*!' • ' " Х™< У\> ¦ ¦ " Уп) dxi • ¦ ¦ dxm *!!¦>. ¦¦¦ dVn
G
можно вычислить двумя последовательными интегрированиями:
сначала по хг, . . ., хт, а затем по ух,. . ., уп:
I = | . . . \dy1. . . dyn |. . . J/(x1; ...,xm,yv...,yn)dx1.. .,dxm. A)
При этом область внутреннего интегрирования задается множе-
множеством тех значений переменных хг, . . ., хт, для которых соответ-
соответствующие точки с фиксированными уг, .. ., уп принадлежат
области G. Иными словами, область внутреннего интегрирова-
интегрирования оиреде1яется темп же неравенствами, что и область G, с
той только разницей, что переменными в этих неравенствах
§ 11. Кратные интегралы. Переход к полярным координатам
являются лишь величины х{. Областью интегрирования по
У\>--->Уп является множество систем значений Ух,...,уп, для
которых существуют точки с координатами хг,. . ., хт, ух,..., уп,
принадлежащие области G.
Замена переменных в кратном интеграле производится по
формуле:
[. . . J
xx. . . dxn,
B)
где О' — преобразованная область, а функциональный определи-
определитель, абсолютная величина которого входит множителем в пра-
правую часть B), имеет своими элементами частные производные
от щ по хк.
Особенно важен для нас переход к полярным координатам,
который в случае п переменных определяется формулами
х1 = т cos 9>i @ =s ^i ^ л)>
lf\ ч
^и ^ 9^2 ^)>
хг = т sin <px cos <p2
хп-г = г sin <p sin <р2. . . cos <pn-i @ =s <рп_1 <
хп = г sin y>i sin <р,. . . sin <рп_г @ =s r),
откуда следует, что
C)
х\
х
\ =
г2.
Однозначность этого преобразования в области
г sin 9?i sin 9?2 • • • sin срп^г ф О
легче всего доказывается полной индукцией по п, отправляясь
от случая плоскости (га = 2). А именно если предположить, что
для п — 1 переменных х2,. .., хп однозначность преобразования
^U ==S <p2 ^ 7t),
= Т\ cos
= r1 sin <p2 cos <р3
(О
2 it),
D)
хп-х = rx sin q>2 sin ф3... cos <рп-г @ =s фп_
хп = тх sin <p2 sin ср3. . . sin фп—i @ "= 'i)
уже доказана, то для доказательства однозначности преобразо-
преобразования C) нужно лишь D) соединить с двумерным преобразо-
преобразованием
Xj = Г COS ф1 @ =ё г),
г1 = г sin ср1 @ * ф1 * л> так как 0 «s rj).
70 Гл. III. Математические вспомогательные средства
Таким же разложением преобразований и полной индукцией
доказывается, что функциональный определитель преобразования
C) равен
ь—!*">.„ =r«-i о, E)
где 0 зависит лишь от угловых переменных:
в = sin"-2 <px sin"-3 <р2. . . sin2 фп_3 sin <р„_2.
При доказательстве равенства E) переход от п— 1 к п произво-
производится так:
I, ...,аг„) Э(.тьх2,.. .,хп)
3(r, (pi <pn-i) ~~~ д(х1г г1г <р2 <рп_х) д(г,
_ Э(а?„ ж3, ¦.. ж.,)
8(Г!, <р2, . . ., ?)„_!) 8(Г, <рг)
= r'l sin"-3 <p2. . . sin'2 <р„_3 sin <pn_2 • ?• =
pj)"-2 sin"-3952... sin2 <pn_3 sin cpn-2 -r = г"-1 в.
Таким образом, формула перехода к полярным координатам
имеет вид
J... \fdxl...dxn=\...\fr^ 0<bPl...d4>n-ldr. F)
Полагая в F), для краткости, в d^ . . . dcpn-1 = dQ, получим
J . . . J/ dXl. . . dxn = J . . . j/ i"-1 rfrtf?>. G)
Если область G простирается в бесконечность или вблизи
границы области G подинтегральная функция не ограничена, то
несобственный кратный интеграл по G определяется как предел
интегралов по последовательности ограниченных областей Gu
G2,. . ., в каждой из которых подинтегральная функция ограни-
ограничена (предполагается, что объединение Glt G2, . . . совпадает с G).
Если существование этого предела не зависит от последователь-
последовательности областей Glt G2,. . . и сам предел конечен, то соответст-
соответствующий несобственный интеграл называют сходящимся. У тех
интегралов, с которыми мы будем иметь дело в этой книге,
подинтегральные функции при стремлении хотя бы одного из аргу-
аргументов к бесконечности убывают столь быстро, что сходимость
становится очевидной. В случае неотрицательных функций (на-
(например, в случае плотности вероятности) всегда имеется конеч-
конечный или бесконечный предел, независимо от выбора последова-
последовательности областей Glt G2 Таким образом, здесь при исследо-
исследовании сходимости можно ограничиться простейшими последова-
последовательностями областей.
§ 12. Бета- и гамма-функции 71
Формула замены переменных B) остается справедливой и
для несобственных интегралов. Это же относится и к последова-
последовательному интегрированию A), если только интегралы от обеих
частей A) сходятся.
§ 12. Бета- и гамма-функции
А. ГАММА-ФУНКЦИЯ
Эйлерова гамма-функция Г (г +1) для z + 1 > 0 (или, в
случае комплексного аргумента г, для He (г + 1)> 0) задается
формулой
Г (г + 1) = | х* e~*dx. A)
6
Несобственный интеграл A) определяется как предел собственного
интеграла
t
\xze-xdx (la)
о
при t —» оо, поэтому интеграл Aа) называют неполной гамма-
функцией.
С помощью подстановок интегралу A) можно придать другой
вид: если положить х = at, то получим
J t* e-°> dt = a-(-'+D Г (я + 1), B)
о
1 ,.,
если же положить х = <-, то получим
о
или, обозначив 2z + 1 = п и заменив t на </о-,
о
В частности,
1 „ Л\
2 Л=рГ . D)
72 Гл. III. Математические вспомогательные средства
Б. ФУНКЦИОНАЛЬНОЕ УРАВНЕНИЕ ГАММА-ФУНКЦИИ
Интегрированием по частям убеждаемся, что неопределенный
интеграл Aа) удовлетворяет соотношению
х* е~х dx = — xz e~x -\- z х*-1 e~x dx,
откуда после подстановки пределов интегрирования 0 и оо и в
предположении, что z > О, находим:
ГB+1) = гГB). E)
Очевидно, что ГA) = 1. Далее, из функционального уравнения
E) получаем
ГB)= 1 -ГA) = 1,
ГC) = 2 • ГB) = 2!
и вообще для целочисленного п
Г(п + 1) = я! F)
Чтобы вычислить -ГС/г)- рассмотрим двойной интеграл по
всей плоскости:
^^{x4vt) G)
С одной стороны, интегрируя последовательно по х и у, сог-
согласно D), получим
(8)
С другой стороны, в G) можно ввести полярные координаты:
2'" rdrdq>= [d(p[e~*T%rdr = 2тгГA) = 2п. (9)
о о
Сравнивая (8) и (9), находим
и так как Г{1/2) > 0, то
§ 12. Бета- и гамма-функции 73
Отсюда, пользуясь функциональным уравнением E), можно
определить ГC/2), ГE/2) и т. д.; например,
^. (П)
В. ПЛОЩАДЬ ПОВЕРХНОСТИ МНОГОМЕРНОЙ СФЕРЫ
Если вместо G) рассмотреть га-кратный Интеграл по всему
пространству
^ + -*^dxl...dxn, A2)
то, с одной стороны, получим
]] = Bnf, A3)
а, с другой стороны, переходом к га-мерным полярным координатам
(§11) найдем
= {e~*r'rn~ldr f dfl = 2"^"гЫ [dO,
A4)
где интеграл dQ распространяется на всю область изменения
угловых переменных q^,. . ., <pn-v Сравнивая A3) и A4), полу-
получаем
2)
Например, если п = 3, то правая часть A5) равна известной
со времен Архимеда площади поверхности шара единичного ради-
радиуса:
J<
'=-r=n2 = 4л\
Точно так же и A5) с геометрической точки зрения можно
истолковать как площадь поверхности шара единичного радиуса
в тг-мерном пространстве.
74 Гл. III. Математические вспомогательные средства
Г. ФОРМУЛА СТИРЛИНГА
Выведем асимптотическую формулу для гамма-функции
Г(А -г 1) ^ | хх е~х dx
о
при больших А. Максимальное значение подинтегральной функции
f(x) = хх е~х
достигается в точке х = А. Для х, близких к А, логарифм подинтег-
подинтегральной функции можно разложить в ряд
In f(x) = A In A + A In ~ — х =
— Я. (ж — ЛJ
+
= Л In А _А _<*=?>! + ...,
f{x) =АЯ e~l e~*~xix~''r~"" . A6)
Если |х — А| меньше А, то главный член ряда будет больше
остальных членов, обозначенных от точием . . ., и поэтому ими
можно пренебречь. Если же г — А является величиной того же
порядка, что и А, а А велико сравнительно с единицей, то дополни-
дополнительными членами также можно пренебречь, так как в этом
случае как f(x), так и правая часть A6) исчезающе малы. Следова-
Следовательно, если отбросить дополнительные члены и проинтегрировать
правую и левую части A6) от 0 до оо, то получим
ДА + 1) ~АяГ|
о -и
Асимптотическое равенство ~ означает, что отношение обеих
сторон стремится к единице при А —» оо. Справедливость асимпто-
асимптотического равенства не нарушится, если нижний предел интегри-
интегрирования — ]/А заменить на —оо. Воспользовавшись D) и A0),
получим формулу Стирлинга:
Г(А + 1) ~А ' - е ]A2jt. A7)
Если возьмем более точное разложение для f(x), то найдем
для гамма-функции более точное приближение1:
1 Точный вывод равенств A8) и A9) с оценкой остаточного члена и
дальнейшее их уточнение можно найти о книге Крамера Г., Математи-
Математические методы статистики, ИЛ, М., 1948, § 12.5. — Прим. ред.
.$ 12. Бета- и гамма-функции 75
ДА + 1) = 'а е '' ][bz A -1- 4,- —
A8)
где остаточный член —Е отрицателен и является величиной
порядка Я". Последний множитель в A8) можно записать как
1 -г я/12, где 0 < # < 1.
В частности, для целочисленных А = п из A7) следует асимпто-
асимптотическое равенство
п\ ~пп е-п/2тгй. A9)
Д. БЕТА-ФУНКЦИЯ
Эйлерова бета-функция задается формулой
1
В(р + I, q + 1) = [ Хр(\ — x)i dx. B0)
о
Если оба параметра р и q по величине больше, чем —1, то этот
интеграл сходится. Подстановкой и = ах получаем
— и)" du — аР+ч+i В(р +1,2+1). B1)
Подстановкой х = sin2 <p получаем
В(р+ 1,з+ 1) = 2 J sin2p+i у cos2<?+i у dp. B2)
о
Для того чтобы вычислить интеграл B0), рассмотрим двойной
интеграл
оо ©о
т Р (" — -i (*' + У) 2? + 1 2р + 1
7 = е 2 х у dxdy.
о о
С одной стороны, интегрируя последовательно по х и по у, согласно
C), получаем
оо оо
Г - - I1 2? + 1 Г - - [/' 2р + 1
/ = е 2 .г dj; • е 2 # ^2/ = B3)
о о
1JРГ(р+ 1) =2Р+«Г(р+ \) T(q + 1).
76 Гл. III. Математические вспомогательные средства
С другой стороны, переходя к полярным координатам, на-
находим
2
e - г'
о
, Г 2? + 1 . 2р + 1
аг I cos <p sin ср сир =
= 2Р+яГ(р +q + 2)B(p+\,q+l). B4)
Сравнение B3) и B4) показывает, что
Г (р + I) Г (q + \) = Г (р + q + 2) В (р + \, q + I),
таким образом,
Следующий интеграл можно свести к бета-функции:
К = [(z2 + a)-lz4z (*>—1, 2Z — *>1, о>0). B6)
о
А именно если положить о (z2 + о) = у и, следовательно^
z2 = а^-1 A —у), то этот интеграл преобразуется так:
о
или, согласно B5),
В частности, для А = 0 имеем
>
(г2 + a)-' dz = ' * 9р^ а» "' . B8)
о
§ 13. Ортогональные преобразования
77
§ 13. Ортогональные преобразования
Как известно, преобразование переменных:
Ух = «и «1 + а12 х2 + . . . + Ощ *п>
уг = а21 х1 + а22х2 + . . . + аы хп,
Уп = ат »i + ап2 х-г + ¦ ¦ ¦ +-апп хп,
A)
называется ортогональным, если оно сохраняет инвариантной
форму х\ + . . . + х\:
Если A) подставить в B) и приравнять коэффициенты при
х~ и xi X] {гфу) с обеих сторон, то получатся условия ортого-
ортогональности
...+<• =1,
a2i a2J
ап! anJ = 0.
C)
В силу этих условий произведение матрицы
(ап ап . . . а1п
А г=
\ап1 оп2 ...апп.
преобразования A) на транспонированную матрицу А* является
единичной матрицей:
/ 1 0.. .0'
0 1 .. .0
А А* =
V. о о... 1
Отсюда следует, что определитель ортогонального преобразова-
преобразования равен ± 1. Этот определитель одновременно является функ-
функциональным определителем
9(t/i Уп) | . /л\
Щхи....^ — ^ ¦ ( >
Если уравнения A) умножить соответственно на аи, a2i, . . ., ani
и затем сложить, то, в силу условий ортогональности C), все х,
кроме xt, взаимно уничтожаются, и мы получим
Щ = аи Vi + аи Уъ + • • ¦ + аы уп. E)
78 Гл. III. Математические вспомогательные средства
Таким образом, матрица обратного преобразования является
транспонированной матрицей преобразования A).
В силу B), обратное преобразование E) будет снова ортого-
ортогональным, следовательно, и для транспонированной матрицы
имеют место условия ортогональности:
<fi-\-a% + ... f в?„ = 1, (
аа ап + а,2 aJ2 -[ ...+ а,„ ajn = 0. |
Точно так же доказывается обратное утверждение: условия
C) являются следствием условий F).
Мы будем очень часто применять следующую теорему:
Любую начальную строку
Ух = ап *i + «12 хг + ...+ а1п хп,
коэффициенты которой удовлетворяют условию
можно дополнить до некоторого ортогонального преобразования A).
Доказательство. Для коэффициентов второй строки
имеются, согласно (б), одно линейное уравнение
ап а21 + а12 а.,2 + . . . + а1п а.2п = 0 G)
и одно квадратное
«l! + «l2 + ...+«L=l. (8)
Линейное уравнение G) заведомо имеет решение, отличное от
нулевого. Умножением этого решения на подходящий множитель
А можно добиться, чтобы оно стало также и решением уравнения
(8).
После того как первая и вторая строки найдены, для третьей
строки мы получаем два линейных и одно квадратное уравнения.
Так как оба линейных уравнения однородны, а число неизвестных
п больше числа уравнений, то эти уравнения заведомо имеют
решение, отличное от нулевого. Умножением этого решения на
соответствующий множитель Л можно опять добиться того,
чтобы найденное решение удовлетворяло соответствующему квад-
квадратному уравнению.
Продолжая этот процесс, в конце концов дойдем до последней
строки. Здесь имеются п— 1 однородных линейных уравнений с п
неизвестными и одно квадратное уравнение, которому можно
удовлетворить подбором соответствующего множителя Л. Этим и
завершается все доказательство.
§ 14. Квадратичные формы и их инварианты 79
§ 14. Квадратичные формы и их инварианты
А. ВЕКТОРЫ И ТЕНЗОРЫ
Вектором х называется упорядоченная совокупность из п
чисел (х1, . . ., хп). Если индексы указаны сверху, то х будем
называть верхним вектором.
Линейная форма L = ^ щх' от переменных х1,...,хп опре-
определяется заданием нижнего вектора и с компонентами щ, . . ..«„.
Аналогично квадратичная форма
G = gikx'xk (gtk = gki)
определяется заданием некоторого (симметрического) тензора
gik. В этом параграфе будет молчаливо предполагаться, что
если один и тот же индекс встречается дважды (один раз на-
наверху, а другой раз внизу), то по этому индексу производится
суммирование. Квадратичная форма однозначно определяет били-
билинейную форму от векторов х и у, полярную по отношению к этой
квадратичной форме
Если векторные компоненты х' и у1 подвергаются некоторому
обратимому линейному преобразованию
х1' = е),хУ,
у< = е],уУ,
A)
то щ и gik должны так преобразоваться, чтобы формы L = utx'
и Gxy = gikx'yk остались инвариантными:
При этом, резумеется, вместе с Gxy останется инвариантной
также и Gxx = G. Таким образом, для нижних векторов и тензоров
при преобразовании A) имеют место соотношения
и у = ще),, B)
9yv
Преобразование B) называют контрагредиентным (или контр-
авариантным) преобразованию A).
Если квадратичная форма G задана, то для каждого верхнего
вектора у можно определить некоторый нижний вектор v:
Билинейную форму Gxy —- д^х'у11 можно теперь записать как
ь\х'. Так как Gxy при преобразовании A) сохраняет инвариант-
80 Гл. III. Математические вспомогательные средства
ность, то v^ будет также инвариантной, т. е. v преобразуется
в действительности как нижний вектор.
Б. ОБРАТНЫЕ МАТРИЦЫ
Если предположить, что форма G невырожденная, т. е. ее опре-
определитель g отличен от нуля, то систему уравнений D) можно раз-
разрешить относительно ук:
у' = g'Jvj. E)
Элементы матрицы (g'J) равны соответствующим минорам
матрицы (gik), деленным на определитель д. Величины g'J назы-
называют элементами обратной матрицы.
Если D) подставить в E), то получится тождество относи-
относительно у'\
k = У1-
В силу этого можно также написать
. _ 1, i= к,
к ~ 0, г ф к.
В E) величины «;- произвольны. Если и — какой-либо второй
нижний вектор, то форма utf инвариантна, следовательно,
(uv) = g'Ju,Vj G)
является инвариантом. Таким образом, для g'i при преобразова-
преобразовании A) имеют место соотношения, аналогичные C).
Три инварианта
{ху) = gjk zty", {их) = щх1, (uv) = дЧир}
называют скалярными произведениями.
Как известно, любую квадратичную форму линейным преоб-
преобразованием переменных можно представить как сумму и раз-
разность квадратов:
G = х? + х? -г . . . + 42 - х'Ах - ... - <2+,
(собственно говоря, индексы новых переменных х\ следовало
бы ставить сверху, однако от этого пришлось отказаться, так
как квадраты символов с верхними индексами неудобны с поли-
полиграфической точки зрения).
Если к = п и I = 0, то форма G принимает лишь положитель-
положительные значения (случай, когда все переменные равны нулю, исклю-
исключается) и называется положительно определенной; точно так же,
если перед всеми квадратами стоит знак минус, то форма G назы-
§ 14. Квадратичные формы и их инварианты 81
вается отрицательно определенной. Таким образом, положительно
определенную форму можно преобразовать в единичную форму
G = х'{ + х'22 + . . . -г ос';. (8)
В случае такой единичной формы все скалярные произведения за-
записываются особенно престо:
(ху) = ^ х\у\> (их) --" 2 u'ix'i> (uv) = 2 u'iv'f
По теореме о произведении определителей из C) следует, что
9' = 19j'i> I = 19ik ej> I • i 41 = 19ut I ¦ Ie/1 • I eM
или
g'----gA\ (9)
где Л — определитель преобразования A).
В частности, если преобразуемая форма является единичной
формой, то д' = 1, следовательно,
В. ВЫЧИСЛЕНИЕ ОДНОГО ИНТЕГРАЛА
Воспользуемся этими алгебраическими вспомогательными
средствами для вычисления интеграла
л 1
1 --= B я) 2 д
dx'dx-. . .dx», A0)
в
где G — дне&х1* — положительно определенная квадратичная
форма и область интегрирования В задается двумя линейными
неравенствами
(их)> 0, (»ж)> 0. A1)
Если введением новых переменных х[, . . ., х'„ преобразовать
G в единичную форму (8), то A0) преобразуется в интеграл
J ... je 2<- ' "} dx{...d4,
в
где область В определяется неравенствами
(и'х1) > 0, (v'x') > 0.
Теперь с помощью ортогонального преобразования введем
новые переменные ух,. . .,уп, полагая (см. § 13)
(ujc^)_ _ in лл-\ \- и'„ х'„
~~ и и
6 Б. Л. ваи дер Варден - 1062
82 Гл. HI. Математические вспомогательные средства
где
и ---; F v'xl
При этом (vx) перейдет в некоторую линейную форму (try) =
-= ¦w1y1 -f ... -г и-'пУп- Наконец, вторым ортогональным преоб-
преобразованием вместо у2, . . .,уп введем новые переменные г2,. . ., zn,
полагая снова
„ w =
Таким образом, мы получим
1 = B л)" *J . . .J е~ * (>А + *'! + "" Г") dVl dzt... dzn. A3)
в
Фермы (их) — (и'х') и (vx) = (v'x1) в новых переменных
задаются фермулами
(их) = vylt
(vx) =-.
Соотр.етствующие скалярные произведения (в силу инвариантно-
инвариантности скалярных произведений) равны:
(ии) = (и'и1) — и-,
(uv) = (u'v') =¦ uwx,
(vv) = (v'v') = u\ ~\- m;2,
а область шпегрирования В задается неравенствами
иу1> 0, и-гуг + wz2 > 0. A4)
Теперь в A3) межко произнести интегрирование п.') гЛ,. ..,-„.
п вместо остальных двух переменных ух и г., ввести ноляркые
координаты:
у1 = г cos <p, z2 = r sin ср.
Таким образом, получим
1 ~— \ е z r dr\d(p = t-~— .
Пределы ингегририьания по ср определяются так: каждое из
неравенств A4) задает в плоскости yfiz2 некоторую полупло-
полуплоскость (рис. 10). Векторы с компонентами (и, 0) и (и\, ю) являются
внутренними нормалями к границам этих полуплоскостей, причем
§ 11. Квадратичные формы и их инварианты
83
косинус угла у, заключенного между нормалями, дается фор-
формулой
июг (uv)
COSy "-- --— ,. . - = zrr- - .
\u-\w\-\- и2 ]' {uu){vv)
Отсюда следует, что область интегрирования сосредоточена
внутри угла, образованного пересечением полуплоскостей, по
величине равного л — у. Следовательно,
— (uv)
/J — а = тс — у — arc cos —— — =-
/ \ / \
т 1 — (uv)
1 = — arc cos -, . -— — .
и в свою очередь наш интеграл равен
A5)
(VV)
При этом скалярные произведения
можно непосредственно вычислять
по формуле
[и v) =
A6)
\
не выполняя в действительности ни Рис. 10. Область интегри-
одного из трех линейных преобра- ровамия в плоскости ух0гг
зований координат.
Если бы область В определялась тремя линейными неравен-
неравенствами
(их) > 0, (vx) > 0, (vx) > 0,
то Еычислские интеграла по указанному методу свелось бы к
вычислению площади поверхности сферического треугольника.
Как известно, эта площадь пропорциональна сферическому
избытку, который определяется как разность суммы углов сфери-
сферического треугольника и я-, следовательно,
— (шс) ,
- -I- arc cos — '
y(uu)(w)
7 I Г — (uv)
1 = -. arc cos -=i_
arc cos
У (мы)
— (vw)
У (от) (ww)
При четырех неравенствах пришлось бы вычислять объем
сферического тетраэдра, что не так просго.
ГЛАВА IV
ОЦЕНКИ ФУНКЦИЙ РАСПРЕДЕЛЕНИЯ,
СРЕДНИХ ЗНАЧЕНИЙ И ДИСПЕРСИЙ
Важнейшими разделами этой главы являются § 15 и § 18.
§ 15. Кривая Кетле
Я До сих пор живо помню, как однажды, когда я был еще ребен-
ребенком, мой отец привел меня на край города, где на берегу стояли
ивы, и велел мне сорвать наугад сотню ивовых листочков. После
отбора листьев с поврежденными кончиками у нас осталось 89
целых листиков. Вернувшись домой, мы расположили их в ряд
по росту, как солдат. Затем мой отец через
кончики листьев провел кривую и сказал:
«Это и есть кривая Кетле. Глядя на нее,
ты видишь, что посредственности всегда
составляют подавляющее большинство и
лишь немногие поднимаются выше или так
и остаются внизу».
Если эту кривую расположить верти-
вертикально (рис. 11) и в качестве единицы мас-
масштаба на оси ординат выбрать отрезок,
длина которого равна высоте всей фигуры,
то ордината h, соответствующая абсциссе /.
будет, очевидно, представлять собой частоту
(или долю) тех ивовых листьев, длина ко-
которых меньше t. И так как частота Л при-
приближенно равна вероятности р, то наша
кривая приближенно представляетр = ^(О -•-
функцию распределения длины листьев.
Измеренные длины ивовых листьев х1
хп образуют в совокупности то, что ныне на-
называют выборкой. По выборке с помощью
только что указанного приема можно эмпирически оценить функ-
функцию распределения F(t). Определив приближенно F(t), можно
графическим дифференцированием оценить плотность вероятно-
вероятностей f(t), однако результаты, как правило, бывают мало надеж-
надежными.
Другой часто употребляемый способ оценки /(?) и F(t) основан
на группировке наблюденных значений х. Интервал (tQ, tr), в
котором заключены наблюденные значения х, произвольно вы-
Р и с.
t
11. Кривая
Кетле.
§ 15. Кривая Кетлс 85
бранными точками tx,,.., tT_x разбивается на частичные интервалы.
Если, скажем, значения х измеряются в миллиметрах, то в каче-
качестве точек разбиения целесообразно выбрать точки \п + •-I мм,
где п — целые числа.
Длины частичных интервалов должны быть настолько малыми,
чтобы внутри каждого из них плотность вероятностен f(t) не
слишком сильно менялась; с другой стороны, количество наблю-
наблюдений в каждом частичном интервале не должно быть слишком
малым. Непосредственным подсчетом определяются частоты зна-
значений х, соответствующие каждому интервалу; графически эти
частоты изображаются в виде прямоугольников, основаниями
которых служат частичные интервалы; площади прямоугольни-
прямоугольников пропорциональны соответствующим частотам (рис. 12).
Затем проводят плавную кривую у = f(x) таким образом, чтобы
площадь, расположенная между кривой и осью абсцисс, как можно
меньше отличалась от суммы площадей прямоугольников. Числен-
Численным интегрированием /(?) получают сценку для функции распреде-
распределения F(t).
Однако предыдущий способ определения F(t) лучше только
что изложенного, так как в нем используется весь негруппирован-
пый материал без произвольного разбиения на интервалы. Точ-
Точность этого метода будет исследована в следующем разделе
(§16).
Гальтон и Кетле установили, что распределения биологи-
биологических случайных величин очень часто могут быть представлены
гауссовой функцией ошибок
/(*)= 1о=-е 2» а ) т A)
а- у2п
Поэтому такие распределения называют нормальными. Однако в
природе существуют и другие распределения. К. Пирсон нашел
целый ряд типов часто встречающихся функций распределения.
Пример 11. В. Юханнсен в своих известных опытах по селекции1 при-
примерно из 16 000 коричневых бобов отобрал 25 наибольших и с помощью
самоопыления стал выращивать из них новое потомство. В первом поко-
поколении возникло следующее распределение по весу:
Границы
ьесовых интервалов 20 25 30 35 40 45 50 55 60 65 70 75 80
Количество
бобов 5 18 46 144 127 70 70 63 28 15 8 4
На чертеже получилось заметно асимметричное распределение (рис.
12), которое нельзя приближенно представить нормальным распределе-
распределением. Как показал анализ Юханнсена, отклонение от нормальной кривой
1Johannsen W., Ube'r Erblichkeit in Populationen und reinen Linien,
Jona, 1903, S. 19.
80 Гл. IV. Оценки функций распределения, средних значений и дисперсий
в этом случае обусловлено перемешиванием друг с другом различных «чис-
«чистых линий»1. Каждая «чистая линия» — потомство одного боба — подчи-
подчиняется приближенно нормальному распределению, в котором среднее зн;|-
чемие при дальнейшей селекции либо совсем не меняется, либо меняется, но
20 25 ЗО 35 4О 45 50 55 SO S5 7О 75 80
Рис. 12. Распределение веса бобов первого поколения,
по Юханнсену.
очень незначительно. Средний вес 11 чистых линий имеет следующее рас-
распределение:
Границы весовых
интервалов
Количество линий
35 40 45 50 55 60
4 2 0 2 3
Смешением этих одиннадцати почти нормальных распределений и объ-
объясняется форма найденного эмпирического распределения.
§ 16. Оценки функций распределения
При первом изучении этой главы § 16 и 17 можно пропустить.
Понятия из этих двух разделов будут использоваться значительно
позднее.
На основе соображений, которые в предыдущем параграфе
были наглядно объяснены на примере с ивовыми листьями, Колмо-
Колмогоровым была построена точная теория. Сначала, с немощью
выборки хи . . ., хп он определил эмпирическую функцию распреде-
распределения Fn(t), значение которой в произвольной точке t равно эмпи-
эмпирической частоте события я,- < t, т. е. равно количеству тех xi%
которые меньше Оделенному на п. График эмпиричеекг и функции
1 Эта точка зрения не является общепринятой. — Прим. ред.
§ 16. Оценки функций распределения
87
распределения — это не та гладкая кривая, которую с наивным
воодушевлением строили Кетле и его ученики, а ступенчатая ло-
ломаная линия со скачками, по величине равными 6 — 1 /те во всех
точках хг (рис. 13I.
Спрашивается, насколько истинная функция распределения
у = F(t) может отличаться от эмпирической функции у = Fn(t)?
Мы исследуем сначала положительные отклонения F—¦ Fn, a
затем — отрицательные. В практических приложениях Fn задана,
a F неизвестна; однако при теоретических исследованиях мы
можем F(t) считать заданной,
a Fn{t) — зависящей от случая,
так как наблюдаемые значения
xv . . ., хп являются случайными
величинами. Пусть А — мак-
максимум разности F — Fn; тре-
требуется определить функцию
распределения случайной ве-
величины А.
Относительно функции рас-
распределения F(t) мы не делаем
никаких предположений, креме
предположения о ее непрерывно-
непрерывности. Так как непрерывное моно- рис. ]3. Графики истиш.ой и эм-
тонное преобразование оси t не лирической функций распределения,
меняет разности F—Fn, то
вместо t и х в качестве новых переменных можно выбрать
V = F(t) и х' = F(x).
Это не изменит максимум А разности F—Fn. Если мы новые
переменные снова обозначим t и х, то функция распределения
будет иметь простой вид:
F(t) = t @< t< 1). A)
Следовательно, график функции распределения представляет
собой диагональ единичного квадрата. Событие, при котором х
примет значение либо меньшее 0, либо большее 1, является невоз-
невозможным; поэтому мы можем положить (рис. 13):
F(t) =
0, если t =s О,
1, если t 5= 1.
1 Согласно определению Fn(l), данному в тексте, в каждой точке
х,- (i = 1,2... .,п) Fn (х, - 0) = Fn(Xi) ----- -~ - и Fn {Xi J- 0) - •* .
n n
i — 1
В полусегменте %i_\ < ( ^ i,- Fn(t) сохраняет постоянное значение -- — ;
n
Fn{t) — 0 при t г? a-j и Fn(l) — 1 при t > .г„. — Прим. ред.
88 Гл. TV. Оценки функций распределения, средних значений и дисперсий
Плотность вероятности равна
| 1, если 0 < I < 1,
fit) = \
j 0 в противном случае.
Графически эта функция у = f(t) изображается прямоуголь-
прямоугольником. Поэтому естественно таксе распределение называть пря-
прямоугольным распределением.
Мы хотим вычислить вероятность того, что А будет больше
некоторой границы е. Так как, по предположению, все xlt . . ., хп
независимы и одинаково распределены с плотностью вероятности
/(/) — 1, то, согласно § 4 (теорема II), искомая вероятность Q
равна те-кратнему интегралу
Q = \ . . . f dxl dx2. . . dxn B)
J J
G
по области интегрирования G, определяемой неравенствами
О < хх < 1, . . ., О < хп < 1 и Л > е.
В дальнейшем для задания области интегрирования удобно
ограничиться неравенствами
а*! < х.2 < . . . < х„.
Эти неравенства задают лишь часть всей области G. Однако
перестановкой xt ее можно перевести в любую другую аналогично
определяемую часть области интегрирования (например, в
х2 < хг < х3 < . . . < хп). Такие перестановки не меняют ни
ступенчатой функции Fn, ни максимума А. Все эти части области
интегрирования имеют одинаковый объем и, следовательно, им
соответствуют одинаковые вероятности. Граничной поверхности
xt = xk соответствует вероятность, равная нулю. Таким образом,
искомая вероятность Q равна
Q = nlg, C)
где q — вероятность события
О < Xj < х2 < . . . < хп < 1, А > е. D)
В каждой точке хк функция Fn(t) совершает скачок от (к— 1M
к кд. Ясно, что разность F—Fn достигает максимального значе-
значения А в одной из этих точек, причем если хк — точка максимума,
то Fn(xk) = (к - \) 5 и
А = хк-(к-1N. E)
Следовательно, событие А > е наступает тогда, когда хотя
бы одна из разностей хк — (к— 1N окажется больше е.
:? 16. Оценки функций распределения 89
Пусть qk — вероятность того, что это событие произошло в
точке с индексом к и не произошло в точках с меньшими индексами
? < к. Так как случаи к = 1,2, .... п несовместны, то искомая
вероятность q равна сумме qk:
9= 9i + Q2-r ¦¦ ¦ + Я„- (б)
Итак, нам осталось только вычислить qk. Величина qk пред-
представляет собой вероятность события
О < х1 < х2 < . . . < хп < 1
хк — (к — 1N > е,
G)
^k
Xj — (j — 1M =s e для / < к.
Пусть сначала к = 1. Тогда мы имеем лишь неравенства
.у. ~^ п. ^* ^* п. _-** 1
.Vi «^ Л2 *-~ • • • *-~ ¦¦'л *-~ ' > /О\
Следовательно, все я,- лежат между ей 1. Вероятность такого
случая равна A —е)". Так как всевозможные способы чередова-
чередования индексов у xt равновероятны, то вероятность события (8)
равна
!&=;!¦ О-*)". (9)
Если, далее, к> 1, то мы положим А = А+1. Тогда G)
распадутся на такие неравенства, которые содержат лишьж,,..., xh:
и < хх < . . . < xh
Xj*?e-±- (j — 1N для ; = 1, . . ., h,
и такие, которые содержат лишь xh+1,. . ., хп:
xh+1<xh+2<... <хп<1,)
xh+1 < е ¦+- М. \
Неравенство xh < xh+1, связывающее xh и xh+1, является след-
следствием A0) и A1), и поэтому его можно отбросить.
События A0) и A1) относятся к неперекрывающимся интер-
интервалам и потому независимы. Следовательно, вероятность события
G) равна произведению вероятностей событий A0) и A1):
9к = 9h+i =Phrh- I12)
Вероятность rh события A1) можно определить совсем престо.
Метод тог же, что и при вычислении вероятности события (8);
в результате получим
90 Г.1. IV. Оценки функций распределения, средних значений и дисперсий
При этом предполагается, что 1 — е — ЬЬ э= 0. Если это не
так, то событие, соответствующее последнему неравенству в
A1), является невозможным и поэтому rh = 0.
Вероятность pft события A0) равна
? е~Ь ? + 26 е ¦ (h—lN
ph =J dxA dx2^dx3. . . [dxh. A4)
x,
Для h = 1 находим без труда
Если вычислить р2 и р3, то возникает предположение, что
\ A5)
Это предположение можно легко проверить полной индукцией
по Л. Для Л = 1 оно верно. Предположим, что оно верно для неко-
некоторого Л> 1. Согласно A4), имеем
е в 1-й ?т2д ? \-НЬ
Ph+x = J rfa;i ) dx2 ( ^з ¦ • ¦ \dxh+1.
0 x, x, x»
Если вместо хг, х3, . . ., xh+1 ввести новые переменные yv уг,..., yh
по формулам
а"; = 2-1 -г- У]-1,
то окажется, что
\ A6)
о
где
? + <5—Xi ? ; 23—х, e+fta—xt
i2=|rfyiJ^8...J^A. A7)
О у, у»-,
Если положить
е + 5 — х1 — е',
то можно заметить, что интеграл В имеет точно такой же вид,
как и ph в A4), но только с заменой е на е'. Следовательно, [со-
[согласно индуктивному предположению,
П ~~~ }^е'{Е' + Л б)Л"Х = и" (? + & - жд) [е + (й 4- 1) 6 — arJA-i. A8)
§ 16. Оценки функций распределения 91
Если A8) подставить в A6) и в качестве новой переменной
выбрать е + (Л -f- 1N — xlt то интегрирование станет легко выпол-
выполнимым. Результат
имеет ту же самую форму, что и A5), но только с заменой h на
h -f- J. Этим завершается доказательство справедливости форму-
формулы A5).
Если A3) и A5) подставить в A2), то получим
Чк = гтт т^\ (е + Щ11'1 A — е — Лб)"-Л. A9)
" п\\п — ft)! ч ' ' '
Согласно (9), эта формула справедлива также и для к=].
Наконец, из C) и F) получаем результат, впервые найденный
Бернбаумом и Тинги1
Q = 2 (ь ) Ф + Ли)'1 A-е — Л5)"-Л, B0)
Верхний предел суммирования Н задается условием 1 — е —
— hd s= 0. Следовательно, Н является целой частью те A—е):
Я=[пA-г)]. B2)
При больших п вычисление суммы B0) очень утомительно,
поэтому для больших п лучше применять асимптотическую
формулу, выведенную Н. В. Смирновым, согласно которой
<2~е-2"Е>. B3)
Для каждого п и для заданного E (например, J3 = 0,01 или
уЗ = 0,05) можно найти такую границу е, для которой Q = ?5.
При малых п пользуются формулой B0), а при больших п — фор-
формулой B3). В табл. 4 для некоторых значений п и E указаны точ-
точные и асимптотические границы е, по Бернбауму и Тинги. Из
этой таблицы видно, что уже при п = 50 точные и асимптотические
границы мало отличаются друг от друга. Так как асимптотиче-
асимптотические границы больше соответствующих точных границ (см. табл.
4), то при любом конечном п вероятность того, что Л превзойдет
асимптотическую границу, будет меньше E, Следовательно, за-
1 Точная формула для распределения Л при конечных п впервые дана
Н. В. Смирновым в 1944 г. См. его статью «Приближение законов распреде-
распределения случайных величин по эмпирическим данным», Усп. матем. паук,
A0), A944), 179—206. — Прим. перев.
92 Гл. IV, Оценки функций распределения, средних значений и дисперсий
мена точных границ асимптотическими изменяет доверительный
интервал для А в сторону увеличения его надежности.
Найденная граница е позволяет сформулировать односторон-
односторонний критерий для проверки гипотезы, согласно которой функция
распределения равна F(t). А именно если максимум А разности
F — F,, превосходит е, то предположение, что функция распреде-
распределения равна F(t), должно быть отвергнуто. Этот критерии мы
будем называть А-критерием. Уровень значимости 4-критерия
равен р.
Если величины х и t заменить на 1 — х и 1 — t соответственно,
то разность F—Fn изменит знак, вследствие чего получится
односторонний критерий с противоположной стороны: гипотети-
гипотетическую функцию распределения следует отвергнуть, если
А' — max (Fn — F) > е.
Уровень значимости снова равен р ~ е~2пе'.
Если этими двумя критериями воспользоваться одновременно,
то получится двусторонний критерий Колмогорова. Согласно
этому критерию, гипотетическая функция распределения отвер-
отвергается, если максимум разности \F—Fn\ окажется больше е.
Уровень значимости такого критерия, очевидно, не прег-есходит
2р. При малых п вполне достаточно в качестве уровня значимости
выбрать 2р: это лишь увеличит надежность критерия1. При боль-
больших п приближенную формулу для уровня значимости можно
уточнить," воспользовавшись асимптотической формулой Колмо-
Колмогорова:
Этот ряд сходится очень быстро. Для практических целей
можно ограничиться его первым членом
который соответствует грубому правилу, сформулированнсму
выше. В табл. 5 указаны значения е для 2/3 = 0,01 и 0,05.
Практически критерием Колмогорова пользуются следую-
следующим образом. Сначала определяют эмпирическую функцию рас-
распределения Fn(t). Затем, при заданном р, по табл. 5 находят е
и строят полосу, границами которой служат ступенчатые линии с
1 Действительно, пусть P[max (F—Fn)^>E] =/9, тогда, как показано
выше, Р[шт (F — Fn) <; —е] = р. Если с помощью этого же е построить
двусторонний критерий, то соответствующий уровень значимости будет
равен вероятности объединения событий": max(-F — Fn)>e и тт(^-/л) <
< —е. Так как эти события не являются несовместными, то вероятность
их объединения меньше суммы их вероятностей, т. е. меньше 2/9. — Прим.
персе.
§ 17. Порядковые статистики 93
уравнениями у = Fn(t) + е и у = ^„(^) — е. Предположительно,
эта полоса целиком накрывает истинную кривую распределения
с уравнением у = .F(?).
Литература к § 16
Kolmogoroff A., Determinazione empirics di una legge di distri-
buzione, Giomale Istit. Ital. Attuari, 4 A933), 83.
Смирнов Н. В., Об уклонениях эмпирической кривой распреде-
распределения, Матем. сб., 6 D8), A939), стр. 3.
Смирнов Н. В., Приближение законов распределения случайных
величин по эмпирическим данным, Усп. матем. наук, A0), A944), 179—206.
Feller W., On the Kolmogorov—Smirnov limit theorems for empirical
distributions, Ann. Math. Statist., 19 A948), 177.
Birnbaum Z. W. and Tinge у F. H., One-sided confidence con-
contours for distribution functions, Ann. Math. Statist., 22 A951), 692.
Birnbaum Z. W., On the power of a one-sided test of fit for conti-
continuous probability functions, Ann. Math. Statist., 24 A953), 484.
§ 17. Порядковые статистики
Пусть снова хх,. .., хп — выборка, состоящая из п независи-
независимых наблюдений случайной величины х с непрерывной функцией
распределения F(t).
Если все xt расположены в порядке возрастания их величины
и члены такой возрастающей последовательности обозначены №
то каждый из xW называется порядковой статистикой, а соот-
соответствующая возрастающая последовательность — вариационным
рядом.
Примеры порядковых статистик:
xW — наименьшее значение, <х№ — наибольшее значение из
всех Xj.
Если п — нечетное число:
п = 2т — 1,
то ж(т> называется выборочной медианой. Выборочная медиана
является приближением медианы ?, которая определяется как
решение уравнения
по = \.
Для распределения с симметричной плотностью у = f(t) и,
в частности, для нормального распределения медиана С совпадает
со средним значением х; поэтому выборочной медианой ж(т> = Z
можно в этом случае пользоваться в качестве удобной оценки
для х.
94 Гл. IV. Оценки функций распределения, средних значений и дисперсий
Аналогично если п = 4г— 1, то можно определить две выбо-
выборочные квартили:
ZL = ж« и Z3 = ж<3г>.
Эти выборочные квартили и выборочная медиана разбивают
вариационный ряд х^>, . . ., х^ на четыре части, каждая из кото-
которых содержит по г — 1 величин. При больших п выборочные
квартили близки и квартилям Ci и Сз соответствующего распреде-
распределения, которые определяются как решения уравнений
=± и *(?,) =
Точно так же можно определить выборочные секстили Y1 и Г6,
которые служат приближенными значениями секстилей г]х и nq5,
определяемых как решения уравнений
В случае нормального распределения rj1 и г]5 приближенно равны
х — сги х -\- о~, так как если Ф(х) — функция нормального распре-
распределения с нулевым средним значением и единичной дисперсией, то
ф(— 1) = 0,16 ... и Ф(-\- 1) = 0,84 ....
Поэтому половина расстояния между выборочными сексти-
секстилями, построенными по выборке из приближенно нормального
распределения, может быть использована как удобная предвари-
предварительная оценка квадратичного отклонения сг. Оценку для сг
можно построить также и с помощью выборочных квартилей; к
этому мы вернемся в § 20.
Для того чтобы можно было судить о точности этих оценок,
нужно найти функции распределения G^(t) порядковых стати-
статистик х№.
Значение G^>(/) в точке t определяется как вероятность собы-
события х^ < t. Она равна вероятности того, что наименьшие h из
всех п случайных величин я,- окажутся меньше L Если Wk — ве-
вероятность события, которое заключается в тем, что среди всех
л) имеется ровно к наблюдений, по величине меньших t, то, со-
согласно § 5 B),
Р)*• (О
Отсюда
GW(t) = Wh+Wh+1 + ...+Wn. B)
Поставленная задача решена. Однако это решение несколько
неудобно. Поэтому мы предположим, что F(t) дифференцируема,
обозначим
F'(t) = f(t)
§ IT. Порядковые статистики 95
и, дифференцируя B) по I, вычислим плотность вероятностей
При дифференцировании гее члены, кроме первого, взаимно
уничтожаются и остается лишь
,. „ (J-Jj [F(t)f-* [1 - F(iyr-» f(t). C)
Произведение Fh~1 A — F)n~h достигает наибольшего значения
в точке
F = h-l
Пусть этот случаи осуществляется при t = t0. Если обозначим
то из C) получим
Предположим теперь, что Лита — Л велики, и исследуем по-
поведение трех сомножителей D) в окрестности точки I = i0.
Первый сомножитель
можно аппроксимировать с помощью формулы Стирлинга
п\ ~ пп е~п /2ли.
Получаем
Второй сомножитель
прологарифмируем и разложим в ряд
Y
2 ' (Л—J)(» -Л)
90 Гл. IV. Оценки функции распределения, средних значений и дисперсий
Отброшенные члены являются величинами порядка не ниже,
чем пХ3, следовательно, при малых X остаток будет меньше глав-
главного члена, который является величиной порядка пХ'1. Если те-
теперь в главном члене (п — IK заменить на п2(п — 1) (при больших
п приближенная формула от этого не ухудшится), то получим
асимптотическую формулу для второго сомножителя:
Q~c~*a'X\ F)
Третий сомножитель D) в окрестности точки t = ta можно
заменить единицей. Поэтому, согласно D), E) и F), получаем
~\i*f°e ' G)
где
a =--
Если произведение аХ велико сравнительно с единицей, то
правая часть G) очень мала. Можно доказать, что в этом случае
левая часть также мала. Тот факт, что интеграл от леЕой части
мал1, легко следует, впрочш. из закона бол ни их чисел, а при
практических приложениях только с таким интегралом и при-
приходится иметь дело.
Теперь мы должны еще выразить X через t. Так как разность
t — t0 мала, a F дифференцируема, то разность F— Fo прибли-
приближенно равна (t — to)fo. Следовательно, вместо G) можно запи-
записать
^(O-^/.ri-""-1--. (9)
I ^л
Формула (9) означает, что если Л и п— h велики, то порядко-
порядковая статистика xW является асимптотически нормальной слу-
случайной величиной со средним значением ta и квадратичным от-
отклонением
Ш=Ч1»=Ъ\. (ю)
п У п- 1 /0 v '
Для выборочной медианы Z отсюда находим
1 Здесь автор имеет в виду интеграл от ^""@ но т.'.кой области изме-
изменения I, где а Л' пел и ко сравнительно с единицей. — Прим. перев.
§ 17. Порядковые статистики 97
В случае нормального распределения с нулевым средним зна-
значением и единичной дисперсией
t0 = 0 и }
10
следовательно,
(И)
1/Z
\ 2п '
Для крайних порядковых статистик, т. е. для статистик, у
которых малы либо Л, либо я — А, асимптотическая оценка рас-
распределения более трудна. Этим оценкам посвящены важные
труды Фишера и Типпета, Фреше, Мизеса и Гумбела1. Читателю
было бы полезно познакомиться с докладом Уилкса о порядко-
порядковых статистиках [Wilks S. S., Bull. Amer. Math. Soc., 54 A948)]2.
Для пары порядковых статистик x^h\ жО') плотность вероятно-
вероятностен f(u, v) может быть вычислена так же, как для одной поряд-
порядковой статистики. Если, например, мы хотим найти совместное
распределение наименьшего и наибольшего наблюдений в выборке,
a-(D и х(п), то для этой цели можно воспользоваться тем обсто-
обстоятельством, что вероятность одновременного осуществления со-
событий хA) > и и х(л) < v (и < v) авна
[F(v) - F(u)\».
Отсюда дифференцированием по и ц v получим искомую плот-
плотность вероятностей:
f(u, v) = п(п - \)[F(v) - F(u)r-°- /(«)/(»)• A2)
Одной из важных функций от порядковых статистик, встре-
встречающейся во многих приложениях, является размах
W = х^ — хО\ A3)
Функцию распределения размаха H(t) можно получить ин-
интегрированием равенства A2):
оо A ! (
H{t) = p(W < t) г.-.- | J f(u, v) du dv ¦— Jrf«J/(M, v) dv.
0<:u—u<:t —~ 11
Неопределенный интеграл от f(u, v) по v равен, очевидно,
n[F(v)-F(u)\»-*f(u).
1 См. также Смирнов Н. В., Предельные распределения для чле-
членов вариационного ряда, Труды Математич. ни-та АН СССР, 25 A949). —
Прим. перев.
2 Законченную теорию предельных распределений крайних членов
вариационного ряда дал Б. В. Гнеденко[Апп. of Math. D4), A943), 423—453].
— Прим. ред.
7 Б. Л. ван дер Вардсн - 1062
98 Гл. IV. Оценки функций распределения, средних значений и дисперсий
Если подставить пределы интегрирования и и и + t, то по-
получим
\f(u, v)dv = ?i[F{u + t) — Flu)]"-1 f(u),
и
следовательно,
H{t) = n \ [F(u -f t) — ^(m)]"-1/!")^-
§ 18. Выборочное среднее значение
и выборочная дисперсия
Среди постоянных, которыми характеризуется функция рас-
распределения, важнейшими являются среднее значение или мате-
математическое ожидание
х = &х =§tdF(t) A)
и дисперсия
сг2 = ?(х — iJ = \(i - iJ<ZF(«). B)
Положительный квадратный корень из дисперсии называется
квадратичным отклонением сг.
Мы предполагаем, что оба интеграла A) и B) сходятся. Как
оценить по результатам наблюдений х и сг?
Пусть имеется выборка (х^ . . ., хп), т. е. имеются п наблюден-
наблюденных значений аг, хп случайной величины х. С точки зрения
теории вероятностей хх, . . ., хп являются независимыми случай-
случайными величинами с одной и той же функцией распределения F(t).
Построим арифметическое среднее выборки
М = I (х, + ...+хп)=1-х1 + ... + 1-хп. C)
М называется выборочным средним значением. Часто вместо М
пишут х.
Величина М является случайной. Ее среднее значение равно
?, D)
§ IS. ВыГюрачное среднее значение и выборочная дисперсия 99
а дисперсия, согласно § 3 A5), равна
Таким образом, дисперсия ilf при больших п оказывается
значительно меньше дисперсии отдельного наблюдения а:,-. Так
как по неравенству Чебышсва (§ 3 В) модуль разности М — ж
может являться с большой вероятностью лишь величиной по-
порядка
сг
°~М=77= ¦
)п
то М является полезным приближенным значением для ж. Это
приближение тем лучше, чем больше п.
Точно так же для о-2 имеется приближенное значение
4 = 1nZ(x,-iJ. F)
Математическое ожидание sg, очевидно, равно сг2.
Формулу F) можно применять лишь тогда, когда х точно из-
известно. Этого, однако, в большинстве случаев не бьгеает. Поэтому
здесь может помочь замена х на М. Но тогда, как показывают
расчеты, выражение F) несколько уменьшается. А именно, для
произвольного а имеет место тождество
2" (я-, — Mf = У} (xt — ау — п(М — аJ, G)
которое доказывается так:
2 (ж,. — Mf = V[(z, — а) — (М — a)Y =
= 21 (xi — аJ — 2 2 {х, — а)(М — а) + п(М — af =
= ^ (ж,- — а)- — 2п (М — а)(М — а) + п(М — аJ =
= ^ (ж,- — а.J — п (М — af.
Положив в G) а = х, получим
V1 (ж. _ Mf = 2 (Xi — х)'- — п{М — жJ. (8)
Если в F) ж заменить на М, то, как показывает тождество (8),
правая часть F), вообще говоря, уменьшится. Чтобы компенси-
компенсировать это уменьшение, естественно сумму в левей части (8) раз-
разделить не на ??, а на п — 1. Таким образем, получаем
& = ^ 2* (з,- - Mf. (9)
7*
100 Гл. IV. Оценки функций распределения, средних значений и дисперсий
Вычисляя математические ожидания правой и левой частей
(8), найдем
(п— l)g(s2) = тео-2 —п^- = (и— 1) о-2
или
?(в*)=о*. A0)
Следовательно, знаменатель п—1 в (9) обеспечивает равен-
равенство математического ожидания s- величине <r2. s'2 называют вы-
выборочной дисперсией, a s — выборочным квадратичным откло-
отклонением1.
Для упрощения вычислений s'1 можно использовать тожде-
тождество G). Целесообразно поступать так:
1. Сначала числовые значения ж,- следует округлить таким
образом, чтобы разность между наибольшим и наименьшим на-
наблюдениями имела две значащие цифры. Практически это округ-
округление не окажет па s% никакого влияния.
2. Затем у всех округленных х{ можно отбросить запятую, т. е.
помножить их на такую степень числа 10, чтобы все xi стали
целочисленными.
3. По округленным значениям ж,- с помощью формулы C) сле-
следует вычислить среднее М с одним запасным десятичным знаком.
4. Затем из интервала, в котором заключены все xt, следует
выбрать «круглое» число а и образовать разности ж,- — а. Контроль:
сумма этих разностей должна быть равна п(М — а).
5. Разности ж,- — а не более чем двузначные целые числа,
следовательно, их можно возвести в квадрат либо «в уме», либо
с помощью очень короткой таблицы квадратов чисел.
6. После этого вычисляют ^(ж,-— аJ, а затем, по формуле G),
^(xi — МJ и, по формуле (9), s2 (при вычислении s1 результат
округляется до целых чиселJ.
7. Для контроля полезна формула G) с а = 0:
У* (ж, — ЖJ = ^ я2 — п М-. A1)
Пример 12. Осадки за 90 лет в Ротемстеде (по книге R. A. Fisher, Sta-
Statistical Methods for Research Workers, § 14). В первом столбце указано
количество осадков х (и дюймах), во втором — соответствующее количество
лет к, в течение которых наблюдалось данное количество осадков. В каче-
качестве приближенного значения для выборочного среднего выбрано а -- 28.
Третий столбец содержит разности х — а, четвертый — к (х — а), пятый —
к(х — аJ.
1 Эта терминология не является общепринятой. Чаще выборочной
дисперсией называют величину 27B, — М)г/п, которая равна дисперсии
соответствующей эмпирической функции распределения. — Прим. перев.
2 В заключение s2 нужно разделить на 102Р, где р —степень, о которой
говорилось в п. 2. — Прим. перев.
§ 19. Поправки Шеппарда
101
Сл'мма
X
16
19
20
21
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
39
а
к
1
3
2
3
3
2
12
4
7
4
8
9
6
7
4
4
4
3
3
1
90
х — а
— 12
— 9
— 8
— 7
— 4
— 3
— 2
1
0
1
2
3
4
5
6
7
8
9
! и
i
k{x -- a)
— 12
—27
— 16
—21
— 15
— 8
—36
g
— 7
0
о
о
18
18
28
20
24
28
24
27
11
56
к (х - а)»
144
243
128
147
75
32
108
16
7
0
8
36
54
112
100
144
196
192
243
121
2106
Поправка для выборочного среднего 56 : 90 = 0,62
Выборочное среднее М ¦-- 28,62
п (М — аJ = 35
Г (х — Л-/J = 2106 — 35 = 2071
Выборочная дисперсия s2 -= 2071 : 89 = 23
Выборочное квадратичное отклонение s — 4,9
§ 19. Поправки Шеппарда
Оба следующих раздела (§ 19 и 20) можно пропустить. Глав-
Главная их цель — облегчить читателю знакомство с литературой,
в которой зачастую идет речь о поправках Шеппарда, «вероят-
«вероятных ошибках» и т. п.
Наблюденные значения х1, . .., хп часто округляют или груп-
группируют, т. е. объединяют в большие классы. Если класс с номе-
номером к содержит значения хо заключенные между тк — Л/2 и
тд. + Л/2, то тк называется серединой класса. Пусть пк — коли-
количество наблюденных значении х в к - м интервале. Если в фор-
102 Гл. IV. Оценки функций распределения, средних значений и дисперсий
муле C) § 18 все х, заменить серединами соответствующих клас-
классов тк, то вместо М получим его приближенное значение
A)
и аналогично вместо s§
»о=^2щ(тк-^)К B)
М' может случайно оказаться несколько больше или нес-
несколько меньше, чем М, но разность М' — М в среднем равна
нулю; напротив, s'q в среднем несколько больше, чем eg. Для того
чтобы в этом убедиться и определить поправку, которую нужно
вычесть из s'o , чтобы получить s%, мы предположим, что все ин-
интервалы имеют одинаковую длину Л, а номера интервалов ме-
меняются от —оо до -f оо. Класс с номером 0 расположен между
точками1 t — А/2 и t + А/2, класс с номером к — между точками
t -\- kh — Л/2 и t -\- kh -f- А/2. Если, кроме того, мы выберем на-
начало отсчета так, чтобы было х = 0, то
Математические ожидания М' и з'0г получаются из этих фор-
формул заменой пк их математическими ожиданиями прк. При этом
P/t = Л« + АА + g- A —
есть вероятность того, что х лежит между t -\- kh — Л/2 и t +
+ kh -f- h/2. Таким образом,
A(t) ¦-, &М1 = 2 [f[t -г kh + \h} — f[i. -I- kh - J- A) ] (/ -r *A), C)
+ АЛ + jh\ — F\t+ kh — jh\Ut + ?ЛJ. D)
Оба выражения C) и D) являются периодическими функци-
функциями от t. А именно они переходят сами в себя при замене t\\at-\- A,
В большинстве случаев эти периодические функции почти
постоянны, т е. они мало отличаются от постоянных составля-
1 t является, таким образом, абсциссой середины нулепого класса. —
Прим. ред.
,$ 19. Поправки Шеппарда ЮЗ
ющих своих рядов Фурье и поэтому приближенно равны соот-
соответствующему интегральному среднему значению1. Величиной
интегрального среднего полезно интересоваться даже и в тех
случаях, когда функции C) и D) значительно отличаются от по-
постоянных. Действительно, выбор границ между классами t -\- kh~:
+ Л/2 довольно произволен и, в известном смысле, случаен, по-
поэтому t можно рассматривать как случайную величину, которая
равномерно распределена в интервале от 0 до h. В этом случае
A(t) будет также случайной величиной, среднее значение кото-
которой равно интегральному среднему
h
A=\\A{t)dt- E)
о
аналогично для B(t)
h
l\t. F)
о
Если C) подставим в E), то получим
h
hA =2 {[*\t + kh +^-л) — F[t+ hh—\ h)\(t л. Uh)dt
dt. G)
Отсюда интегрированием по частям находим
1 Так будет, если функция распределения удовлетворяет известным
условиям. Строгий вывод поправок Шеппарда см. в книге Г. Крамера, Мате-
Математические методы статистики, ИЛ, М., 1948, § 27.9. — Прим. ред.
104 Гл. IV. Оценки функций распределения, средних значений и дисперсий
4
следовательно,
A ^ | t dF(t) =-¦ x = 0,
и точно так же
оо
= h\t*dF(t) Ч-^
или
Таким образом, математическое ожидание s'o2, осредненнос
по всем возможным значениям t, на Л'2/12 больше математиче-
математического ожидания s2, равного о-2. Для того чтобы для а- получить
несмещенную оценку, нужно из я'о2 вычесть поправку Шеппарда
h-/\2.
Эту же самую поправку применяют также и при вычислении
л2. Сначала пычисляют
и из s'2 вычитают Л2/12, при этом в среднем получается то же
§ 20. Другие числовые характеристики распределения 105
самое s'-, которое можно построить непосредственно по перво-
первоначальным значениям1 xt.
Пример 13. В § 18 говорилось, что при вычислении в2 наблюденные
значения х можно спокойно округлять таким образом, чтобы размах имел
две значащие цифры. Теперь это утверждение должно быть подтверждено
вычислением поправки Шеппарда. При этом мы предположим, что п не
слишком велико и что случайная величина х распределена приближенно
нормально.
Пусть каждое х; округлено ближайшим целым числом и пусть размах
W — хш> —ха) (т. е. разность между наибольшим и наименьшим наблю-
наблюдениями) является двузначным числом
10=s W< 100.
Мы можем считать, что квадратичное отклонение о- больше чем 2.
Так как если бы было <т == 2, то, с большой вероятностью, все х, лежали бы в
пределах х — 5 и х -\ 5 и, против предположения, размах был бы менее 10.
С помощью формулы для функции распределения, выведенной в § 17, по-
последнее заключение можно было бы сделать более точным, но лля наших
целей уже достаточна приближенная оценка.
Округление сводится к группировке по интервалам (д — г1г, д + ^l^i,
где д — целые числа. Математическое ожидание в2 превосходит 4, а поправка
Шеппарда равна лишь 1/12. Следовательно, в среднем поправка Шеппарда
составляет менее 1/48 ots2, т. е. лишь 2%. Соответствующая величина поправ-
поправки для s отличается от s в среднем менее чем на 1 % и поэтому не имеет прак-
практического значения.
При очень больших п или в случае распределения, сильно отличаю-
отличающегося от нормального, эти отношения могут оказаться менее благоприят-
благоприятными. Поэтому при больших п округление, осторожности ради, не следует
делать слишком грубо. Если размах W, вычисленный по округленным зна-
значениям, окажется меньше 20, то нужно округление произвести заново,
сохранив дополнительно еще один десятичный знак. В этом случае. W
будет менее 200 и а всегда можно выбрать так, чтобы раэпюсти аг,- — а
были двузначными числами, которые можно легко возводить в квадрат.
§ 20. Другие числовые характеристики распределения
Вместо среднего значения се часто пользуются медианой С, ко-
которая для непрерывной функции распределения определяется
как решение уравнения
Для распределений с симметричной плотностью вероятности и,
в частности, для нормального распределения медиана ? равна
среднему значению х.
В качестве приближенного значения медианы ? используют
выборочную медиану Z. Если объем выборки является нечетным
1 Если график плотности F'(l) — f(t) не имеет соприкосновения высо-
высокого порядка с осью Ot на концах интервала, в котором сосредоточено
распределение вероятностей, то лучше не применять поправок Шеппарда.
— Прим. ред.
10G Гл. IV. Оценки функций распределения, средних значений и дисперсий
числом т? = 2т— 1, то Z равна среднему члену ж(т) вариацион-
вариационного ряда жA) < х^ < . . . < ж<"> (члены этого ряда являются эле-
элементами выборки х1; хг,. . ., хп, расположенными в порядке воз-
возрастания их величины). Если же объем выборки равен четному
числу п = 2т, то Z определяется как арифметическое среднее
членов cc<m> и ж<т+1> вариационного ряда Z = (ж(т> -\- х(-т+1'>)/2.
Вычисление выборочной медианы осуществляется легче, чем
вычисление выборочного среднего М. Однако в случае прибли-
приближенно нормального распределения выборочное среднее М заслу-
заслуживает большего доверия.
А именно если элементы выборки являются независимыми
одинаково нормально распределенными случайными величинами,
то, согласно § 17, выборочная медиана Z распределена при-
приближенно нормально с дисперсией
A °'z-2^(r'
в то время как дисперсия выбороч-
выборочного среднего М равна
Следовательно, дисперсия Z в jt/2
раз больше дисперсии М.
Однако существуют функции
распределений, для которых вы-
выборочная медиана Z точнее вы-
выборочного среднего М. В ка-
9 честве примера рассмотрим функ-
функцию распределения Коши
Р и с. 14. , ,
которой соответствует плотность вероятности
fit) = ~+щ ¦ C)
Это распределение получается следующим образом. Пусть точка
А находится на расстоянии, равном единице от фиксированной
прямой д (рис. 14), и пусть через точку А проведена произвольная
прямая. Если X — точка пересечения этой прямой с прямой д,
В — проекция точки А на прямую д и <р — угол, образованный
отрезками АХ и АВ, то расстояние от точки X до основания
перпендикуляра В будет равно
х = tg ф.
Если угол <р распределен равномерно в интервале между —7г/2
и л-/2 (т. е. <р является случайной величиной, плотность распре-
§ 20. Другие числовые характеристики распределения 107
деления которой в указанном интервале постоянна и равна 1/п),
то х = tg <p имеет функцию распределения B) и плотность веро-
вероятности C).
Пусть х1 и х2 — независимые случайные величины с одинако-
одинаковыми функциями распределения B). Если по теореме III (§ 4)
вычислить функцию распределения суммы хх + х2, а затем — функ-
функцию распределения среднего
^2 = 2"(Ж1 +Х2),
то неожиданно окажется, что М2 имеет плотность вероятности,
в точности равную C). Среднее из двух таких средних
м* = -4- (xi + х2 + х3 + xt)
снова имеет ту же плотность и т. д. Следовательно, с помощью
осреднения вообще нельзя добиться повышения точности1.
Напротив, если по выборке хг,.. ., хп нечетного объема п оп-
определить выборочную медиану Z, то, согласно § 17, ее распреде-
распределение будет приближенно нормальным со средним значениям нуль
и дисперсией
2 **
z 4n
Таким образом, с ростом п выборочная медиана становится
все более и более точной оценкой для истинной медианы2 ? = 0.
У распределения с плотностью вероятности C) дисперсия
и среднее значение не существуют, так как соответствующие ин-
интегралы расходятся.
Аналогично медиане С, обе квартили ?х и ?3 определяются как
решения уравнений
*¦(&)=?- и
1 Для функции распределения B) среднее значение х не существует.
Поэтому здесь идет речь об оценке медианы ? = 0. Так- как М имеет то же
распределение, что и каждый элемент выборки, то нет оснований считать
-V более точной оценкой для ?, чем отдельное наблюдение х/. — Прим.
перев.
• В случае распределения B) плотность вероятности выборочной
медианы Z для выборки объема п = 2т — 1 задается формулой
Bт — 1)! 1 f 4 \m-i 1
^zzry (m--T)f ?^^[{--*arc tg2 '|
Так KaK|arctg< [~ "(l ^- | при t -> ± «. , то fz(t) == O(\ t |-"->).
Следовательно, дисперсия Z существует, если т з= 3, т. е. если п s= о.
Аналогично математическое ожидание Z существует (и равно нулю),
если и ss= 3. — Прим. перев.
108 Гл. IV. Оценки функций распределения, средних значений и дисперсий
Приближенными значениями для ?t и ?3 служат выборочные
квартили Z1 и Z3, которые в общем случае определяются так.
Пусть
тогда /?! и Z3 равны членам вариационного ряда с номерами q + 1
и те — q соответственно: Zl = x^+V и Z3 = atn-Q\ Таким образом,
найдутся q элементов выборки xit по величине меньших, чем Zlt
и q элементов, по величине больших, чем Z3. Для п = Am — 1
это определение совпадает с определением, указанным в § 17.
Квартилям родственна старомодная мера разброса, называемая
вероятным отклонением w. В случае непрерывной функции рас-
распределения F(t) вероятное отклонение w определяется условием,
согласно которому случайная величина х с вероятностью а/2
должна принадлежать интервалу (Q — w, С + w):
w)- F(Q - w) = \- .
Если распределение симметрично, то 4 — w и L, -\- w совпа-
совпадают с квартилями:
d = 4 - «, С, = ? -f to.
Для нормального распределения
и- = 0,6745 а; D)
Вместо о- или s в старой литературе часто пользовались ве-
величиной го. Однако к настоящему времени от этого отказались.
Дополнительный расчет оценки w' для w по формуле
гс' = 0,6745 s
представляет собой излишнюю вычислительную операцию.
Наряду с сг и w третьей традиционной мерой разброса явля-
является среднее отклонение 6, которое определяется как математи-
математическое ожидание модуля \х — х\:
E)
Выборочным приближенным значением для д является выбо-
выборочное среднее отклонение d, которое определяется как арифме-
арифметическое среднее абсолютных величин отклонений х-г — М:
§ 20. Другие числовые характеристики распределения 109
В случае нормального распределения отношение б к tr равно
некоторой постоянной. А именно если, путем изменения начала
отсчета и изменения масштаба, случайную величину х нормиро-
нормировать так, чтобы после преобразования выполнялись условия
х = 0 и о- = \, то
б =~
Поэтому для любого нормального распределения справедливо
соотношение
f|. G)
Выборочное среднее отклонение d вычисляется несколько
проще, чем выборочное квадратичное отклонение s, однако s
является принципиально более важной и, как правило, более
точной оценкой для а-, чем d.
Позднее мы увидим, что в случае нормальною распределения
52 является, в некотором определенном смысле, наилучшей оцен-
оценкой для сг2.
ГЛАВА V
ИНТЕГРАЛЫ ФУРЬЕ И ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
§ 21. Характеристические функции
А. СРЕДНИЕ ЗНАЧЕНИЯ КОМПЛЕКСНЫХ СЛУЧАЙНЫХ ВЕЛИЧИН
До сих пор математическое ожидание было определено лишь
для действительных случайных величин. Однако из двух действи-
действительных случайных величина; и у можно построить комплексную
случайную величину
и определить ее математическое ожидание формулой
в z = 6 х + г б у.
Точно так же, в общем случае, определяется среднее значение
вектора v = (хи . . ., хп):.
&(х1г. . ., хп) = (g а?!,. . ., 6 хп).
Для двух произвольных случайных векторов из одного и
того же векторного пространства или для двух комплексных
случайных величин v и w справедливо равенство
б(» +гс) = &v + бгс. A)
Две комплексные случайные величины s = ае -Ь- iy и гс =
= и т г'" называются независимыми, если и и v независимы от
х и у, т. е. если для любых а, Ъ, с и d справедливо равенство
р(х < а, у < Ь, и < с, v < d) = р(х <а,у < Ь) р(м < с, v < d).
Нел и z и w независимы, то
(Ss)(gte). B)
Последнее равенство доказывается выделением действительной
и мнимой частей гм с последующим использованием форму-
формулы A).
§ 21. Характеристические функции 111
13. ХАРАКТЕРИСТИЧЕСКАЯ ФУНКЦИЯ
Пусть х — случайная величина с функцией распределения
F(u) = р(х < и). Характеристической функцией случайной вели-
величины х называют математическое ожидание ехр (Их):
cp(t) = ? eU = J е'" dF(u). C)
Этот интеграл сходится для всех действительных t, так как
абсолютные величины действительной и мнимой частей ехр (пи)
не превосходят единицы и dF(u) сходится.
Если для F(u) существует плотность вероятности f(u), то
характеристическая функция q>(f) является обычным интегралом
Фурье:
= Jе'и f(u) du. D)
С другой стороны, если х — дискретная случайная величина,
принимающая значения хх, х2, . . . в конечном или счетном числе
с вероятностями р1У р2, . . ., то
<p(t) = 2>* *"»* • E)
Легко видеть, что
9@) = 1
и
\ф)\ ^ 1
для всех действительных t.
Если характеристическая функция случайной величины х
равна ф), то характеристическая функция ах -г Ъ (а и Ъ — пос-
постоянные) равна
? етх + Ь) = еиь 8 еШх = eibl cp(at).
В. НЕПРЕРЫВНОСТЬ XАРАКТЕРИСТИЧЕСКОП ФУНКЦИИ
Одним из общих свойств интеграла Лебега является его
непрерывная зависимость от подинтегралыюй функции, если она
мажорируется функцией, интеграл Лебега от которой конечен.
Соответствующая теорема гласит: Пусть д„(и) — последователь-
последовательность интегрируемых функций (индекс v можно заменить не-
непрерывно меняющимся параметром t). Если для всех v
F)
112 Гл. V. Интегралы Фурье и предельные теоремы
интеграл I G(u) dF{u) конечен и для всех действительных и суще-
существует предел
lim gv(u) = g{u), G)
то
lim f gv{u) dF(u) = f g(u) dF(u). (8)
Доказательство можно найти в теории интеграла Лебега.
Из этой теоремы непосредственно следует, что характеристичес-
характеристическая функция q>(t) непрерывна по t.
г. моменты
Моментом п-го порядка случайной величины х называют
математическое ожидание хп:
оо
ап = С зсп = J un dF{u). (9)
Обобщая это понятие, можно построить моменты относи-
относительно точки с:
:;(ж — с)" = J {и — cf-dF(u). A0)
Особенно важное значение имеют моменты относительно
математического ожидания х:
/лп = $(х — х)п = j (и — х)п dF(u). A1)
—се
Очевидно, что ц0 — 1 и jUj = 0. ju2 равен дисперсии:
М2 =. о-= = f,(aj - жJ.
Интегралы (9) сходятся лишь тогда, когда -F(w) при к—»—=<>
достаточно быстро стремится к нулю, а при и —> -)- оо достаточно
быстро стремится к единице. Если для данного п интеграл (9)
сходится, то говорят, что момент о.п существует. В этом случае
.¦? 21. Характеристические функции 113
существуют моменты всех более низких порядков а1г ...,о.п_1,
а также им соответствующие интегралы A0) и (ИI.
Если ап существует, то интеграл C) можно п раз дифференци-
дифференцировать под знаком интеграла, причем
оо
<p(n)(f) = in J un eau dF(u). A2)
—о©
Докажем справедливость этой формулы для первой произ-
производной; для остальных производных доказательство будет точно
таким же. Рассмотрим отношение приращений
и устремим Л к нулю. Предел дроби
"I iu
-Пи
равен iu и абсолютная величина дроби не превосходит \и\. Из
теоремы непрерывности, сформулированной в разделе В этого
параграфа, непосредственно вытекает, что
cp'(t) = i\v e'ludF(u). A4)
Так как ап существует и подинтегральная функция в A2)
непрерывна по t, то ср^Цг) также непрерывна по t. Для t = 0
получаем
»*а„. A5)
1 Пусть 0 <; к <; п, тогда \и — c\kj\u\n—> 0 при \и\ —» оо, т. е. найдется
1лкое U, что |м — с\к1\и\п <с 1 для всех \и\ > U. В силу очевидных неравенств
F^ Г|м — clftdf -Ь Г|м —
?7
-s Г \и — c\k dF +\\u\ndF^Uu— v\k dF + Г |м|« dF.
T;ik как of>;i последних интеграла конечны, то &(х — г)*1 существует.
Доказательство существования i!> xk и t^(x—а;)* получается заменой с
па 0 или х. — Прим. перев.
^ Б. .'I. Еан дер Вардеи - loG2
114 Гл. V. Интегралы Фурье и предельные теоремы
Следовательно, если моменты ап существуют, то их можно
найти посредстЕом дифференцирования характеристической функ-
функции.
Если функция (p(t) является аналитической в точке t = О,
то в некотором круге \t\ < г ее можно представить в виде ряда
Тэйлора, коэффициенты которого определяются моментами:
ф@ = 2^(й)п- A6)
Как показал Крамер (Крамер Г., Математические метсды
статистики, ИЛ, М., 1948, стр. 199), для справедливости формулы
A6) при \t\ < г достаточно, чтобы ряд.^апгп/п1 сходился абсолют-
абсолютно.
Д. ФОРМУЛЫ ОБРАЩЕНИЯ
Как известно, обращение интеграла Фурье D) задается фор-
формулой
т
f(u) = lim *- \e-ilu(p(l)dt.
-T
Если левую я прарую части последнего рагенстна ироинтсг-
рпр(,вать от а до Ь, то получим
т
F(Ь) - F(a) ---- lim -У I e-LrJl"l ф(/) dt. A7)
7— >~ -л .' '
-Т
Эту формулу можно записать и так:
F(u -\- h)~ F(u — h) --= lim -1 Г^'" <r«u <p(t) dt. A8)
—r
Как показал Поль Леви, формулы A7) и A8) естаклея справед-
справедливыми и в том случае, когда F(u) не дифференцируема, а лишь
непрерывна в точках аи b (ссответстЕенно в и — h и и -\ , К). Дока-
Доказательство можно найти, например, в книге Г. Крамера «Мате-
«Математические методы статистики», стр. 109. Там же указана еще и
другая формула обращения, а именно
1 Г1 — cos U
[F(u -l v) — F(u — v)] dv = ~ j —¦~- e-itu q>(t) dt. A9)
о
Из формулы обращения следует, что
Функция распределения F(v) однозначно определяется своей
характеристической функцией cp(t).
§22. Примеры Н5
Однозначное определение F(u) в ее точках непрерывности
непосредственно вытекает из формулы A7). Если Ъ — точка
разрыва функции F(u), то Ъ можно представить в виде предела
возрастающей последовательности точек непрерывности1 bv, и
так как F(u) непрерывна слева в каждой течке, то справедливо
равенство
F(b) = lim F{bv). B0)
V—too
Если, далее, а„ — стремящаяся к — оо последовательность
точек непрерывности, ти
lim F(av) = 0. B1)
V—>оо
Вычитая B1) из B0), получим, что
F(b) = lim [F(bv) - F(a,)l B2)
V—>oe
Из B2) следует однозначная определенность F(b) для произ-
произвольного Ъ.
Е. ХАРАКТЕРИСТИЧЕСКАЯ ФУНКЦИЯ СУММЫ
Пусть х и у — независимые случайные величины. Тогда, сог-
согласно B),
g ei((* + y> =ge«* 6 еиУ,
или, словами: характеристическая функция суммы независимых
случайных величин равна произведению характеристических функ-
функций слагаемых.
Это же самое справедливо, конечно, и для суммы хх + . . . + хп
произвольного числа слагаемых.
Указанная теорема вместе с теоремой однозначности во многих
случаях является очень удобным средствем для отыскания функ-
функции распределения суммы независимых случайных величин. Это
иллюстрируется ниже следующими примерами.
§ 22. Примеры
А . БИНОМИАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
Пусть хх, . . -,хп— независимые случайные величины, каждая
из которых может принимать значения 1 и 0 с вероятностями р
и q =- 1 —р соответственно. В этем случае сумма х1 + . . . + эе„
1 Функция, монотонно нозрастающая от 0 до 1, имеет не более чем
счетное количество точек разрыва. Это можно доказать, например, исполь-
используя ю обстоятельство, что наша функция имеет лишь конечное число скач-
скачков з= 1, конечное число скачков =& '/г> конечное число скачков э» 1/з и т- Д-
Следовательно, все скачки (а значит, и точки скачков) можно зануме-
занумеровать в порядке п.х возрастания.
8*
116 Гл. V. Интегралы Фурье и предельные теоремы
имеет биномиальное распределение: она принимает целочисленные
значения к (О «в к =s тг) с вероятностями
Согласно E) §21, характеристическая функция отдельного слагае-
слагаемого Xj равна
q>(t)=pe»+q. A)
Следовательно, характеристическая функция суммы задается
формулой
МО]" = (Ре" + 9)п- B)
Применяя к правой части B) формулу бинома Ньютона, полу-
получим сумму, совпадающую с определением характеристической
функции биномиального распределения
(ре11 { q)n = 2
Б. НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
Если случайная величина х подчиняется нормальному распре-
распределению с единичной дисперсией и нулевым средним значением,
т. е. если для х плотность вероятности задается формулой
/(«)=-А:Г*И1, C)
то соответствующая характеристическая функция равна
Выбрав в качестве новой переменной интегрирования w = и — it,
получим
л _ L,. Г _ I „,.
2 du; E)
где интегрирование производится в комплексной плоскости вдоль
прямой, параллельной действительной оси. Если путь интегриро-
интегрирования перенести на действительную ось, то найдем, что
9>@ = e~*''. F)
? 22. Примеры 117
Случайная величина <тх также нормальна с дисперсией <т-
и нулевым средним значением. Ее характеристическая функция
равна
ев'-=ф(^) = в-^". G)
Таким образом, характеристическая функция нормально рас-
распределенной случайной величины с нулевым средним значением
лишь постоянным множителем отличается от гауссовой функции
ошибок с дисперсией, равной обратной величине дисперсии исходного
нормального распределения.
Если к случайной величине х прибавить постоянную а, то
характеристическая функция х -\ а будет равна произведению
cp{t) и exp {ita). Следовательно, для характеристической функции
нормально распределенной случайной величины со средним
значением а и квадратичным отклонением <г справедлива фор-
формула
„(O^'Vi1. (8)
Произведение двух функций этсго вида опять будет функцией
того же вида. Этим самым мы снова получили найденный ранее
(Результат, но со значительно меньшим количеством выкладок:
Сумма двух независимых нормально распределенных случайных
величин снова распределена нормально.
В. PAC:I.v:V? ЛЕНИЕ ПУАССОНА
Если х принимает значения к = 0, 1,2, ... с вероятностями
(§
то соответствующая характеристическая функция, согласно E),
равна
cp(t) = Vpft iM = е-^-Ятг)'' - е~х (*¦" -г- <а«" -Я A0)
о о *•
Произведение двух таких функций с параметрами Aj и А2 снова
является функцией вида A0) с параметром А = Ах ¦+- А2. Отсюда
следует, что
Сумма двух независимых случайных величин а^ и х2, подчиняю-
подчиняющихся распределению Пуассона со средними значениями А, и А2,
снова имеет распределение Пуассона со средним значением Кг -\ А2.
118 Гл. V. Интегралы Фурье и предельные теоремы
§ 23. Распределение х2
В связи с гауссовой теорией ошибок астроном Ф. Р. Хель-
мерт исследовал суммы квадратов нормально распределенных
случайных величин и при этом пришел к функции распределения
G(u), которую позднее К. Пирсон назвал функцией распределения
%г. Для отрицательных и функция G(n) = 0, а для неотрица-
неотрицательных и
и
G(u) r-а к е 2 dy, A)
о
где А = //2 и / — натуральное число, которое, по Р. А. Фишеру,
называется числом степеней свободы. Множитель о. определяется
так, чтобы выполнялось равенство О(оо) = 1, т. е.
1 . ..
<х := — . \Z)
Соответствующая плотность вероятности задается формулой
д(и) = аи~ е~*и (»> 0). C)
В простейшем случае Л = 1 (две степени снебоды) и плотность
вероятностей является показательной функцией
_ 1
Случай Л = 1/2 (одна степень свободы) получается прямо из
нормального распределения, согласно следующей теореме:
Если случайная величина х распределена нормально с нулевым
средним значением и единичной дисперсией, то ж2 подчиняется
распределению х2 с одной степенью свободы.
Для доказательства этой теоремы нужно лишь вычислить
вероятность события х2 < и. Она равна
\1Г ИГ
G(u)= L(edz
\ In J \ 'In
-ViT °
Если теперь в качестве новой переменней интегрирования
выбрать у = z-, то немедленно получим искомый результат
\ dy. E)
2л J
о
§ 23. Распределение х2 119
Перейдем теперь к остальным случаям. Характеристическая
функция распределения ^- имеет вид
~г ~~ 2"" " ""
ср{1) = а иг е 2" " "" du. F)
о
Выбирая в качестве новой переменно?; интегрирования v =
(Va —Щи, получим
2х A — 2й)-* a J гЛ-i е~« йг>, G)
где интегрирование производится в комплексной плоскости v
вдоль полупрямой, которая расположена в правой полуплоскости
и уходит из нуля в бесконечность. Уравнение этой прямой
v = *- — Щи,
где t фиксировано^ а и возрастает от 0 до с». Этот путь интегриро-
гания можно перевести в положительную часть действительной
оси; значение интеграла от этого не изменится. Следовательно,
интеграл в G) равен Г(к), псэтсму
= (n=W ¦ (8)
Первый и второй моменты распределения %2 можно легко
вычислить либо по определению момента
ап = Г и" dG(u) — Г ип g(u) du,
о о
либо по формуле A5) предыдущего параграфа. Мы получим
«1 = 2Л = /,
а2 = 4Л(Л+ 1) =/2-5-2/.
Отсюда находим среднее значение и дисперсию случайной
величины у, подчиняющейся распределению х1:
сг^ = ^, у2 — (f, у)*- ^ut--u\ = 2/. A0)
Пусть теперь у и г — независимые случайные величины, под-
подчиняющиеся распределению ^2 с степенями / и /' свободы соответ-
соответственно. Согласно (8), характеристические функции у и z равны
A —2U) "- и A — 2«) »'.
120 Гл. V. Интегралы Фурье и предельные теоремы
Их произведение снова является характеристической функцией
того же самого вида. Отсюда следует, что
Если две независимые случайные величины у uz подчиняются рас-
распределению %г с f и f степенями свободы соответственно, то их
сумма у -\- z имеет распределение %г с / + /' степенями свободы.
Справедливость этой теоремы можно также проверить прямым
вычислением интеграла
h(v) = J
u)du A1)
о
по формуле G) § 4 Б. Вычисление сведется к бета-функции. Таким
образом, можно избежать применения характеристических функ-
функций; правда, при этсм будет больше выкладок.
Само собой разумеется, что эта теорема остается справедливей
и для сумм уг 4-. . . + уп, где п > 2. В применении к сумме квад-
квадратов нормально распределенных случайных величин с нулевыми
средними значениями и единичными дисперсиями эта теорема
гласит:
Если ж,, х2,. . ., хп — независимые нормально распределенные
случайные величины с нулевыми средними значениями и единичными
дисперсиями, то сумма квадратов
Х* = а% + а% + ...-\-а* A2)
подчиняется распределению %* с п степенями свободы.
Таким образом, мы пришли к результату Хельмерта, сфор-
сформулированному в начале этого раздела. Если дисперсия равна
не единице, а о-2, то для того, чтобы получить распределение -/1,
следует вместо A2) положить
*• = Ч^
§ 24. Предельные теоремы
Л. ПРЕДЕЛЬНАЯ ТЕОРЕМА ЛЕНИ — КРАМЕРА
Из формул обращения характеристической функции (§21 Д)
следует предельная теорема:
Если последовательность характеристических функций <Pi@-
(p2(t), . . ¦ при каждом t стремится к пределу cp(t), непрерывному в
точке t = 0, то фA) является характеристической функцией неко-
некоторой функции распределения F(u), причем последовательность
функций распределения F^u), F2(u), . . . сходится к F(u) во всех
тех точках и, где функция F(u) непрерывна.
Доказательство этей теоремы имеется в книге Г. Крамера
«Математические методы статистики», стр. 112.
24. Предельные теоремы 121
Если F(u) — функция распределения, и для всех тех точек и,
где F(u) непрерывна, имеет место соотношение lim Fn(u) = F{u),
то в дальнейшем мы будем кратко говорить: последовательность
Fn стремится к F.
Б. ПРИМЕР ИСПОЛЬЗОВАНИЯ ПРЕДЕЛЬНОЙ ТЕОРЕМЫ:
БИНОМИАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
Характеристической функцией биномиального распределения
является
f(t) = (ре" 4 q)n. A)
Среднее значение случайной величины х =>х1 + . . . -\- хп равно
пр, а квадратичное отклонение сг = ^npq. Если
ввести в качестве новой случайной величины, то соответствующая
характеристическая функция будет задаваться формулой
iinp it
<Pn(t) = e~~ir (ре° 4- qf. C)
Логарифм <pn(t) равен
и
¦ 1пф„(<) = —-^-4- «1п[1 +Р(^" —1)]. D)
Если ^ фиксировано ий-» сх>, то г7/сг стремится к нулю; пока-
показательную функцию в круглых скобках можно разложить в сте-
степенной ряд
Произведение р [exp (it/cr) — 1] для достаточно больших п
мало сравнительно с единицей, следовательно, логарифм в правой
части D) можно также разложить в степенной ряд:
Подставляя этот результат в D), получим
Если теперь п устремим к бесконечности, то в пределе.
-1с
lim <pn(t) ^ е 2 . F)
П
122 Гл. V. Интегралы Фурье и предельные теоремы
Правая часть F) является характеристической функцией
нормального распределения. Отсюда следует, что функция распре-
распределения нормированной случайной величины B) с нулевым сред-
средним значением и единичной дисперсией при п —> оо сходится к
функции нормального распределения. Этот результат можно
сформулировать и так: случайная величина х асимптотически
нормальна со средним значением пр и квадратичным отклонением <г.
Мы уже знакомы с этим результатом, однако только что
изложенный вывод требует меньше вычислений. Точно таким же
способом с помощью характеристической функции можно без
труда получить дополнительный член порядка \/]/п (см. A) § 6).
В. ЗАКОН БОЛЬШИХ ЧИСЕЛ
Закон больших чисел в § 5 был сформулирован так: если ве-
вероятность некоторого события равна р, то частота h наступле-
наступления этого события в п независимых испытаниях для дсстаточнс-
больших п с вероятностью, сколь угодно близкой к единице,
будет произвольно мало отличаться от р. Это же самое можно
сформулировать и так: частота h сходится по вероятности
к р при и-»оо.Или гще: при п^>°о частота h является состоя-
состоятельной оценкой для р. Все эти высказывания означают одно и то же,
а именно — что для всякого е > 0 вероятность события \h —р\<
< е сколь угодно близка к единице, если п достаточно геликс.
Случайная величина h была определена как отношение х/п,
где
х = Ху + . . . + хп G)
является суммой независимых случайных величин, каждая из
которых принимает значения 1 или 0 с вероятностями р и q =
— 1 —р соответственно. Закон больших чисел можно обобщить,
выбрав в качестве xlt . . ., хп какие-либо независимые случайные
величины с одной и той же функцией распределения F(u). При
этом, согласно Хинчину. на F(u) накладывается лишь требова-
требование существования конечного среднего значения
а = ^х1 = §udF(u). (8)
—оо
По Дюге, достаточно даже более слабое предположение о суще-
существовании конечной производной от характеристической функ-
функции Жл в точке t = 0:
<р'@) = га. (9)
Согласно Хинчину и Дюге, обобщенный закон больших чисел
гласит:
§ 24. Предельные теоремы
Если Ж], . . ., хп — независимые случайные величины с одной и
той же функцией распределения и если выполняется условие (9),
то арифметическое среднее
tn=i («! + ...+«„) A0)
сходится по вероятности к а при п—*оо.
Доказательство чрезвычайно просто. В некоторой окрест-
окрестности точки t = 0 характеристическая функция <p(t) близка к
единице, следовательно, мы можем в этой окрестности положить
е^\ A1)
Характеристическая функция арифметического среднего m равна
Так как в точке t = 0 функция <p{t) дифференцируема, то диф-
дифференцируема также и t)>(t), причем ее производная равна
По определению производной (n/t)rp(t/n) стремится к т/;'@)
при п—>оо, следовательно, A2) при тс—>оо имеет предел
e(v'@>= еш. A4)
По правая часть A4) является характеристической функ-
функцией величины а, которая с достоверностью принимает лишь
(.дно значение а. Таким образом, характеристическая функция
ш при каждом t стремится к характеристической функции по-
постоянной величины а. Функцией распределения а является такая
функция Е(и), которая в точке а совершает скачок от 0 к 1 и в
дальнейшем с ростом и остается равной единице. Согласно пре-
предельной теореме, функция распределения т стремится к этой
функции Е(и) во всех тех точках и, где Е(и) непрерывна. Следо-
Следовательно, функция распределения т стремится к нулю при и< а
и стремится к единице при и > а. Этот результат в точности сов-
совпадает с утверждением теоремы.
Только что доказанную теорему называют «слабым законом
больших чисел». Наряду с этим законом существует еще «уси-
«усиленный закон больших чисел», но в математической статистике
он едва ли играет заметную роль. [См. Хинчин А. Я., Sur la loi
des grands nombres, Comptes Rendus de l'Acad. des Sciences, Paris,
188 A929), 477, а также Гнеденко Б. В. и Колмогоров А. II., Пре-
Предельные распределения для сумм независимых случайных вели-
величин, ГИТТЛ, М., 1949, стр. 112 и 142.1
124 Гл. V. Интегралы Фурье и предельные теоремы
Г. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
Случайная величина х, функция распределения которой за-
зависит от параметра п, называется асимптотически нормальной,
если существуют два числа а и с (может быть, зависящие г г v)
такие, что функция распределения случайной величины
==? A5)
стремится к нормированной функции нормального распределения
Ф(ад)при п—»оо. Согласно разделу А этого параграфа, необходимым
и достаточным условием асимптотической нормальности х явля-
является сходимость характеристической функции случайной величины
A5) к характеристической функции нормального распределения
-if
в 2 A6)
при каждом t.
Во многих случаях а является средним значением, ас — квад-
квадратичным отклонением случайней величины х, однако может слу-
случиться, что квадратичное отклонение х не существует или даже
среднее значение не существует и, несмотря на это, имеются числа
а и с с упомянутыми свойствами.
В разделе Б мы видели, что при п опытах, в каждом из кото-
которых положительный исход наступает с едной и той же пероят-
нсстью р, общее число положительных исходов х = х1 + . .. + хп
асимптотически нормально. При этом каждое слагаемое Xj при-
принимает лишь значения 1 и 0 с вероятностями p\iq=\--p соот-
соответственно.
Смысл содержания центральной предельной теоремы заклю-
заключается в том, что при определенных условиях каждая сумма не-
независимых случайных величин
х = acj + . .. +хп A7)
распределена асимптотически нормально.
Уже Лаплас и Гаусс предполагали справедливость этой тео-
теоремы и указали основания для своих догадок. Первое полное до-
доказательство принадлежит А. М. Ляпунову A901I. Поль Леви
привлек для доказательства характеристические функции. Позд-
Позднее Хинчин, Леви и Феллер доказали эту теорему при значи-
значительно белее слабых предположениях. (По этому сопрссу см.
Levy P., Theorie de l'addition des variables aleatoires, Paris, 1954;
Хинчин А. Я., Предельные теоремы для сумм независимых слу-
1 Первое строгое доказательство центральной предельной теоремы
дал с помощью метода моментов А. А. Марков A898). При этом он следовал
по пути, указанному П. Л. Чебышевым. — Прим. ред.
§ 24. Предельные теоремы 125
чайных величин, ГОНТИ, 1938; Гнеденко Б. В. и Колмогоров Л. Н.,
Предельные распределения для сумм независимых случайных ве-
величин, ГИТТЛ, М., 1949.)
Определенные ограничения, которые в центральной предель-
предельной теореме накладываются на распределения слагаемых A7),
нужны для того, чтобы, во-первых, исключить тот случай, когда
величина отдельного слагаемого ссставляет слишком большую
часть всей суммы A7), и, во-вторых, чтобы обеспечить достаточно
быстрое стремление функций распределения Xj к нулю и к единице
при и-> — «>и м-> +оо соответственно. Если, например, все отдель-
отдельные слагаемые Xj подчиняются распределению Коши (§ 20), то
сумма х имеет то же самое распределение и центральная пре-
предельная теорема не выполняется. Линдеберг (Math. Zeitsehr.,
15, 1922) указал довольно слабое условие, достаточное для вы-
выполнимости центральной предельной теоремы, однако условия
Феллера (Math. Zeitsehr., 40 und 42) еще слабее, так как Феллер
не требует даже конечности дисперсий1.
Мы не будем здесь входить в эти тонкости и рассмотрим лишь
случай, когда все асу одинаково распределены и имеют конечное
среднее значение и конечную дисперсию. Мы докажем, таким
образом, теорему:
Если xlt . . ., хп — независимые одинаково распределенные слу-
случайные величины, имеющие среднее значение /л- и квадратичное от-
отклонение сг, то сумма A7) асимптотически нормальна со средним
значением и/х и квадратичным отклонением а- )[п.
Доказательство. Мы можем предположить, что /л = 0.
Пусть <p(t) — характеристическая функция случайной величины
хг, тогда [q>(t)]n — характеристическая функция случайной ве-
величины х.
Нам нужно доказать, что
н-м
A8)
стремится к ехр(—<2/2) при п-»оо.
Первая и вторая производные от <p{z) в точке z =- 0 равны со-
соответственно щ =- 0 и г'2сг2 = —сг2. Следовательно, для q>(z) спра-
справедлива формула Тэйлора:
<р(г) = 1 — J-(T222 + B,
1 См. монографию Б. В. Гнеденко и Л. Н. Колмогорова, указанную
выше, л также статью А Н. Колмогорова, Некоторые работы последних
лет в области предельных теорем теории вероятностей, Вест. Моск. ун-та,
№ 10 A953), 29. — Прим. перее.
]26 Гл. V. Интегралы Фурье и предельные теоремы
где остаточный член R при z—>0 стремится к нулю быстрее, чем
г-. Из последнего равенстЕа получаем, что
причем R при и—>оо стремится к нулю быстрее, чем 1/я. Лога-
Логарифм характеристической функции равен
-?+*'• B0)
где R' снова стремится к нулю быстрее, чем ]/п. Если B0) умно-
умножить на п, то найдем логарифм A8). Устремляя затем п к беско-
бесконечности, получим в пределе —12/2, следовательно,
что и требовалось доказать.
Д. ПРИМЕР: РАСПРЕДЕЛЕНИЕ X'
Для суммы квадратов независимых одинаково нормально
распределенных случайных величин с нулевым средним значе-
значением и единичной дисперсией
X2 = х\ + г§ -f . . . + х\ B2)
выполнены все предположения только что доказанной теоремы.
Среднее значение х\ равно единице, а квадратичное отклоне-
отклонение равно]/2. Следовательно, сумма B2) асимптотически нормальна
со средним значением «и квадратичным отклонением |/2и (ср. § 23).
Так как квадратичное отклонение мало по сравнению со средним
значением, то случайная величина ]/2у2 распределена также асим-
асимптотически нормально. Нормальное приближение для распреде-
распределения 1^2)B лучше, чем для самого распределения х2 (см. Fisher R. А.,
Statistical Methods, § 20). Среднее значение f2y~2 приближенно
равно |/27г — 1, а дисперсия близка к единице1.
1 По поводу пеммтел нческой нормальности функций от асимптотиче-
асимптотически нормальных случайных неличин см. Крамер Г., Математические
методы статистики, ИЛ, М., 1948, стр. 401. Можно указать такие функции
от %г, распределение которых существенно лучше приближается i ормаль-
ным распределением, чем распределения (х~ — n)l\'2n илиУг^2 — } 'ИГ— 1.
Примером такой функции является функция (x2h)li:i, распределенная асим-
асимптотически нормально со средним значением 1 —2/(9и) и дисперсией
2/(9п) [см. Wilson Е. В. and Hi 1 f е r t у Д1. М., Nat. Acad. Sei. USA,
17 A931), 094]. — Прим. черев.
•У 24. Предельные теоремы
Е. ВТОРАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
Очень полезна также «вторая предельная теорема» Фреше и
Шохата1, которая гласит:
Если все Fn(t) из последовательности функций распределения
{Fn(t)} обладают конечными моментами ак(п) любого порядка и
если ak(ri)^>f5k (я-»оо) при каждом Тс, то f3k— моменты некоторой
функции распределения F(t). Если, кроме того, F(t) своими мо-
моментами определяется однозначно, то при п—>оо последователь-
последовательность Fn(t) сходится к F(t) в каждой точке непрерывности функ-
функции F(t).
Доказательство этой чсорсмы можно найти в цитированном
исследовании Фреше и Шохата или в книге M.G. Kendall, Advan-
Advanced Theory of Statistics, vol. I, Griffin and C°, London, 1948, § 4.24.
Наиболее гажен ют случай, кегда pk являются моментами
функции нормального распределения O(t):
ft,-i = 0, ft, = -^ г= 1,2 B3)
Функция нормального распределения всюду непрег.ыг.на и
однозначно определяется своими моментами. Следогательго,
Если ок(п) при п~>оо стремятся к моментам нормального рас-
распределения B3), то в каждой точке t последовательность Fn(t)
сходится к ФA).
Ж. ОДНА ЭЛЕМЕНТАРНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
Доказательства всех предыдущих предельных теорем были
основаны на интегральном преобразовании Фурье. Однако сле-
следующая теорема будет совсем элементарной. Формулировка этой
теоремы заимствована мною из книги Г. Крамера, << Математичес-
Математические методы статистики >>, ИЛ, М., 1948, стр. 281, 20. 6.
Пусть xlt х2, . . . — последовательность случайных величин с
функциями распределения Fu F2, . . . . Предполсжим, что Fn(u)
стремится к функции распределения F(u) при и—>оо.
Пусть, далее, ylt у2, . . . другая последовательность случайных
величин. Предполсжим, что уп сходится по вероятности к неко-
некоторой постоянной с. Тогда функция распределения суммы
1 Впервые эти теорем;) была доказан;! Л. Л. .Марковым A898) л.-,я случая
сходимости к нормальному распределению (см. Марион А. Л., Исчи-
Исчисление вероятностей, 4-е изд., ГИЗ, 1924, стр. 514). Доказательство фор-
формулируемом здесь общей теоремы даго в работе F г о с Ь с t Ъ\. and К li o-
hat J., A Proof of the Generalized Second Limit Theonni, Trans. Amor.
Math. Soc, 33 A931), оЗЗ. -- Прим. персе
128 Гл. V. Интегралы Фурье и предельные теоремы
при п->оо стремится к F(u — с). Если с > 0, то с соответствую-
соответствующими очевидными изменениями это утверждение справедливо для
произведения хпуп и отношения х„/уп.
Важно отметить, что в этой теореме не требуется независи-
независимости входящих в нее случайных величин.
Мы проведем доказательство для сумм B4). В случае произ-
произведений или отношений доказательство остается аналогичным.
Пусть и — точка непрерывности функции F(u — с). Тогда
для каждого е >0 найдется такое й = 6(е, и), что F(u— с — 6)
и F(u — с -f 6) будут отличаться от F(u — с) менее чем на е. Так
как, согласно сделанному ранее замечанию (см. сноску в § 21 Д),
множество точек разрыва функции F не более чем счетно, то мы
можем так выбрать 6, чтобы точки и — с -\- Ь и и — с — б явля-
являлись точками непрерывности функции F.
Пусть Gn{u) — вероятность события zn < и. Нам нужно до-
доказать, что Gn(u) при п—>оо стремится к F(u — с).
Если хп< и — с — д и уп =s с -f S. то zn< и. Отсюда сле-
следует, что если xn<v — с — д, то или zn< и или уп > с + 6.
Следовательно.
Р(ж„ < и— с — Ь) * р(г„ < и) -Ь ?{уп > с •+ 6)
или
Fn(u - с - д) ^ Gn(u) + р(уп > с + 6). B5)
Так как уп стремится по вероятности к с, то вероятность со-
события уп> с -\- 6 для достаточно больших п будет меньше е.
Таким образом, из B5) получается, что
Fn{u - с - б)< <?„(«) + е.
Поскольку Fn стремится к F, то для всех достаточно больших
п справедливо неравенство
F(u — с — 6) < Gn(u) -'r 2е
и, далее,
F(u — с) < Gn(u) -)- Зе. B6)
Точно так же, поменяв ролями хп и zn, можно доказать, что
Gn(u) < Fn(u.— с + д) + Е < F(v — с) -г Зе. B7)
Из B6) и B7) следует равенство lim Gn{u) = F(u—с), чем и
завершается доказательство предельной теоремы.
§ 25. Прямоугольное распределение. Ошибки округления 129
§ 25. Прямоугольное распределение. Ошибки округления
Случайная величина х называется равномерно распределен-
распределенной между а и Ъ, если ее плотность вероятности равна постоян-
постоянной в интервале (а, Ь) и равна нулю вне этого интервала:
1 ,
г-^—, если а < х < о,
О, если х < а или х > Ъ.
Так как график функции f(x) изображается в виде прямо-
прямоугольника (рис. 15), то такое распределение называют прямо-
Р и с. 15. График плотности
прямоугольного распределения.
угольным. Вопрос о том, определена ли f(x) в конечных точках ин-
интервала а и Ъ и если определена, то как именно, не имеет ника-
никакого значения. Функция прямоугольного распределения зада-
задается равенствами:
/ 0 , если х =s a,
F{x) = 11^. если а < х =s Ъ, B)
' 1 , если Ъ < х.
Среднее значение х равно {а + Ь)/2, дисперсия (Ъ — аJ/12.
Для большей определенности мы предположим, что а = •—у2 и
Ъ = у2. В этом случае жх равномерно распределена между —у2
и -\~У2 с нулевым средним значением и дисперсией Via-
Такое распределение встречается тогда, когда результаты
числовых расчетов округляются до целых чисел. Если точные
результаты вычислений зависят от случая и изменяются в ши-
широких границах с плотностью вероятности, которая в интер-
интервале длины единица не сильно отличается от постоянной, то ошиб-
ошибки округления будут распределены приблизительно равномерно
между —У2 и +у2.
Характеристическая функция прямоугольного распределения
равна
ах — t~ sin 2~ . (о)
_ 1
2
9 Б. Л. ван дер Вардси - 10G2
130
Гл. V. Интегралы Фурье и предельные теоремы
Рассмотрим теперь распределение суммы независимых оди-
одинаково равномерно распределенных в интервале (—У2, У2) слу-
случайных величин:
х =
as,,.
Среднее значение суммы равно нулю, квадратичное отклонен и
равно ]/п/12". Если х нормировать таким образом, чтобы квадра
тичное отклонение нормированной величины равнялось единице
а затем п устремить к бесконечности, то характеристическая
функция нормированной случайной величины х j/12/n
E)
будет очень быстро приближаться к гауссовой функции ехр(—12/2).
Таким образом, нужно ожидать, что функция распределения х
очень быстро приближается к функции нормального распреде-
распределения.
Это подтверждается расчетами. Если fn(x) — плотность ве-
вероятности суммы х, то справедливы рекуррентные формулы:
1, если — - < х < - ,
О, если х < — • - или х > „- ,
F)
/„(ж) = J fn-iiu) da.
i
С помощью этих формул находим
\ ж + 1, если — 1 < х * О,
|(г J- 1) — 1х, есл и О ^ х < 1,
V2
2
, если — ъ <х '
О)
;? 25. Прямоугольное распределение. Ошибки округления
131
и т. д., вообще
причем в сумму A0) входят все те слагаемые х + и/2, х -\- я/2—1,
. . . , которые при данном х неотрицательны. Графики функций
ti> U и fi изображены на рис. 16, 17 и 18. Распределение с плот-
ностью fi{x) называют «треугольным распределением»: соответ-
соответствующий график представляет собой равнобедренны!"; тре-
треугольник, вершина которого имеет абсциссу х = 0, а основанием
является отрезок [— 1, +1]. График плотности f3(x) составлен
из трех отрезков квадратичных парабол и очень похож на кри-
кривую Гаусса. Кривая, соответствующая ft(x), почти не отличима
от кривой Гаусса.
Пример 14. «Основной аргумент» z в Сатурновых таблицах Хилла1
представляет собой сумму 24 членов, каждый из которых получают посред-
посредством интерполяции из некоторой четырехзначной таблицы. Если отдель-
отдельные члены были бы вычислены более точно, т. е. с 5 или 6 десятичными
знаками, и лишь сумма округлена до четырех знаков, то насколько этот
результат отличался бы от z, вычисленного с помощью четырехзначных
таблиц?
Умножением всех слагаемых на 104 можно добиться того, чтобы
табличные значения были целыми числами. Если между двумя табличными
значениями уп и уп + \ производится линейная интерполяция по формуле
У=--Уп-\- х(Уп+1 — Уп) = УпО — х) + Уп + i
х < 1)
(И)
1 Astron. Papers Amcr. Ephemeris, VIII A868), 145—285.
132 Гл. V. Интегралы Фурье и предельные теоремы
и если уп и уп + г имеют ошибки округления и и v соответственно, то ошибка
у равна
го = мA — х) + vx. A2)
Предположим теперь, что и, v и х — независимые случайные величины,
причем миг; равномерно распределены между —1/2 и +г/г> а * равномерно
распределена между 0 и 1. В этом случае w имеет нулевое среднее значение
и дисперсию
1 2 2
о-3 = gie!= frfa; [du \ dv [мA — а;) + те]2. A3)
О _ 1_ _ 1_
2 2
Если в A3) сначала произвести интегрирование по и и », а затем—по
а;, то получим
1
A)
Дисперсия ошибки линейной интерполяции в таблицах с двойным
входом будет еще меньше. Однако так как у Хилла по таблицам с двойным
входом получаются лишь три слагаемых из двадцати четырех, то точное
вычисление соответствующих дисперсий не имеет никакого значения.
В некоторых таблицах г/„на больших промежутках сохраняют постоян-
постоянные значения. В этом случае и и v уже не являются независимыми, и ре-
результат A4) не имеет места. Ошибка интерполяции оказывается прибли-
приближенно равной ошибке округления табличных значений, поэтому здесь
т-~1. A5)
В большинстве таблиц линейная интерполяция недопустима, и нужно
пользоваться квадратичной интерполяцией, например по формуле
, , . . Уп+г — 2Уп + Уп-i , .. f 1 1 |
У = Уп + (Уп+i —Уп)в-\ "„ х(х—1) — -< x*i - .
Тогда с помощью вычислений, аналогичных указанным выше, получим
несколько большую дисперсию, а именно
2 012
Если квадратичная интерполяция применялась в 15 случаях, то, вы-
вычисляя дисперсию 15 слагаемых по формуле A6), а остальных девяти — по
формуле A5), мы найдем для дисперсии суммы г оценку сверху. Это лишь
увеличит надежность наших выводов. По центральной предельной теореме
сумма 24 случайных величин распределена почти нормально с дисперсией
2,58. К этой дисперсии нужно еще добавить дисперсию ошибки округле-
округления точной суммы, равную Vu- Таким образом, разность между точным
§ 25. Прямоугольное распределение. Ошибки скругления 133
значением г, округленным до целых единиц, и тем значением z, которое
получается с помощью четырехзначных таблиц слагаемых, представляет
собой практически нормально распределенную случайную величину с
дисперсией
о-2 = 2,67.
Возвращаясь снова к четырехзначным числам, получаем, что квадратич-
квадратичное отклонение о- этой разности округленно равно 1,6 • 10~4. Следова-
Следовательно, общая ошибка суммы, превышающая 4 единицы четвертого деся-
десятичного знака, будет встречаться лишь чрезвычайно редко.
Если бы мы сложили теоретически возможные максимальные ошибки
всех отдельных слагаемых, то получили бы 14 единиц четвертого десятич-
десятичного знака. Теоретически возможная ошибка cyMiwbi пропорциональна
числу слагаемых т, а практическая ошибка пропорциональна У т.
ГЛАВА VI
ГАУССОВА ТЕОРИЯ ОШИБОК И КРИТЕРИЙ СТЬЮДЕНТА
В этой главе предполагается известным содержание гл.
I—IV, а также центральная предельная теорема и поня-
понятие о распределении у'2 из гл. V.
§ 26. Гауссова теория ошибок
Л. РАВНОТОЧНЫЕ НАБЛЮДЕНИЯ
Повторные измерения физической величины, даже если эта
величина в процессе измерений остается постоянной, не всегда
дают одинаковые результаты: наблюденные значения х имеют
некоторый разброс около среднего значения х. Разность х—х,
по Гауссу, называется случайной ошибкой одного наблюдения.
Среднее значение х не обязательно равняется истинному зна-
значению измеряемой величины, так как наблюдения могут содер-
содержать систематическую ошибку, которая возникает как следствие
принятого метода измерений. При известных условиях влияние
систематической ошибки можно понизить улучшением измери-
измерительной аппаратуры или добавлением к результатам измерений
надлежащих поправок. Вопрос устранения систематических оши-
ошибок выходит за рамки статистической теории ошибок, которая
посвящена лишь случайным ошибкам х—х.
В теории ошибок всегда предполагается, что случайная ве-
величина х имеет конечные среднее значение х и квадратичное от-
отклонение сг. Иногда делается еще дополнительное предположение
о законе распределения ошибок; однако сначала мы постараемся
выяснить, как далеко можно продвинуть эту теорию без опреде-
определенных предположений о распределении ошибок.
Следуя Гауссу, квадратичное отклонение о- называют средней
ошибкой наблюдения. Осреднением многих наблюдений среднюю
ошибку можно понизить. Л именно, согласно § 18, выборочное
среднее из п независимых наблюдений
М = х = 1-Ух, A)
имеет то же среднее значение х, что и отдельные наблюдения xit
и средняя ошибка М в ][п раз меньше средней ошибки х{:
§ 26. Гауссова теория ошибок
135
Для того чтобы можно было судить о точности М как оценки
для х, нужно найти приближенное значение для сг2. Как пока-
показано в § 18, в качестве приближенного значения принимают
Для дисперсии выборочного среднего М
соответствующее приближенное значение равно
E)
Если количество наблюдений п велико, то sM является хоро-
хорошим приближением для средней ошибки <гм. Найденное выбороч-
выборочное среднее М и его выборочную среднюю ошибку sM обычно
объединяют в выражение М + sM.
Пример 15. Повторные определения широты Капштадта в течение
периода с 1892 по 1894 г. (Czuber, Wahrschomlichkeitsrechiiung, Beispiel LVI)
дали 15 результатов, указанных в таблице.
Отбрасывая градусы и минуты, найдем выборочное среднее
48",92
М- — -3", 261
15
и в качестве округленного на-
начала отсчета выберем а = 3",26.
При вычислении s2 за новую
единицу принята 0", 01 (§18,2).
Поправочный член —п (М—аJ
в данном случае столь мал, что
им можно пренебречь. Таким
образом, находим
3406
= 243,
следовательно, в = 16;
243
=16,
следовательно,
— А.
Результат можно записать в
виде символического равенства:
<р ¦- —33°56'3",26 ± 0",04.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
X
-33°56'3",48
3",50
3",50
3",32
3",09
2",98
3",0/
3",28
3",27
3",20
3",30
3",25
3",11
3",30
3",27
48",92
х-а
+ 22
-г 24
-г 24
+ 6
— 17
—28
— 19
+ 2
+ 1
— 6
J- 4
— 1
—15
+ 4
+ 1
+ 2
(х - а)'
484
576
576
36
289
784
361
4
1
36
16
1
225
16
1
3406
136 Гл. VI. Гауссова теория ошибок и критерий Стьюдента
Б. НЕРАВНОТОЧНЫЕ НАБЛЮДЕНИЯ
Если отдельные наблюдения имеют различную точность, то
при образовании среднего их естественно снабдить различными
весами и вместо A) построить взвешенное выборочное среднее,
которое мы снова обозначим буквой М:
м = ffi *1 + • • • + Яп хп- F)
При этом сумма бесов должна быть равна единице:
?! + .•¦ + &,= !• G)
Среднее значение и дисперсия М равны
SM = g1xl + ... + gnx,t, (8)
<г2м = 91<г21 + ...-\-9>1 (9)
Если все Xj имеют одно и то же среднее значение х, что мы и бу-
будем впредь всегда предполагать, то (8) превращается в равенство
?М = х.
Спрашивается, каким образом нужно выбрать р еса gt, чтобы
средняя ошибка сгм была наименьшей?
Из G) и (9) следует, что
Как известно, этот квадратичный относительно glt . . ., д,,^
многочлен достигает в некоторой точке минимума, если все его
частные производные по д1, . . ., дп_х в этой точке обращаются в
нуль. Дифференцируя по glt находим
или
Точно так же, дифференцируя по д2, найдем
ffi °2 = Яп °"«
и т. д. Это означает, 4io веса дх,. . ., дп должны быть обратно про-
пропорциональны квадратам средних ошибок отдельных наблюдений.
При вычислениях дополнительное условие G) удобно отбро-
отбросить, заменив g величинами, пропорциональными весам. Тогда
вместо F) нужно написать
<7,- должны быть обратно пропорциональны дисперсиям erf:
д,:дг:...:дп = сг^:сг^:...:(г-2. A1)
§ 26. Гауссова теория ошибок 137
Положим теперь
9i°*i=°* A2)
и назовем сг «средней ошибкой наблюдения на единицу веса».
В данном случае вместо (9) получим
V 2 2
_2 _ 2,9t °ч
B, 9if
или, если воспользоваться A2),
A3)
2?
По результатам наблюдений можно вычислить приближен-
приближенное значение для сг2, а именно
Оправданием формулы A4) служит то, что среднее значение
s2 равно сг2. Доказательство вполне аналогично приведенному
ранее доказательству формулы A0) в § 18. Для упрощения вычи-
вычислений мы предварительно выберем начало отсчета на оси Ох
так, чтобы выполнялось условие х = 0. В этом случае имеем
следовательно, согласно A4),
в s2 = о-2. A6)
В силу A3), для дисперсии сг2, взвешенного выборочного
среднего М получаем приближенное значение
«^= * . A7)
2,9
Формулу A7) можно применять лишь тогда, когда известно,
что веса правильны, т. е. обратно пропорциональны дисперсиям сг2.
Если веса заменены их приближенными оценками, то при выво-
выводах надо соблюдать осторожность.
При вычислении s2 можно М опять заменить каким-либо
близким числом а и затем из результата вычесть (? 9) №—аJ'
*2 — —— г V м* _ йJ — (У1 д) (М — af]. A8)
138 Гл. VI. Гауссова теория ошибок и критерий Стьюдента
Пример 16. Для определения периода колебаний физического маятника
фиксировались 20 последовательных моментов прохождения этого маятника
в одном и том же и а правлен и и через поло жен неравно вес и я. Пусть lv..., ti0~
зафиксированные моменты времени. С помощью этих двадцати наблюде-
наблюдений можно построить десять независимых оценок для периода Т, а именно:
J 10 — Vix 'lol-
Если все разности (<; — ?&) имеют одинаковую среднюю ошибку сг, то
Тл,. . ., Т10 имеют средние ошибки
(Г СГ СГ
Тэ' 7 Г
соответственно.
Поэтому в качестве весов можно выбрать числа
дх = 192, д2 = 172, . . ., gw — 1-.
Таким образом, взвешенное выборочное среднее ранно
19г2\ -I- 172 Т2 + . . . J- 12Т10
М = — - — - — —-
192 + 172 + . . . -i- 12
Средняя ошибка о-^ взвешенного среднего М задается формулой A3):
2 ^
°"М 19г"+ 172 -г ... + I2'
Для оценки о-2 можно воспользоваться формулой A4):
s2 = [192 (Т1 — МJ 4- 172 (Г2 — Л/J 4- ... 4- I2 {Т10 — Л/J].
Однако эта оценка не очень точна, так как в нее входят лишь 10 раз-
разностей t20 — fj, tla — t.it . . ., tn — t[0. Если использовать все 20 наблюдений
и вычислить квадраты их отклонений от «линии регрессии», которая, в не-
некотором смысле, наилучшим образом сглаживает наблюденные точки, то с
помощью суммы квадратов таких отклонений можно вывести лучшую
оценку для средней ошибки отдельного наблюдения tit а значит, и лучшую
оценку для средней ошибки разностей ?,¦ — t^. К этому мы вернемся в
§ 32 й 33.
В. ФУНКЦИЯ РАСПРЕДЕЛЕНИЯ ВЫБОРОЧНОГО СРЕДНЕГО М
До сих пор теория не зависела ни от каких специальных
предположений о функции распределения случайной величины х.
Гаусс обычно предполагал, что рассматриваемые случайные вели-
величины распределены нормально. Для обоснования этого предпо-
предположения Гаусс выдвинул «гипотезу элементарных ошибок», кото-
которая гласит, что общая ошибка наблюдения является суммой
большого числа независимых малых ошибок, порождаемых раз-
27. Распределение s2 139
личными причинами и обладающих малыми дисперсиями. Таким
образом, справедлива центральная предельная теорема (§ 24 Г):
Сумма очень большого количества независимых случайных вели-
величин, дисперсия каждой из которых составляет лишь малую часть
от дисперсии всей суммы, имеет приближенно нормальное распреде-
распределение.
Если, следуя Гауссу, предположить, что все xt подчиняются
нормальному распределению, то их сумма, а значит, и выборочное
среднее М, будут тоже иметь нормальное распределение. Поэтому
имеет место правило:
Абсолютная величина разности М — х с вероятностью 0.95
меньше чем 1,96 а-м и с вероятностью 0,99 меньше чем 2,58 сгм,
где сгм — средняя ошибка М.
При больших п указанные правила справедливы даже тогда,
когда величины хх, . . ., хп имеют распределение, отличное от нор-
нормального. Это вызвано тем, что выборочное среднее М является
суммой множества слагаемых, каждое из которых обладает лишь
относительно малым квадратичным отклонением. Следовательно,
согласно центральной предельной теореме, распределение М
близко к нормальному распределению. Это тем более верно, если
уже сами отдельные х( имеют приближенно нормальное распре-
распределение.
Применение сформулированных выше правил требует знания
средней сшибки сгм. Можно ли, применяя эти правила, вместо
истинной средней ошибки сгм = о-/]/п воспользоваться ее выбо-
выборочным приближенным значением sM = sjVri? Для ответа на этот
вопрос мы должны сначала исследовать величину отклонения s2
от а-2 или, иными словами, найти функцию распределения случай-
случайной величины 52.
§ 27. Распределение д2
А. СВЯЗЬ С РАСПРЕДЕЛЕНИЕМ X2
Пусть хи . . ., хп — независимые одинаково нормально распре-
распределенные случайные величины со средним значением х = а и
квадратичным отклонением1 а-, и пусть снова
1 Если а^,..., хп имеют различные квадратичные отклонения а-х, . . ., о-п,
то вместо х, можно ввести новые величины
которые распределены одинаково нормально с нулевым средним значением
и единичной дисперсией.
140 Гл. VI. Гауссова теория ошибок и критерий Стьюдента
Ь (О
- Mf. B)
п
1 ^
Какова функция распределения случайной величины s2? Вместо
s2 удобнее рассматривать величину
которая не изменяется при изменении масштаба на оси Ох. За-
Заменой хна (х — а)/сг мы всегда можем добиться, чтобы среднее
значение и квадратичное отклонение удовлетворяли условиям:
х = 0 и сг = 1. В этом случае
X2 = 2 (*, - Щ2 = ?х? - пМ* = ^ а? - 1- (V *,)*, C)
и плотность вероятности для каждого xt равна
Так как хЛ,. . ., хп независимы, то их совместная плотность
вероятности равна произведению
f(h, ¦ ¦ ., tn) = № f(t2) . . . f{tn) = -1- e~ 2 (''"+ ¦' ¦ +;'-).
Отсюда, по теореме II § 4, следует, что искомая функция ра-
распределения G(u) = р(^2 < и) равна «-кратному интегралу1
G(u) = J ... | f(xu . . ., хп) ixx. . . dxn =
*('1 + '" + '3 d^. . .dzn. D)
1 Обозначение переменных интегрирования и случайных величин одни-
одними и теми же буквами х,, . . ., тп логически не корректно, но удобно. Такие
функции от Xj, как М, хг и появляющиеся в следующем разделе уг, . . , уПУ
носят двоякий смысл: как случайные величины и как функции от перемен-
переменных интегрирования.
§ 27. Распределение в2 141
Б. ВЫЧИСЛЕНИЕ ИНТЕГРАЛА
Область интегрирования xi<u является внутренней частью
пространства, ограниченной поверхностью второго порядка /2= и
или
2 ti-1» B *,)* = »•
В случае п = 3, как легко убедиться, эта поверхность пред-
представляет собой некоторый цилиндр, расположенный в простран-
пространстве переменных xlt х2, х3. Постараемся ввести такое ортогональ-
ортогональное преобразование координат, при котором ось цилиндра пере-
переходит в первую координатную ось ноеой системы координат.
С этой целью в качестве первой строки этого ортогонального
преобразования выберем
Ух = v= xi + у= х* + ¦ ¦ • + п-7= хп = м Уп ¦
Сумма квадратов коэффициентов этой строки равна единице,
поэтому, согласно § 13, мы можем найти остальные п— 1 строк
ортогонального преобразования
у2 = а21 xt + п22 х2 + . . . + а,п хп
Уп = атл xi + ап2 х2 + . . . + апп х„.
Если теперь мы выразим %2 через новые переменные, то, в силу
равенства ? х? = ^ yj, получим
Таким образом, поверхность с уравнением х2 = и действи-
действительно является цилиндром. Модуль функционального определи-
определителя ортогонального преобразования равен единице, поэтому
преобразованный интеграл имеет вид
G(u) = Bnf*j. . . je~^v{+"-+^dyi.. . dyn.
Так как уравнение границы области интегрирования не зави-
зависит от ylt то мы можем произвести интегрирование по у±.
G{u) = Bэг)
j j j
где для краткости положено X = (п — 1)/2.
142 Гл. VI. Гауссова теория ошибок и критерий Стьюдента
Если у1, . .., уп считать случайными величинами, то результат
F) можно получить еще более простым путем. Плотность вероят-
вероятности для у та же самая, что и для х:
B я) - е 2" = Bл:) - е * ,
так как ^1 х- — У^ у2. Следовательно, ух, . . ., уп — независимые
одинаково нормально распределенные случайные величины с
нулевым средним значением и единичной дисперсией. Случайная
величина %2 — Уг -*-¦•• + Уп "е зависит от ylt поэтому ее функция
распределения может быть найдена интегрированием только
по уг уп. В этом и заключается результат F).
Как было доказано в § 23, функция распределения суммы
квадратов у\ + . . . + у\ является функцией распределения yj-
с / = п— 1 степенями свободы.
и
G(u) =o.jv e - dv, a = ^ р^- , л = / = - f . (/)
Ранее этот результат был очень престо получен с помощью
«характеристической функции». Однако интеграл F) можно вы-
вычислить и независимо от предшествующих результатов, восполь-
воспользовавшись преобразованием к полярным координатам (§ 11).
Первая из полярных координат, обозначаемая обычно буквой г,
в нашем случае называется х, так как хг = у\ -f . . . + у\. Таким
образом, получаем
G(u) = Brrf * f . . . JV * *' х~г dx dQ.
Так как условие %- < и не зависит от угловых координат, то
можно произвести интегрирование по dQ:
W
G(u) = Bsr) J dQJ e « ' x dx.
о
В силу результатов § 12, а также в силу того, что Я = (п — 1)/2,
~ 2
следовательно,
2 Г(Я) G(«) = 2 j e~*x' x" dx.
27. Распределение s2 143
Если теперь в качестве новой переменной интегрирования
выбрать v = %2, то получим в точности ту же формулу, что и G).
Интеграл в правой части G) является неполной гамма-функцией.
Соответствующая плотность вероятностей равна
д(и) = а и е 2 для и > 0. (8)
В. НЕЗАВИСИМОСТЬ М И X
Тем же методом можно определить вероятность одновремен-
одновременного осуществления двух событий: хг<инЪ*&М<с, где Ь и
с — произвольные числа, удовлетворяющие условию Ь < с:
\f(xl,...,xn)dz1...dxn.
Ъ =s M < с
Действительно, если ввести то же самое ортогональное преоб-
преобразование координат, которое было указано выше, то получим
произведение двух интегралов: в первом интеграле интегрирова-
интегрирование производится по переменной ух в пределах от Щп до с][п,
а во втором — по области интегрирования ^2 < и, не зависящей
от ух:
с)'п
2 у: dUl B:г)-*|. . . JV **' dy2... dyn =
Р = Bп) ~
Ь\п Х'<и
= р(Ь =s M < с) р{х2 < и).
Таким образом, при любых и и Ъ < с вероятность одновремен-
одновременного осуществления двух событий Ъ =s M < с и 0«;/2<м
равна произведению вероятностей этих событий. Это и означает,
что случайные величины М и %- независимы.
Следовательно, совместная плотность вероятности пары слу-
случайных величин (М, %-) равна произведению плотностей вероят-
вероятностей М и %-. Плотность вероятности М нормальна с квадратич-
квадратичным отклонением стм, а плотность вероятности %% задается
формулой (8).
Г. СРЕДНЕЕ ЗНАЧЕНИЕ И ДИСПЕРСИЯ X2
Среднее значение и дисперсия случайной величины Q = %2
были уже указаны в § 23; их можно легко получить непосредствен-
непосредственно по формуле (8):
144 Гл. VI. Гауссова теория ошибок и критерий Стьюдента
du = ^щ2+1 Г(Л + 1) = 2А = / = п - \,
= 4А(Л + 1) =/2 + 2/, (9)
cr2Q = Q Q2 — F QJ = 2f = 2(n-\).
Ранее было установлено, что
*2 = ^- (Ю)
Поэтому среднее значение в2 равно о-2 (этот результат был получен
в § 26 A6)), а квадратичное отклонение в2 равно
Д. ДОВЕРИТЕЛЬНЫЕ ГРАНИЦЫ ДЛЯ S1
Значения функции G(u) можно определять с помощью суще-
существующих таблиц неполной гамма-функции1. Эти таблицы поз-
позволяют найти такую границу К, для которой событие х2 < К
имеет заданную вероятность. Если положим
в(К) = р(х> < К) = I -/3
и выберем, например, /3 = 0,01, то К будет являться верхней
границей для у?, причем %2 лишь изредка будет превышать границу
К. Если же положим
G(K') = р(х2 < К') = E,
то получим нижнюю границу. К', причем лишь в редких случаях
X2 будет меньше этой границы.
Случайные величины /2 и в2/0 связаны соотношением A0),
следовательно, верхняя граница для s'2/° определяется верхней
границей К для %2, т. е. при заданном о-2 величина о-2 К If является
верхней границей для s2, а при заданном в2 величина s2 f/K является
нижней границей для а-2. Точно так же из нижней границы К'
получается верхняя граница s2f/K' для о-2. Вероятность1 нару-
нарушения каждого из этих неравенств в отдельности 8ifjK < о-2 и
s2f/K' > о-2, равна р.
1 См., например, Слуцкий Е. Е., Таблицы для вычисления не-
неполной Г-функции и функции вероятностей хг> изд. АН СССР, М., 1950. —
Прим. перев.
§ 28. Критерий Стьюдента 146
Е. АДДИТИВНОСТЬ СЛУЧАЙНЫХ ВЕЛИЧИН Хг
В § 23 была доказана теорема: если две независимые случайные
величины подчиняются распределению %2 с f и g степенями свободы,
то сумма этих величин имеет распределение х2 с f "г Я степенями
свободы. Эту теорему можно легко доказать непосредственно, не
пользуясь характеристическими функциями. Случайные величины
Ул и х\ имеют те же функции распределения, что и суммы
независимых одинаково нормально распределенных случайных
величин уи . . ., yj+g с нулевым средним значением и единичной
дисперсией. Следовательно, %\ -\- %\ имеет такую же функцию
распределения, как и сумма
У\ + • • • + У}+я,
т. е. х\ + Хг подчиняется распределению %~ с / + Я степенями
свободы.
§ 28. Критерий Стьюдента
Вернемся к вопросу, поставленному в конце § 26. Можно ли,
применяя правило
— < 1,96, с вероятностью 0,95,
или
'- < 2,58, с вероятностью 0,99,
заменить в знаменателе <гм па sM?
Для ответа на этот вопрос нужно найти функцию распределения
для отношения
t — i^1- . A)
Прежде всего упростим задачу.
Смещением начала отсчета на оси Ох можно добиться равен-
равенства х = 0, и в этом случае
t = f-. B)
При изменении масштаба на оси Ох отношение I остается не-
неизменным, поэтому мы можем считать, что о- = 1. Если числитель
Б. Л. ван дер Верден - 1002
146 Гл. I. Гауссова теория ошибок и критерий Стьюдента
и знаменатель B) умножить на \jn, то, в обозначениях § 27, полу-
получим
Умножая в C) числитель и знаменатель на f/ = Уп — 1 и
принимая во внимание равенство /в2 = хг< найдем
t = y-^ft- D)
Таким образом, задача отыскания функции распределения
Н(а) случайной величины t сводится к вычислению вероятности
события
jVT<a- E)
Если мы положим
с = j-f • F)
то неравенство E) упростится:
Vi < СХ- G)
В § 27 В было доказано, что ух и х1 независимы, следовательно,
плотность вероятностей пары случайных величин {уи хг) равна
произведению плотностей вероятности ух и х1'-
1 —х- > -/-1 —1
2 " a z2 e 2 г, (8)
1
а =
I
22 Г|-
Поэтому искомая вероятность имеет вид
е 2 z2 e 2
у -- с
j ( у^) (9)
о
Для того чтобы при интегрировании по у верхний предел был
постоянным, сделаем подстановку у = xtyz:
i) 28. Критерий Стыодента 147
те С
^ а' 2 2 е 2 * f/г е 2
Я(а) ^a'\z 2 е z dz\e 2 dx (Ш)
о
и изменим порядок интегрирования, что допустимо в силу поло-
положительности подинтегральных функций:
7 '" 1
Ща) =a'\dx \z 2 e 2 йг. A1)
— оо О
Интегрируя по z, получим, согласно § 12 B), гамма-функцию
о
Поэтому
_!_' 1 г, _ 1-1
Ща) =
где
Формула A2) является решением поставленной задачи. Интег-
Интеграл Н(а) можно вычислить в элементарных функциях. Плотность
вероятности случайной величины t задается равенством
График функции A4) имеет колоколообразную форму и похож
на гауссову кривую ошибок. При / —> оо функция A4) стремится,
очевидно, к плотности нормального распределения
Если Н(а) вычислена в явном виде как функция а, то можно
найти, при каком а вероятность Н(а) принимает заданное значение
1 — ft, причем ft можно выбрать, например, равным 0,025 или 0,005.
Тогда вероятность того, что 1 превзойдет границу а = t^, будет
равна р. Так как — t имеет то же самое распределение, что и t,
то — t сможет превзойти границу ^ также лишь с вероятностью/}.
10*
148 Гл. VI. Гауссова теория ошибок и критерий Стьюдента
Абсолютная величина \t\ может превзойти границу tf с вероят-
вероятностью 2^.
Указанная выше постановка вопроса и ответ на этот вопрос
в виде формулы A2) исходят от английского статистика Госсета,
который под скромным псевдонимом «Стьюдент» опубликовал
работу1, совершившую переворот в статистике. Поэтому распреде-
распределение случайной величины t называют распределением Стьюдента.
В свою очередь правило, согласно которому гипотетическую
величину среднего значения х отвергают тогда, когда модуль
отношения I превосходит границу ^, называют критерием Стью-
Стьюдента.
Граница ^ зависит от уровня значимости /3 и от числа степеней
свободы / = тг— 1. Границы ^табулированы в табл. 7 в конце
книги.
При использовании одностороннего критерия предполагае-
предполагаемое среднее значение а; отвергают лишь тогда, когда t положитель-
положительно и превосходит 1$, или лишь тогда, когда t отрицательно и не
превосходит — tp. При двустороннем критерии на знак t не обра-
обращают внимания, а лишь учитывают абсолютную величину \t\.
Вероятность того, что правильнее значение х по критерию Стью-
Стьюдента будет отвергнуто, в случае одностороннего критерия равна
C, а в случае двустороннего критерия равна 2/8. При этом пред-
предполагается, что все хг — независимые одинаково нормально рас-
распределенные случайные величины. Если это не так, то /3 и 2/3
будут лишь приближенными значениями для уровней значимости
соответствующих критериев.
§ 29. Сравнение двух средних значений
Во всех экспериментальных естественных науках большое
значение имеет следующая постановка вопроса:
Пусть имеется g случайно выбранных значений xv . . ., ocg
некоторой случайной величины х и А_значений ух,. . ., yh другой
случайной величины у. Обозначим хну выборочные средние
в первой и второй выборке соответственно. Предположим, что у
оказалось несколько меньше (или несколько больше), чем х. Озна-
Означает ли это, что истинное среднее значение у, в силу тех или иных
условий, также меньше (соответственно больше) другого истинного
среднего значения х, или различие выборочных средних носит
чисто случайный характер? Иными словами: как велика должна
быть разность D = х — у, чтобы ее можно было считать значимой,
т. е. чтобы можно было утверждать, что х ф у?
1 Student, The probable error of a mean, Biometrika, в A908), 1.
§ 29. Сравнение двух средних значений 149>
На этот вопрос гауссова теория ошибок дает следующий ответ:
так как при больших g и h выборочные средние х и у имеют прибли-
приближенно нормальные распределения с дисперсиями
и приближенные значения этих дисперсий задаются формулами
g х я(д —
то разность
D = х— ~у
имеет также приближенно нормальное распределение с диспер-
дисперсией
п О О
о"л = os + о-у ,
приближенным значением которой является
s% = 4 + 4 ¦ C)
Если истинная разность х — у = 0, то отношение q = D/o-^
распределено приближенно нормально с нулевым средним значе-
значением и единичной дисперсией. Следовательно, с вероятностью,
близкой к 1 — 2/3, \q\ не превосходит границы qe, которую можно
найти по таблицам нормального распределения: например, при
2/? = 0,01 граница дР = 2,58. Однако так как знаменатель <rD
неизвестен, то (rD заменяют величиной sD. Вследствие такой
замены ненадежность границы усиливается, поэтому обычно gfi
несколько завышают; например, в качестве границы для отноше-
отношения D/sD часто выбирают 3 или, если желают достичь еще большей
надежности, 4. Если нормированная выборочная разность \D\/sD
превышает эту границу, то гипотезу х = у следует отвергнуть
и считать, что х > у или х < у, смотря по тому, положительна
или отрицательна выборочная разность D.
Как видно, это грубое правило лишено вполне удовлетвори-
удовлетворительного обоснования. Что же в конце концов нужно выбирать в
качестве границы для D/sD: 2,58; 3 или 4, и каков уровень значи-
значимости этого критерия? Для очень больших д и h все ясно, так как
в этом случае o-D можно заменить на sD без риска совершить сколь-
сколько-нибудь значительную ошибку, но для малых или умеренно
больши х <7 и h хотелось бы уже знать точнее, сколь большой долж-
должна быть выбрана граница дР для D/sD, чтобы в случае х = у
вероятность события \D\/sD> q^ равнялась бы, скажем, 0,01?
150 Гл. VI. Гауссова теория ошибок и критерий Стьюдента
К сожалению, на этот вопрос нельзя ответить совсем точно.
Вероятность того, что отношение D/sD превысит заданную грани-
границу, зависит (хотя и в незначительной степени) от неизвестного
отношения истинных квадратичных отклонений <гх и сгу. Поэтому
постановку вопроса несколько изменяют.
Согласно основной гипотезе, которую нужно проверить и,
может быть, отвергнуть, различие между х и у является чисто
случайным и истинные средние значения х и у равны друг другу.
Но если различие между хц у чисто случайное, то можно предпола-
предполагать, что соответствующие средние ошибки о-х и <гу также равны
друг другу. Таким образом, мы исходим из гипотезы, что х и у
имеют не только одинаковые средние значения х = у = /л, но также
и одинаковые квадратичные отклонения о-. Нужно проверить,
согласуется ли найденная выборочная разность D = z — у
с этой гипотезой?
Если истинные дисперсии о-2 и a-f равны друг другу, то неразум-
неразумно вычислять для них два различных приближенных значения
з% и s2,. В этом случае следует вычислить одно-единственное
приближенное выражение для обеих дисперсий, а именно, взве-
взвешенное среднее в*2 и в2,. Веса, которые следует приписать вели-
величинам s2 и s2,, согласно § 26 Б, должны быть обратно пропор-
пропорциональны дисперсиям случайных величин в2 и s*. Эти диспер-
дисперсии, согласно §27 A1), равны
2<Н 2о-«
g — I h — 1
Следовательно, вес д% относится к весу д\, как д—1 к h — 1.
Поэтому взвешенное среднее равно
„о =
^ 4
—1) + (Л—1)" g + h-2 ¦ w
С помощью этого s2 образуем теперь
5f=J-*«, Sl = \s-, E)
Я* = 5? + <Sf = (? + ?)* F)
В большинстве случаев величина S2 лишь незначительно
отличается от s2D, вычисленной по формулам A), B) и C). Если
д = h или если 4 = «?> то ^2 = sb- Таким образом, результаты
вычислений по формулам A), B), C) и D), E), F) практически
будут одинаковыми.
Следуя Стьюденту и Фишеру1, построим отношение
1 F i s h e г R. A., Applications of „Student's" distribution, Metron,
5 A926), 90.
§ 29. Сравнение двух средних значений 151
и постараемся определить функцию распределения этого отноше-
отношения в предположении, что справедлива гипотеза, согласно ко-
которой х1г . . ., xg и уи . . .,yh — независимые одинаково нормаль-
нормально распределенные случайные величины со средним значением
/л и квадратичным отклонением ст.
Так как при одинаковом изменении масштабов осей Ох и
Оу отношение t не меняется, то мы можем считать, что [л = О
и о- = 1. Положим
Тогда
(д + h - 2) s2 = х* + Х1 (8)
Покажем, что случайные величины хЬ хЬ х и У являются неза-
независимыми. Вероятность одновременного выполнения неравенств
ai ^ Хх < К аз « х < Ь3,
а2 ^ 7л < Ь2> а4 ^ У < h
равна интегралу от совместной плотности вероятности системы
случайных величин (хх,. . ., xg, yv . .., yh):
K) • • • f(xg) f(Vx) ¦ ¦ ¦ НУн) <**!... dxg dVl... dyh A0)
по области (9). Этот интеграл немедленно распадается на два
множителя, из которых первый является интегралом по хх,. . ., xg,
а второй — интегралом по yls. . ., yh. Поэтому вероятность одно-
одновременного осуществления событий (9) равна произведению ве-
вероятностей
а3 =г х < Ь3
p
Но в § 27 было доказано, что х\ и Мх независимы, следователь-
следовательно, первый множитель в A1) снова распадается на два множи-
множителя
P(°i ^ Х\ < bi) ¦ Р(аз =е » < Ъ3).
То же самое справедливо и для второго сомножителя в формуле
A1). Таким образом, мы в конце концов получаем произведение
четырех вероятностей, соответствующих случайным величинам
Ул> xl> х и У- Этим завершается доказательство независимости ука-
указанных величин.
Их совместная плотность вероятности ](щ, щ, vx. v2) в силу
только что доказанной теоремы представляет собой произведение
152 Гл. VI. Гауссова теория ошибок и критерий Стьюдента
четырех плотностей вероятности. Формулы этих плотностей
были выведены ранее в § 27: х\ имеет плотность вероятности
2 е 2
(распределение %2 с д — 1 степенями свободы), аналогично для %\
h—г 1
в то время как х и у распределены нормально с нулевым средним
и дисперсиями \/д и 1/А соответственно. В силу независимости
хЬ хЬ х и У> случайные величины
x* = (g+h-2)s* = Xl + xl A2)
D = x — y A3)
также независимы. Вероятность одновременного осуществления
двух событий Cj =s х- < dx и с2 =s D < d2 равна четырехкратному
интегралу от плотности вероятности f(ult u2, vlt v2), который
распадается на два множителя:
P(ci * X2 < di) • Р(с2 * D< d2).
Согласно § 27 Е, плотность вероятности для /2 снова является
плотностью типа
д(и) = ии 2 е 2 A4)
с /= д + h — 2 степенями свободы, в то время как D распределена
нормально с нулевым средним значением и дисперсией
oi> = *l + <rg = i. + i. A5)
Согласно F) и A2),
Из A5) и A6) следует, что
Отношение G) можно теперь записать так
^. A7)
^-L = YtL, A8)
где
D
A9)
§ 29. Сравнение двух средних значений 153
Формула A8) полностью аналогична формуле D) из § 28,
согласно которой
Y и %2 так же, как ранее ух и /2, являются независимыми
случайными величинами, из которых первая распределена нор-
нормально с нулевым средним значением и единичной дисперсией, а
вторая подчиняется распределению /2 с / степенями свободы.
Следовательно, отношение t имеет то же самое распределение, что
и раньше.
Таким образом, получается следующий критерий, который
называют критерием Стьюдента для проверки различия средних
значений:
Если абсолютная величина отношения
I
превышает границу Ц из табл. 7, то гипотезу х = у следует от-
отвергнуть и считать, что х > у или х < у, смотря по тому, будет
ли разность D положительной или отрицательной.
Если распределения отдельных наблюдений не слишком
отклоняются от нормальных и соответствующие дисперсии равны
друг другу, то вероятность ошибочно отвергнуть правильную
гипотезу х = у для указанного критерия равна 2/3. Если же в
действительности х > у и дисперсии равны, то вероятность оши-
ошибочного вывода х < у оказывается даже меньше, чем /3. В случае
одностороннего критерия вероятность ошибочно отвергнуть пра-
правильную гипотезу не превышает1/3.
Если одно из выборочных значений сильно отклоняется от
выборочного среднего остальных наблюдений, то возникает
вопрос, можно ли это отклонение считать случайным или оно
является следствием грубой ошибки в измерениях и поэтому со-
соответствующее наблюдение нужно из выборки исключить? Для
ответа на этот вопрос можно воспользоваться критерием Стьюден-
Стьюдента, положив в формулах этого параграфа h = 1. Пусть ух = xg+1 —
отдельное наблюдение, которое подлежит проверке, а х1г. . ., xg —
остальные наблюдения. Вероятность того, что на основе этого
критерия наблюдение xg+1 будет ошибочно отвергнуто, равна
2/3. Если этот же критерий применить последовательно ко всем
1 В случае одностороннего критерия основной гипотезой является
х =s у (или хз*у). Поэтому здесь вероятность отвергнуть правильную
гипотезу существенно зависит от разности х — у. Максимальное значение
этой вероятности достигается при х= у а равно р. — Прим. перев.
154 Гл. VI. Гауссова теория ошибок и критерий Стьюдента
элементам выборки xlt . . ., xg+1, то общая вероятность того, что
хотя бы один элемент выборки будет ошибочно отвергнут, не
превосходит 2/3(д + 1) = 2j3n, где п — количество наблюдений.
Если, к примеру, выбрать 2f3 = 0,01, то при п = 20 вероятность
ошибочно отвергнуть хотя бы одно наблюдение из двадцати почти
равна 0,2. Исключение одного из элементов выборки нрактически
не влияет на точность выводов: выборочное среднее оставшихся
19 наблюдений будет почти точно таким же, как и выборочное
среднее всех двадцати наблюдений1.
Пример 17 (по книге Kendall M. G., Advanced Theory of Statistics, vol.
II, Example 21.4).
В одном классе из 20 детей были случайно отобраны 10, которым
ежедневно стали выдавать апельсиновый сок. Остальные 10 человек еже-
ежедневно получали молоко. Через некоторое время было зафиксировано
следующее увеличение веса детей (в фунтах):
Первая группа 4, 22 , 3-?-, 4, 1 ., , 1 , 3^, 3, 2-^ , 3.2~ ¦
Вторая группа \\ , з| , i\ , 3, 2-„ , 2, 2, i\ , \\ , 3.
Среднее увеличение веса на одного ребенка в первой группе равно 2,9
фунта, а во второй группе — 2,4 фунта. Значимо ли это различие средних
весов?
Находим
D = 2,9 — 2,4 = 0,5,
* = !М - 0,74,
18
5%-граница для t с 20 — 2 = 18 степенями свободы равна 2,10. Следо-
Следовательно, нет оснований для заключения, что различие выборочных сред-
средних вызвано различием истинных средних.
1 Указанный вариант критерия Стьюдента обычно используют в про-
процессе эксперимента для предсказания границ, в которых будет находиться
какое-либо из очередных, еще не известных наблюдений; при этом пред-
предполагается, что известны все предшествующие наблюдения xlt . . ., хп или
их часть. Для исключения наблюдений, содержащих грубые ошибки, кри-
критерий Стьюдента практически не применяется, так как для этой цели вы-
выгоднее пользоваться другими более совершенными критериями. См., напри-
например, Д у и и и - Б а р к о в с к и и И. В. и Смирнов Н. В., Теория
вероятностей и математическая статистика в технике (общая часть),
ГИТТЛ, М„ 1955, гл. 8, § 4 и табл. XXIV. — Прим. перев.
ГЛАВА УП
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
§ 30. Выравнивание ошибок наблюдений
Запросы астрономии и геодезии привели Гаусса к следующей
проблеме:
Пусть ?х,. . ., $г — истинные значения каких-либо неизвестных
физических постоянных (например, значения элементов траектории
некоторой планеты). Далее, пусть результатами наблюдений явля-
являются не сами ov . . ., $г, а некоторые другие величины хи. .., хп (на-
(например, координаты положений планеты, наблюдаемые с земли в
различные моменты времени). При этом предполагается, что исти-
истинные значения ?{, ...,?„ величин хх,.. ., хп определенным образом
зависят от 91г. . ., О/.
6 = Ъ («1. ¦ • •» М- A)
Какие значения параметров С, лучше всего согласуются с
наблюденными значениями хъ . . ., хп?
Лежандр предлагал считать согласие «наилучшим» в том слу-
случае, когда сумма квадратов ошибок
G = tei-?i)8 + ... + te.-?B)* B)
минимальна. Теоретико-вероятностное обоснование этого подхода
было дано Гауссом, который заметил, что если все наблюде-
наблюдения лишены систематических ошибок и имеют одинаковое квадра-
квадратичное отклонение ст, то, согласно гауссовой теории ошибок, вероят
ность того, что результаты наблюдения х( будут лежать между
t, — ¦„¦ btt и tt -f ^8tt (г = 1,2... n), при малых dtt приближен-
приближенно равна
—п
1 («.-?.)" + •••-> С»-*.I
6W = о- B я) 2 е 2 "' д^... 6tn. C)
При этом точки с координатами (fx, . . .,fn) принадлежат некото-
некоторому многообразию я-мерного пространства, определяемому ра-
равенствами A). Для заданных tt и &tt вероятность &W достигает
156 Гл. VII. Метод наименьших квадратов
наибольшего значения в той точке (?х,. . .,gn) этого многообразия,
в которой квадратичная форма
будет минимальной. Если в эту форму вместо tt подставить ре-
результаты наблюдений xt, то получится форма B). Следовательно,
по Гауссу, «наилучшими значениями» dv . . .,Vr будут те значения,
которым соответствует наибольшая вероятность C).
Впоследствии Гаусс дал другое обоснование принципа «наи-
«наименьших квадратов», не зависящее от предположения нормаль-
нормальной распределенности хъ . . ., хп. Отыскание оценки некоторого
параметра € он сравнивал с азартней игрой, в которой нельзя
выиграть, а можно лишь проиграть. Если Т выбрано в качестве
оценки параметра €, то «проигрыш» от этого будет тем больше, чем
больше абсолютная величина ошибки Т — Ь. За меру проигрыша
Гаусс принял квадрат (Т — t)J и потребовал, чтобы оценка удов-
удовлетворяла двум условиям: во-первых, она не должна иметь сис-
систематической ошибки, т. е. ?Т = €, и, во-вторых, дисперсия
оценки <g(T — ?J, являющаяся математическим ожиданием про-
проигрыша, должна быть наименьшей. Затем он доказал, что эти усло-
условия минимизации приводят в точности к методу наименьших
квадратов.
Если результаты наблюдений имеют различные квадратичные
отклонения <тх, . . ., <тп, то вместо формы B), естественно, появ-
появляется форма
2 1 2 Г • ¦ • ~\
СГ1 СГа
или форма
Q = Ях К - ? iJ + ... + gn(xn- U2. E)
(если, как и в § 26 Б, ввести веса дх, . .., дп, обратно пропорциональ-
пропорциональные дисперсиям <г\, . . ., о-2).
В применениях этого метода к биологическим и экономи-
экономическим задачам разности xt—?,- являются не ошибками наблю-
наблюдений, а отклонениями величин xt от их математических ожи-
ожиданий ?,. Величины xt предполагаются независимыми и случай-
случайными. Их математические ожидания ?,-, согласно A), зависят от
неизвестных параметров t^,. . ., €г. В качестве оценок для €г, . . ., 8Г
принимают такие значения этих параметров, для которых форма
E) достигает своего минимума.
При отыскании минимума полагают
= С» + и,
F)
§ 30. Выравнивание ошибок наблюдений 167
где ?° — предварительные приближенные значения для fi,, a
•и, v,. . . — поправки. Предполагается, что при малых и, v,. . .
функции A) можно достаточно точно приблизить линейными
функциями
?,=fl + alu + blv + .... G)
Величины ?? являются приближенными значениями f, соответ-
соответствующими предварительным приближениям д°:
?? = ?#»).
В качестве коэффициентов а(, bt,. . . линейных приближений
G) можно выбрать значения частных производных от функций
A) в точке (?°, ...,??):
Для упрощения вычислений мы будем предполагать, что
начало координат в пространстве переменных хъ. . ., хп перене-
перенесено в точку (?°, . . .,ь°)- Таким образом, вместо xt мы вводим в
качестве новых переменных наблюденные отклонения
/ />. СО /Q\
Их математические ожидания равны:
*/ = f* - ё 1 = «/« + б/» + • • • • (Щ
Форма Q теперь запишется так:
Координаты (и, v,. . .) точки минимума этой формы удов-
удовлетворяют системе уравнений, получающейся приравниванием
нулю частных производных A1). После деления всех производ-
производных на 2 получаем
- btv + . . .— If) = 0,
-Ь,» + ..._у = 0, A2)
Если, следуя Гауссу, для краткости ввести обозначения
2 9Рч = [дол], 2 Oflfii = [gab],. . .,
то система уравнений A2) сведется в конце концов к системе
нормальных уравнений
[даа]и + [gab]v + . . . = [gal],
[gba]u + [gbb]v + ... = [gbl], A3)
158 Гл. VII. Метод наименьших квадратов
Количество нормальных уравнений равно количеству неиз-
неизвестных параметров \>1г. . ., €г. Если все наблюдения равноточны,
то можно считать, что все весовые множители gt равны единице.
В этом случае A3) запишется более просто:
[аа]и + [ab]v + . . . — [al],
[ba]u + [bb]v 4- . . . = [Ы],
A4)
В способе записи нормальных уравнений я возможно ближе
придерживался традиции, берущей свое начало от Гаусса. Вве
дением матричных обозначений запись системы уравнений можно
бы было несколько сократить, однако старомодный способ записи
A4) очень удобен для приложений. Обычно gt, at, bt,. . . и lt-
записывают столбцами и затем вычисляют коэффициенты [аа]
или [даа] и т. д.
Системы уравнений A3) или A4) всегда имеют решение, так как
положительный квадратичный многочлен всегда достигает мини-
минимума. Однако решение не обязательно является однозначным.
Может случиться, что нормальные уравнения однозначно разре-
разрешимы лишь для некоторых определенных линейных комбинаций
параметров и, v,. . ., а относительно самих и, v,. . . однозначного
решения нет1. Следуя индийскому статистику Рао2, такие линей-
линейные комбинации параметров мы будем называть допускающими
оценку.
Чтобы исследовать точнее, какие функции параметров допу-
допускают оценку, рассмотрим линейные формы
А,- = а,и + b,v + . . . . A5)
Пусть среди них имеется, например, ровно ^линейно независимых
форм {р^т). Без ограничения общности можно считать, что
линейно независимыми формами являются \, ...,Я„ и что все
остальные Ар+1,.. .,А„ через них выражаются линейно, поэтому
A1) можно записать в виде квадратичного многочлена, завися-
зависящего только от Aj, ...,Ар. Квадратичная часть этого многочлена
представляет собой сумму
2 9i tf+ 2 9t V = 2. gfa* + b,v + . . .)* s= 2 9t A? * 0,
i-1 i=p+l i=l i=l
где А, при i > p являются линейными комбинациями Kv . . .,Xp.
Эта сумма обращается в нуль тогда и только тогда, когда все
1 Этот случай осуществляется тогда и только тогда, когда ранг матри-
матрицы системы A3) или A4) строго меньше количества уравнений и неизве-
неизвестных г. — Прим. перев.
8 Еао С. R.F Advanced Statist. Methods in Biometrio Research, New
York, 1952.
§ 30. Выравнивание ошибок наблюдений 159
К1, . . .,Ар равны нулю, поэтому она положительно определена.
Как известно, всякую положительно определенную квадратичную
форму порядка р невырожденным линейным преобразованием
переменных можно привести к сумме р квадратов:
2 д,Ц + 2 д,Ц = №)* + ¦¦¦+ (м*J,
i=l i=p+l
где pJ (j — \,2,...р) — независимые линейные формы от
А1; ...,АП. Форма Q получается из этой квадратичной формы
добавлением некоторой линейной функции от Xv . . .,Ар, поэтому
при данном линейном преобразовании Q будет иметь вид
Q = (^— С1)* + . . . + (/АР — CPf + (С»J.
Эта форма достигает минимума (с0J в точке /х1 = с1,..., [j.p = ср.
Следовательно, /х1,. . ., fxp, а вместе с ними и А,- допускают оценку.
Отсюда заключаем, что.
Только те линейные формы параметров и, v, . . . допускают
оценку, которые пр'едставимы в виде линейных комбинаций форм
A5).
Если вместо прежних переменных и, v,. . . ввести новые
переменные Аи ...,Ар, то относительно последних система нор-
нормальных уравнений будет однозначно разрешимой. В дальнейшем
мы будем предполагать, что такая замена уже произведена, и
поэтому система нормальных уравнений имеет единственное ре-
решение.
Простейшим способом решения систем A3) и A4) является
совсем примитивный школьный способ, указанный еще Гауссом.
По этому способу первое уравнение разрешают относительно и
и результат подставляют во все остальные уравнения и т. д.
При вычислениях целесообразно в левых частях A3) и A4) за-
заменить символические коэффициенты их числовыми значениями,
а свободные члены справа оставить неопределенными. В этом
случае решение будет представлять собой линейные комбинации
свободных членов:
A6)
v = A" [gal] + h*> [gbl\
где hlk — элементы матрицы, обратной матрице коэффициентов
системы A3).
Вычислив и, v, . . ., находят в по формулам F) и А — по форму-
формулам A0). Так как результаты этих вычислений представляют
собой не истинные значения И и А, а лишь оценки этих параметров,
160 Гл. VII. Метод наименьших квадратов
то мы обозначим их 0 и А. Зная л, можно получить оценки для f по
формулам
и оценки поправок kt для наблюдений1
kt=h-*t = \-if A7)
Если оценки д сильно отклоняются от начального прибли-
приближения fi° и если функции A) не являются линейными, то вычи-
вычисления нужно повторить еще раз, приняв за начальное прибли-
приближение € вместо ?°.
При практических расчетах контроль вычислений, безуслов-
безусловно, необходим. В качестве одного из способов контроля можно
использовать то обстоятельство, что величины kt, согласно A2),
должны удовлетворять условиям:
[00*1 = 0,
[gbk] = О,
A8)
Другой способ контроля основан на вычислении минимума
Ф для формы Q, определяемой равенством A1). Значения А,, при
которых форма Q достигает минимума, в точности равны А,, поэто-
поэтому имеет место равенство
Q = 2 g,(h - КJ = Z ?,*? =-¦ [дЩ. A9)
С другой стороны, простое выражение для Q можно, согласно
A8), получить так:
Q = 2 gfii - h) (\ - *,) = 21 ?/(- h + atu + hv + ...)*,=
= —[gilt] + [gak]u -f [gbk]v + ... = _ [glk].
Если теперь kt снова заменить на А,- — lt, то найдем:
Q = [дЩ — [даЦи — [gbi]v —.... B0)
Формула B0) служит для вычисления Q, а A9) —для контроля.
Согласно A6), и, v,. . . представляют собой линейные функ-
функции от наблюденных отклонений lt = xt —??:
и = а^! + • • • + ап1п,
B1)
1 У Гаусса оценки поправок обозначаются Л,-.
§ 30. Выравнивание ошибок наблюдений
161
Коэффициенты а,-,/?,-,... можно легко вычислить по формулам
A6):
а, = д, (й»а, + h*b, + . . .). B2)
Для практических вычислений формулы B1) и B2) не имеют
никакого значения, но они нам понадобятся в следующих пара-
параграфах для вычисления дисперсий.
Пример 18 (из книги HelmertF. В., Die Ausgleicliungsreclmung, Leipzig,
1872). При построении триангуляционной сети Швердом в районе Шпейера
определялись углы между направлениями из основного пункта D' в пункты
А, В, W, Н и Л'. Шверд произвел многократные измерения, арифметические
средние которых указаны ниже:
В А (90 измерений) 19°25'59",42
BW (80 измерений) 34°18'43",61
AW G0 измерений) 14°52'44",33
HW B0 измерений) 15°34'58",80
ВН B0 измерений) 18°43'45",60
NA D0 измерений) 12°26'24",65
BN F0 измерений) 6°59'34",51
NH B0 измерений) П°44'П",60
Многократностью опытов удалось в значительной мере компенсиро-
компенсировать инструментальные ошибки. Следовательно, мы можем предполо-
предположить, что наблюдения лишены систематических ошибок, и выбрать веса д
пропорциональными числу измерений. За неизвестные fl,- примем четыре
угла: BN, BH, В А и BW, через которые можно выразить все остальные.
В качестве начальных приближений выберем измеренные значения этих
четырех углов; таким образом, мы получим
$г =-. BN = 6°59'34",51 + и,
Ъ2 = ВН ^ 18°43'45",60 -|- v,
в3 = В А =1 9°25'59",42 + и;
^4 - BW = 34°18'43",61 + t.
Восемь углов fj = ВА, . . ., ?8 = NH, как уже говорилось выше, выра-
выражаются через эти неизвестные:
f! = В А - 1 9°25'59",42 + w,
f2 ^ BW = 34°18'43",61 + t,
f3 - AW = 14°52'44",19 — w + t,
Коэффициенты этих выражений а,-, Ь,-, с,-, rf,-, веса g, и отклонения Z,-
указаны в следующей таблице:
я
9
8
7
2
2
4
6
2
а
0
0
0
0
0
-1
J-1
-1
ь
0
0
0
—1
_1_
0
0
+ 1
с
-11
0
—1
0
0
+1
0
0
d
0
+1
+1
+ 1
0
0
0
0
1
0
0
+ 0,14
+ 0,79
0
—0,26
0
+ 0,51
11 Б. Л. ван д.р Варден - 1062
162 Гл. VII. Метод наименьших квадратов
Соответствующие нормальные уравнения имеют вид
]2u — 2v — 4w = —0,02,
—2и + 6« — 2« = +0,56,
—Аи + 20м — 7t=^ —2,02,
—2v — 7w+ 17* = +2,56.
B3)
Заменив правые части уравнений B3) буквами А, В, С, D и затем
решая эту систему относительно и, v, w, t, получим «неопределенное» реше-
решение вида
и = 0,00978 А + 0,00375 В+ 0,00247 0 + 0,00146 D,
v = 0,00375 А + 0,01890 В + 0,00178 0 + 0,00296 D,
w = 0,00247 А + 0,00178 В + 0,00650 С + 0,00289 D,
* = 0,00146 А + 0,00296 В + 0,00289 О + 0,00742 D.
Коэффициенты правых частей B4) являются элементами h11,.... А4*
матрицы, обратной матрице системы B3). Если в B4) вместо А, В, С, D
подставить свободные члены уравнений B3), то получим
и = —0,032, v = —0,065, w = —0,067, * = +0,115.
При этом поправки к/ равны
кг = —0,067, к6 *= —0,065,
fc2 = +0,115, кв= +0,225,
#3 = 4 0,042, к7 = —0,032,
fc4 = —0,609, ка ~ —0,543.
Теперь можно вычислить Q по формуле A9) или B0). Находим, что,
согласно обеим формулам,
Q = 1,71.
§ 31. Средние значения и дисперсии оценок Ь-
Оценки д, полученные по методу наименьших квадратов,
являются линейными функциями результатов наблюдений хк
и, следовательно, случайными величинами. Вычислим их средние
значения и дисперсии.
А. СРЕДНИЕ ЗНАЧЕНИЯ
Пусть система нормальных уравнений A3) § 30 имеет един-
единственное решение и, v,. . ., которое мы обозначим теперь и1, . . ., иг,
а сами нормальные уравнения запишем в виде
2bjkuk = rj. A)
В этом случае решение A) равно
V (9)
§ 31. Средние значения и дисперсии оценок fl 1G3
где (h'J) — матрица, обратная матрице (Л,у):
h'JhJk = d'k =
1, если i = к,
C)
О, если ъфЬ.
Соответствующие оценки б запишутся в виде равенств
?ft = t° -f Mft (A = 1, . . ., г). D)
Для упрощения вычислений средних значений €к мы в качестве
fl? выберем истинные значения параметров $к. При практических
расчетах равенства Щ = €к, конечно, может и не быть, так как
истинные значения неизвестны, но при теоретическом вычисле-
вычислении средних значений и дисперсий это допущение не окажет
никакого влияния на результат1. Таким образом, вместо D) мы
напишем
$к = Ък + иК E)
Так как д°к выбраны равными истинным значениям fifc, то соот-
соответствующие f? равны ?,- — математическим ожиданиям xt. Поэто-
Поэтому математическое ожидание разности
/ у СО (СЛ
равно нулю. Отсюда, согласно B1) § 30, следует, что ик также
имеют нулевые математические ожидания. Поэтому, в силу E),
Математические ожидания оценок ьк равны истинным значениям
параметров дк.
Это же самое можно выразить и так:
Оценки дк лишены систематических ошибок,
или
Оценки дк являются несмещенными.
Б. ДИСПЕРСИИ
При вычислении дисперсий мы будем исходить из предпо-
предположения, что все xs являются независимыми случайными вели-
величинами с постоянными дисперсиями erf, не зависящими от д.
В § 30 веса gt были выбраны обратно пропорциональными диспер-
дисперсиям erf, следовательно, мы можем положить
G, о? = о-*. G)
1 Это утверждение автора, безусловно, верно тогда, когда функции A)
§ 30 линейны. В противном случае будет лишь приближенное равенство-
<Ь(^к ~г ик) ^ 6'(^fc + u>i}> причем разность между левой и правой частями,
вообще говоря, стремится к нулю при неограниченном возрастании числа,
наблюдений п. — Прим. перев.
11*
164 Гл. VII. Метод наименьших квадратов
Величина сг2 равна дисперсии наблюдения, которому соответ-
соответствует вес, равный единице, поэтому а-2 называют «дисперсией на
единицу веса».
Согласно E), дисперсия Sk равна дисперсии ик, для вычисления
которой мы снова воспользуемся формулами B1) § 30. При к = 1
имеем
«1 = и = аЛ f . . . 4- anln. (8)
Так как все lt — независимые случайные величины с диспер-
дисперсиями о-?, то дисперсия и равна
а-1 = а\а\ + ...+ afrl (9)
Это же выражение, согласно G), можно записать так:
или, согласно B2^ § 30,
— (Л11^1 [gaa] -\- 2huh12 [jab] + Л12Л12 [gbb] +...)o-2.
Величины [даа],. . . являются коэффициентами нормальных
уравнении. Эти коэффициенты мы обозначили буквами Ау, по-
поэтому
или, в силу C),
o-2 = AiV2. A1)
Точно так же при к — 2 получим
о-? = Л22о-2 A2)
и т. д.
В. НАГЛЯДНОЕ ГЕОМЕТРИЧЕСКОЕ ИСТОЛКОВАНИЕ
Для геометрической иллюстрации метода наименьших квад-
квадратов мы рассмотрим случай, когда имеется лишь один неизвест-
неизвестный параметр (г = 1) и три равноточных результата наблюдений.
В этом случае наблюденные значения xv хг, х3 можно истолко-
истолковать как координаты наблюденной точки X в пространстве пере-
переменных хг, х2, х3.
В качестве начала координат примем точку ?°, которая соот-
соответствует начальному приближению, введенному в § 30. Пред-
Предположением же, согласно которому ?° совпадает с истинной
точкой ?, мы теперь пользоваться не будем.
§ 31. Средние значения и дисперсии оценок 0 165
Уравнения G) § 30 являются параметрическими уравнениями
некоторой прямой линии. Так как в данном случае имеется лишь
один параметр и, по предположению, все gf = 0, то уравнения
прямой упрощаются:
?, = «,« (»•= 1.2,3). A3)
Этой прямой G принадлежит «истинная точка» Р, координаты
которой равны математическим ожиданиям результатов наблю-
наблюдений: Si = xi- Наблюденная точка X расположена где-то вблизи
от точки Р (рис. 19). Форма .
+ (х3— ?3J A4)
представляет собой квадрат рас-
расстояния между наблюденной точкой
X и прямой G. Отыскание минимума
Q равносильно отысканию на прямой
G такой точки Р, которая менее /
всего удалена от X. Следовательно, „ ... .,
J 'Рис. 19. Метод наименьших
Р является основанием перпендику- квадратов,
ляра, опущенного из X на прямую G.
Формулы для вычисления координат основания перпендикуля-
перпендикуляра станут проще, если мы предварительно произведем ортогональ-
ортогональное преобразование координат. В качестве одной из новых осей
выберем прямую G, а две другие оси расположим перпендикулярно
G. В новых координатах параметрическими уравнениями G
будут являться:
77! = аи, 7]2 = 0, 77з = 0 (а2 = а\ + а\ + а\). A5)
В общем случае (г параметров и п величин ж,-) подпространство
G задается параметрическими уравнениями
Si —- atu -f btv -j- . . . . A6)
Ортогональное преобразование можно записать в виде равенств
Для того чтобы г новых координатных направлений лежали в
подпространстве G, нужно, чтобы первые г столбцов матрицы
(eik) являлись линейными комбинациями векторов (а,-), (Ь,), ....
Выберем в качестве первого столбца вектор (Aat), в качестве вто-
второго столбца — линейную комбинацию векторов (цха,- + vbj)
и т. д., а затем определим коэффициенты Я, fx, v, . . . из условия
ортогональности.
166 Гл. VII. Метод наименьших квадратов
Если вычислить математические ожидания правых и левых
частей A7), то получим равенства
?i = ^J eikTlk'
где rjlt . . ., г]г представляют собой линейные комбинации и, v, . . .,
а г]г+1, . . ., rjn все равны нулю, как это было в A5) для г = 1
и п = 3.
При ортогональном преобразовании форма Q остается инва-
инвариантной, поэтому в случае п = 3 имеем
Я = (Ух- 4i)8 + B/2 - V2J + B/з - т}зJ,
или, согласно A5),
Q = (У, - -ntf + у\ + у\. A8)
Эта форма достигает минимума Q при т^ = Ун следовательно,
¦% = Vi> гJ = Пз = 0
и
в = Й + й- A9)
Равенство A8) является выражением «теоремы Пифагора»:
(РХУ = (РРJ + (ХР)\ B0)
Левая часть равенства B0) представляет собой форму Q,
первое слагаемое справа равно (у1 — т^J, а второе слагаемое —
~Q = yl + уг
В случае г параметров и п наблюденных величин получаем
следующие обобщения формул A8) и A9):
Q = (tfi — V1J + •••+(& — VrJ + У%!+ ¦¦¦+ У1, B1)
Я = У2п + ---+У1 B2)
И в этом общем случае Q можно также истолковать как квадрат
расстояния ХР, но уже в тг-мерном пространстве.
Случай неравноточных наблюдений подстановками
а-,. = x'i о-,.
сводится к случаю, который только что был рассмотрен и про-
проиллюстрирован геометрически.
Г. ТЕОРЕМА ГАУССА
Гаусс дал второе обоснование метода наименьших квадратов,
опирающееся на следующую теорему:
Среди всех несмещенных оценок параметра €1# являющихся
линейными функциями наблюдений xt, наименьшей дисперсией
обладает оценка С.
§ 31. Средние значения и дисперсии оценок S 167
Очень короткое доказательство этой теоремы Гаусса указано
в работе Plackett R. L., Biometrika, 36 A949), 458. Здесь будет
воспроизведено доказательство, основанное на ортогональном
преобразовании A7). Мы ограничимся случаем г = 1, п = 3, а
обобщение для произвольных г и п предоставим читателю.
Пусть Т — некоторая оценка параметра tix, являющаяся
линейной функцией от хх, х2, х3, а значит, и линейной функцией
от у1г у2, у3:
Т = со + с1у1 + с^2 + с3у3. B3)
Когда мы говорим, что оценка Т является несмещенной, то
подразумеваем, что математическое ожидание Т является функцией
от $lt тождественно равной дх. Математические ожидания у2
и у3 равны нулю, а математическое ожидание ух равно г)х, следова-
следовательно,
g Т = с0 + схг)х = с0 + схаи. B4)
По условию теоремы это выражение тождественно по и должно
равняться
«1 = в? + «, B5)
поэтому
со = Ъ\ и сх=1-. B6)
Далее, имеем
T — &T = c1(yx-rll) + c2y2 + c3y3. B7)
Для того чтобы вычислить дисперсию Т, нужно B7) возвести
в квадрат и найти математическое ожидание:
а-% = (%&(ух — TjiJ + 2схс?(ух — г]х) у2 + 2схс3&(ух — -qx) ya +
+ 4&yl + 2с,с3&УгУ3 + 4?У1 B8)
Каждое из математических ожиданий в правой части B8)
можно легко вычислить, например:
Если таким же образом воспользоваться свойствами ортогональ-
ортогональности матрицы (ejk), то найдем, что математические ожидания
квадратов и произведений в правой части B8) равны о-2 и 0 соответ-
соответственно. Таким образом, получаем
erf, = (с? + с§ + 4) <г\ B9)
где сх уже задано равенством B6). Следовательно, дисперсия B9)
будет минимальной при
с2 = с3 = О,
168 Гл. VII. Метод наименьших квадратов
поэтому несмещенная линейная оценка с минимальной дисперсией
задается формулой
гр _ ftp I Vl
1 а '
Но в точности такая же оценка получается и по методу наи-
наименьших квадратов. Этим завершается доказательство теоремы.
Геометрический смысл этой теоремы заключается в следую-
следующем. Пусть через наблюденную точку проходит плоскость, парал-
параллельная некоторой фиксированной плоскости. Несмещенной ли-
линейной оценкой Т является то значение параметра, которое
соответствует точке пересечения фиксированной прямой G с
плоскостью, проходящей через наблюденную точку. Надлежащим
выбором фиксированной плоскости можно получить любую
наперед заданную линейную несмещенную оценку. Если эта
плоскость перпендикулярна прямой G, то получается оценка Ь
с наименьшей дисперсией.
§ 32. Оценка дисперсии о2
Минимум квадратичной формы
9 = 2 (*,-?,)* A)
в предыдущих параграфах был обозначен символом Q. Ортого-
Ортогональным преобразованием A7) § 31 эта форма преобразуется в
форму
Q = (Vi- -ПгУ2 + ...+(Уг- VrJ + Vhi + • • • + Vl. B)
минимум которой равен
Q = vhi + --- + y2n- C)
Этот минимум достигается в точке т]х = ух, . . ., г}г = ут.
Математическое ожидание Q представляет собой сумму мате-
математических ожиданий квадратов У2г+\, . . .,Угп. Эти математи-
математические ожидания вычисляются так же, как в § 31 Г. Таким об-
образом, получаем
g Q = („ _ г) а-\ D)
Отсюда следует, что
Q
Я2 _
E)
можно использовать в качестве оценки для о-2. Эта оценка является
несмещенной.
§ 32. Оценка дисперсии <тг 169
Если дисперсии наблюдений а-} неодинаковы, то вместо A)
нужно рассматривать форму
9 = 2" ?/(*/~ &)8- F)
Однако подстановками
этот случай можно свести к предыдущему, и поэтому в качестве
несмещенной оценки для дисперсии наблюдения с единичным
весом снова получается выражение E).
Ясно, что оценка E) при малых п — г очень неточна и только
с увеличением п — г ее точность повышается. Для уточнения этого
высказывания нам нужно исследовать функцию распределения
случайной величины Q. С этой целью мы предположим, что xv .. .,хп
— независимые нормально распределенные случайные величины
с одинаковым квадра гичным отклонением ст. Совместная плотность
вероятности (xlt. . ., хп) задается формулой
fix,, . . ., хп) = <г~п Birf " е~'^Е (Xi'U)\ (8)
Если опять вместо аг,- посредством ортогонального преобразо-
преобразования ввести новые переменные yit то плотность вероятности (8)
почти не изменится:
9(Уи ....УП)= ^ Bя)" «- е- * A Wi ~ ""'" -" .1,У1. (9)
Следовательно, yv . . .,yn — независимые нормально распреде-
распределенные случайные величины со средними значениями
rjlt . . ., 7jr, 0, . . ., О
и квадратичным отклонением ст. Случайные величины yr+Jcr,
. . ., yjcr имеют нулевые средние значения и единичные дисперсии.
Поэтому сумма их квадратов
У2 А - j?±i +111+J2
X
подчиняется распределению %г с п — т степенями свободы.
Математическое ожидание х2 равно п — г, что согласуется
с формулой E). При больших п — г случайная величина xz распре-
распределена приближенно нормально со средним значением п — г
и дисперсией 2(п — г). Следовательно, отношение
х2 Q «2
п — г (п — г) о-* о-2
распределено приближенно нормально с единичным средним
значением и квадратичным отклонением \2/(п — г). Поэтому при
170 Гл. VII. Метод наименьших квадратов
больших п ¦— г величина s2 является хорошей оценкой для о-2;
при малых п — г эта оценка очень неточна. Доверительные гра-
границы для в2/сг2 можно получить с помощью таблиц для хг (табл. 6).
При практическом вычислении Q следует пользоваться фор-
формулами A9) и B0) из § 30. Из Q, согласно E), можно получить
¦s2, а из s2 по формулам A1) и A2) из § 31 можно получить прибли-
приближенные значения для сг|, а% и т. д.:
si = Л*2в*.
(И)
Из A0) следует, что отношение
(п — г) Яц (п — г) в2 _ Q 9
подчиняется распределению %2 с п — г степенями свободы. Так как
X2 не зависит от ух = г\ъ у2 = гJ,. . ., yr = r]r, то %2 не зависит и
от и, v,. . .. Отсюда, как и в § 28, заключаем, что отношение
t = 5iZZ_?i — и~&и _ 4zz^Jf Z?. = u — t>u Уп — г ,^2\
eu «u Vu «и ""и X
подчиняется ^-распределению (распределению Стьюдента) ста — г
степенями свободы. Таким образом,
С целью построения доверительного интервала для какого-
либо одного из неизвестных параметров ^, #2,. . . следует восполь-
воспользоваться соответствующей оценкой по методу наименьших квад-
квадратов $lt вг,. . . и для отыскания границ отношения A2) применить
таблицы распределения Стьюдента с п — г степенями свободы
(см. табл. 7).
Пример 19. В византийских солнечных таблицах1 указаны моменты
вступления солнца в каждую из 12 частей пояса зодиака2:
Весы: 23 сентября 12ч. 00м. дня Овен: 20 марта 5ч. 20м. ночи
Скорпион: 23 октября Зч. 30 м. дня Телец: 21 апреля 11ч. 00 м. ночи
Стрелец: 21 ноября 10ч. 30м. дня Близнецы: 22 мая 1ч. 40м. ночи
Козерог: 20 декабря Зч. 20 м. ночи Рак: 23 июня 6ч. 31м. !дня
Водолей: 19 января 2ч. 20 м. дня Лев: 24 июля 3 ч. 00 м. ночи
Рыбы: 18 февраля 2ч. 20 м. дня Дева: 24 августа 0ч. 30 м. ночи
1 Van der Waerdcn В. L., Eino bvzantinisehe Sonnentafel,
Sitzxmgsber. Ваз-ег. Akad. Miineben (math.-nat.), A964), 169.
2 Пояс зодиака — ряд созвездий, расположенных вдоль эклиптики —
большого круга небесной сферы, по которому совершается видимое годич-
годичное движение солнца. Пояс зодиака подразделяется на 12 равных частей,
получивших названия соответствующих созвездий. — Прим. перев.
§ 32. Оценка дисперсии <т2
171
Дневное время отсчитывается с 6 час. утра, а ночное — с 6 час. вечера.
Пели за начало отсчета времени принять момент вступления солнца в ту
чисть пояса зодиака, которая называется «Весы», то моменты вступления
солнца в остальные 11 частей зодиака будут задаваться числами tj — t_6,
\казаиными в третьем столбце таблицы, следующей ниже. В четвертом
V- голбце указано среднее время вступления солнца в каждую из частей
зодиака; это среднее время вычислено в предположении, что видимое вра-
вращение солнца вокруг земли совершается с постоянной угловой скоростью.
i
—6
—5
—4
—3
—2
— 1
0
1
2
3
4
О
— 180
— 150
— 120
— 90
— 60
— 30
0
30
60
90
120
150
29
58
88
117
147
178
209
241
272
304
335
U - L.
0
д. 15 ч. 30
д. 22 ч. 30
д. Зч.2О
д. 14ч.2О
д. 14 ч. 20
д. 5 ч. 20
д. 11 ч. 00
д. 1 ч. 40
д. 18ч.ЗО
д. 3 ч. 00
д. 0 ч. 30
м.
м.
м.
м.
м.
м.
м.
м.
м.
м.
м.
Среднее время
0
30 д. 10 ч. 30 м.
60 д. 21 ч. 00 м.
91 д. 7 ч. 30 м.
121 д. 18 ч. 00 м.
152 д. 4 ч. 30 м.
182 д. 15 ч. 00 м.
213 д. 1ч. 30 м.
243 д. 12 ч. 00 м.
273 д. 22 ч. 30 м.
304 д. 9 ч. 00 м.
334 д. 19 ч. 30 м.
— 19
— 46
- 76
— 99
—ПО
— 105
— 86
— 58
— 28
— 6
+ 5
/<
0
ч. 00
ч. 30
ч. 10
ч. 40
ч. 10
ч. 40
ч. 30
ч. 20
ч. 00
ч. 00.
ч. 00
м
м
м
м
м
м
м
м
м
м
м
Если из моментов, указанных в третьем столбце, вычесть соответствующее
среднее время, то получим поправки /,-, величины которых даны в пятом
столбце. При этом предполагается, что год состоит из 365 дней и 6 час.
Такое предположение вполне допустимо, так как моменты, указанные в
византийских таблицах, за очевидным исключением, округлены до чисел,
кратных 10 мин. В первом столбце указаны номера границ между частями
зодиака, а во втором столбце — угловые координаты /.,¦ этих границ. За
начало отсчета углов выбрана граница между частями «Рыбы» и «Овен»,
причем направление отсчета совпадает с направлением движения солнца.
Определенная симметрия этих чисел (хотя и приближенная), а также
другие родственные тексты наводят на мысль, что византийские таблицы,
по-видимому, вычислены на основе теории эксцентриков. Согласно этой
теории, солнце S движется с постоянной скоростью по некоторой окруж-
окружности (по эксцентрику), эксцентрично расположенной относительно непо-
.'.вижной земли Е (рис. 20). Предполагая, что византийские таблицы вычи-
вычислены по этой теории и что результаты, указанные в таблицах, содержат
случайные ошибки, мы постараемся возможно более точно определить
'эксцентриситет е соответствующего эксцентрика и угловую координату а
(на эклиптике) для апогея1.
Примем радиус эксцентрика за единицу. ПустьЛ — угловая координата
солнца в момент его вступления в данную часть зодиака. Разность х —
— А. — а называют истинной аномалией. Угловое расстояние на эксцентрике
между апогеем А и солнцем S называют средней аномалией; мы обозначим
1 Эксцентриситет — отношение расстояния между землей и центром
эксцентрика к радиусу эксцентрика, апогей — точка эксцентрика, макси-
максимально удаленная от земли. — Прим. перев.
172
Гл. VII. Метод наименьших квадратов
ее х -\- со. Разность между истинной и средней аномалиями, равная —ы,
называется уравниванием центра. В частности, если А = О, то х = —а
и средняя аномалия равна со0— а. По теореме синусов плоской тригоно-
тригонометрии ев, х и эксцентриситет е связаны соотношениями:
или
sin со =- е sin x, sin ы0 = е sin (—а)
а = are sin (e sin ж), ш0 = — arc sin (e sin а).
A3)
(И)
Так как е пало, то правые части A4) можно разложить в степенные
ряды, в каждом из которых мы ограничимся первыми двумя членами:
со =¦ е sin х -1— е3 sin3 х = е sin x -j-
6
+ — е3 C sin х — sin Зх) =
= е -| е31 sin а; е3 sin За,
и0— — I е -\- - - е31 sin а\-| е3 sin За.
Пели в начальный момент т0 солнце
имело угловую координату 0 (т. е. на-
находилось в точке 0 эксцентрика), то в
точку эксцентрика с угловой координатой
Л, отсчитываемой по эклиптике, оно при- Рис. 20. Движение по экс-
дет в момент времени
Т
Т
центрику.
Т
т = т0 -|- — (х + ш — со0 + а) = т0 + —Л -|- — (ш — ы0),
где Т = 365,25 дня —• период обращения солнца. Очевидно, что величина
Т'Л/2я равна времени осредненного движения солнца из точки 0 в точку
с координатой X (осредненное движение — движение по эклиптике с по-
постоянной скоростью).
Моменты времени т,- отличаются от соответствующих моментов <,•
византийских таблиц неизвестными ошибками к,, возникшими в результате
ошибок вычислений, описок в тексте и округления. Таким образом, в каж-
каждой точке с координатой Я; имеет место соотношение
Т Т
— т0 — —Л,- — — (coj — сов) =
Ail In
A6)
Если в A6) вместо ы,- и ш0 подставить ранее найденные выражения A5),
то получим уравнения
Т
ti — т0 — -—Л,- — a (sin а1,- — sin х0) — Ъ (sin Згг,- — sin За-0) == lj, A7)
2 тг
где
Т I
е+ 7Г>
Т 1
Ь= е3 = —се3
2л 24
§ 32. Оценка дисперсии о-2 173
не — известная постоянная. Если, кроме того, воспользоваться равенс-
равенствами xi = Я,- — а, то система A7) преобразуется к виду
Т
ti — т0 Я.,- — a [sin(X,- — a) -f- sina] — Ъ [sin3(X,- — а) + sin3a] = ?,-. A8)
2 тг
Система A8) состоит из 12 уравнений с тремя неизвестными е, а и т0.
В качестве приближенных значений этих параметров выберем такие числа
i, a и т0, для которых сумма квадратов fci + . . . + ^принимает наимень-
наименьшее значение.
Вычисления станут особенно удобными, если сначала пренебречь
малыми слагаемыми, содержащими Ъ. После того как найдено приближен-
приближенное значение е, можно вычислить Ъ = —с е3 и найти второе приближение,
считая Ъ постоянным и равным Ь. При этом окажется, что второе прибли-
приближение для а в точности равно первому приближению, так как при построе-
построении нормальных уравнений члены, содержащие sin Зж, взаимно уничто-
уничтожаются. Таким образом, в A8) можно сразу отбросить члены с Ъ и записать
систему уравнений так:
Т
tj — т0 Л,- — a sin a — a cos a sin А,- — a sin a cos Л,- — А-,-. A9)
2 п
Если ввести новые переменные
и = a cos a, v = — a sin а, го = т0 -)- a sin a = т0 — v,
то A9) преобразуется в систему 12 линейных уравнений
[ Т \
tj Л,- — и sinX,- — v cos Л,- — w — kj, B0)
\ 2 jt J
которой соответствует система нормальных уравнений
[аа]и -\- [ab]v + [ac]w = [ad],
[Ьа]и + [bb]v + [be]» = [М],
[са]м + [eb]i> + [cc]w — [cd].
B1)
Вычисление коэффициентов системы B1) не представляет труда:
[аа] = ^sin2A,- -~= 6, [аЪ] = ? sin Л,- cos Л,- = 0, [ad] -^ _VJ?,- Л,-|
[ЬЬ] = ^"cos2/.,=- 6, [ас] = ^sinX,-= 0, [bd] = ^Uj Л,- созЛ.,-,
[ее] = V 1 = 12, [6с] = ? cosX,- =-= 0, [cd] =
и поэтому, в данном случае, нормальные уравнения можно записать совсем
просто:
( Т \
6м = V Uj — 7Г~^' sin *¦''
12»=
174 Гл. VII. Метод наименьших квадратов
В указанной выше таблице величины lj равны /,¦ — t__e — ТЯ,72я—
— Т/2, поэтому, если воспользоваться очевидными равенствами
&•; = У cos Л,- = О,
B2)
Если решения B2) и, v it w найдены, то и, а и т0 можно определить из
уравнений
то последние три уравнения можно будет записать так:
6и = ? I, sin Я,-,
6f = y^lj cos Я,-,
a cos a. = и,
a sin а. = — г),
т„ .-= w -|-
B3)
и, наконец, е — из уравнения
7 7i = — а. B4)
8 Т
В данном случае
У/,-8тЯ,= 142,87, У/, cos Л, = —316,61, Tf,-=—631,
поэтому, согласно B2), B3) и B4),
7=; 0,04157, а = 65°40', ^0 — t_b = 178 дн. 5ч. 39м.
Гиппарх и Птолемей — создатели теории эксцентриков — полагали
е = — ,¦= 0,04167, а ^ 65°30'.
Согласие следует признать отличным. Таким образом, нужно считать,
что византийские таблицы вычислены на основе i/одели движения солнца,
предложенной Гиппархом.
Если бы мы вычислили по формуле E) выборочную среднюю ошибку в
моментов вступления солнца в каждую отдельную часть зодиака при п = 12
и г -- 3, то нашли бы, что в приближенно равна 20 мин. Однако эта оценка
очень неточна; так, знаменатель п — г = 9 не очень велик. Кроме того,
ненадежность этой оценки обусловлена отсутствием уверенности в том,
что в византийских таблицах ошибки отдельных значений являются неза-
независимыми. Если воспользоваться указанными выше точными значениями е
паи вычислить ошибки отдельных значений византийских таблиц, то
окажется, что из двенадцати чисел шесть в точности соответствуют модели
Гиппарха, а остальные шесть полвержены грубым сшибкам от 30 до ?0 мин.
При этом имеется два случая, когда моменты вступления солнца в две сосед-
соседние части зодиака указаны с одинаковыми ошибками, соответственно рав-
равными 50 и 30 мин. По-видимому, в византийских таблицах отдельные значе-
значения не вычислялись независимо друг от друга.
Только что проведенные вычисления в конечном счете сводятся к
гармоническому анализу периодической функции 1(?.), заданной в 12 точках.
Гармонический анализ является очень полезным вспомогательным сред-
§ 33. Линии регрессии 175
ством исследования таких астрономических таблиц, закон составления
которых неизвестен. Во многих случаях этот метод вносит полную ясность
в рассматривавшийся вопрос1.
§ 33. Линии регрессии
Пусть у — случайная величина, распределение которой зави-
зависит от некоторой независимой переменной х. В экономической
статистике х в большинстве случаев является временем, а у —
величиной, имеющей статистическое истолкование. Примером
такой величины может служить количество выплавленной стали,
которое, хотя с течением времени и меняется определенным обра-
образом, но, с другой стороны, помимо времени, зависит и от многих
других факторов. Обе величины х и у могут оказаться случай-
случайными с некоторой определенной зависимостью, как, например,
количество браков в текущем году и число новорожденных в
следующем году.
Пусть в результате некоторого опыта наблюдались п пар
значений (а^, у^,. . ., (хп, уп) величин хну. Постараемся исследо-
исследовать характер функциональной зависимости у от х и с этой целью
предположим, например, что у и х связаны соотношением линейной
регрессии
У = $о + «1* + «- 0)
причем линия регрессии, уравнение которой имеет вид у = д0 -\-
+ $&, должна проходить достаточно близко от наблюденных
точек с координатами (xt, У[), так что «случайные отклонения» и
в некотором смысле являются наименьшими. Можно сделать также
и другие предположения: например, можно считать, что у яв-
является многочленом второй степени (квадратичная регрессия),
а соответствующая линия регрессии — параболой. Более общим
является тот случай, когда у представляет собой многочлен более
высокой степени («регрессия т-то порядка»)
У = ?0 + «1* + • • • + Ът* 4- «, B)
или, при периодических колебаниях, тригонометрический много-
многочлен
у = д0 -\- т?! cos cox -\-1J sin сох -\ и.
Остатком и измеряется отклонение истинного графика
функции у(х) от соответствующей линии регрессии. Требование,
согласно которому этот остаток должен быть по возможности
малым, можно уточнить, воспользовавшись методом наименьших
1 Van der Waerden В. L., Die Bewegung der Sonne nach grei-
chisclien und indischen Tafeln, Sitzungsber. Bayer. Akad. (math.-nat.) A962),
219; Krishna Rav I. V. M., The Motion of the Moon in Tamil Astro-
Astronomy, Centaurus, 4 A95G).
17G Гл. VII. Метод наименьших квадратов
квадратов. Согласно этому методу, в качестве значений парамет-
параметров #0, #!,... нужно выбрать такие числа, для которых величина
квадратичной формы
Q = 2 «? C)
будет наименьшей. Вычисления выполняются точно так же, как
в § 26. Например, в случае линейной регрессии из условия
2 и? = 2 (Vi — йо — #ЛJ = minimum
посредством дифференцирования получаем
— 2у, + йо я + ^ 2 щ = о,
или, в обозначениях Гаусса (см. § 30):
пдо+[х]д1= [у], | D)
[х] в0 + [хх] 0х = [ху]. \
Для линии регрессии r-го порядка аналогичным образом
получается система (г + 1) нормальных уравнений
f 0 4
E)
Отыскание уравнения регрессии посредством решения си-
системы E) сопряжено с большим количеством утомительных вы-
вычислений. Правая часть уравнения регрессии представляет собой
линейную комбинацию многочленов 1, х, х2,. . ., х''. Если эти
многочлены предварительно ортогонализированы, то при отыска-
отыскании уравнения регрессии количество вычислений существенно
сокращается. Две функции <р(#) и ц>{х), определенные в точках
Если теперь нам заданы т функций <рх,<рг, . . .,<рт, то их можно
заменить системой ортогональных функций уи yz,. . ., у>т, опре-
определяемых соотношениями1
W2 = <Pi —
1 Предполагается, что все т векторов [<р^(а^)р . . ., <рл(яп)] (t = 1, 2,..., т)
.'Шнейно независимы. — Прим. псрев.
§ 33. Линии регрессии 177
Постоянная а определяется таким образом, чтобы ip± и уз2
были ортогональны; постоянные ft и у определяются двумя усло-
условиями ортогональности: гр3 к ^i и ip3 к ц>2 и т. д.
Любую линейную комбинацию
можно записать как
Если теперь для определения ц снова воспользоваться методом
наименьших квадратов, то каждое нормальное уравнение будет
содержать лишь какое-либо одно неизвестное /а,, и поэтому
решение можно выписать непосредственно, минуя утомительные
вычисления, связанные с решением системы E).
В случае линейной регрессии вычисления выполняются так:
исходными функциями равенства A) являются 1 и ж, а соответству-
соответствующими ортогональными функциями
тр0 = 1 и у>г = х — х,
где х — арифметическое среднее всех xt.
Дифференцированием устанавливаем, что сумма квадратов
2! (у — моУо —
достигает наименьшего значения при тех значениях /л0 и
которые удовлетворяют уравнениям
или
v, ^-""v*', -, G)
II ^ I Ф Ф I * Ў II I If _~ "T* I
Lti -^ 1Л Л1 ^^, у \ Ж ^^^ •aj l.
Если, ради простоты обозначений, положим т0 = /л0 и п?! = ju,!-
то решения уравнений G) можно записать в виде
Формула
у — у = m1(x—x) A0)
называется уравнением эмпирической линии регрессии. Эта линия
представляет собой прямую с угловым коэффициентом тл, который
является случайной величиной и называется выборочным коэффи-
12 Б. Л. ва;: дер Варден - 1062
178
Гл. VII. Метод наименьших квадратов
t
1865
1866
1867
1868
1869
1870
1871
1872
1873
1874
1875
1876
1877
1878
1879
1880
1881
1882
1883
1884
1885
1886
1887
1888
1889
1890
1891
1892
1893
1894
1895
1896
1897
1898
1899
1900
1901
1902
1903
1904
1905
1906
1907
1908
1909
1910
X
9,10
9,66
10,06
10,71
11,95
12,26
12,85
14,84
15,12
13,92
14,12
13,96
14,19
14,54
14,41
18,58
19,82
21,56
21,76
20,46
19,84
20,81
22,82
24,03
25,88
27,87
26,17
26,92
25,26
26,03
29,37
31,29
33,46
36,46
40,87
41,35
41,14
44,73
46,82
46,22
54,79
59,66
61,30
48,80
60,60
66,20
У
959
985
1003
1030
1077
1088
1109
1172
1180
1144
1150
1145
1152
1162
1159
1269
1297
1334
1338
1311
1298
1318
1358
1381
1413
1445
1418
1430
1402
1416
1468
1495
1525
1562
1611
1616
1614
1651
1670
1665
1739
1776
1787
1688
1782
1821
/- а
—25
—24
—23
—22
-21
—20
-19
— 18
—17
—16
— 15
—14
—13
— 12
— 11
— 10
— 9
— 8
— 7
— 6
g
з
_ 2
— 1
0
]
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
и-ь
—441
-415
—397
—370
—323
—312
—291
—228
—220
—256
—250
—255
—248
—238
-241
— 131
—103
— 66
— 62
— 89
— 102
— 82
— 42
— 19
+ 13
45
18
30
2
16
68
95
125
162
211
216
214
251
270
265
339
376
387
288
382
421
U — аI
625
576
529
484
441
400
361
324
289
256
225
196
169
144
121
100
81
64
49
36
25
16
9
4
1
0
1
4
9
16
25
36
49
64
81
100
121
144
169
196
225
256
289
324
361
400
(/ — а) (у - Ь)
+ 11 025
+ 9 960
+ 9 131
+ 8 140
+ 6 783
+ 6 240
+ 5 529
+ 4 104
+ 3 740
+ 4 096
+ 3 750
+ 3 570
+ 3 224
+ 2 856
+ 2 651
+ 1 310
+ 927
+ 528
+ 434
+ 534
+ 510
+ 328
+ 126
+ 38
— 13
0
18
60
6
64
340
570
875
1 296
1 899
2 160
2 354
3 012
3 510
3710
5 085
6 016
6 579
5 184
7 258
8 420
63413 —115
—987
8395
147 937
.М. Линии регрессии
179
циентом регрессии. Если yt — случайные величины, а значения
ж, от случая не зависят (например, х( ¦— заданные моменты време-
времени), то, пользуясь результатами § 30, можно определить среднее
значение и дисперсию выборочного коэффициента регрессии тг.
В том случае, когда х является временем, регрессия носит на-
название тренд1.
Пример 20. Во втором столбце таблицы на стр. 178 указано количество
чугуна, которое ежегодно выплавлялось во всем мире с 1865 по 1910 г.2.
Постараемся возможно наилучшим образом разложить изменение выплавки
на тренд и конъюнктурные колебания.
В таблице используются следующие обозначения: t — номер года,
х — количество выплавленного чугуна (в миллионах тонн), у — десятичный
7В?5 /87О !875
/890 /895 /900 /905 79/0
Рис. 21. Логарифм количества чугуна, которое ежегодно выплавлялось
во всем мире с 1865 по 1910 г.
логарифм х, умноженный на 1000 (у — 1000lg x). С целью получения более
удобных малых чисел из всех табличных значений t и у были вычтены
о= 1890 и соответственно Ъ == 1400.
Если предварительно по заданным числам t и х в плоскости Юх
построить грубую кривую, то обнаружится, что с ростом t эта кривая
поднимается вверх значительно быстрее, чем прямая линия или квадратная
парабола. Следовательно, нет оснований считать регрессию линейной или
квадратичной. Напротив, показательная функция оказывается хорошо
согласующейся с табличными значениями. При этом колебания эмпириче-
эмпирической кривой около показательной с ростом t усиливаются. Это наводит на
мысль перейти от абсолютных чисел а; к их логарифмам у и затем в плоско-
плоскости Юу постараться найти такую прямую, которая наилучшим образом
согласуется с табличными значениями (t, у).
1 Если у(х) ¦— случайные величины, распределение которых зависит
от времени х, то трендом называют такую функцию у(х), значения которой
в каждой точке х равны среднему значению <S у(х). — Прим перев.
2 С a s s о 1 G., Theoret. SozialSkonomie, 3 Aufl., 687, Figur S. 632.
12*
180 Гл. VII. Метод наименьших квадратов
Находим
7= 1890— -'—= 1890-2,5= 1887,5,
46
шо = ^= 1400— — = 1400-21 = 1379.
46
Точка с координатами (t, m0) принадлежит линии регрессии, которая
является прямой с угловым коэффициентом
2 V — «НУ —У) _ 147 937 — 2,5 • 987 _ 145 470 _
Щ 2(t~7)* ~ 8395 — 46 • B,5J ~ ~8Т07," ~ ' '94'
Уравнение линии регрессии задается формулой
у = гп0 + m, (t — Т) = у + mx (t —Т).
следовательно, в данном случае
у= 1379+ 17,94 (г— 1887,5).
Рисунок 21 показывает, что эмпирическая линия регрессии очень
хорошо согласуется с основным характером роста эмпирической ломаной
линии. Это приближен ие можно еще несколько улучшить, добавив к правой
части уравнения регрессии квадратичный член я?2Уа> гДе
?»= С —0"-7-
Постоянная у подбирается таким образом, чтобы функция уг была ортого-
ортогональна постоянной у0 = 1:
Это приводит к условию
И так как ?A — «У2 = 8107,5, то у = 176,25.
Метод ортогонализации имеет то преимущество, что для отыскания
квадратичного приближения не нужно заново пересчитывать уже вычи-
вычисленные коэффициенты т0 и т± линейного приближения. Достаточно
лишь вычислить тг из третьего нормального уравнения и новый член пцщ
прибавить к правой части линейного уравнения регрессии. Осуществление
этого плана предоставляется читателю.
§ 34. Выяснение причин изменения экономических показателей
Если некоторый экономический показатель ю зависит от
величин х,у,... и, кроме того, подвержен влиянию других,
не поддающихся учету факторов, то можно попытаться найти
возможно более тесную зависимость между изменением w и
изменением х,у,..., что открывает доступ к теоретическому
расчету динамики показателя w.
§ 34. Выяснение причин изменения экономических показателей 181
Классическим примером такого рода исследований служит
работа А. Ханау1 о циклических колебаниях цены на свиней.
Высокая цена на свиней является для крестьян стимулом к усиле-
усилению интенсивности свиноводства. Вследствие этого примерно
через полтора года количество свиней на рынке увеличивается
и цена на них падает. С этого момента начинается обратный
процесс и т. д. Если никакие другие причины не нарушают течения
такого процесса, то цена на свиней будет претерпевать коле-
колебания с периодом примерно в три года.
При изучении конъюнктуры причинная зависимость оказы-
оказывается не такой простой, как в приведенном выше примере. И
Бее же стоит попытаться исследовать, как далеко мы можем прод-
продвинуться в причинном объяснении явлений. При этом исходными
данными являются те значения х, у,... то, которые наблюдались
в течение определенного ряда лет. Из каждого показания вычи-
вычитают арифметическое среднее за период наблюдения (благодаря
этому выборочные средние оказываются равными нулю), и подбором
надлежащих функций времени (как правило, линейных) в полу-
полученных рядах наблюдений устраняют временной тренд. Таким
образом, вместо исходных наблюдений величин х, у, . . . и w
получают некоторые новые ряды значений, подверженных лишь
периодическим и нерегулярным колебаниям. Далее делается
предположение, что причинная зависимость колебаний w от
колебаний х,у,... приближенно линейная, и поэтому, обозна-
обозначив колебания теми же буквами, которыми ранее обозначались
соответствующие величины, можно написать
w=Xx-\ цу + . . . + и, A)
причем и представляет собой остаток, возникающий вследствие
невыявленных причин. Предполагается, что величина и столь
мала, что не оказывает на w заметного влияния, и поэтому в ка-
качестве оценок для неизвестных коэффициентов выбирают такие
значения А,/а, . . ., для которых сумма квадратов значений и
становится минимальной:
[ ии ] = ? wf = minimum. B)
Если [ии] продифференцировать по Л, /х, ... и производные
приравнять нулю, то, как в § 30, получим систему нормальных
уравнений
Л [хх] + р. [ху] + . . . = [хи>],
* [Ух] + ft [уу] + . . . = [yw],
C)
1 Н a n a u A., Die Prognose der Scbweinpreise, Sonderheft 18 der Viertel-
jahrhefte zur Konjunkturforschung, Berlin, 1930.
182 Гл. VII. Метод наименьших квадратов
Решая систему C), можно найти оценки для неизвестных коэф-
коэффициентов Л, /х, . . . .
Если предполагается, что экономический показатель х оказы-
оказывает влияние на подлежащий объяснению показатель го с неко-
некоторым запаздыванием (как в предыдущем примере повышение
цены на свиней вызывало, с запаздыванием на полтора года, по-
повышение предложения на рынке) и если такое предположение
является теоретически оправданным, то при вычислениях это
запаздывание учитывается посредством смещения значений х во
времени. С этой целью проще всего предварительно выяснить,
при каких смещениях значений ж по времени получается наиболь-
наибольшая корреляция между х и w. Таким образом, сначала вычисляют
коэффициент корреляции между х{ и wt, затем между xi_1 и гоо
между а^им^и т.д. (эти смещения варьируются, конечно, в умерен-
умеренных границах, соответствующих разумным теоретическим сообра-
соображениям) и выбирают такое запаздывание по времени, для которого
коэффициент корреляции получается наибольшим. Учитывая это
наиболее возможное запаздывание, снова делают предположение
A). Имеется и другой путь, согласно которому неизвестное запаз-
запаздывание считают дополнительным неизвестным параметром и
вместе с остальными параметрами оценивают его методом наи-
наименьших квадратов. С этой целью, последовательно, для различ-
различных значений запаздывания составляют системы нормальных
уравнений, решают их и вычисляют [им]. В качестве оценки при-
принимают такую величину запаздывания, которой соответствует
наименьшая сумма квадратов [мм].
Примеры использования этого метода можно найти в работе
Tinbergen J., Business Cycles in the United States. Publ. Volkerbund,
Genf, 1939. С появлением этого основополагающего труда к при-
применению метода, изложенного выше, стали относиться более осто-
осторожно: сначала посредством какого-либо критерия «независи-
«независимости» стремятся убедиться, не слишком ли сильна зависимость
между «независимыми величинами» х, у, . . .. Не имея возможности
углубляться здесь в эти тонкие методы эконометрики, сошлемся
лишь на работы: Tintner G., Econometrics, New York and London,
1952; Klein L. R., A textbook of Econometrics, Evanston and New
York, 1953; Hood W. С and Koopmans Т. С, Studies in Economet-
Econometric Method, Cowles Monograph No. 14, New York (Wiley), 1953.
ГЛАВА VIII
ОЦЕНКИ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ
Эта глава распадается на четыре части. Первая часть (§ 35 и
36) посвящена методу наибольшего правдоподобия и поясняющим
примерам. Эта часть в первую очередь предназначена для тех
читателей, которые еще не знакомы с этим методом. Тот, кто при
практическом применении метода наибольшего правдоподобия
столкнется со сложными уравнениями, сможет в § 36 найти
вспомогательные указания для отыскания корней.
Во второй части (§ 37—39) показано, что для оценок неиз-
неизвестного параметра существует некоторая граница точности и
никакая оценка не может иметь точность выше этой границы.
В некоторых случаях метод наибольшего правдоподобия является
наилучшим методом отыскания оценок, так как часто точность
оценок наибольшего правдоподобия достигает границы точности.
Вспомогательным средством этой второй части является нера-
неравенство Фреше.
Для пояснения постановки задачи вторая часть очень полезна,
но логически она не представляется необходимой.
В третьей части (§ 40—44) развивается метод, с помощью
которого можно достигнуть большего, чем с помощью упомя-
упомянутого неравенства. Метод третьей части приводит к наиболее
точным несмещенным оценкам даже в тех случаях, когда метод
наибольшего правдоподобия перестает действовать.
Совсем короткая четвертая часть (§ 45) содержит обзор асимп-
асимптотических свойств оценок наибольшего правдоподобия.
В этой главе в большинстве случаев предполагается, что
результаты наблюдений, служащие отправным пунктом при
построении оценки неизвестного параметра, являются непрерыв-
непрерывными случайными величинами xv . . ., хп. В следующей, гл. 9
будет рассмотрен случай, когда результаты наблюдений являются
частотами. Однако примеры этого рода будут встречаться уже и
в этой главе (примеры 21, 28 и 31).
184 Гл. VIII. Оценки неизвестных параметров
§ 35. Метод наибольшего правдоподобия Р. А. Фишера
Как мы видели в § 30, основой гауссовского обоснования
метода наименьших квадратов является принцип, согласно кото-
которому наилучшими значениями неизвестных параметров tlt. . ., дг
являются те значения, при которых результат наблюдений имеет
наибольшую вероятность1. Этот принцип Р. А. Фишер использовал
в качестве основы общего метода, позволяющего оценить неиз-
неизвестные параметры €г,. . ., $г в том случае, когда результаты
наблюдений являются случайными величинами с распределением,
зависящим от 6г,. . ., Сг.
Наблюдаемые величины х1,...,хп могут быть дискретными
или непрерывными. Введем функцию
g(t j fl) = д&,. . .,tn | К . . ., 0,)
и будем считать, что в дискретном случае g(t \ Щ — вероятность
того, что величины х1,...,хп соответственно равны tlt. . ., tn.
Если же хг,. . ., хп — непрерывные случайные величины, то
g(t | С) = g(tv . . ., tn\ #!,. . ., iir) будем истолковьгеать как плотность
совместного распределения величин xt,. . ., хп. Напомним, что в
теории метода наименьших квадратов g(t ] S) представляет собой
произведение гауссовых функций ошибок
дЦ\Ъ) = <г-П{2п)-П* e-^E{U-U)', (I)
где «истинные значения» ^ являются заданными функциями
от С. Теперь мы откажемся от этого специального предположения
и будем считать, что g(t |0) — произвольная плотность вероят-
вероятности, зависящая от 6.
Непосредственно наблюденные значения xt Фишер подставил
в g(t | *0 (т- е- положил tt = а;,) и полученную функцию д(х | С)
от в2, . . ., tJr назвал функцией правдоподобия. Те значения пара-
параметров С, для которых функция правдоподобия достигает макси-
максимума, называются правдоподобными значениями параметров S.
Согласно методу наибольшего правдоподобия, в качестве оценок
для истинных значений параметров С выбирают правдоподобные
значения \>.
Логарифм функции д(х \ д) мы в дальнейшем будем обозначать2
символами L(x | б) или L($).
1 Так как а^, . . ., хп — непрерывные случайные величины, то вероят-
вероятность, о которой говорит автор, всегда равна нулю. На самом деле, макси-
максимальной должна быть не вероятность, а соответствующая плотность ве-
вероятности (см. C) § 30). — Прим. перев.
2 Функцию L(xji) = In g (s/fl) называют логарифмической функцией,
правдоподобия. — Прим. перев.
§ 35. Метод наибольшего правдоподобия Р. А. Фишера 185
Функцию правдоподобия не следует смешивать с вероятно-
вероятностью. Хотя эта функция и определяется с помощью вероятностей
(в дискретном случае) или плотности вероятности (в непрерыв-
непрерывном случае), однако и вероятности, и плотность вероятности
относятся не к неизвестным параметрам, а к результатам наблю-
наблюдений. Параметры совсем не зависят от случая и поэтому не
имеют плотности вероятности. Для каждого фиксированного
результата наблюдений некоторые значения параметров могут
оказаться более правдоподобными, так как при таких значениях
вероятность получения наблюденных результатов имеет заметную
величину, а другие — менее правдоподобными, потому что наблю-
наблюденные результаты при таких предположениях являются весьма
маловероятными.
Пусть g(t | fl) — плотность совместного распределения случай-
случайных величин xv . . ., хп. Если вместо ж, ввести новые случайные
величины х[ по формулам ж, = (pt(x'\, . . ., %'„), то соответствующая
плотность вероятности будет иметь вид (см. B) § 11)
(il tn)
d(h,.. ., tn)
где tt = q>i (t[, . . ., t'n). Таким образом, h(t' | V) отличается от
g(t ] fl) множителем, зависящим лишь от V, и, следовательно, при
замене переменных ?,• точка максимума функции правдоподобия
остается неизменной. Точно так же в дискретном случае с целью
упрощения функции g{t | fi) мы будем считать себя вправе умно-
умножать ее на некоторый множитель, зависящий лишь от t. Точка
максимума g как функции С от этого, очевидно, не изменится.
В качестве примеров использования метода наибольшего
правдоподобия в первую очередь служат все примеры отыскания
оценок методом наименьших квадратов (гл. VI).
Теперь мы укажем три новых примера, имеющих принци-
принципиальный интерес.
Пример 21. Оценка неизвестной вероятности.
Рассмотрим последовательность п независимых испытаний, в каждом
из которых положительный исход наступает с постоянной и неизвестной
вероятностью р. Пусть х — наблюдаемое число положительных исходов.
Каково наиболее правдоподобное значение р?
Согласно фоэмуле Бернулли (§ 5 А), функция правдоподобия имеет
вид
(п\
р*A -Р)п~х
х)
или, если отбросить число сочетаний, зависящее лишь от х,
д(х\р)=рх(\ —р)"-х. B)
При отыскании максимума вместо самой функции д(х\р) можно восполь-
воспользоваться ее логарифмом
L(p) -= х In p + (и — х) In A — р).
186 Гл. VIII. Оценки неизвестных параметров
Дифференцированием по р получаем
L't — х- — П~— — х~пр
Производная L'(p) обращается в нуль при р= xjn, причем при р <с xjn
она положительна, а при р> xjn — отрицательна. Поэтому р = х\п
является точкой максимума функции L(p). Следовательно, правдоподобное
значение р равно
р = h = - . C)
п
Оценка C) является несмещенной: математическое ожидание h в точ-
точности равно истинному значению р. Далее, оценка C) состоятельная, т. е.
h стремится, по вероятности, к истинному значению р при п—>ос. Это
является следстиием закона больших чисел (§ 5 и 33).
Пример 22. Случайная величина х имеет нормальную плотность нероят-
ности
1 _ г /^T_eV
/(*) =—,,— <> 2К " '
a- ]f2n
с неизвестным средним значением ц. и неизвестной дисперсией <т2. Пусть в
результате наблюдений получены п независимых значений хг, . .., хп
случайной величины х. Каковы правдоподобные значения /х и <гЕ?
Если плотность совместного распределения aj,, . . ., хп умножить на
несущественный множитель Bя)п'2, то функция правдоподобия окажется
равной
д(хх, . . ., хп I р, «г) - -1 с~ Та' Г (" - ")\
сг"
а ее логарифм
Lit*., о-) = _ я in о- - 2^- V (Ъ - V-T-- D)
Второй член справа является отрицательно определенным квадратиче-
ским многочленом относительно (л. Точку максимума /х этого многочлена
находим дифференцированием D) по ц:
г, — ti) -- О,
E)
Следовательно, правдоподобное значение (л является арифметическим
средним и;> наблюденных значений х. Гаусс нашел этот же результат мето-
методом наименьших квадратов.
Если /а подставить в D) и затем D) продифференцировать по о-, то
получим
— L (Д, о-) =--+— У>, -~*J.
аа- с о"*
Эта производная обращается в нуль прн
п о-2 = V (Xi — хJ.
§ 35. Метод наибольшего правдоподобия Р. А. Фишера. 187
Пели о-2 <; "^ (xj — xJjn, то производная положительна, если же
о-2 > ^ (.т,—х)г!п, то она отрицательна. Следовательно, правдоподобным
.чпачеГпем о-2 является
^ = - ? (xi -~x)-. F)
Ранее вместо F) мы имели приближенное значение
ь-
п — 1
где знаменатель п—1 был выбран для того, чтобы среднее значение s2
в точности равнялось о-2. Очевидно, что математическое ожидание F)
несколько меньше математического ожидания G). Следовательно, оценка
наибольшего правдоподобия F) является смещенной: ее математическое
ожидание не равно истинному значению а".
В этом примере смещение оценки с-2 мало: в пределе при п —» ос оно
исчезает. Дисперсия оценки о-3 стремится к нулю при и—>оо. В силу
этих двух свойств, по неравенству Чебышева (§ 3 В) эта оценка является
состоятельной1.
Пример 23. В этом примере метод наибольшего правдоподобия не
приводит к состоятельной оценке.
В лаборатории измерялись п концентраций, каждая из которых опре-
определялась дважды. Точность измерений была одинаковой во всех опытах,
а истинные значения п концентраций были различными. Предположим,
что все 2» результатов измерений а^, уг; . . .; хп, уп являются независимыми
нормальными случайными величинами с совместной плотностью вероят-
вероятности
Неизвестными являются п средних значений /j^, . . ., мп и дисперсия о-2.
Правдоподобные значения для jti/, конечно, снова равны арифметическим
средним
1
Пели все т подставить в (8), то получим
1 L- V (x—ui)'
Bп)п g(xh у,\о; ц) = -,- е *«¦ " "'.
Вычисляя логарифмическую производную последнего выражения,
найдем, что функция правдоподобия достигает максимума в точке о-2 = а-",
где
J2 = — 2 & - уд*. (»)
An ¦fcJ
1 Если й — смещенная оценка параметра $, причем &(С—6>5J—-Он
(и д — дJ/&(д — 6 5J —» 0 (п —> <х>), то 5 называют асимптотически несме-
несмещенной оцеп кой для 8. В данном случае ti о = A — \jn) о-2 и ?(сг2 — о оJ =
= 2о-* (п — 1)/иг, поэтому о-2 — асимптотически несмещенная оценка для
о-2. — Прим. перев.
188 Гл. VIII. Оценки неизвестных параметров
Математическое ожидание а-1 равно
- вдвое меньше о-2. Следовательно, в этом случае метод наибольшего
правдоподобия дает оценку для с-2 с постоянным отрицательным смеще-
смещением --сг2/2.
В качестве несмещенной оценки следовало бы выбрать
При всех г разность х/ — г/,- распределена нормально с нулевым
средним значением и дисперсией 2о-а, поэтому математическое ожидание
(*i—yb* равно 2по-г.
Оценка A0) является состоятельной. Позднее мы докажем, что среди
всех несмещенных оценок в3 обладает наименьшей дисперсией.
Из этих примеров мы видим, что в некоторых случаях метод
наибольшего правдоподобия дает хорошие несмещенные оценки,
в других случаях — по крайней мере состоятельные оценки,
но имеется и третий класс случаев, когда этот метод не приводит
ни к каким хорошим результатам.
Возникает вопрос, в каких случаях метод наибольшего правдо-
правдоподобия хорош и в каких случаях плох? На этот вопрос едва ли
можно найти исчерпывающий ответ. Можно сказатьлишь следую-
следующее. Если имеется много независимых наблюдений хъ ..., хп и лишь
один неизвестный параметр или лишь ограниченное число пара-
параметров 01г. . ., flr, а функции распределения удовлетворяют опре-
определенным условиям регулярности, то метод наибольшего правдо-
правдоподобия оказывается хорошим и становится все лучше и лучше
с возрастанием п. Но если п невелико или если г возрастает одно-
одновременно с п (как это было в нашем последнем примере), то на
метод наибольшего правдоподобия полагаться нельзя. Для этих
случаев имеются другие методы, позволяющие находить наилуч-
наилучшую несмещенную оценку. С одним из таких методов мы позна-
познакомимся в § 41.
Но прежде мы несколько полнее изучим метод наибольшего
правдоподобия. При этом сначала будем предполагать, что имеется
лишь один неизвестный параметр V.
§ 36. Вычисление максимума
При практическом отыскании оценок метсдсм наибольшего
правдоподобия прежде всего требуется найти решение уравнения
правдоподобия:
L'(x\i) = 0, A)
§ 36. Вычисление максимума 189
где L'(x | tf) — логарифмическая производная функции правдопо-
правдоподобия д{х | #) по &. Поэтому
Пусть € — оценка наибольшего правдоподобия, удовлетворяю-
удовлетворяющая условию A), Ио — неизвестнее истиннее значение параметра
$> &оУ — математическое ожидание случайней величины у с
плотностью вероятности g(t [ i>0) и Q#y — математическое ожи-
ожидание случайной величины у с плотностью вероятности g(t | С).
Штрих всегда будет обозначать дифференцирование по V.
Сначала предположим, что xv . . ., хп — независимые наблю-
наблюдения, имеющие одинаковую плотность вероятности f(x | ?),
зависящую от параметра С. В этом случае
д(х | О) = f(Xl | С)... f(xn | fl),
следовательно,
\*>), B)
где <р = f'/f — логарифмическая производная функции /.
В отдельных случаях удается найти решение уравнения A)
элементарными средствами; с такими случаями мы познакомимся
в § 35. В большинстве же случаев, однако, A) представляет собой
сложное алгебраическое или трансцендентное уравнение, которое
можно решить методом последовательных приближений.
Простейший вариант этого метода заключается в следующем.
Сначала выбирают какое-либо приближенное значение И1 и вы-
вычисляют L'(x | С2) как сумму логарифмических производных,
относящихся к отдельным наблюдениям хк:
\*>1). C)
Далее, стараются найти улучшенное приближение
?2 = ^ + А D)
по методу Ньютона. С этой целью L'(x | й2) разлагают по формуле
Тэйлора до членов первого порядка включительно:
L'{x | t\) ~ L'(x | Hj) -f h L"(x | t\).
Приравнивая это выражение нулю, получают
где знаменатель вычисляется по формуле
190 Гл. VIII. Оценки неизвестных параметров
Сумма в правой части F) равна арифметическому среднему
F.cex <p', умноженному на п. Если арифметическое среднее заменить
соответствующим математическим ожиданием, то можно добиться
большого упрощения вычислений. Это математическое ожидание
задается формулой
где интегрирование производится по Есему множеству значений
случайной величины х.
Значение €0 является неизвестным. Однако поскольку нас
интересует лишь приближенное значение параметра, то Ио можно
спокойно заменить величиной t^. Таким образом, знаменатель
— L"{x | t/a) в E) мы заменяем величиной п ;(t>i), где
. G)
Следовательно, вместо E) получаем
Функцию j($) в знаменателе (8) Можно представить так:
Но f(t | €) — плотность вероятности, поэтому
(Ю)
Продифференцируем дважды равенство A0), предполагая,
что его левую часть можно дифференцировать под знаком интег-
интеграла. Мы получим
\f"dt = O,
и поэтому (9) можно записать так:
A1)
Если j(b) умножить на п, то получим гыражение, которое
Р. Л. Фишер назвал информацией, содержащейся в выборке:
A2)
В качестве второго приближения для € мы теперь имеем
§ 36. Вычисление максимума 191
где
причем L'(x | Cj) и /(i^) вычисляются по формулам B) и A2) соот-
соответственно.
Выражение 1(г)) можно образовать и тогда, когда хк имеют
различные плотности вероятности fk. В этом случае
Общее выражение для 7(ti) имеет вид
7@) = 6, [L'(x | S)]2 = J [L'(t | 0)]* <?(* | 0) dt, A5)
где интегрирование производится по всему я-мерному простран-
пространству изменения t1.
Если имеются два независимых ряда наблюдений, а?1( . . ., хт
и Уи . . ., Уп, то информация I, содержащаяся в этих рядах, пред-
представляет собой сумму информации отдельных рядов:
Функция 1(8) всегда неотрицательна. Если д(х | 0) не зависит
от 0 (в этом случае значения х не содержат никакой информации
о V), то7(?)) = 0. Эти свойства функции 7@) могут служить оправда-
оправданием употребления слова «информация»2.
Пример 24. На плоской фольге в неизвестной точке находится источник
радиоактивного излучения, посылающий лучи равномерно по всем направ-
направлениям пространства. Если параллельно фольге поставить экран, то на
этом экране можно наблюдать вспышки, вызываемые радиоактивным излу-
излучением. Каким образом по местам вспышек на экране можно определить
положение источника излучения на фольге?
Выберем плоскость экрана в качестве координатной плоскости хОу
и примем за единицу длины расстояние между фольгой и экраном. Парал-
Параллельные плоскости экрана и фольги в этом случае имеют уравнения г -; 0
и г = 1 соответственно. Пусть (д, у, 1) — координаты источника излу-
излучения.
С целью упрощения задачи предположим, что нас интересует лишь
координата {) источника и что в соответствии с этим измеряются лишь
координаты хх, . . ., хп точек экрана, в которых наблюдаются вспышки.
Поэтому весь процесс можно спроектировать на плоскость xOz (рис. 22).
1 Формулу A5) можно легко проверить, принимая во ннимание равен-
равенство B) и выражения м-мерной плотности g(t\6). — Прим. ред.
2 О более общем понятии информации и о связи этого понятия с инфор-
информацией в смысле Фишера см. Колмогоров А. П., Теория передачи
информации, изд. АН СССР, М., 1956; Ш энном К-, Статистическая
теория передачи электрических сигналов (в сборнике «Теория передачи
электрических сигналов при наличии помех»), ИЛ, М., 1953. — Прим. перев.
192
Гл. VIII. Оценки неизвестных параметров
Функция распределения F(t) координаты вспышки а^ задается вероят-
вероятностью того, что луч упадет на экран левее точки с координатой t (рис. 23).
Все лучи, удовлетворяющие этому условию, заключены внутри угла, вели-
величина которого равна
<Р = - + arc tg (t — i),
A7)
а все лучи, которые вообще могут попасть на экран, заключены внутри
в t
Рис. 23.
угла, по величине равного я. Следовательно, в силу равномерности распреде-
распределения лучей, искомая вероятность равна
= - = -- + - arc tg (« — 0).
я 2 я
A8)
Таким образом, распределение координат вспышек является распреде-
распределением Коши. Соответствующая плотность вероятности равна
I 1
A9)
я (( — ОJ + 1
Функция правдоподобия имеет вид
Ее логарифм равен
Цх\6) =
7/
1].
B0)
B1)
Дифференцированием находим, что координата i> точки максимума
функции L(x\S) должна удовлетворять условию
¦— п~~~^~*~~ = °" B2)
Само собой разумеется, что при п = 1 решением уравнения B2) будет
О = Xj.
При п — 2 получаем ураннение третьей степени
(J-, , л-г - 25) \(Xl - ?,) (xa - t) -t- 1J = 0,
§ 36. Вычисление максимума 193
которое заведомо имеет решение
«1 = ~х - - to + хг)- B3)
Два других решения удовлетворяют квадратному уравнению
fl2 —20 х~ + хгх2 -|-1=0,
которое можно записать так:
Если расстояние между точками вспышек хх и хг меньше двух единиц,
то уравнение B4) не имеет действительных корней и решение B3) является
точкой максимума функции правдоподобия. Если это расстояние в точно-
точности равно двум, то все три корня уравнения правдоподобия оказываются
равными друг другу и снова S1 — х— точка максимума функции правдо-
правдоподобия. Если же расстояние больше двух, то B3) является точкой мини-
минимума, а оба действительных решения уравнения B4) — точками макси-
максимумов, одна из которых лежит вблизи от а^, а другая — вблизи от хг. Метод
наибольшего правдоподобия не дает указания, какое из этих двух решений
следует выбрать в качестве оценки для Ъ. На практике обычно выбирают
то из них, которое расположено ближе к середине фольги.
Для п > 2 уравнение B2) решают последовательными приближениями.
В качестве первого приближения $г выбирают, например, выборочную
медиану Z (если п нечетное, то Z — координата средней точки вспышек,
см. § 20). Тогда улучшенное приближение имеет вид ?2 = {^ + hlt где
Числитель в B5) равен левой части B2) при д = ilt а знаменатель пред-
представляет собой информацию 1(91)=пЦ0^), где j(d) можно вычислить по
формуле A1):
Я/' \2 4 г г г — С п2 1 4
L\fdt= — \\ dt = -
/Г яЛ(«-$J+и (<-?J + i *
u*du I
(u2 + IK 2
—оо —оо —оо
Поэтому информация
Ц9) == n j(S) = П- B6)
не зависит от д и, согласно B5),
Аналогичным образом можно получить третье приближение. Вообще,
если т.- е приближение дт уже найдено, то (т + 1)- е приближение
получим по формуле
, -v i 4 "V
« к
Б. Л. ван дер Вардсн - 1062
194 Гл. VIII. Оценки неизвестных параметров
Эти последовательные приближения очень быстро сходятся к некото-
некоторому пределу Ъ, который ипринимаютв качестве оценки для д. При больших
п дисперсия оценки S асимптотически равна
-'- = 2-. B8)
ЦП) п
Согласно § 20, дисперсия выборочной медианы дается асимптотической
формулой
1 я2
= — . B9)
An [f(t}\d)]2 An
Сравнение B8) и B9) показывает, что оценка наибольшего правдоподо-
правдоподобия лучше выборочной медианы. В свою очередь, арифметическое среднее
х много хуже выборочной медианы, так как дисперсия х не существует, а
функция распределения а; совпадает с функцией распределения отдельного
наблюдения %.
§ 37. Неравенство Фреше
От хорошей оценки Т неизвестного параметра в требуется,
чтобы ее значения были, по возможности, близки к истинному
значению в.. Качество оценки определяется главным образом
двумя ее характеристиками: математическим ожиданием Т = & Т
и дисперсией
<т\ = ?(Т — ТJ.
Так как математическое ожидание Q Т зависит от в, то мы,
вместо g T, снова обозначим его &6Т. От этого математического
ожидания будем требовать, чтобы оно было равно С или по крайней
мере было близко к t). Разность
Ф — Ъ = &*Т — {) = ЦЪ) A)
называется смещением или систематической ошибкой оценки Т.
От дисперсии а-% будет требоваться, чтобы она была по возмож-
возможности мала. Оценка с нулевым смещением и наименьшей диспер-
дисперсией называется наилучшей несмещенной оценкой.
Можно легко указать оценки с нулевой дисперсией: для
этого нужно лишь выбрать Т равным произвольной постоянной
То, независимо от результатов наблюдений. Однако в этом
случае, если То сильно отличается от истинного значения ?,
нам придется иметь дело с большим смещением То — С. Таким
образом, обнаруживается противоречие между смещением и
дисперсией: обе эти величины нельзя сделать равными нулю (за
исключением тривиальных случаев, когда С заранее известно
или когда в с вероятностью единица определяется результатами
наблюдений).
§ 37. Неравенство Фреше 195
Эти предварительные выводы можно уточнить с помощью
одного неравенства, которое при заданном смещении указывает
нижнюю границу дисперсии оценки. Это неравенство было найде-
найдено, независимо друг от друга, Фреше, Рао и Крамером1. В англо-
англоамериканской литературе оно называется неравенством Крамера—
Рао или, как недавно стали его называть, неравенством, инфор-
информации.
Если у и z — случайные величины, причем y2az2 имеют конеч-
конечные средние значения, то справедливо неравенство Шварца2:
(&угJ^(& У2) (&**)¦ B)
Доказательство справедливости B) очень просто. Квадратичная
форма
&(Ху + y,zY = V g У* + 2АМ 8 У* + М2 & s2 C)
может принимать лишь неотрицательные значения, следовательно,
ее дискриминант неположителен:
-(б1Жег2)^0. D)
Отсюда непосредственно следует B). Легко можно убедиться,
что неравенство B) тривиальным образом справедливо и в том
случае, когда хотя бы один из множителей в правой части B)
обращается в бесконечность.
Пусть теперь xlt. . ., хп — результаты наблюдений и пусть
их совместная плотность вероятности3
д(х | fl) = g(xlt ...,хп\ь) E)
зависит от единственного неизвестного параметра д. Обозначим
через Т = Т(х) оценку этого параметра. Требуется вывести нера-
неравенство для дисперсии а-\.
Если в некоторой части пространства (хъ . . ., хп) функция
д(х [ в) обращается в нуль, то при вычислении средних значений
эту часть можно исключить из области интегрирования. Таким
образом, интегрирование будет производиться лишь в той части
'Frecbet M., Eev. Intern, de Stat. A943), 182 ; Rao С. R., Bull.
Calcutta Math. Soc, 37, 81; Cramer H., Scandinavisk Aktuarie-tidskr.,
2ft, 85, или Математические методы статистики, ИЛ, М., 1948, стр. 517.
Далее, Wolfowitz J., Ann. of Math. Stat., 18, 215. О применениях см.
Hodges and Lehmann, Proc. Second Berkeley Symposium on Math.
Stat., Berkeley A951), 13.
2 Это неравенство опубликовано русским математиком В. Я- Буня-
ковским в 1859 г. — на 25 лет раньше соответствующей публикации немец-
немецкого математика Г. А. Шварца, поэтому в советской литературе принято B)
называть неравенством Буняковского. — Прим. перев.
3 С этого момента мы пренебрегаем различием между наблюдаемыми
случайными величинами хг, . . ., осп и независимыми переменными tx tn.
13*
196 Гл. VIII. Оценки неизвестных параметров
пространства, где д(х | ?) ф 0. Предположим, что эта часть не
зависит от И и что функция д(х | в) дифференцируема по б. Если
производную по fl снова обозначим штрихом, то логарифмическая
производная функции д будет равна
L'{x | с) = -^ ,
где
Цх \\)) = \п д{х | fl).
Далее, имеют место равенства
в 4 Ь(С) = 6,2" = \Т д(х | va) ^ F)
= [ д(х | С) da?. G)
Предположим теперь, что производные от правых частей
F) и G) можно вычислять дифференцированием под знаком ин-
интеграла. Выполняя это дифференцирование, получим
1 + b'(v) =$Tg'dx = Ct[-f) = ЫТ L% (8)
0 = jY rfa; = g, (.?!) = ?,?'. (9)
Если (9) умножить на Т и вычесть из (8), то найдем, что
1 + ЪЩ = & [(Т - t) L'l A0)
В правой части A0) находится математическое ожидание
произведения случайных величин Т — Т и L'. Применяя к этому
математическому ожиданию неравенство Шварца B), получим
(П)
Если теперь предположить, что &t(L')% ф 0 и обозначить
St{L'Y = ЦП), то из A1) следует, что
Это и есть нераве}1ство Фреше (неравенство информации).
Я еще раз сформулирую те предположения, при которых оно было
выведено:
1. Часть пространства иксов, в которой д(х \ S) ф 0, не зави-
зависит от С.
2. В формулах F) и G) допустимо дифференцирование под
знаком интеграла.
§ 38. Достаточные оценки и наилучшие оценки 197
3. Знаменатель в A2) не равен нулю.
Знаменатель в A2) представляет собой интеграл
= &* [L'(z | t)f = J(ln g)' g' dx, A3)
который мы уже ранее, следуя Р. А. Фишеру, назвали «информа-
«информацией». Другое выражение для 1(?) получается интегрированием
A3) по частям1:
7@) = -б*^"(*|в). A4)
Если при всехй из некоторой окрестности истинного значения
параметра #0 смещение оценки Т равно нулю, то числитель A2)
при тех же значениях С будет равен единице и мы получаем
Правая часть A5) не зависит от оценки Т. Следовательно,
существует нижняя граница для дисперсий несмещенных оценок
и этой границей служит величина 1/7E), обратная информации2.
Неравенство Фреше и вытекающие из него следствия остаются
справедливыми и в случае дискретных величин х1у. . ., хп. Нужно
лишь во всех формулах заменить интегралы суммами. При этом
предполагается, что суммы, соответствующие формулам F) и
G), можно дифференцировать почленно. В случае конечных
сумм это всегда допустимо.
§ 38. Достаточные оценки и наилучшие оценки
При каких условиях только что выведенные неравенства
обращаются в равенства?
Неравенство Шварца B) § 37, очевидно, обращается в равен-
равенство тогда и только тогда, когда форма C) представляет собой
1 Интеграл A3) многомерный и обычное интегрирование по частям
к нему не применимо. Равенство A4) может быть получено следующим обра-
образом: из I/ = д'/д получаем L" = g"lg — (g'lgJ. Но &t(g"lg)= g" dx = О,
(если в G) можно дважды дифференцировать под знаком интеграла), поэтому
\ ¦--- ЦП),
откуда и следует A4). — Прим. ред.
2 Нижняя граница \1Т(8) не обязгпельно является точной нижней
гранью для дисперсий несмещенных оценок. Можно, например, показать,
что если х1 хп независимы и нормальны со средним значением oi/s и
единичной дисперсией, то нижняя грань дисперсий несмещенных оценок
для а равна (9а«/и) + (]8а2/л2) + (б/??3), в то время как 1/7(а) = 9а«/я. —
Прим. перев.
.198 Гл. VIII. Оценки неизвестных параметров
полный квадрат, или, иначе говоря, тогда и только тогда, когда
существуют А и щ не равные нулю одновременно, такие, что
сумма Ку 4- Ms равна нулю с вероятностью единица. В применении
к неравенству A2) это означает, что либо Т принимает постоян-
постоянное значение, Т = Т с вероятностью единица,либо с вероятностью
единица имеет место равенство
L'{x\V) = K(T — T), A)
где К не зависит от х.
В первом случае оценка Т принимает постоянное значение То,
независимо от наблюдений, и поэтому этот случай мы можем не
рассматривать. Если Т = То, то Ъ{\)) = То — 8 очень сильно зави-
зависит от Ь. Это случай крайнего «смещения» или, иными словами,
случай предвзятого мнения, когда считают, что истинное значение
# нужно знать заранее, и вообще не заботятся ни о каких наблю-
наблюдениях. При некоторых условиях такой подход может оказаться
вполне резумным, а именно, тогда, когда предвзятое мнение хорошо
обосновано и не опровергается наблюдениями сколько-нибудь
убедительно. В этом случае и не возникает никакой проблемы
отыскания «точнейшей оценки на основе наблюдений».
Остается случай A). Интегрированием получаем
Цх | 6) = In д(х | 0} = A{t) Т + B(t) + С (х),
следовательно,
д(х | 0) = елт+в Цх), B)
где Л а В зависят лишь от И, a h зависит лишь от х.
Таким образом, неравенство A2) § 36 обращается в равенство
тогда, когда выполняются два следующих условия:
а) Функция правдоподобия g(x | $) является произведением двух
сомножителей
g(x \€) = e(T\ f>) h(z), C)
из которых первый зависит лишь от € и Т, а второй — лишь от х.
б) Первый множитель имеет вид
е(Т | в) = еАТ+в, D)
причем Аи В зависят лишь от в.
Если условие а) выполняется, то Т называется достаточной
оценкой параметра в (или, по Р. А. Фишеру, достаточной стати-
статистикой).
Докажем теперь теорему:
Если выполняются условия 1, 2, 3 (§ 37), а также условия а) и
б), то среди всех оценок с одинаковым смешением Ь(хз) наименьшей
дисперсией обладает оценка Т.
§ 38. Достаточные оценки и наилучшие оценки 199
Д о к а з а т е л ь с т в о,. Из C) и D) следует, что
L'(x | D) = А'Т + В'. E)
В свою очередь из (9) § 37 получаем
А'& Т + В' = &{А' Т + В') = & L' = О,
следовательно,
В' = —А'? Т = —А'Т. F)
Если F) подставить в E). то убедимся, что
L'(x \ fl) = А' (Т — Т). G)
Так как L' пропорционально Т — Т, то неравенство Фреше
обратится в равенство
сг\ =
Для любой другой оценки справедлив лишь знак г=. Следова-
Следовательно, среди всех оценок со смещением b(8) оценка Т имеет наи-
наименьшую дисперсию erf.
С целью выяснения, в какой мере эти результаты относятся
к оценкам наибольшего правдоподобия, мы, помимо а) и б), сделаем
еще одно предположение, а именно:
в) Оценка Т является несмещенной.
Согласно предположению в),
Ъ(д) = Т — V = О
или Т = €. В соответствии с этим, в силу G), получаем
L'(x\t) = А'(Т — 0). (8)
Уравнение A0) § 37 в данном случае имеет вид
Если теперь L' заменить выражением G), то получим
St[A'(T-f)^ = \
или
А'о* = \. (9)
Отсюда следует, что А' всегда положительно. Далее, из G)
находим
1 = 8 [Щх | С)]2 = (А')%(Т - ТУ = (АГ о*,
поэтому, согласно (9),
1 = А', A0)
200 Гл. VIII. Оценки неизвестных параметров
т. е. информация 1 равна производной по д от коэффициента А
в формуле D).
Согласно (8), уравнение правдоподобия имеет вид
А'{Т — И) = 0. A1)
и так как А' всегда положительно, то это уравнение имеет един-
единственное решение
В силу (8), L'(x \ t) положительна при t < Т и отрицательна
при ? > Т, поэтому д = Т — точка максимума функции L, а зна-
значит, и функции правдоподобия
Таким образом,
если предположения а), б) и в) справедливы, то оценка, найденная
методом наибольшего правдоподобия, является несмещенной и
наилучшей.
Если же условие в) не выполняется, то можно положить
& Т = т(й).
В этом случае Т является несмещенной наилучшей оценкой
Для т(й).
§ 39. Примеры
В некоторых важных случаях Есе условия 1, 2, 3 (§ 37) и а),
б), в) (§ 38) оказываются выполненными. Простейшим случаем
является следующий.
Пример 25. Оценка среднего значения в нормальном распределении.
Пусть результаты наблюдений хх, . . ., хп представляют собой незави-
независимые, одинаково нормально распределенные случайные неличины с неиз-
неизвестным средним значением /х. При этом не имеет никакого значения,
известно квадратичное отклонение <т или нет. Мы предположим для про-
простоты, что о- -- 1. Тогда функция правдоподобия будет иметь вид (см. § 35,
пример 22)
- |г Г (*-,<)¦
g(x'-(j.) -= e
Эту формулу можно записать так:
-!¦!;*•+ ?*.-?*¦
g(x\fj.) = e
Если выборочное среднее обозначить буквой М:
§ 39. Примеры 201
то g(x\jn) можно будет представить в виде произведения двух сомножителей
„ („л/-!-„») -i-Гх'
д(х\ц) г,- с ¦ е
Первый множитель зависит лишь от М и р., а второй — лишь от х.
Следовательно, условие а) выполнено: М является достаточной оценкой
для /л.
Проверка справедливости условий 1, 2, 3 (§ 37) не представляет труда.
Выполнение условий б) и в) (§ 38) является очевидным. Таким образом,
выборочное среднее М является несмещенной наилучшей оценкой для /л.
Пример 26. Оценка дисперсии в нормальном распределении с известным
средним значением.
Если среднее значение fi известно, то смещением начала координат на
оси Ох можно добиться, чтобы было fj. = 0. Тогда плотность совместного
распределения а^, . . ., хп, с точностью до известного постоянного множи-
множителя, будет равна
д(х\ст) =--о- е . A)
Требуется найти оценку для 0 = о-2. Если обозначим ^ хг = ns2,
то A) можно записать так:
п s"
—л In <J — — —
д(х\аг) = с B)
Эта функция имеет вид exp (As2 -\- В). Следовательно, оценка Т = s2
удовлетворяет условиям а) и б). Математическое ожидание s2 равно о-2,
поэтому условие в) также выполняется. Легко можно убедиться и в спра-
справедливости условий 1, 2, 3 (§ 37). Таким образом, s2 = V1 x2jn является
несмещенной, наилучшей оценкой для о-2.
Пример 27. Метод наименьших квадратов.
Пусть результаты наблюдений ху, . . ., хп представляют собой незави-
независимые, нормально распределенные случайные величины с известными
квадратичными отклонениями o-lt . . ., <гп соответственно. В § 26 предпола-
предполагалось, что средние значения fx, . . ., ?„ наблюдений являются произволь-
произвольными дифференцируемыми функциями неизвестных параметров 0ц 0г> . . .;
затем эти функции аппроксимировались линейными функциями. Сейчас
мы предположим, что все f/ являются линейными функциями единственного
неизвестного параметра д. Эту теорию можно обобщить на случай несколь-
нескольких параметров, однако для нелинейных функций она будет справедлива
лишь приближенно.
Посредством подстановок а-,- = а-/х, общий случай можно свести к
частному случаю, когда все х; имеют единичную дисперсию, поэтому, не ме-
меняя обозначений, мы будем считать, что o-j = . . . = <rn = 1. В этих предпо-
предположениях совместная плотность вероятности, с точностью до постоян-
постоянного множителя, равна
g(x\i) = е C)
Если в C) заменить ?,- собтветствующими линейными функциями от С
?i = с,- -Ь а; 6 D)
(п; и с,- предполагаются известными), то д(х\$) примет вид
\- (- к(' ¦*¦ 211 - т)
д(х\И) = с" , E)
202 Гл. VIII. Оценки неизвестных параметров
где к = ^а1 — ^аа — постоянная величина, a I = J? (х,- — с,) а,- и т—
соответственно линейная и квадратичная функции от х. Если к = 0, то все
а,- равны нулю и д(х\д) вообще не зависит от i; в этом случае, по термино-
терминологии § 30, параметр Ь не допускает оценки. Но если к -ф 0, то E) можно
записать так:
- -- W - ТУ- -°- Л(х)
д(х\6) = е , F)
где
Т = ~ —-^ . G)
У^ аа
Ясно, что в F) показатель степени будет максимальным при 6 = Т. Этот
показатель равен показателю степени в C), который, согласно методу
наименьших квадратов, также должен быть сделан максимальным. Следо-
Следовательно, метод наименьших квадратов приводит к той же оценке Т для
параметра д, что и метод наибольшего правдоподобия. Вычисляя среднее
значение Т, найдем, что Т = 6, поэтому оценка Т является несмещенной.
Так как в данном случае условия а) и б) (§ 38), а также 1, 2, 3 (§ 37) выпол-
выполнены, то мы получаем результат:
Т — несмещенная, наилучшая оценка для 6.
Случайная величина Т подчиняется нормальному распределению с
плотностью вероятности
2л
Дисперсия Т равна
(8)
Постоянная k—^аа в точности совпадает с информацией /, так как
в данном случае неравенство Фреше обращается в равенство.
Если вспомнить, что посредством преобразований а;,- = о-,!1, все
дисперсии наблюдений были сделаны равными единице и что благодаря
этому все веса также равны единице, то можно убедиться, что (8) согла-
согласуется с ранее полученным результатом (см. § 31 Б):
о-2=Л"«г* = .—-. (9)
[9аа]
Пример 28. Оценка вероятности.
Пусть вероятность р некоторого события неизвестна и пусть в п неза-
независимых опытах это событие наступило х раз. Какова наилучшая оценка
для р?
В данном случае х является дискретной случайной величиной, однако
это не может служить причиной каких-либо затруднений. Рассмотрим
функцию правдоподобия, вычисленную ранее в первом примере § 35 с точ-
точностью до множителя, зависящего лишь от х:
д(х\р) =р*A — Р)"-*.
Эту функцию можно записать так:
д(х\р) = е*1пР + (п-хПпA-р>
§ 40. Условные математические ожидания 203
Если в A0) положим а; = nh, где h — частота,
то получим
g(x\p) = e'lnln'' + A-;i)nln<1-P). A2)
Это выражение имеет в точности тот же вид, который требуется усло-
условиями а) и б) (§ 38). Математическое ожидание оценки h, как мы знаем,
равно р. Условия 1, 2, 3 (§ 37) в данном случае также выполняются. Следо-
Следовательно, частота h является несмещенной, наилучшей оценкой для вероятно-
вероятности р, т. е. среди всех несмещенных оценок h имеет наименьшую дисперсию.
До сих пор во всех рассмотренных случаях для доказательства
минимальности дисперсий соответствующих несмещенных оценок
мы пользовались тем обстоятельством, что неравенство Фреше
обращалось в равенство. Но если условия а) и б) (§ 38) не вы-
выполняются, то это неравенство не может обратиться в равенство.
Однако существуют другие методы, позволяющие находить не-
несмещенные, наилучшие оценки. Эти методы были разработаны
Рао и, при более общих предположениях, Леманном и Шеффе1. Для
подготовки к изложению этих методов нам сначала нужно позна-
познакомиться с понятием условных математических ожиданий по
Колмогорову.
§ 40. Условные математические ожидания
Случайные величины мы будем обозначать жирными буквами
t,u,v,x,.... При этом предполагается, что хх,. . .,хп— результаты
наблюдений, а все остальные случайные величины являются функ-
функциями хк:
t = Т(Х); и = U(X); ....
Пусть
t = Т (ж); и = Щх);
— отдельные возможные значения этих функций.
Нужно дать определение условного математического ожида-
ожидания случайной величины и для заданного значения t случайной вели-
величины t.
Если (им принимают лишь конечное число значений, то это
определение является очень простым. Пусть P(t) — вероятность
того, что t примет значение, равное t. Если P(t) ф 0, то для всех
1Lehmann E. L. and Scheffe H., Completeness, Similar Regions
and Unbiased Estimation I, Sankhya (The Indian Journal of Stat.), 10 (I960),
305.
204 Гл. VIII. Оценки неизвестных параметров
значений щ,. . ., ип случайной величины и можно вычислить ус-
условные вероятности1
ри, |Л _Р("Ь<) Р{(« = ик) П (* = 0} m
П«и I *) - -P(t) - - ру= ^ A)
и затем определить условное математическое ожидание Q(u\t) как
сумму произведений ик и соответствующих условных вероятностей:
S(u|*) = 24-РЫ')- B)
Если B) умножить на РA) и просуммировать по всем значе-
значениям t, принадлежащим некоторому множеству М, то, в силу A),
получим.2
2 6 (н | О J°@ = 2 «* Р{(« = «*) П (t 6 Jf)}. C)
«ем t
Обратно, если равенство C) справедливо для любого множе-
множества М, то C) справедливо и для таких множеств, которые со-
состоят лишь из одного значения t. Если в этом случае соответствую-
соответствующее равенство разделим на P(t), то снова получим B).
Предположение о том, что и принимает лишь конечное число
значений, не является существенным. Ведь конечную сумму в
правой части B) можно заменить бесконечным рядом или интег-
интегралом точно так же, как мы это делали в § 3 при определении
обычного математического ожидания! Если F(u 11) ~ функция ус-
условного распределения случайной величины и (значение этой
функции в любой точке и определяется как условная вероятность
события и < и при условии, что t= t), то вместо B) можно на-
написать
?(u\()=$udF(u\t), D)
а вместо C) —
E)
М'
где М' •—случайное событие, которое наступает тогда, когда
Т(х) 6 М. Правая часть E) представляет собой интеграл Лебега
1 Символом (и — щ) п(' = 0 обозначено событие, являющееся
пересечением событий и -- ик и t = t, см. § 1. Поэтому Р(щ, t) =
= Р{(и = ик) (-)(?= /)} ¦—вероятность одновременного осуществления этих
событий. — Прим. перев.
2 Здесь используется символическое обозначение I е Ы, которое сле-
следует читать так: it принадлежит множеству Л/». Случайное событие t б М
наступает тогла и только тогда, когда случайная величина t принимает
значение, принадлежащее множеству М. — Прим. перев.
§ 40. Условные математические ожидания 205
от функции и, определенной на множестве М', по мере Р(Л) (см.
§ 3 А).
Точно так же левую часть E) можно понимать как интеграл
Лебега по множеству М. Если функцию распределения случайной
величины t обозначить H{t), то E) можно будет записать в виде
равенства
Г &(и | t) dH @ = Г и P(dJE). F)
М М'
До сих пор в качестве функции распределения случайной ве-
величины (мы рассматривали ступенчатую функцию со строго по-
положительными скачками. Если t имеет непрерывную функцию
распределения, то определения A) и B) оказываются неприме-
неприменимыми, так как знаменатель в A) будет равен нулю. Однако фор-
формула F) всегда сохраняет смысл, и поэтому эту формулу, следуя
Колмогорову, можно принять за определение условного мате-
математического ожидания g(w | t). С помощью теоремы Никодима
Колмогоров («Основные понятия теории вероятностей», V, § 4)
доказал, что если gi* существует, то всегда найдется такая изме-
измеримая функция f(t) = <g(w ! t), для которой справедливо равенство
F) при любом измеримом множестве М на оси t. Хотя функция
f(t) = 6(м ! t) равенством F) определяется не однозначно, однако
два решения f^t) и f2(t) уравнения F) могут отличаться друг от
друга лишь на таком множестве точек оси t, которое имеет меру
нуль.
Если х1У. . . ,хп имеют совместную плотность вероятности
д(х), то равенство F) можно записать так:
J &(и | t) dH(t) = J V(x) g{x) dx. G)
M M'
Если t также имеет плотность вероятности h(t), то интеграл
Стильтьеса в левой части G) можно заменить обычным интегралом:
J
| t) h(t) dt=\i U{x) g{x) dx. (8)
M M'
Равенство (8) справедливо для любых измеримых множеств
М тогда и только тогда, когда оно справедливо для всех интер-
интервалов от — те до Ъ на оси t:
ь
J ?(и | t) h (t) dt= J U(x) g{x) dx. (9)
T(x)<b
Дифференцированием (9) по верхнему пределу Ъ можно найти
значения функции f(t) = <g(w | t) в тех точках t, где/(?) непрерывна
и Ь.A)фО.
206 Гл. VIII. Оценки неизвестных параметров
Покажем теперь, как в некоторых простейших случаях можно
вычислить условное математическое ожидание.
Пусть, сначала, t = xv Плотность вероятности h(t) можно
найти интегрированием совместной плотности дA,хг,...,хп) по
х2>. . ., хп.
А@ = j g{t, хг,. . . , хп) dx2... dxn. A0)
Если положим
I U(t, хг, ..., хп) g(t, х2 х„) dx2... dxn
f . (И)
g{t.,xT.. ., xn)dx2. . -dxn
где интегрирование распространяется на все пространство пере-
переменных х2, . . .,хп, то сразу убеждаемся, что функция A1) удов-
удовлетворяет условию (9):
Далее, пусть t = facf + . .. + х\. Преобразованием к полярным
координатам г, q^, . . . , (рп_х этот случай можно свести к предыду-
предыдущему. Получаем
\u(x)g(x)da>
?(а | г) = -J- , A2)
I g(x) da
где da — элемент поверхности шара единичного радиуса в тг-мер-
ном пространстве и интегрирование в числителе и знаменателе
производится по поверхности сферы радиуса г в том же прост-
пространстве.
Условное математическое ожидание, коль скоро оно опреде-
определено для всех точек оси t (с точностью до множества точек t меры
нуль), обладает следующими свойствами:
1. g(u — v \t) = g(u\t)—&(v \t).
2. Если и равна постоянной с, то &(и \ t) = с.
3. Если g(tt | t) равно пулю для всех t, то Q и = 0.
4. Если v = <p(t), то &(uv | t) = Q(u | t) (p(t).
Первые три свойства непосредственно следуют из определе-
определения. Последнее свойство доказано Колмогоровым («Основные по-
понятия ...», стр. 50).
§ 41. Достаточные статистики
Вернемся к задаче отыскания наилучшей оценки неизвестного
параметра з. Мы снова будем предполагать, что совместная плот-
плотность распределения результатов наблюдений xlt. . . ,хп имеет
вид
д(х | С) = e(t | d) h(x), A)
§ 41. Достаточные статистики 207
где t является функцией х, не зависящей от f>:
t = T(x). B)
В прежних обозначениях случайная величина t = Т(х) могла
оказаться достаточной оценкой для И. Но так как t совсем не обя-
обязана быть оценкой для t>, то мы t назовем достаточной стати-
статистикой. Мы будем также говорить: статистика * = Т(х) доста-
достаточна для И.
Условное математическое ожидание $(и \ t) случайной вели-
величины и = U(x), как и в § 40, определяется равенством
J Щх) g(x \i)dx = \ ?,(и | 0 dH(t), C)
М' М
где H(t) — функция распределения случайной величины t До-
Докажем теперь теорему:
Если плотность вероятности д(х\6) представима в виде A),
то функцию &(и\ t) можно определить так, чтобы она не зави-
зависела от Ь.
Сначала мы проведем доказательство в предположении, что
существует хотя бы одно значение параметра $0, такое, что e(t \ д0) ф
фО для всех t. В этом случае, согласно A), для произвольного
ь имеем
^ Шe{t! *•>Цх) = щ?)д{х
или, если дробь в правой части обозначить Q(t),
д(х | в) = Q(t) д(х \ в0). D)
Пусть g и So — символы математических ожиданий, a H(t) и
H0(t) — функции распределения, соответствующие значениям
параметра ? и Со. Согласно C), имеем
J V(x) д(х ! v0) dx = I G0(u | t) dllo(t) E)
M' M
и
J' Щх) g(x \t))dx= j 6(u | 0 dll(t) F)
M' M
или, в силу D),
J ?7B!) Q(t) g(x | fi0) dx = Jf,(u | t) dH(t). G)
M' M
Случайная величина Q{t) принимает значения Q(t). Обозна-
Обозначим эту случайную величину буквой v:
208 Гл. VIII. Оценки неизвестных параметров
Рассмотрим условное математическое ожидание произведе-
произведения uv = U(x) V(x) и воспользуемся свойством 4 (§ 40):
6о(ш> | 0 = 6о(м I t) Q(t),
следовательно, по определению &0{uv | t),
J Щх) V(x) д(х | е>„) dx = J 6o(u | t) Q(t) dllo(t). (8)
M' ii
Так как Q{t) = F(a;), то левые части G) и (8) совпадают, и
поэтому
J g(u | t) dH(t) = J f,0(tt | t) Q(t) dH0(t). (9)
м м
В частности, при и= 1, согласно (9), получаем
м м
где Л/ — произвольнее измеримое множество.
Из A0) следует, что для каждой кусочно постоянной функ-
функции f(t) имеет место равенство
\f(t)dH(t)=\f(t)Q(t)dH0(t). A1)
м м
Для доказательства A1) достаточно М разложить на такие
подмножества, где функция f(t) постоянна, и к каждому подмно-
подмножеству применить формулу A0).
Каждую измеримую функцию можно так аппроксимировать
кусочно постоянной функцией, чтобы их интегралы сколь угодно
мало отличались друг от друга. Таким образом, формула A1)
справедлива для всех тех измеримых функций, для которых ле-
левая часть A1) вообще имеет смысл. Если положим f(t) = &0(и \ t),
то получим
o(t* | t) dH(t) = J go(u | 0 Q(t) dno(t). A2;
M M
Сравнивая (9) и A2), находим, что
J g(u | 0 dH(t) = J Sofa | t) dll(t). A3
M M
Следовательно, в правой части G) ?(и | t) можно заменить н;
$0{и | t) — равенство от этого не нарушится, т. е. при любом 9"
можно считать, что условное математическое ожидание <S(** 11)
равно &0(и | t), что и требовалось доказать.
§ 41. Достаточные статистики 209
Если e(t I i)) обращается в нуль при некоторых значениях t,
зависящих от $, то доказательство этой теоремы становится
несколько более трудным.
Мы предположим, что при всех д функция e(t | С) кусочно
непрерывна по переменной I; этого достаточно для всех прило-
приложений. Кроме того, предположим, что в точках разрыва e(t | tS) =0.
Тогда, при каждом ?, множество тех точек оси t, где e(t | 5) ф 0,
является открытым множеством.
Рассмотрим множество Во тех точек t, в которых e(t\ti) = O
при всех i). В силу A), при каждом # вероятность события
t е Во равна нулю. На множестве Во условное математическое
ожидание можно определить, например, равенством ?,(м | t) — 0;
это не повлияет на результат. Остается исследовать условное
математическое ожидание на множестве С, которое представ-
представляет собой дополнение к множеству Во.
Для каждой точки t, принадлежащей множеству С, найдется
хотя бы одно значение й, такое, что e(t | д) ф 0. Тогда существует
также некоторая окрестность ВЦ) точки / и во всех точках этойок-
рестности e(t | fi) ф 0. Таким образом, множество С покрывается
открытыми множествами B{t), поэтому из этих множеств можно
выделить счетное покрытие1 В1ч В2, . . . множества С. Пусть,
например, множеству Ву соответствует значение параметра dv
множеству В2 соответствует ?2, . . . и т. д., причем если t e Blt
то e(t | Ъ^ф 0.
Из множества Вг можно исключить те точки, которые уже
принадлежат Вх, точно так же из В3 можно исключить все точки,
которые принадлежат Вх или Вг и т. д. Видоизмененные таким
способом множества Вг, В2, . . . по-прежнему покрывают все
множество С.
На основании ранее доказанных результатов при любом в
функцию <S(w | t) можно видоизменить так, чтобы на В1 она сов-
совпадала с функцией 6i(M!*)> соответствующей значению параметра
в = €г. Точно так же при любом 6 можно $(и | t) видоизменить
так, чтобы эта функция для te B2 совпадала с (S2(w 11) и т.д. Таким
образом, нам удалось определить функцию g(u | t) при любом t,
независимо от г). Для всех 5 и М эта функция удовлетворяет
условию C). Действительно, каждое множество М можно раз-
разложить на счетное число подмножеств ЛТ0, Mv М2, . . . , каждое
из которых содержится в Во. Вх, В2, . . . соответственно, и так как
C) справедливо для каждой части, то C) справедливо и для всего
множества М.
Этим наше утверждение полностью доказано.
1 См. Колмогоров Л. Н. и Фомин С. В.. Элементы теории
функций и функционального анализа, Изд. Мое. ун-та A954), 39. — Прим.
пер ее.
11 Б. Л. ван дер Вардсн - 10G2
210 Гл. VIII. Оценки неизвестных параметров
§ 42. Применение теории условных математических ожиданий
к задаче отыскания наилучших несмещенных оценок
А. УЛУЧШЕНИЕ ОЦЕНОК
Пусть снова х1г.. . , хп — результаты наблюдений, являю-
являющиеся случайными величинами с совместней плотностью веро-
вероятности д(х | 6), зависящей от неизвестного параметра И. И пусть
t = Т{х) — достаточная статистика, т. е.
g(x\9) = e(t\i>)h{z). A)
Кроме того, пусть и = U(x) — некоторая оценка параметра
О, обладающая конечным математическим ожиданием и и конеч-
конечной дисперсией сгги. При этом совершенно безразлично, выпол-
выполняются ли эти предположения лишь для истинного значения па-
параметра Ь или они выполняются также и в некоторой окрест-
окрестности истинного значения. Все следующие далее утверждения
справедливы для тех значений д, при которых математическое
ожидание и дисперсия случайней величины и конечны.
Постараемся тецерь найти улучшенную оценку v, зависящую
только от достаточной статистики t:
v = F(t). B)
С этой целью потребуем, чтобы v принимала такие значения v,
которые при каждом фиксированном значении t случайной ве-
величины t равны условному математическому ожиданию 6(** | f):
v = F(t) = &(u | t). C)
Колмогоров доказал1, что v = F(t) является случайной ве-
величиной. Согласно результатам § 41, функция F(t) = &(и \ t) не
зависит от 0, а зависит лишь от t.
Докажем теперь, что математическое ожидание v равно ма-
математическому ожиданию и, а дисперсия v не превосходит дис-
дисперсии и.
Доказательство целиком основано на свойствах 1—4 (§ 40).
Из 2 и 4 прежде всего следует
g(r | t) = g(l -v\t) = &(\\t) F(t) = F(i). D)
Далее, из 1 получаем
б(и - v io = g(i* I о - 6(»! о = m - m = o. E)
Так как, согласно 3,
6(г* — v) = 0, F)
то &и =: &v. Первое утверждение доказано.
1 Колмогоров А. Н., Несмещенные оценки, Изв. АН СССР
(сер. мат.), 14 A950), 303. — Прим. перев.
§ 42. Применение теории условных математических ожиданий 211
Дисперсия и равна
<г\ = g(« — uf = ?(м — vJ = g(w — v + v — vf =
= 6(и - vf + 2g(u - г) (t> - г) + ?(» - v)\ G)
Разность и — v зависит лишь от t. Если мы положим v —г> =
— cp{t), то, согласно 4 и F), получим
g[(u - г) (» — ?) | f] = g(u - »j 0 ф@ = 0, (8)
следовательно, в силу 3,
6(н — «)(« — е) = 0. (9)
Все это позволяет записать G) более просто:
Отсюда непосредственно следует, что
a-l^a-l. (И)
Второе утверждение доказано.
Если бы дисперсия <г\ была бесконечной-, то, согласно A0),
дисперсия сгц также была бы бесконечной, что противоречит пер-
первоначальным предположениям. Таким образом, а? конечна и
не превосходит сг„ .
Неравенство A1) обращается в равенство тогда и только тогда,
когда разность и — v принимает ненулевые значения лишь с ве-
вероятностью, равной нулю.
Предположение конечности дисперсии <г\ может быть опу-
опущено. Действительно, если а\ бесконечна, то неравенство A1)
становится тривиальным.
Таким образом, если существует достаточная статистика
t = Т(х), то для каждой оценки и = U(x) параметра И существует
улучшенная оценка v = V(x), обладающая свойствами:
1. Смещение v равно смещению и, следовательно, если и —¦
несмещенная оценка, то v — также несмещенная оценка.
2. Дисперсия v не превосходит дисперсии и.
3. Оценка v зависит лишь от достаточной статистики t = Т(х).
Теперь мы снова можем отказаться от жирного шрифта и
обозначить результаты наблюдений и их значения через хх,. . .,
хп, достаточную статистику — через Т = Т(х) и оценки —через
U(x) и V(x) = F(T).
Б. ИНТЕГРАЛЬНОЕ УРАВНЕНИЕ ДЛЯ НЕСМЕЩЕННЫХ ОЦЕНОК
На основании только что полученных результатов, при отыс-
отыскании несмещенных наилучших опенок мы всегда можем огра-
ограничиться такими оценками V — F(T), которые зависят только
14*
212 Гл. VI П. Оценки неизвестных параметров
от достаточной, статистики. Предположим теперь, что Т имеет
плотность вероятности q(t | #).
Несколько обобщая задачу, мы будем искать оценку не для
самого параметра д, а для некоторой его функции <р(С). Условие,
согласно которому искомая оценка должна быть несмещенной,
непосредственно приводит к интегральному уравнению
t^cp(e), A2)
где интегрирование производится по всей области возможных
значений t оценки Т. Если F и Fl — два решения уравнения A2),
то их разность D(t) должна удовлетворять интегральному урав-
уравнению
\q(t\V)D(t)dt=-.O. A3)
Может оказаться, что однопараметрическое семейство {q(t\V)}
образует на оси t полную систему функций, так что никакая от-
отличная от тождественного нуля функция D(t) не может быть
ортогональной ко всем функциям q(t \ €). В этом случае из B)
следует, что
D(t) = О,
т. е. если решение A2) существует, то оно определяется однозначно.
Этим самым доказана
Основная теорема. Если Т = Т(х) — достаточная
статистика для д и семейство {q(t | ?>)} образует полную систему
функций, то любая несмещенная оценка для q>(?), зависящая лишь
от Т, является наилучшей оценкой.
§ 43. Приложения
Метод отыскания несмещенных, наилучших оценок, изло-
изложенный в § 42, имеет много применений. Прежде всего заметим,
что этим методом можно было бы воспользоваться во всех пред-
предшествующих примерах. Теперь мы укажем несколько новых при-
примеров, из которых первые два заимствованы из книги С. R. Rao,
Advanced Statistical Methods in Biometric Research, New York, 1952.
Пример 29. Распределение х2 с множителем а.
Пусть имеется п независимых наблюдений xlt . . ., xn, каждое из кото-
которых подчиняется распределению хг с неизвестным множителем а в показа-
показателе степени. Таким образом, плотность вероятности отдельного наблю-
наблюдения задается формулой
1(х\а) = саР хР'1 е~ах (.г > 0), A)
где с= \/Г(р). Если положим Vx — Т(х) = Т, то плотность совместного
распределения всех хъ . . ., хп будет иметь вид
д(х\а) = с" а"Р (х1. . . хп)Р~1 ^-"т. B)
212 Гл. VI !J. Оценки неизвестных параметров
от достаточной статистики. Предположим теперь, что Т имеет
плотность вероятности q{t |Щ.
Несколько обобщая задачу, мы будем искать оценку не для
самого параметра д, а для некоторой его функции q>{$). Условие,
согласно которому искомая оценка должна быть несмещенной,
непосредственно приводит к интегральному уравнению
t = <p(f)), A2)
где интегрирование производится по всей области возможных
значений t оценки Т, Если F и i\ •— два решения уравнения A2),
то их разность D(l) должна удовлетворять интегральному урав-
уравнению
J С) D(t) dt = 0. A3)
Может оказаться, что однопараметрическое семейство Ц
образует на оси t полную систему функций, так что никакая от-
отличная от тождественного нуля функция D(t) не может быть
ортогональной ко всем функциям q(t | ?). В этом случае из B)
следует, что
?>(t) =-- 0,
т. е. если решение A2) существует, то оно определяется однозначно.
Этим самым доказана
Основная теорема. Если Т = Т(х) -— достаточная
статистика для С и семейство {q(t \ ti)} образует полную систему
функций, то любая несмещенная оценка для <р{Щ, зависящая лишь
от Т, является наилучшей оценкой.
§ 43. Приложения
Метод отыскания несмещенных, наилучших сценок, изло-
изложенный в § 42, имеет много применений. Прежде всего заметим,
что этим методом можно было бы воспользоваться во всех пред-
предшествующих примерах. Теперь мы укажем несколько новых при-
примеров, из которых первые два заимствованы из книги С. JR.. Rao,
Advanced Statistical Methods in Biometric Research, New York, 1952,
Пример 29. Распределение х2 с множителем а.
Пусть имеется п независимых наблюдений xlt. .., xn, каждое из кото-
которых подчиняется распределению /2 с неизвестным множителем а в показа-
показателе степени. Таким образом, плотность вероятности отдельного наблю-
наблюдения задается формулой
f(x\a) = саРхР'1 е"«* (х > 0), A)
где с= 1/Г(р). Если положим 1?х ¦-= Т(х) = Т, то плотность совместного
распределения всех xlt . . ., хп будет иметь вид
д(х\а) - с" а.пр (а?!. . . xn)P~i t,~«T. B)
§ 43. Приложения 21S
Формула B) показывает, что Т — достаточная статистика. Если от
xlt . . . , хп перейдем к новым переменным Т, уъ . . . , уп по формулам
*<• - Туи C)
то все у, будут связаны соотношением
2vt--=L D)
поэтому независимыми переменными можно считать лишь Т и уъ . . ., уп_х.
Если функцию B) проинтегрировать по переменным ylt. . ., уп-1 в области
то получим плотность вероятности случайной величины Т:
q(T\a) ••- с'а"РТ"р-ге-пТ, F)
Так как интеграл от q(T, о.) в пределах от 0 до оо должен быть равен
единице, то
1
~ ~Г{пр) '
Среднее значение случайной величины \(Т равно
а. Г(пр — 1) а
с'
J Г(пр) пр — 1
о
Следовательно,
пр — 1
F(T) = ^—
является несмещенной оценкой для а.
Если бы имелась другая несмещенная оценка, также зависящая только
от Т, то должно было бы существовать ненулевое решение D(t) интеграль-
интегрального уравнения
| D(l) №Р -1 е-"' dt = 0. (8)
о
Если введем ¦ новую переменную интегрирования z — е~* и положим
D(t) i"P"i = G(z), то из (8) будет следовать, что
1
| s"-i G(z) dz = 0 для а =1,2,3, (9)
О
Но в интервале от 0 до 1 функции 1, г ,г2, , . . образуют полную систему
функций1. Таким образом, из (9) следует, что G(z) = 0, т. е. это интеграль-
интегральное уравнение имеет лишь нулевое решение. Следовательно, оценка G)
является наилучшей.
Оценка наибольшего правдоподобия
¦пр
а ---
Т
1 См., например, Курант Р. и Г и л ь б е р т Д., Методы матема-
математической физики, т. I, гл. 2, § 4, Гостехиздат, М., 1951.
§ 43. Приложения 215
Формула A1) показывает, что Т является достаточной статистикой
для t>. Согласно A1), математическое ожидание Т равно
A2)
п + 1
О
Поэтому
F = ?±±T A3)
п
является несмещенной оценкой для t>. Дисперсия этой оценки равна
п(п + 2)'
Если бы существовала другая несмещенная и зависящая лишь от Т
оценка параметра ?, то существовало бы ненулевое решение D(t) интеграль-
интегрального уравнения
I D{t) n\S~n «n-idi =0 A4)
о
или
1 D(t) tn-idt =0. A5)
Но если A5) справедливо для всех #, то должно выполняться равенство
D(t) = 0. Следовательно, A3) является наилучшей оценкой.
Оценка наибольшего правдоподобия1 6 = Т при больших п
незначительно отличается от F.
Следующий пример был мне любезно предоставлен Е. Л. Ле-
манном. Этот пример особенно интересен тем, что в нем непосред-
непосредственно используется метод улучшения несмещенной оценки,
изложенный в § 42 А.
Пример 31. Поставщик поставляет некоторую продукцию, упакован-
упакованную в ящики. Потребитель из каждого ящика берет случайную выборку,
состоящую из п изделий, и проверяет качество каждого изделия. Если в
выборке окажется три или больше дефектных изделий, то соответствующий
ящик бракуется и возвращается поставщику, который в этом случае несет
определенную потерю. Количества дефектных изделий, обнаруженных в
каждом из ящиков, обязательно сообщаются поставщику. Так как все
изделия изготавливаются в одинаковых условиях, то предполагается, что
любое изделие может оказаться дефектным с постоянной вероятностью р.
Пусть г — число ящиков, полученных потребителем, и пусть хъ . . ., хг —
обнаруженные количества дефектных изделий в выборках объема п из
1 В данном случае функция правдоподобия дается формулой
д~п, если Js= T,
g(x\S) =
0 — в противном случае.
Для отыскания максимума д(х\д) достаточно ограничиться лишь теми С,
которые удовлетворяют неравенству 0 =» Т. Так как при Os^T справедливо
неравенство 0~п *&Т~п, то д(х\д) =е Т~п = д(х\Т). Следовательно, Т —
оценка наибольшего правдоподобия. — Прим. перев.
216 Гл. VIII. Оценки неизвестных параметров
ящиков с номерами 1,...,г соответственно. Само собой разумеется, что
несмещенной, наилучшей оценкой для р в данном случае будет
Но поставщик желает знать также и несмещенную оценку для мате-
математического ожидания своих потерь. Ведь улучшение качества продукции
(например, посредством более строгой предварительной инспекции) сопря-
сопряжено с затратой средств, и на эту затрату поставщик пойдет лишь тогда,
когда убедится в ее выгодности.
Вероятность того, что данный ящик не будет забракован потребителем,
равна
in \
i = qn -j- Пр g"-1 + р2 g"»-2.
Математическое ожидание потерь поставщика пропорционально 1 —г)
Следовательно, для отыскания несмещенной оценки потерь достаточне
найти несмещенную оценку для д.
Предположим, что х1г . . ., хГ являются независимыми случайными
величинами, подчиняющимися биномиальному распределению. Функция
правдоподобия в данном случае задается формулой
(п\ (п\
Р(х) ^ • • • И5*1 9"~~х> • • • Vх' qn~x'-
\xi) 'aw
Если положим х1 + . . . -(- хг = Т, то Р(х) будет иметь вид
Из этой формулы следует, что Т является достаточной статистикой
для р, а значит, и для ti. Таким образом, если несмещенная, наилучшая
оценка для д существует, то можно считать, что она зависит лишь от Т.
Как найти такую функцию?
Рассмотрим случайную величину
11, если первый ящик принят,
( 0, если первый ящик забракован.
Так как <S V —- д, то U — несмещенная оценка для И, хотя и очень плохая.
Вычислим теперь условное математическое ожидание U при условии, что
Т = t. Первый ящик может быть принят лишь в следующих трех взаимно
исключающих друг друга случаях: когда в выборке нет дефектных изделий,
когда в выборке одно дефектное изделие и, наконец, когда в выборке два
дефектных изделия. Следовательно, условное математическое ожидание
U будет равно сумме условных вероятностей указанных выше трех собы-
событий, в предположении, что Т =- t. Таким образом,
. . . + xr = 1}
lXl±^ 11 ± *r=t- 1)}
P{(gi = 2) n
i? 43. Приложения 217
Все вероятности в числителях и в знаменателе содержат одинаковый
множитель р' qrn ', сокращая которым, получим
rn — n
t
п \ Irn — п
t —
п\ irn — п
2\\t —
in
\ t
Следовательно, улучшенная опенка для 0 имеет вид
Н
Для того чтобы показать, что V является наилучшей несмещенной
оценкой, нам нужно еще убедиться в единственности несмещенной оценки
для 0, зависящей лишь от Т. Иначе говоря, мы должны проверить, будет
ли уравнение
f
У \ \pl qnr-i F(t) --=
иметь единственное решение F(t) = V(t). Если F и Ft — два решения этого
уравнения, то их разность D(t) должна удовлетворять однородному урав-
уравнению
VI pi qnr-t D{t) = 0.
Но многочлен от р на отрезке Ossps 1 обращается тождественно в
нуль тогда и только тогда, когда все его коэффициенты равны нулю. Следо-
Следовательно, D = 0 — единственное решение однородного уравнения1.
1 В данном примере рассматривалась задача оценки потерь поставщика.
Потребителю более важно знать другую величину, а именно, количество
дефектных изделий, оставшихся в принятом ящике после контроля. Так
как вероятность того, что выбранное наугад изделие окажется дефектным,
равна р, то принятые дефектные изделия снова подчиняются биноми-
биномиальному распределению. Следовательно, если контроль изделий сопряжен
с их уничтожением, то изложенная процедура приемочного контроля не
ведет к улучшению качества принятой продукции. Такая процедура целе-
целесообразна лишь в том случае, если для различных ящиков вероятности р
различны и потребитель хочет гарантировать себя от приема ящиков с
P>Va' где р0 — некоторый заранее установленный предел для доли брака.
О статистическом контроле качества продукции см. Д у н и н - Б а р-
к о в с к и и И. В. и Смирнов Н. В., Теория вероятностей и мате-
математическая статистика в технике (общая часть), ГИТТЛ, М.. 1955, гл. VIII,
§ 4—5; Колмогоров Л. Н.. Несмещенные оценки, Изв. АН СССР,
серия ыатематич., 14 A950), 303; Колмогоров Л. Н., Статистический
приемочный* контроль при лопустимом числе дефектных изделий, равном
нулю, Изд. Ленингр. Общества научно-техн. пропаганды A951); Сира ж-
д и н о в С. X., Одинарный статистический приемочный контроль, Труды
ин-та .Математики и механики, ЛИ Уз б. ССР, 15 A955), 41. — Прим. персе.
218 Гл. VIII. Оценки неизвестных параметров
§ 44. Оценка дисперсии нормального распределения
Рао, а также Леманн и Шеффе свою теорию наилучших оце-
оценок распространили на случай нескольких неизвестных пара-
параметров. Мы здесь не будем касаться этой общей теории, а ограни-
ограничимся лишь одним примером, который особенно важен для при-
приложений.
Пусть xv . . . , хп — независимые и одинаково нормально рас-
распределенные случайные величины с неизвестным средним зна-
значением (л и неизвестной дисперсией д. Следовательно, совместная
плотность вероятности имеет вид
Л 1
- -„- - ъ->
g(xv . . . , хп I /л, й) = с д е "
= сд 2 е ™ . A)
Из формулы (I) непосредственно следует, что JVx и J?х2 — доста-
достаточные статистики для ju. и д. Как мы уже знаем, наилучшей
оценкой для /х является
х = 1п2х. B)
Постараемся найти наилучшую оценку для #. При всех /х и
И эта оценка должна быть несмещенной.
Сначала ортогональным преобразованием введем новые ко-
координаты ух, . .. , Уп, где
ш =х Уп = Az (хг + ... + хп). C)
В силу ортогональности преобразования,
поэтому
2" х°- — 2ц 2' х + п fj} = У у* — 2/х ух fn + п /х°- =
Таким образом, совместная плотность вероятности для yv . . . , уп
имеет вид
В пространстве переменных уг,. . . , ?/„ введем полярIые ко-
координаты г, <рх,..., <р„_2. Соответствующая плотность вероятности
будет иметь вид
Р(У1.Г><Р1, ¦ ¦ ¦•<Pn-i\V<,ti) =
?. --l[(yt-^Vn)«+rf »-2
= ct? - е г %!, . . .,^_2). E)
§ 44. Оценка дисперсии нормального распределения 219
Вместо У] х2 и __? х в формуле E) имеются величины г и yv кото-
которые, конечно, также являются достаточными статистиками для
/х и ii.
Как и в § 40, мы можем теперь для любой случайной величины
и определить условное математическое ожидание G(u\yltr).
Общая теория Колмогорова для этого даже и не потребуется:
условное математическое ожидание можно определить посред-
посредством интегрирования по угловым координатам <plt . . ., фп-2.
С помощью этого условного математического ожидания можно,
как в § 42 А, для любой оценки и параметра г) вывести улучшенную
оценку v, которая будет иметь то же смещение, что им, а диспер-
дисперсия v не будет превосходить дисперсии и. Так как, кроме того, v
должна зависеть лишь от ух и т, то оценку для д мы сразу будем
искать в виде функции от этих аргументов.
Такой функцией является
2 2L (х — х)г ^хг — пх2 2* У~ — 2п _ г2 (ел
п—1 п—1 п — 1 п — 1 ' ^ ^
Мы знаем, что s2 является несмещенной оценкой для <т2 = д.
Если бы имелась какая-либо другая несмещенная оценка, завися-
зависящая лишь от ух и г, то интегральное уравнение
. — „ [(в —А<1 п J + г1] п—2
¦, г) е 2l r dr dy = 0 G)
имело бы ненулевое решение.
Полагая в G)
I D(y, r) e~*r'r"~2dr = F(y
(8)
о
получим
F(y | S) e~ 2f " ~"H" n + l'n dy = 0
пли, если обозначить а = /хУп/д и постоянный множитель
охр {— /л2 п/2д} вынести за знак интеграла,
оо
| — it' a it
\F(y\i)e 2» e dy = 0. (9)
Последнее равенство должно быть справедливо при любых
а. и 6 > 0. Левая часть (9) является аналитической функцией а,
220 Гл. VIII. Оценки неизвестных параметров
которая определена1 при всех комплексных а. Если эта функция
даже па некотором маленьком отрезке действительней оси равна
нулю, то она равна нулю тождественно при всех а. Поэтому
заменим в (9) а на it и рассмотрим полученный интеграл, который
можно истолковать как преобразование Фурье для функции
F(y | С) ехр {—у'2/2ь}. В силу (9), это преобразование равно нулю
при всех t, следовательно, преобразуемая функция также равна
нулю, т. е.
F(y\H) = 0. A0)
Если A0) подставим в (8), то получим интегральнее уравнение
для D(y, r):
)e-flrlr"-2dr = 0. A1)
о
Выбрав г2 в качестве новой переменной интегрирования*
убеждаемся, что интегральное уравнение A1) имеет точно такой
же вид, как и (8) § 43. Поэтому, как и тогда,
П(у, г) = 0.
Только что приведенное доказательство справедливо в классе
функций D(y,r), удовлетворяющих некоторым слабым условиям
регулярности. Например, достаточно предположить, что интег-
интегралы G) и (8) абсолютно сходятся для всех р. и f> из конечной
области М:
а < /х < Ь,
0 < 5 < с,
и что на каждом замкнутом подмножестве множества М интегралы
G) и (8) сходятся равномерно.
Точно тот же метод доказательства можно применить и к
случаю, когда имеется несколько групп хъ . . ., хт; уи . . ., уп; . . .
независимых нормально распределенных случайных величин с
одинаковыми дисперсиями И, но, может быть, разными средними
значениями: /х — для первой группы, v — для второй группы и
т. д. Результат тот же самый:
является несмещенной, наилучшей оценкой для
'Доказательство. Сначала в (9) заменим пределы интегриро-
интегрирования — оо и -f ос на — М и + М таким образом, чтобы для всех а, при-
принадлежащих произвольному кругу |о| < R, соответствующий интеграл
отличался от (9) менее чем на е. Затем е"У разложим в степенной ряд и про-
проинтегрируем его почленно. Таким образом, мы получим разложение интег-
интеграла от —At до -f- M u степенной ряд по степеням а. Теперь М можно
устремить к бесконечности: предел равномерно сходящейся последователь-
последовательности регулярных функций является регулярной функцией в круге \а\ < В.
§ 45. Асимптотические свойства 221
Если, в частности, каждая группа состоит лишь из двух
случайных величин, то A2) превращается в формулу A0) § 35.
Следовательно, пример 23 может служить иллюстрацией практичес-
практического применения формулы A2).
§ 45. Асимптотические свойства
Все теоремы, с которыми мы до сих пор имели дело, были
справедливы как для малых выборок, так и для больших, что
особенно важно для приложений. Теперь, в заключение, мы хотим
совсем кратко и без доказательств изложить важнейшие асимпто-
асимптотические свойства оценок в случае больших выборок.
А. СОСТОЯТЕЛЬНОСТЬ ОЦЕНОК НАИБОЛЬШЕГО ПРАВДОПОДОБИЯ
Вернемся к случаю одного параметра д. Пусть хи...,хп —
независимые одинаково распределенные случайные величины
с плотностью вероятности /(ж |?). Плотность их совместного
распределения задается формулой
g(x\i)) = f(zl\t)f(x2\i)...f(xn\d). A)
Оценка Т параметра t называется состоятельной, если при
п —> оо вероятность события \Т — ? I <е стремится к единице.
При некоторых предположениях о регулярности функции f(x\iJ)
можно показать, что метод наибольшего правдоподобия приводит
к состоятельной сценке параметра $.
Простейшее из известных мне доказательств опирается на
довольно слабые предположения регулярности; это доказательство
принадлежит Вальду и Вольфовицу. Здесь мы это доказательство
воспроизводить не будем, а отошлем читателя к оригинальной
ра боте: A. Wald and J. Wolfowitz, Annals of Mathematical Statistics,
20A949), 595,601.
Если при п -* «> вместе с увеличением п количество неизве-
неизвестных параметров также возрастает, то теорема о состоятельности
сценок наибольшего правдоподобия может и не быть справедли-
справедливой. Пример этого нам уже встречался в § 35.
Б. АСИМПТОТИЧЕСКАЯ НОРМАЛЬНОСТЬ. АСИМПТОТИЧЕСКОЕ
СРЕДНЕЕ ЗНАЧЕНИЕ И АСИМПТОТИЧЕСКАЯ ДИСПЕРСИЯ
Состоятельность опенки наибольшего правдоподобия # ранее
была доказана Хотеллипгсм1 и Дубсм2 при более сильных ограни-
ограничениях. Однако эти авторы, помимо состоятельности, доказали,
что оценка ь распределена асимптотически нормально со средним
1 П о t е 11 i n g II., Trans. Amer. Math. Soc, 32 A930), 847.
2 D о о b J. L., Trans. Amer. Math. Soc, 36, 76C ; 3t), 410.
222 Гл. VIII. Оценки неизвестных параметров
значением б и квадратичным отклонением с/У п. Это означает, что
функция распределения случайной величины
U = @ — ь) Уп B)
при и —» ею стремится к функции нормального распределения с
нулевым средним значением и квадратичным отклонением с. При
этом с определяется равенством
В § 36 правую часть последнего равенства мы обозначили через
j(p). Если это выражение умножим на п, то получим введенную
ранее «информацию» / = (
1 ~ с* - Ь ( ЭО J
Следовательно, дисперсия асимптотического нормального рас-
распределения равна обратной величине информации:
--1 E)
п - I ¦ W
При определении понятий «асимптотическое среднее значение»
и «асимптотическая дисперсия» нужно соблюдать большую осто-
осторожность, так как вполне может случиться, что при каждом
п точное распределение оценки 0 обладает бесконечной диспер-
дисперсией. И тем не менее б будет распределена асимптотически нормаль-
нормально с конечным средним значением б и конечной дисперсией с*/п.
По этой причине нельзя сначала вычислять дисперсию и затем
производить предельный переход при п -* оо, а нужно сперва
найти распределение случайной величины U, затем произвести
предельный переход при тг-»оои, наконец, вычислить дисперсию.
В дальнейшем выражения «асимптотическое среднее значение» и
«асимптотическая дисперсия» всегда следует понимать именно в
этом смысле.
Пусть Т — оценка параметра \>. Если асимптотическое среднее
значение разности Т — $ (смысл этого понятия указан выше)
мало сравнительно с \ffn, то оценка Т называется асимптотически
несмещенной; при этом асимптотическое распределение случайной
величины
U = (Т — д)Уп F)
имеет нулевое среднее значение. Согласно упомянутым выше
теоремам Хотеллинга и Дуба, оценка наибольшего правдоподобия
¦8 является асимптотически несмещенной.
§ 45. Асимптотические свойства 223
В. ЭФФЕКТИВНОСТЬ
Р. А. Фишер предполагал, что оценка й асимптотически эффек-
эффективна в том смысле, что она среди всех асимптотически несме-
несмещенных оценок обладает наименьшей асимптотической диспер-
дисперсией. Однако более поздние исследования1 показали, что это пред-
предположение соответствует действительности лишь тогда, когда
множество допустимых оценок ограничено сильными условиями
регулярности. Если же с оценкой наибольшего правдоподобия
могут конкурировать произвольные асимптотически несмещенные
оценки, то среди них можно найти так называемые «сверхэффектив-
«сверхэффективные» оценки, которые при некоторых значениях параметра имеют
меньшую асимптотическую дисперсию, чем оценка наибольшего
правдоподобия. Пример такой «сверхэффективной» оценки был
7казан Д. Л. Ходжесом. Пусть f(x \ д) — нормальная плотность
вероятностей со средним значением И и единичной дисперсией:
/(*,*) ^Г^"*. G)
Требуется найти оценку для О по выборке, состоящей из п незави-
независимых наблюдений х,,. . ., хп. В качестве такой оценки можно
принять выборочное среднее значение х. Оценка х является
несмещенной, и ее дисперсия в данном случае равна \/п. Рассмот-
Рассмотрим теперь другую оценку Т:
Т =
и докажем, что
1. Т — асимптотически нормальна при любом б.
2. Т — асимптотически несмещенная оценка при любом #.
3. Асимптотическая дисперсия Т равна 1/п, если й ф 0, и
равна 1/4п, если д = 0.
Доказательство. Если й ф 0, то при больших п ве-
вероятность события [ х | < п~1/4 исчезающе мала, следовательно,
практически всегда выполняется равенство Т = х, и поэтому
асимптотическое распределение Т совпадает с распределением х.
Напротив, если 0 = 0, то вероятность события | х \ з= тг~1/4 будет
исчезающе малой, и поэтому асимптотическое распределение Т
должно совпадать с распределением случайной величины х/2.
Более обстоятельное изложение затронутых здесь вопросов
можно найти в цитированной работе Ле Кама.
1
2
Я,
X,
если
если
х\
~х
3= п
< п
1
i
1
"i
1 Эти исследования подытожены в работе L е Cam L., On some
asymptotic properties of Maximum Likelihood Estimates, Univ. of Calif. Publ.
inStat., 1, Noll A953), 277.
ГЛАВА IX
ОЦЕНКА ПАРАМЕТРОВ ПО НАБЛЮДЕННЫМ
ЧАСТОТАМ
Постановка задачи в этой главе та же самая, что и в предыду-
предыдущей, так как речь будет идти об оценке параметра ? по результа-
результатам наблюдений. При этом будет предполагаться, что все наблю-
наблюденные величины являются частотами х/п, где п — число опытов,
ах — число тех случаев, в которых осуществлялось данное собы-
событие. Каждая частота h представляет собой случайную величину,
подчиняющуюся биномиальному распределению (§ 5). Это бино-
биномиальное распределение зависит от двух параметров: от известного
объема выборки и и от вероятности р, с которой данное событие
может осуществиться в каждом отдельном испытании. Если
наблюдаются несколько частот ht, то соответствующие вероят-
вероятности Pi или неизвестны, или являются функциями неизвестных
параметров 6. Задача заключается в отыскании сценск неизвест-
неизвестных параметров, а также в исследовании надежности этих
оценок.
При этом будут предполагаться известными важнейшие ре-
результаты из гл. VII и VIII.
§ 46. Метод наибольшего правдоподобия
Для большей определенности мы предположим, что было
произведено п независимых испытаний, в каждом из которых
осуществлялся какой-либо один из трех взаимно исключающих
друг друга случайных исходов. Пусть хх — число наступлений
первого исхода, х2 — число наступлений второго исхода и х3 —
число наступлений третьего исхода, тогда
a-i -\- х2 -)- хг = п.
Числам xt соответствуют частоты fii = xjn, удовлетворяющие
соотношению
h Л hs + h.,= 1.
Пусть pi,p2,p3 — вероятности осуществления в отдельном
испытании каждого из трех указанных исходов. Для этих вероят-
§ 46. Метод наибольшего правдоподобия 225
ностей, очевидно, должно иметь место равенство
Pi + Рг + Рз = 1.
Математическое ожидание Лу равно pt, поэтому математическое
ожидание х( равно пр1. Вычислим математические ожидания
xf и хг хк (г ф к), которые нам понадобятся позднее.
Дисперсия х( равна npt(\ —-pt), следовательно,
&x? = (g а;,.J + пр,A - р,) = n«-fi + npt - npf =
= n(n—\)p} + npi. A)
То же самое справедливо и для я,- + хк (г ф к):
&(х, + XkY = 71G1-1) (р, -V РкJ + П(р( + Рк).
Если из обеих частей последнего равенства вычесть g xf -\- g xf
и результаты разделить на 2, то получим
g xtxk = п{п — 1)р^к (г ф к). B)
После этой подготовки мы перейдем к основной задаче. Пусть
вероятности р1>р2,р3 являются функциями одного неизвестного
параметра д. Требуется найти оценку для этого параметра.
Вероятность того, что при п независимых испытаниях первый
исход осуществится хг раз, второй — х2 раз и третий — х3 раз,
равна
П\ v v v
Согласно методу наибольшего правдоподобия, в качестве
оценки для неизвестного параметра следует выбрать таксе зна-
значение С, при котсрсм указанная вероятность будет наибольшей.
Так как факториальный множитель не зависит от д, то его можно
отбросить и записать функцию правдепсдсбия так:
д(х\ь) =plp?pl\
Кроме того, задачу отыскания максимума функции д(х \ д)
можно заменить той же задачей для логарифма этой функции
Цх | е) — хг In pl + хг In рг -J- х3 In #j- C)
Если точка максимума находится внутри допустимого интервала
изменений И) и если в этсу. интервале функции pt($) диффэренци-
руемы, то в точке максимума производная от L по Ь равна нулю.
Таким образом, получается уравнение правдоподобия
L'(x \e) = 0. D)
15 Б. Л. вал дер Нардсн - 1062
226
Гл. IX. Оценка параметров по наблюденным частотам
В простейших случаях уравнение правдоподобия удастся
решить непосредственно. В остальных же случаях приходится
применять метод последовательных приближений, изложенный
в § 36.
Если требуется определить лишь какую-либо одну вероят-
вероятность р, то, как мы видели в § 35, метод наибольшего правдоподо-
правдоподобия сразу приводит к оценке
P=h=n>
которая является несмещенной и состоятельной. В § 39 (пример 28)
было показано, что эта оценка является наилучшей.
Рассмотрим теперь два примера. В примере 32 метод наиболь-
наибольшего правдоподобия приводит к очень хорошей оценке. Пример
же 33 показывает, что могут быть случаи, когда этот метод пере-
перестает действовать.
Пример 32. Рассмотрим один известный пример, который подробно
обсуждается в гл. IX книги Fisher R. A., Statistical Methods for Research.
Workers, Edinburg—London, 8 ed., 1941.
У. А. Карвер изучал генетическое поведение двух наследственных
признаков кукурузы. Для исследований были выбраны 4 «чистых» сорта:
(К030) — крахмалистая кукуруза с зелеными листьями, (Ко Бо) — крах-
крахмалистая с белыми листьями, (Со 30) — сахарная с зелеными листьями и
(Со Бо) — сахарная с белыми листьями.
Для выяснения влияния признаков К и С на признаки 3 и Б было
произведено внутрисортовое скрещивание гибрила (Ki Зг) посредством
самоопыления. В результате этого скрещивания было получено 3839 потом-
потомков со следующим распределением признаков1:
Крахмалистая кукуруза (К)
с зелеными с белыми
листьями (КЗ) листьями (КБ)
1997 906
Сахарная кукуруза (С)
с зелеными
листьями (СЗ)
904
с белыми
листьями (СБ)
32
1 В этом примере автор исходит из закона Менделя, согласно которому
при скрещивании одинаковых чистых сортов с вероятностью единица
получается тот же сорт, а при скрещивании разных чистых сортов с ве-
вероятностью единица получается гибрид, причем некоторые признаки роди-
родителей свойственны и гибриду (доминирующие признаки), а другие признаки
родителей у гибрида не проявляются (рецессивные признаки). В данном
случае при скрещивании чистых сортов Ко и Со крахмалистой и сахарной
кукурузы получается крахмалистый гибрид Ki, а при скрещивании чистых
сортов 30 и Бо — гибрид 3! с зелеными листьями. Поэтому признаки К
и 3 называют доминирующими, а С и Б — рецессивными.
При скрещивании двух гибридов Ki и Kj (Зх и Зх) получаются: с вероят-
вероятностью 1/4 — представитель чистого сорта Ко(Зо). с вероятностью 111 —
представитель чистого сорта Со (Бо) и с вероятностью V, — гибрид Ki Ci)-
Следовательно, в первом поколении примерно Х1А потомства крахмалистого
гибрида (зеленого гибрида) будет иметь рецессивный признак С (Б) и lU
этого потомства будут иметь доминирующий признак К C). — При»-
перев.
§ 46. Метод наибольшего правдоподобия 227
Общее отношение числа потомков с доминирующим признаком К к
числу потомков с рецессивным признаком С, а также общее отношение числа
потомков с доминирующим признаком 3 к числу потомков с рецессивным
признаком Б очень близко к 3:1, что и должно быть по закону Менделя.
Однако для сахарной кукурузы отношение числа зеленых индивидуумов
к числу белых нисколько не похоже на 3:1. Без труда .можно было бы
установить, что разность этих отношений значительно превышает те гра-
границы, внутри которых отклонение отношений- друг от друга следовало бы
признать случайным. Поэтому такие наследственные признаки, как каче-
качество плода (К, С) и цвет листьев C, Б), не являются независимыми.
Рассмотрим теперь поведение наследственных признаков гибрида
(К^З;,) более подробно. Пустьр/2 — вероятность того, что женская гамета
(половая клетка) этого гибрида будет иметь рецессивные признаки (С Б),
и пусть р'/2 — вероятность того же события для мужской гаметы. Инди-
Индивидуум с рецессивными признаками (С Б) может возникнуть лишь из жен-
женской и мужской гамет с теми же признаками, поэтому вероятность возник-
возникновения индивидуума (С Б) равна рр'/4. Пусть рг, р2, ps, pt — вероятности
возникновения индивидуумов с признаками (КЗ), (КБ), (СЗ) и (СБ) соот-
ретственно и пусть рр' = d, тогда, в силу закона Менделя, рх -\- р2 = 3/4,
/>з + Pi = 1/4, Pi + р3 = 3/4, Pa+Pi— 1/4, где р4 = Ц4. Таким образом,
2 + С 1-е i>
А = -4—. Рг = Р3 = —А—. Р*=-А~-
Эти вероятности задают, конечно, условное распределение признаков
нового индивидуума при условии, что он действительно возник: мы рассмат-
рассматриваем лишь те случаи, когда встречаются гаметы разного пола.
Ясно, что произведение рр' = $ можно оценить по результатам наблю-
наблюдений, указанным выше. Кроме того, если принять, чтор = р', то с помощью
оценки для г> можно оценить и величину р = }Т, называемую рекомбина-
штонным отношением и равную удвоенной вероятности появления гаметы
с рецессивными признаками.
Обозначим хи х2, х3, xt количества потомков с признаками (КЗ), (КБ),
(СЗ) и (СБ) соответственно, тогда функция правдоподобия будет иметь вид
Если отбросить множитель 1/4, то логарифмическая функция правдо-
правдоподобия будет задаваться формулой
L(x\i) = x1hxB + i)-\-(xi + x3) In (I — i) + xt In 0.
Поэтому уравнение правдоподобия запишется так:
2 + t) 1-й fl
или
я*3 — (a^ — 2a-a — 2xj — a:4) * — 2xA == 0. E)
Положительный корень этого уравнения является оценкой наибольше-
наибольшего правдоподобия Ъ.
Легко можно найти и другие оценки для параметра t>, в том числе
лаже и несмещенные. Например, очевидно, что
IS*
228 Гл. IX. Оценка параметров по наблюденным частотам
f, h h Л. I, Xl — X2 — *3
n
представляют собой несмещенные оценки для is. Но если интересоваться
не только смещением, а и дисперсией, то окажется, что оценка наибольшего
правдоподобия значительно лучше всех остальных. Смещение оценки й
является величиной порядка 1/га, и ее дисперсия, при больших п, асимптоти-
асимптотически равна той наименьшей дисперсии, которая вообще возможна, согласно
неравенству Фреше, для несмещенных оценок. Хотя Тв и Тх представляют
собой несмещенные оценки, однако их дисперсии значительно превосходят
дисперсию S, причем эти оценки не являются асимптотически эффектив-
эффективными.
Фишер сравнивал друг с другом пять различных оценок Тг, . . ., Г,,
где Т1 совпадает с нашей оценкой Tt и Tt совпадает с оценкой д. Ть является
оценкой, полученной посредством минимизации
X у ~ ШШШШП1
Исследования Фишера показывают, что только последние три оценки,
Tj,Т4н ^5> являются эффективными в том смысле, что их смещения являются
величинами высшего порядка малости по сравнению с 1/]/и, а их дисперсии
асимптотически равны той наименьшей дисперсии
1 с
" I{0) n '
которая возможна для несмещенных оценок, согласно неравенству Фреше.
Позднее мы еще вернемся к вопросу об эффективности оценок наиболь-
наибольшего правдоподобия.
Пример 33. Произведено п выстрелов из пушки по неподвижной точеч-
точечной цели без перемены прицела, причем в к случаях наблюдался перелет,
а в остальных I случаях — недолет (к -J- I = п). В дальнейшем, когда мы
будем говорить «высота выстрела», то под этим будет подразумеваться
высота точки попадания снаряда в вертикальную плоскость, проходящую
через цель перпендикулярно к направлению стрельбы. Пусть все высоты
выстрелов — независимые, одинаково нормально распределенные случай-
случайные величины с известным квадратичным отклонением и неизвестным
математическим ожиданием. Какую поправку нужно внести в установку
пушки, чтобы среднее значение высот выстрелов было возможно ближе К
высоте пели?
Если высоты выстрелов отсчитывать от горизонтальной плоскости,
проходящей через цель, а квадратичное отклонение положить равным
единице, то плотность вероятности для отдельной высоты выстрела будет
иметь вид
IT*
Среднее значение этого распределения равно /д., и поэтому искомая
поправка равна —/х. Вероятность того, что данный снаряд перелетит цель,
задается формулой
д{х\ц.) dx —
§ 47. Состоятельность оценок наибольшего правдоподобия 229
Вероятность того, что при п выстрелах k раз будет наблюдаться
перелет, а остальные п — к раз — недолет, равна
С)
Логарифмическая функция правдоподобия
= к 1пФЫ + (п — A) In [1 - Ф(/х)]
достигает максимума при таком-значении |U, которое удовлетворяет урав-
уравнению
Ф(ц) = -.
п
Следовательно, правдоподобное значение fi выражается с помощью функции
Ч/, обратной для функции Ф:
(к
Если к =- 0, то |Li - = — оо, если же к — я, то ju = + оо. И так как хотя
бы одно из двух событий к = 0 и к = и обязательно имеет положительную
вероятность, то для случайной величины р., строго говоря, не существует
ни конечного среднего значения, ни тем более конечной дисперсии.
На практике этот недостаток можно, разумеется, легко исправить,
если в обоих крайних случаях к = 0 и к = п заменить оценку "ft, разумно
выбранными конечными значениями; ноль положение цели, более или
менее грубо, всегда бывает известно! Однако прежний результат остается в
силе, так как в данном случае дословное применение метода наибольшего
правдоподобия при любом п приводит к оценке с бесконечно большой
дисперсией.
Тем не менее оценка /л является состоятельной1: при га —> оо она схо-
сходится по вероятности к истинному значению /j..
§ 47. Состоятельность оценок наибольшего правдоподобия
При весьма общих предположениях оценка наибольшего прав-
правдоподобия является состоятельной. В § 45 мы ссылались на дока-
доказательство этого общего утверждения, принадлежащее Вальду и
Вольфовицу. Теперь, когда в качестве результатов наблюдений
рассматриваются частоты, мы постараемся исследовать этот
вопрос несколько подробнее.
1 Если <р (fl) — непрерывно дифференцируемая функция параметра д,
причем <р' F).--/ О, и если для О существует асимптотически нормальная и
асимптотически эффективная оценка 6, то ер(й) будет асимптотически нор-
нормальной и асимптотически эффективной оценкой для <р(д) (см. Xeyman J.,
Contribution to the theory of the xz> '• Berkeley Sumpos. on Math. Stat.,
Los Ang. A949), 239). Так как к/п — наилучшая асимптотически нормаль-
нормальная оценка для Ф(ц) и Ф'(ц)'-/- 0, то, в силу этой теоремы, ju. = У/(к/п)
является не только состоятельной, но и, что Солее важно, асимптотически
нормальной и асимптотически эффективной оценкой для /.«.- — Прим.
перев.
230 Гл. IX. Оценка параметров по наблюденным частотам
Пусть снова наблюдаются три частоты:
А, = ?' (г =1,2,3),
и пусть вероятности ри рг, р3 трех взаимно исключающих исхо-
исходов являются функциями одного параметра й.
Предположим, что между б и (Р1,Р2,Рз) имеется непрерывное,
взаимно однозначное соответствие, т. е. И и ь° различны тогда и
только тогда, когда различны соответствующие точки с
координатами (р,,Рг,Рз) и (p\,P*,pl)> причем если {ръ р2, р3) —>
-*(P°i,PlP$, то *-»*».
Если не делать таких предположений, то по результатам
наблюдений невозможно будет получить приближенное значение
для д, так как в данном случае результаты наблюдений — частоты —
сами являются лишь приближенными значениями для вероят-
вероятностей Р;.
Как и в § 46, функция правдоподобия задается формулой
Если эту формулу умножить на не зависящий от # множи-
множитель1
П" X^Xl ??"*' XgXt,
то получится функция
достигающая своего максимума в той же точке С, что и д(х \ С).
Логарифм G равен
Цх | в) = хх In f-1 -r x2 In m -г х3 lnf? . B1
Xi Х2 Хз
Формула B) определяет L(x \ ?) при всех допустимых значе-
значениях параметра в и, в частности, при С = в*, где г)* — неизвестное
истинное значение С. Рассмотрим разности
2,- = х,- — npt (pt > 0). C)
Если й = $* и п достаточно велико, то, согласно результатам § 5,
с вероятностью, сколь угодно близкой к единице, случайные
величины я- будут отличаться от соответствующих математи-
ческих ожидании npi не более, чем на величину порядка vnPi-
Иначе говоря, для всяких 6> 0 и С> 0 найдется такое п0 =
= nQ(d,C), что при любом п > п0 абсолютные величины \zt\
1 Если Xi = 0, то условимся считать, что х*' = 1. — Прим. перев.
§ 47. Состоятельность оценок наибольшего правдоподобия 231
не будут превосходить С )jnpl с вероятностью р з» 1 —д. При
этом
V г = 2l л. 2г + 2з = 0. D)
Если в B) все тгр,- выразить через я;- и ги то, в силу D), полу-
получим
Эта формула, разумеется, справедлива не только для истин-
истинного значения ?>*, но и для всех допустимых значений параметра
д. Кроме того, она справедлива для произвольного количества
частот и произвольного количества параметров г)х, , . . , дг.
Функция
ф) = t + In A — *),
входящая в E), имеет максимум <рф) = 0, так как ее производная
обращается в нуль при 2 = 0, причем если 2 < 0, то qf(t) > 0,
если же t > 0, то <р'@ < 0. Следовательно, в E) все слагаемые
неположительны.
Если ]?)<1, то <р@ можно разложить в степенной ряд:
9>@ = -4*2-J-*s-.... F)
В частности, если t = г/х, где z является величиной порядка
, то при 0 < р < 1 имеем
= и = igi -^ 1*1
пр — \г\ '
следовательно, t — величина порядка Ij^np и, в силу F), — <p(t) —
величина порядка l/пр. Но если г —величина порядка fnp, то
х = пр + 2 — величина порядка туэ. Таким образом, все слага-
слагаемые E) представляют собой величины порядка единицы. Иными
словами, если в = д*, то для всякого е > 0 найдутся такие щ —
= п^е) и g = g(e), что при п > щ с вероятностью р з= 1 — е будет
выполняться неравенство
Цх | Щ » —jr. G)
Напротив, если | z j велико сравнительно с Ух, то 1 = zjx ве-
велико сравнительно с 1/][х, и поэтому —<р@ велико сравнительно
с 1/ж. Таким образом, —i(a;l5) будет бесконечно большой
232 Гл. IX. Оценка параметров по наблюденным частотам
величиной при п —>°°. Иначе говоря, если дф$*, то для всякого
е> 0 и всякого д> О найдется такое пг = щ(е, д), что при п> п2
с вероятностью Р э= 1 — е будет выполняться неравенство
Цх | в) < —у. (8)
Итак, мы установили, что для истинного значения параметра
в* (и, значит, для соответствующих истинных значений вероят-
вероятностей р*) с большой вероятностью будет выполняться нера-
неравенство G). Пусть С — оценка наибольшего правдоподобия для
в*, т. е. такое значение параметра й, при котором функция G(z\fi)
(а значит, и L(x | 5)) достигает максимума, тогда G(x | С) в= G(x\d*),
и поэтому L(x | й) с большой вероятностью удовлетворяет не-
неравенству G), а соответствующие разности z = х — пр не пре-
превосходят величин порядка fx. Таким образом, при и->оо абсо-
абсолютные величины | г | со сколь угодно близкой к единице вероят-
вероятностью, являются величинами порядка
tfx ~ tfnp*.
Так как z = х — пр* с вероятностью, сколь угодно близкой
к единице, являются величинами порядка fnp*, то разности z — z —
= п(р — р*) с вероятностью, сколь угодно близкой к единице,
будут величинами того же порядка, т. е.
При достаточно большом п разности р — р* с вероятностью
сколь угодно близкой к единице, будут являться величинами по-
порядка l/fn.
В силу непрерывности функции 0 = ^(р^р.г,р3), заключаем,
что 5 = $(Pi, р2, Рз) сходится по вероятнссти к 5* = xi(p*, p*, р*)
при 7i-*oo, чем и завершается доказательство состоятельности
оценки наибольшего правдоподобия1.
Если Pi = Pi($) и д = €(ръ рг, р3) являются дифференцируе-
дифференцируемыми функциями, то имеет место следствие этой теоремы:
Разность ё — Ъ* с вероятностью, сколь угодно близкой к еди-
единице, является величиной порядка 1/Уп.
1 В этой теореме предположение о непрерывном, взаимно однозначном
соответствии между д и (рг, рг, р3) является излишне сильным. Теорема оста-
останется справедливой, если потребовать лишь, чтобы параметр Ь являлся
непрерывной функцией точки (plt p2, pa) и чтобы во всех п опытах значения
вероятностей pv p2, ps были такими же, как и в первом опыте. При этом
доказательство будет точно таким же, как у автора. Указанная теорема
имеет большое практическое значение, так как позволяет оценивать любые
непрерывные функции от неизвестных вероятностен pi. Асимптотические
свойства таких оценок устанавливаются теоремой, указанной в сноске
на стр. 229. — Прим. перев.
§ 48. Наибольшее правдоподобие, минимум хг и наименьшие квадраты 233
Если F) подставим в E), то получим очень полезное разло-
разложение функции L(x | S) в ряд:
Цх I в) = - J у- - I- У% -...= (9)
= _ -1- V (-х — пРР _ Х чг>(х~ пРK _
2 2j ' х ' 3 2d х*
В большинстве случаев оказывается достаточным прибли-
приближение
§ 48. Наибольшее правдоподобие, минимум %г
и наименьшие квадраты
Только что указанное приближение функции правдоподобия
очень удобно для быстрого и экономного вычисления первого
приближения для S. При этом вместо максимума функции L(x | Щ
нужно найти минимум квадратичной формы
Форма «,2 лишь незначительно отличается от известного вы-
выражения х
л ¦^ пр v '
Для отыскания оценки параметра ¦д можно воспользоваться
условием х2 = minimum. Однако этот метод в большинстве слу-
случаев приводит к сложным вычислениям, так как для отыскания
точки минимума приходится дифференцировать знаменатели npt.
Но если в знаменателях все р заменить некоторыми подхо-
подходящими оценками pW, то дифференцирования знаменателей можно
будет избежать, в этом случае будет идти речь о минимуме вы-
выражения
va - V ^~пр)* C)
Хо — Zt npm ¦ К°}
Вычисление этих различных оценок мы исследуем несколько
подробнее и докажем, что они отличаются друг от друга величи-
величинами порядка 1/та. При этом мы рассмотрим лишь следующие три
метода отыскания оценок:
A. Метод минимума %%
Б. Метод минимума %1-
B. Метод наибольшего правдоподобия.
Для упрощения выкладок мы, далее, будем предполагать,
что р, являются линейными функциями параметров ?. Результаты
234
Гл. IX. Оценка параметров по наблюденным частотам
могут быть распространены на нелинейные дифференцируемые
функции, так как в окрестности истинных значений параметров
$=д* эти функции можно приблизить линейными. Поэтому функ-
цииPi, встречающиеся в примерах этой главы, часто являются нели-
нелинейными, хотя теория излагается лишь для линейных функций1.
А. МЕТОД МИНИМУМА ;
Квадратичная форма
, у (х — хУ
I,- D)
в пространстве (х1г. . ., хт) определяет эвклидову метрику: Хо~~
квадрат расстояния между точками Х(хи . . . , хт) и Х'{х[,. . . ,х'т).
Если положим
Х[ = npj[y), A=1,..,, 171),
где Pi(d), как указано выше, — линейные функции параметров
$i, . . . , Ьг, то множество всех точек X' с координатами (х[,..., х'т)
будет представлять собой линейное подпространство G. Условие
^| = minimum означает, что точка X' этого подпространства
выбирается таким образом, чтобы расстояние между А" и наб-
наблюденной точкой X было наименьшим. Следовательно, из X нужно
опустить перпендикуляр на линейное подпространство G; осно-
основание этого перпендикуляра яв-
является точкой X' (рис. 24).
Тот же самый результат по-
получается и с помощью вычисле-
вычислений. Если C) продифференцировать
по всем Са и производные при-
приравнять нулю, то получим сис-
систему уравнений
= 0,
где
Р и с. 24.
ддс,
E)
F)
1 Здесь имеются в виду лишь такие функции рг- (д), которые являются
линейными в некоторой ограниченной области изменения параметров д.
Поэтому определяемое далее множество О ье является линейным под-
подпространством (хотя бы потому, что оно ограничено). Выводы этого пара-
параграфа нельзя признать строгими, однако они правильно отражают действи-
действительную связь рассматриваемых методов. Обстоятельное и строгое изло-
изложение данного Бопроса см., например, в книге Крамера Г., Математические
методы статистики, ИЛ, М., 1948, гл, XXX. — Прим. перса.
§ 48. Наибольшее правдоподобие, минимум х% и наименьшие квадраты 235
Если €г, Сг,. . . , $r — решение системы E), то вектор, направ-
направленный из точки X с координатами xfjn, в точку X' с координа-
координатами Pj{?), будет перпендикулярен ко всем векторам, каса-
касающимся множества О в точке X'.
В этой формулировке наше утверждение справедливо даже и
тогда, когда G не является линейным подпространством простран-
пространства всех X Однако, по предположению, pt(p) — линейные функ-
функции параметров да, поэтому производные qia равны постоянным
и мы можем положить
Изменением начала отсчета в пространстве параметров можно
добиться, чтобы при -Од = 0 соответствующие значения версят-
ностей Р/ равнялись начальным приближениям pf> в формуле C),
т. е. ^,@) = pf\ это несколько упростит выкладки.
Если G) подставим в E), то получим г линейьых уравнений
с г неизвестными е1;. , . , $г:
V h Л "V fa
У К» *р - Z
fa — nPi ] Qia
где
Коэффициенты hap имеют тот же самый вид, что и суммы
[gaa], [gab],... в теории метода наименьших квадратов. Таким
образом, задача отыскания минимума квадратичной формы xt
совпадает с задачей теории метода наименьших квадратов, при-
причем в данном случае веса gt наблюденных частот равняются n/pf\
Попытаемся теперь выяснить, в какой степени выбор началь-
начального приближения pf>, . , . , рР влияет на точку X'.
В качестве координат точки X мы примем не xt, а частоты
ht = xt/n, и расстояние определим формулой
T
Предположим, что точка X с координатами ht и точка Ро с
координатами pf) находятся в окрестности «истинной точки» Р*
с координатами р*, причем радиус этой окрестности является
величиной порядка 1/|/п, и, кроме того, координаты pt всех точек
Р этой окрестности ограничены снизу некоторым положительным
числом: Pi s» d > 0.
Если теперь Ро заменить точкой 80 из тсй же окрестности,
то все разности соответствующих координат р\0) — 40) будут вели-
величинами порядка е = 1/|/п. Так как точка X и линейное подпро-
236 Гл. IX. Оценка параметров по наблюденным частотам
странство G не зависят от выбора Ро, то от замены Ро на 80 из-
изменится лишь квадрат расстояния A0), причем r2(S0) отличается
от г2(Р0) на величину порядка е. Направление перпендикуляра
XX' также может измениться, однако угол между новым и ста-
старым направлениями является лишь величиной порядка е. Но,
по предположению, длина старого перпендикуляра представ-
представляет собой величину порядка е, следовательно, координаты точки
X' при замене Ро на 80 изменятся на величину порядка е3 = 1/??»
Вообще, если разности координат р^ — в{0> являются вели-
величинами порядка rj, то при замене Ро на 80 координаты точки X'
изменятся на величину порядка «7. Или, точнее, если для всех
г имеют место неравенства jj^W— «fo)|<i7, то абсолютные вели-
величины разностей координат точек Х'(Р0) и Х'(80) будут меньше,
чем сег), где с > 0 — постоянный числовой множитель.
Теоретическая оценка постоянной величины с не приносит
значительной пользы. Такие оценки всегда оказываются слиш-
слишком грубыми, так как они в большинстве случаев значительно
превосходят те разности, которые встречаются на практике.
Для практических целей достаточно установить, что точка Хг
лишь в очень незначительной степени зависит от выбора исхсд-
ного приближения ffl
Б. МЕТОД МИНИМУМА Хх
Если pf% выбрать равными наблюденным частотам Л,- = xjn,
то х1 перейдет в %% Отсюда следует, что минимум %\ вычисляется
точно так же, как и минимум хЬ а именно, по методу наименьших
квадратов. При этом с вероятностью, сколь угодно близкой к еди-
единице, точка Рх минимума квадратичной формы %1 находится от
ранее введенной точки X' на расстоянии порядка 1/п.
В. МЕТОД НАИБОЛЬШЕГО ПРАВДОПОДОБИЯ
Если логарифмическая функция правдоподобия
дифференцируема и достигает максимума внутри области допу-
допустимых значений параметров в, то в точке максимума производ-
производные от L обращаются в нуль. Таким образом, координаты точки
максимума должны удовлетворять уравнениям
2^ = 0, (И)
где qia=dPi/dda. Так как сумма всех pt равна единице, то суммы
соответствующих производных равны нулю:
2Ч-о = о. A2)
§ 48. Наибольшее правдоподобие, минимум /а и наименьшие квадраты 237
Если A2) умножим на те и результат вычтем из A1), то полу-
получим
При этом Pi в числителях и знаменателях являются линей-
линейными функциями от С. Решение системы A3) представляет собой
оценку наибольшего правдоподобия г), следовательно,
Решение системы уравнений A4) можно очень легко найти
методом последовательных приближений. Для этого сначала
заменим в в знаменателях каким-либо приближенным значением
?@>. Соответствующая система уравнений
у !>/ — rcpf
представляет собой систему E) метода минимума у\ и, следова-
следовательно, ее можно легко решить как систему нормальных урав-
уравнений метода наименьших квадратов. Если решение €W системы
A5) снова подставить в знаменатели A4), то тем же самым спо-
способом получим улучшенное приближение ?B> и г. д.
Последовательность приближений fl№ сходится, и предел этой
последовательности не зависит от выбора исходного приближе-
приближения pf» =Pi(Vw). Действительно, еслир^ и sf> — два различных ис-
исходных приближения, отличающихся друг от друга лишь вели-
величинами порядка е = \/Yri, то, согласно ранее доказанному, первые
приближения ffp и s''> отличаются друг от друга лишь величинами
порядка е2, вторые приближения — лишь величинами порядка
г3 и т. д. Если теперь в качестве s^0) выбрать решение уравнений
правдоподобия, то будут выполняться равенства 5jO)=sj1)=sj2'= ...,
и так как для любых $0) из е-окрестнестей в{0) справедливы нера-
неравенства \pf>—ёр\ = \р^Р—sf)\<CEk+1, то последовательности pf\ p^),
pf\ . . . сходятся к решению sf\ независимо от выбора pf> из е-ок-
рестностей s^0).
При доказательстве предполагалось, что решение уравнений
наибольшего правдоподобия существует. Это предположение
выполняется в том случае, когда все xt строго положительны.
Действительно, условия ? pt = 1, р{ з= 0 определяют в простран-
пространстве всех {plt. . . , рт) некоторую замкнутую ограниченную об-
область. Часть линейного подпространства G, принадлежащая этой
области, также является замкнутой и ограниченной. Функция
правдоподобия
д(х | в) = // [ft@)f, A6)
238 Гл. IX. Оценка параметров по наблюденным частотам
по предположению, непрерывна, следовательно, в замкнутой об-
области она имеет максимум. Этот максимум не может достигаться
на границе области, так как функция g(x | ti) там равна нулю.
Кроме того, из приведенного выше доказательства следует,
что если точка с координатами (xlt .. ., хт) находится достаточно
близко от подпространства G, то решение уравнений правдопо-
правдоподобия единственно. Действительно, если бы pf> и выбыли двумя
различными решениями уравнений правдоподобия, то выпол-
выполнялись бы равенства pf* = р(р = pf> = . . . и sjo) = sf> = sj2) = ... .
Но первая последовательность, по доказанному, должна схо-
сходиться к sf\ что возможно лишь тогда, когда при всех г имеют
место равенства pf> = sf\
С небольшими изменениями это доказательство применимо
и к случаю, когда р{ являются нелинейными функциями пара-
параметров, если только множество точек с координатами рх(р), . . .,
рт(Ь) является замкнутым, или если оно не замкнуто, но все его
несобственные предельные точки расположены на границе об-
области pt з= 0, 2 Pi = 1. Если множество точек с координатами
Pi{$)> ¦ ¦ ¦ > Рт($) не замкнуто и некоторые его несобственные пре-
предельные точки расположены внутри области pt^ О, ^Pi = L то
в доказательстве могут возникнуть осложнения.
Для приложений особенно важно то, что последовательные
приближения хорошо сходятся. А именно: разности pf> — sf>
стремятся к нулю как степенная функцияеА+1=п-(Л+1'/2. Если нуле-
нулевое приближение pW выбрано не слишком плохо, то спокойно
можно довольствоваться перЕЫм приближением р^: все дальней-
дальнейшие приближения будут отличаться от pW лишь величинами по-
порядка ?2 = \/п. Так как неизбежные статистические отклонения
б от истинного значения в* являются величинами порядка е =
= l/fn, то бессмысленно добиваться дальнейшего повышения точ-
точности.
Результаты, установленные для методов А, Б и В, позволяют
сделать вывод: Оценки А и Б отличаются от оценки наибольшего
правдоподобия В лишь величинами порядка 1/п.
Все эти соображения сохраняют силу и тогда, когда наблю-
наблюдается не один, а несколько рядов частот, причем в каждом ряду
сумма частот равна единице, например:
hx + ht = 1 или хх -f хг = Щ,
Л3 + ht = 1 или х3 + хА = щ
и т. д. Выражения %2, $,. . . останутся неизменными, с той только
разницей, что каждую вероятность pt нужно будет умножить
на соответствующий множитель nit например:
Х
2 _ у
§ 49. Асимптотическое распределение xs и ij 239
§ 49. Асимптотическое распределение */2 и 5 при п -* оо
Для простоты мы ограничимся случаем одного параметра б
и постараемся исследовать поведение функции распределения
оценки С.
Оценка 0, найденная методом наименьших квадратов,предстаЕ-
ляла собой линейную функцию результатов наблюдений се,. Так как
предполагалось, что все х, распределены нормально, то и оценка й
имела нормальное распределение. В данном случае, однако, xs
являются дискретными случайными величинами, распределен-
распределенными лишь приближенно нормально, а сцепка й представляет
собой лишь приближенно линейную функцию результатов наблю-
наблюдений х{. Поэтому мы можем ожидать, что распределение {? будет
лишь асимптотически нормальным при п —» оо.
Вероятность того, что наблюденная точка X с координатами
X; будет принадлежать области В пространства иксов, равна
сумме всех вероятностей, соответствующих отдельным точкам
области В:
Р(В) = 2?(Х), (О
где
При этом Pi = р{(д) представляют собой истинные вероятности
Р*> ¦ ¦ ->Р*- В дальнейшем эти вероятности мы будем обозначать
без звездочек.
Для больших п выражение B) можно преобразовать с помощью
формулы Стирлинга и получить
или
¦Хт+'а
где
Логарифм у Р(Х) равен
' ' ¦ яр . /t-4
240 Гл. IX. Оценка параметров по наблюденным частотам
причем остаток, обозначенный отточием, представляет собой
величину порядка l/п. Положим снова
се, = пр, + г„ (б)
тогда г, с вероятностью, сколь угодно близкой к единице, будут
являться величинами порядка ^пр(. Поэтому
ln[yP(Z)] =-2\пр + 2 + 2-Iп-^г~ + ...=
-_ y[nv 4- zA-l\[— — —— 4- г3 \ А- -
**\ г ' 2 | «7? 2п2р2 Зэт3??3 (
1 ^za x y^_-Lly_^L_i.....
2 -^ пр 2 -" пр
где остаток, обозначенный отточием, с вероятностью, сколь
угодно близкой к единице, представляет собой величину порядка
1/и. Если теперь обозначим
•^ пр ~~ '- '
то получим асимптотическое равенство:
Последние два члена в круглых скобках являются величинами
порядка \jfn. Эти члены мы рассмотрим несколько позднее, а
пока ограничимся главным членом
_ ? •
у Р(Х) ~ е 2", (8)
где
Формула (8) показывает, что вероятность, соответствующая
точке X (хи . . ., хт), будет тем меньше, чем больше xt отличаются
от математических ожиданий npt, так как с ростом абсолютных
величин разностей xt — пр1 функция %2 возрастает.
Как мы уже видели раньше, функция %г определяет эвклидову
метрику в пространстве переменных хи ..., хт: эта функция, с
точностью до множителя п, представляет собой квадрат рас-
расстояния между переменной точкой X с координатами x-Jn и по-
постоянной точкой Р с координатами ps. Согласно (8), чем дальше X
удалена от Р, тем меньше будет вероятность, соответствующая
§ 49. Асимптотическое распределение %г и д 241
точке X. В этой метрике поверхности с уравнениями % = const
являются сферами с центром в точке -Р. Если эти сферы (в случае
т = 3) пересечь плоскостью х2 + х2 + х3 = п, проходящей через
точку Р, то в пересечении получатся концентрические окруж-
окружности с центром в точке Р.
Так как с большой вероятностью разности х— пр являются
лишь величинами порядка fn, то ¦?- с большой вероятностью
является величиной порядка единицы, т. е. для всякого т\ > О
найдутся такие В2 и п0, что при всех тг> п0 вероятность события
X1 < R2 будет больше, чем 1 —г). Поэтому при выводе асимптоти-
асимптотических формул для вероятностей всегда можно ограничиться
такой окрестностью точки Р, где х2 <-й2-
В частности, мы хотим вычислить следующие вероятности:
а) функцию распределения квадратичной формы /2, т. е. ве-
вероятность события х2 < и\
б) функцию распределения оценки наибольшего правдоподо-
правдоподобия ё.
В указанной окрестности точки Р введем новые координаты
Vt =*=**, (Ю)
}np
где все у{ являются величинами порядка единицы. Тогда, в новых
координатах, выражение для квадрата расстояния х2
будет совсем простым:
Следовательно, yt являются обычными прямоугольными коор-
координатами в пространстве с метрикой A1).
Множество точек X с целочисленными координатами х(,
удовлетворяющими условию ^ xt = п, определяет решетку в
гиперплоскости У] yt \npt = 0. Размерность этой гиперплоскости
равна те— 1. В метрике A1) длины всех векторов базиса решетки
являются величинами порядка 1/|/и, следовательно, объем каждой
элементарной клетки представляет собой величину порядка
7l-(m-i)/2_ Вероятность того, что точка X принадлежит какой-
либо области В, равна сумме вероятностей, соответствующих
тем точкам решетки, которые принадлежат В.
Асимптотическая формула для этой вероятности легче всего
выводится в случае а), когда область В определяется неравен-
неравенством х1 < «¦ В метрике A1) В является шаром. Величину суммы
A) по точкам решетки, расположенным внутри шара, оценивал в
свое время К. Пирсон, который впервые использовал в математи-
математической статистике квадратичную форму х2- Метод оценки суммы
A) заключается в следующем:
16 Б. Л. ван дер Вардев - 1062
242 Гл. /X. Оценка параметров по наблюденным частотам
Сначала вероятности Р(-Х) заменяют, по формуле (8), прибли-
приближенными выражениями
1-е~** A2)
(ошибка этого приближения является величиной порядка
Затем сумму по точкам решетки заменяют интегралом от A2) по
области В, деленным на объем элементарной клетки. При этом
ошибка возникает, главным образом, вблизи границы В. Порядок
величины этой ошибки снова равен 1/^те. Таким образом, в каче-
качестве приближенного значения для вероятности р(х2 < «) полу-
получают интеграл
J...J* *
Bзг) * J...Je 2 dFm_1( A3)
где интегрирование производится по области х2 <й- Как мы
уже видели в § 27, вычисление этого интеграла приводит к из-
известному распределению х2 с т—' степенями свободы. Более
подробный вывод можно найти в работе Пирсона1.
До сих пор в формуле G) мы пренебрегали поправочными
членами пдрядка l/fn. Но если учесть эти члены, то окажется,
что они никак не влияют на результат. Действительно,
-¦1_у.?_ + 1'У_?_1 A4*
2 -^ пр ~ 6 ¦" п2р2 J
является нечетной функцией от zv , . ., zm: при замене всех у{
на —yt эта функция лишь меняет свой знак. Интеграл от нечетной
функции по симметричной области х2 <<и равен нулю. Следова-
Следовательно, асимметрия распределения точек X почти не оказывает
влияния на результат. Единственной ошибкой, которая при опре-
определенных условиях может стать величиной в точности порядка
l/]fn, является ошибка, возникающая вследствие замены сумми-
суммирования интегрированием вблизи границы области %г < и.
б) Исследуем теперь распределение оценки наибольшего
правдоподобия С. Сначала вместо б мы рассмотрим оценку б',
полученную методом минимума Хо> гДе
xl -:L 21 х' '— • О5)
1 Pearson К., On thn criterion thut a given system of deviations . . -
is such that it can be reasonably supposed to have arisen from random sampling,
Philos. Mag., 50 A900), 157. См. также Крамер Г., Математические
методы статистики, ИЛ, М., 1948, гл. XXX.
§ 49. Асимптотическое распределение f в{ 243
В отличие от § 48, pt в знаменателях формулы A5) являются
истинными значениями соответствующих вероятностей. Хотя на
практике pt бывают неизвестны, однако при чисто теоретическом
изучении функции распределения такая замена вполне уместна.
Если $ = д' является для Хо точкой максимума, то, согласно
результатам § 48, 0' и С отличаются друг от друга величиной
порядка \]п.
Оценка в' получается по методу наименьших квадратов: из
точки X опускается перпендикуляр на линейное подпространство
G, определяемое параметрическим представлением Pj(fi). Если
основанием этого перпендикуляра является точка X', то б' —
значение параметра 0, соответствующее точке X'.
Уравнения для вычисления &' в общем случае т неизвестных
параметров дг,. . .,€г были указаны в § 48. Если начало отсчета
в пространстве параметров выбрать таким образом, чтобы д@)
равнялись истинным вероятностям pt, то, согласно (8) § 48, урав-
уравнения для ¦?{, . . .,v'r будут иметь вид
2, крр - Z —^r- - > A6)
где
^=Z^- A7)
Из уравнений A6), во-первых, видно, что dp являются линей-
линейными функциями от наблюденных частот А, = xjn. Во-вторых,
так как математические ожидания разностей ж,- — nrpi равны
нулю, то математические ожидания оценок 0^ также равны
нулю. Следовательно, оценки др являются несмещенными.
Далее, гак как xt — npl с вероятностью, сколь угодно близкой
к единице, представляют собой величины порядка ^п, a hup имеют
порядок га, то ?а с вероятностью, сколь угодно близкой к единице,
являются величинами порядка 1/Уп.
Наконец, в силу того, что xL распределены приближенно нор-
нормально, следует ожидать, что да распределены также прибли-
приближенно нормально. При доказательстве мы снова ограничимся
случаем одного параметра в и постараемся вывести асимптоти-
асимптотическую формулу для вероятности события ©' < t/Yn при п —»оо.
Оценка i' представляет собой значение параметра, соответству-
соответствующее точке X', которая является проекцией наблюденной точки
X на прямую G (см. рис. 24). Пусть Р(д) — точка с координатами
Pi(i)), принадлежащая прямой G. Рассмотрим точки Pt — P(t/Yn)
и X' = P{\i). Для всех ?', удовлетворяющих неравенству С <
< t/fn, соответствующие точки X' расположены на прямой G
по одну сторону от точки Pt. Поэтому б' < t/]/n тогда и только
16*
244 Гл. IX. Оценка параметров по наблюденным частотам
тогда, когда наблюденные точки X расположены в полупростран-
полупространстве, ограниченном гиперплоскостью Ht, проходящей через точку
Pt перпендикулярно к прямой G.
Выкладки станут проще, если предварительно с помощью
линейного преобразования ввести новые прямоугольные коорди-
координаты ух, . . ., ут таким образом, чтобы ось Оу1 совпадала с прямой
G. Точка Pt тогда будет иметь координаты ух = at, у2 = . . . =
— ут = 0, а полупространство, ограниченное плоскостью Ht,
будет определяться неравенством у1 < at.
Искомая вероятность представляет собой сумму вероятностей
Р(-Х) по всем точкам решетки, расположенным в полупростран-
полупространстве. р{Х) можно снова приблизить выражениями (8) или A2),
а сумму заменить интегралом. Таким образом, получим интеграл
вида
BЯ)
A8)
где область интегрирования В представляет собой часть гипер-
гиперплоскости 2 xi = п> расположенную в полупространстве ух < at.
При этом если В выбрано достаточно большим, то безразлично,
производится ли интегрирование по всей полуплоскости или
только по части полуплоскости, лежащей внутри шара %1 < Л2.
Если в A8) выполнить интегрирование по у2,. . .,ym_x, то вместо
A8) останется интеграл
at
? 2 ' dyt = <X>(at). A9)
Следовательно, распределение оценки fi' является асимптоти-
асимптотически нормальным.
Для того чтобы нормальное распределение было полностью
определено, нам нужно еще найти множитель а. Как видно из
рис. 24, величина координаты yl = at равна расстоянию PPt
в метрике A5), т. е.
Асимптотическая формула для вероятности события $' <
задается интегралом A9). Если положим t/]/n = t' и а \1п = а
то, в силу равенства a t = а' V, асимптотическое распределение
оценки С' будет задаваться функцией
0(at) =ф(а' t')~pt$' < П.
§ 49. Асимптотическое распределение %% и д* 245
где
а' = а ]/п = р^ . B1)
Следовательно, асимптотическое квадратичное отклонение для
д' равно
Точно так же, в случае г параметров ©х,. . ., \Sr, квадратичное
отклонение оценки да равно
о-п = Wa> B3)
где (h"P) — матрица, обратная матрице (haP). Формулы B2) и B3)
вполне аналогичны формулам § 31. Для доказательства справед-
справедливости формул B3) можно, например, с помощью обратной
матрицы найти решение д' системы A6), возвести д'а в квадраты и
вычислить соответствующие средние значения. Так как (даJ
представляют собой линейные комбинации случайных величин
вида xf и xt Xj, то при вычислении S($'aJ можно будет воспользо-
воспользоваться ранее найденными точными формулами A) и B) § 46. При
этом окажется, что B2) и B3) являются не только асимптотиче-
асимптотическими формулами при п —> оо, но и точными. Попутно заметим,
что, согласно A7), haf пропорциональны п, псэтсму элементы
обратной матрицы ha^ пропорциональны 1/п. Отсюда следует,
что квадратичные отклонения, вычисленные по формулам B3),
являются величинами вида cffn.
После того, как асимптотическое распределение €' найдено,
переход от б' к tf не представляет труда.
Если положим
i=t'+r1, B4)
то, согласно результатам § 48, г] с вероятностью, сколь угодно
близкой к единице, будет являться величиной порядка 1/п. Ум-
Умножив правую и левую части B4) на fn, получаем
dYn = d'fn + 7] Уп. B5)
Первое слагаемое представляет собой асимптотически нормаль-
нормальную случайную величину с нулевым средним значением и диспер-
дисперсией, не зависящей от п, а второе слагаемое по вероятности стре-
стремится к нулю при п —> оо. Следовательно, к сумме B5) применима
элементарная предельная теорема из § 24 Ж- Таким образом,
оценка наибольшего правдоподобия Ь распределена асимптотически
нормально с тем же средним значением и с той же дисперсией,
что и ?'.
246 Гл. IX. Оценка параметров по наблюдьнным частотам
Это же самое заключение справедливо для всех тех оценок,
которые с вероятностью, сколь угодно близкой к единице, отли-
отличаются от О' или i величинами порядка 1/п. Поэтому, например,
оценка по методу минимума xl и все оценки по методу минимума
Хо являются асимптотически нормальными случайными величи-
величинами с тем же средним значением и с той же дисперсией, что и $.
§ 50. Асимптотическая эффективность
Мы снова ограничимся случаем одного параметра б. Как
мы видели, дисперсия асимптотического распределения оценки
Ъ равна
п
A)
Это, однако, не означает, что при я —> оо дисперсия 5 обязательно
стремится к нулю. Как показывает пример 33 (§ 46), может даже
случиться, что при всех п дисперсия Ь~ будет бесконечной, следо-
следовательно, предел дисперсии будет также бесконечным. Формула
A) представляет собой не асимптотическую формулу для точной
дисперсии, а формулу для асимптотической дисперсии оценки
Ъ в смысле §45 Б. Кроме того,Ъ является асимптотически несме-
несмещенной оценкой в смысле § 45 Б.
Сравним теперь асимптотическую дисперсию A) с той наимень-
наименьшей дисперсией, которая вообще возможна для несмещенных
оценок, согласно неравенству Фреше. С этой целью предварительно
вычислим «информацию» 1@), которая, согласно § 37, определяется
формулой
Щ = &[Щх\Ъ)У, B)
где
Таким образом, если производные от pt по 9 обозначим д_{ (ранее,
в случае нескольких параметров, частные производные от р{
обозначались qiu), то получим
Математические ожидания xtxk были вычислены в § 46:
&(xixk)=n(n—l)plpk, если гфЬ, D)
б ж? = п(п— l)pf + np,. E)
§ 50. Асимптотическая эффективность 247
Поэтому
В формуле F) двойная сумма равна нулю, так как (? д,J = О,
а второй член совпадает с hu. Следовательно, как и в теории наи-
наименьших квадратов,
/(*) = Ли- G)
Согласно неравенству Фреше для дисперсий несмещенных
оценок,
±±- = ки = ?. (8)
Оценка Ь является асимптотически несмещенной и, в силу A),
ее асимптотическая дисперсия равна c2fn. Следовательно, оценка
Ъ, в указанном смысле, асимптотически эффективна.
Это не означает, что среди всех асимптотически несмещенных
оценок гГ обладает наименьшей асимптотической дисперсией.
Можно (подобно тому, как это делалось в §45 Г) построить пример
асимптотически несмещенной оценки, асимптотическая дисперсия
которой при некоторых значениях С будет меньше, чем \[1 (#).
Минимальность дисперсии оценки Ъ можно доказать лишь в классе
асимптотически несмещенных оценок, удовлетворяющих условиям
регулярности. С этим доказательством мы должны теперь позна-
познакомиться ближе.
Если левую часть уравнения правдоподобия A4) § 48 раз-
разделить на п, то, отбрасывая у qia индекс а, получим
Это уравнение не содержит г,ияв явном виде, а зависит лишь
от частот ht. Следовательно, оценка наибольшего правдоподобия
б является функцией одних только ht. Более того, если точка с
координатами Л,- расположена вне области маловероятных откло-
отклонений от истинных значений ри . . .рт и Л, не слишком близки
к нулю, то ё заведомо будет дифференцируемой1 функцией ча-
частот h(.
1 Частные производные от i no h^ имеют вид
dh* p*(«) LT
Сформулированные автором условия нужны главным образом для того,
чтобы Рк(И) не обращались в нуль. — Прим. перев.
248 Гл. IX. Оценка параметров по наблюденным частотам
В качестве оценок, конкурирующих с ё, мы рассмотрим лишь
такие оценки Т, которые являются дифференцируемыми функция-
функциями от h(. Эти оценки мы будем называть регулярными. Таким обра-
образом, пусть Т — асимптотически несмещенная, регулярная оценка.
Мы хотим сравнить асимптотические дисперсии оценок f и {
Как нам >же известно, точка (Ь^,. . ., hm) с большой вероят-
вероятностью расположена в некоторой окрестности точки (jOi, . -,pm),
причем диаметр окрестности при п —> оо является бесконечно
малой величиной. В такой окрестности каждую дифференци-
дифференцируемую функцию можно аппроксимировать линейной функцией.
Полезным линейным приближением для ё является ранее опре-
определенная оценка в'; пусть
Т=2сгЬ, A0)
— линейная аппроксимация для Т.
Асимптотическое распределение дифференцируемой функции
Т совпадает с асимптотическим распределением линейной функ-
функции Т' так же, как совпадают асимптотические распределения 0
и д'. Доказательство проводится тем же методом, что и раньше,
причем асимптотическая формула для функции распределения Т'
выводится так же, как и для д'. Мы снова должны просуммировать
вероятности Р(Х) по всем точкам некоторого полупространства.
Суммирование заменяется интегрированием, а вероятность Р(Х)—
плотностью нормального распределения
Се 2 , A1)
где х2 = Ух + • • • + Ут- Все точки решетки, по которым нужно
производить суммир! вание лежат в гиперплоскости ,2^=1,
следовательно, интегрирование распространяется лишь на эту ги-
гиперплоскость. Соответствующим ортогональным преобразованием
величин yt можно добиться, чтобы эта гиперплоскость имела урав-
уравнение ут = 0, тогда плотность вероятности будет задаваться
формулой
fou ¦ ¦ ..IWn) = ^ 2 • A2)
Эта формула справедлива тогда, когда в пространстве ht в
качестве начала прямоугольных координат уъ ,.., ут выбрана
точка (Pi(fi),. . ,,рт(-В)). Если же началом координач является
постоянная точка, не зависящая от в, то A2) нужно заменить
формулой
f<yi,.-:Vm-i)=Ce 2 , A3)
где у равны математическим ожиданиям у.
§ 50. Асимптотическая эффективность 249
Отсюда следует, что 7" обладает асимптотически нормальным
распределением. Асимптотическое среднее значение и асимптоти-
асимптотическая дисперсия оценки Т' равны, по определению, среднему
значению и дисперсии асимптотического нормального распределе-
распределения, т. е. равны среднему значению и дисперсии линейной функ-
функции
m m—1
т'=2с,ь = ь0 -[-2 КУк, A4)
вычисленным в предположении, что ylt. ...Ущ-г имеют плотность
вероятности A3). Так как коэффициенты ct не зависят от п, а
среднее значение и дисперсию Т' через эти коэффициенты можно
выразить точно, то между асимптотической формулой для диспер-
дисперсии и асимптотической дисперсией не будет никакого различия.
Это же самое справедливо и для д'.
Таким образом, мы имеем ту же самую ситуацию, что и в
теории наименьших квадратов. уи . . ., ym-i являются незави-
независимыми нормально распределенными случайными величинами с
единичными дисперсиями и математическими ожиданиями yt,
представляющими собой линейные функции одного параметра 0.
Оценка €' по методу наименьших квадратов является несмещенной
и имеет минимальную дисперсию. Оценка Т' также не имеет сме-
смещения, следовательно, ее дисперсия не меньше дисперсии оценки
д'. Равенство дисперсий будет осуществляться лишь тогда, когда
соответствующие коэффициенты линейных функций Т' и й' равны.
Следовательно:
Среди всех регулярных асимптотически несмещенных оценок
Т оценка наибольшего правдоподобия $ имеет наименьшую асимпто-
асимптотическую дисперсию. Если Т и б обладают равными асимптотиче-
асимптотическими дисперсиями и если в окрестности точки с координатами
\ = Pi(e) обе эти функции разлагаются в ряд по степеням ht — pt,
то по крайней мере линейные члены этих рядов совпадают; следова-
следовательно, Т с вероятностью, сколь угодно близкой к единице, отли-
отличается от в величиной высшего, чем 1//й, порядка малости.
Для того чтобы эту теорему можно было сформулировать
короче, мы введем следующие определения:
Асимптотически несмещенная регулярная оценка Т назы-
называется асимптотически эффективной, если среди всех оценок
с теми же свойствами она обладает наименьшей асимптотической
дисперсией. Две оценки, Tlt и Тг, называются асимптотически
эквивалентными, если их разность D = Тг — Тг с вероятностью,
сколь угодно близкой к единице, является величиной высшего,
чем l/l^n, порядка малости, т.е. если D]/n стремится, по вероят-
вероятности, к нулю.
250 Гл. IX. Оценка параметров по наблюденным частотам
Теперь указанную теорему можно сформулировать так:
Оценка наибольшего правдоподобия д является асимптоти-
асимптотически эффективной, и каждая регулярная асимптотически эффектив-
эффективная оценка ей асимптотически эквивалентна. Асимптотическая
дисперсия такой оценки равна 1/1 (Щ — обратной величине
информации.
При более общих предположениях и, в частности, без пред-
предположения линейности функций р,(б) эта теорема была доказана
Нейманом1.
Пример 34. Согласно общепринятой гипотезе Ф. Бернштсйна2, наличие
у людей четырех групп крови: О (I группа), А (II группа), В (III группа)
и АВ (IV группа), вызывается тремя генами А, В и О, причем А и В до-
доминируют над О. Если индивидуум имеет генную пару 00, то его кровь
относится к группе О. Генные пары АО и АА приводят к группе А, а ген-
генные пары ВО и ВВ— к группе В. Наконец, генная пара АВ приводит к
группе АВ. Пусть
% — —-,..., дй = —
п п
— известные частоты групп крови в выборке, состоящей из п индивидуумов,
и пусть р, диг(р + д + г= 1) — частоты генов А, В и О в крови населения.
Требуется найти асимптотически эффективные оценки3 для р, q и г.
Мы предположим, что население хорошо перемешано, т. е. что оно не
распадается на почти замкнутые группы с различными распределениями
частот генов. При этом предположении вероятность образования генной
пары 00 равна г2, точно так же вероятность образования генной комбина-
комбинации АО (или О А) равна рг и т. д. Следовательно, вероятности того, что
выбранный наугад представитель населения будет иметь группу крови
О, А, В или АВ, равны соответственно:
Рг = r*.
р2 = 2pr -f P2 = (P + »'J — r2,
Ps = 2gr+ <?' = (g + rJ-r2,
p4 = 2pg.
Эти уравнения можно разрешить относительно р и q:
р = i - (з + г) = 1 - УрТ+'pV, |
A5)
Aб)
+ г) = i - УрГТрТ- *
1 N е у m a n J., Contribution to the theory of the x2-test, Berkeley Sym-
pos. on Math. Stat., 1949, 239.
г Bernstein F., Z. f. induktive Abstammunes- und Vererbungslefare,
37 A926), 236.
3 Общее определение совместно асимптотически эффективных оценок
для нескольких неизвестных параметров см. в книге Крамер Г., Мате-
Математические методы статистики, ИЛ, М., 1948. — Прим. перев.
§ 50. Асимптотическая эффективность 251
С целью получения для р и q предварительных оценок можно в A6)
вероятности plt р2 и ps заменить наблюденными частотами h, h2 и h3. Таким
образом, находим
в, = 1 -
Убедиться в том, что эти оценки не являются асимптотически эффек-
эффективными, можно, например, так. Пусть hu ht, hs — координаты в простран-
пространстве наблюдений, тогда частота ht будет являться функцией этих коорди-
координат: ht = 1 —- Ку — А2 — ^з- Все точки Н с координатами hy, h%, hs, для
которых оценки A7) остаются постоянными, расположены на прямой
-*>•. A8)
Эта прямая пересекает поверхность, заданную параметрическими
уравнениями A5), в точке Ро с координатами р,-@), которым соответствуют
значения параметров р = р0, q = q0. Если бы оценки A7) были асимптоти-
асимптотически эффективными, то прямая A8) была бы перпендикулярна к этой
поверхности (или, по крайней мере при больших п, приближенно перпенди-
перпендикулярна к ней) в смысле метрики, определяемой квадратичной формой
(! 48)
. [А, - р,@)]г
Хо= > — . A9)
Соответствующее условие ортогональности имеет вид
^р1оТ = о> B0)
где и = A, —1; —1, 1) — направляющий вектор прямой A8) л » — произ-
произвольный вектор, лежащий в касательной плоскости к поверхности A5).
Два таких вектора, v и v', получаются дифференцированием A5) по р и q.
Если координаты этих векторов подставим в левую часть B0), то убедимся,
что условие ортогональности не выполняется даже приближенно.
Асимптотически эффективные оценки можно получить с помощью
отыскания максимума логарифмической функции правдоподобия
L(x}p, q) = % In r2 -f хг In Bpr + p2) + x3 In B qr + g2) + xt In Bpq). B1)
Дифференцирование L по р и q (при этом следует положить г = 1 —р — q)
приводит к уравнениям
i о 2г 4- а г ' 2~ ' т ' °- '
Для отыскания решения этих уравнений можно, например, р и q заме-
заменить новыми неизвестными и и v по формулам
} B3)
= q0 + v, )
и затем дроби в уравнениях A9) разложить в ряды по степеням и и v,
удерживая лишь линейные члены. В результате возникнут два линейных
уравнения, которые нужно будет разрешить относительно вин,
Как показано в § 48, для отыскания асимптотически эффективных
оценок вместо метода наибольшего правдоподобия можно также восполь-
воспользоваться методами минимума хо и %х-
252 Гл. IX. Оценка параметров по наблюденным частотам
§51. Критерии х2
В § 49 мы вычислили асимптотическую формулу для функции
распределения случайной величины
X — sj пр - > (Ч
в предположении, что pt равны истинным значениям вероят-
вероятностей:
р?=р№*)- B)
Однако на практике истинные р* бывают неизвестны, и поэтому
их заменяют оценками
C)
Выражение
/ _„ ч п
D)
пр
построенное с помощью таких оценок pt, оказывается, вообще
говоря, меньшим, чем хг> и имеет другую функцию распределения.
Действительно, как мы увидим, случайная величина х2 асимптоти-
асимптотически имеет распределение х2 с т— 1 —Т степенями свободы,
где т — число оцениваемых параметров вх, . . ., бг, в то время как,
согласно § 49, случайная величина х2> определенная формулой A),
асимптотически имеет распределение х2 с m—-1 степенями сво-
свободы.
Числители и знаменатели каждого слагаемого суммы D)
являются величинами порядка п. В знаменателях р можно заме-
заменить истинными значениями р*, отличающимися от р величинами
порядка 1/fra: от этого функция распределения х2 изменится лишь
на бесконечно малую величину. В результате получим видоизме-
видоизмененное выражение
функцию распределения которого можно определить несколько
легче, чем функцию распределения Xй.
Теперь мы воспользуемся теорией, изложенной в § 48, причем
в качестве pW выберем р* и рассмотрим координаты
гсчки минимума квадратичной формы
V2_. v <*-*')' m
§ 51. Критерий х2 253
Как доказано в § 48, оценки
полученные методом минимума Хо- отличаются от соответствую-
соответствующих оценок наибольшего правдоподобия р величинами порядка
1/га. Поэтому пр в правой части E) можно заменить на х', тогда
Xi перейдет в xl и асимптотическое распределение не изменится.
Следовательно, нам осталось лишь найти асимптотическое
распределение %\. Вероятность события Хо <п снова равна
сумме вероятностей Р(Х) по всем точкам X, принадлежащим
области Хо < и- Как и в § 49, эту сумму можно заменить интег-
интегралом. В результате получится искомая асимптотическая функция
распределения
-J...J.
(8)
где интегрирование производится по области xl < и.
Введем теперь прямоугольные координаты уи . . ... ут таким
образом, чтобы выполнялось равенство, аналогичное A1) § 49:
х2 = у\ + ¦ ¦ ¦ + у1-
Ортогональным преобразова}1ием этих координат можно добиться,
чтобы гиперплоскость ? xt = n в новых координатах имела
уравнение ут = 0; тогда переменными интегрирования будут
Ук • ¦ ¦> Ут-\' и мы получаем
т—1 г г 1
F(u) = Bп)~ ~2J . . . J е~ - У'1 '''+ "^ dy,... dym_x. (9)
Теперь мы можем еще раз ортогонально преобразовать ко-
координаты таким образом, чтобы новые оси Oyt, . . , Оуг лежали
в линейном пространстве G, определяемом параметрическими
уравнениями pt -= p,-(fi); остальные оси будут тогда перпенди-
перпендикулярны пространству G. Компоненты точки минимума формы
G) в этих новых координатах можно вычислить особенно легко.
Действительно, точка X' принадлежит G, следовательно, из ее
координат отличными от нуля могут быть лишь^,... ,у'Т\ остальные
координаты y'r+i, ¦ ¦ ¦ > Ут-1 равны нулю. В новых координатах
форма хо имеет вид
xl = (у, -у!J + ... + (уг - у'гУ- л- yhi+---M su-i-
Она достигает своего минимума, когда все разности ух—у[,. . .,
254 Гл. IX. Оценка параметров по наблюденным частотам
уг — у'г становятся равными нулю. В этом случае первые т сла-
слагаемых суммы A0) исчезают, и мы имеем
Следовательно, в (9) область интегрирования является цилинд-
цилиндрической, так как левая часть неравенства у% < и зависит лишь от
Уг+1,. . ., ym-i. Если в (9) произвести интегрирование по уг,. . ., уТ,
то получим
т—г—1 г i 1 .
F(u) = Bл)" ~J ¦ • ¦ J * 2 ""' " ¦" 9m-1 dyr+1 . . . dyn_x, A2)
где область интегрирования задается неравенством
tf+i + ...+ *?-!<«¦ 03)
Таким образом, F(u) действител?лю является функцией рас-
распределения х2 с т— 1 — f степенями свободы.
Общий критерий %2 можно теперь сформулировать так:
Если выражение %г превосходит границу, указанную в табл. 6
для т. — 1 — г степеней свободы, то гипотезу, согласно которой
истинные вероятности р* имеют параметрическое представление
р(д), следует отвергнуть.
В символе х2 волна введена только для того, чтобы ясно отли-
отличать х2 от истинного у\ В приложениях этим различием, как пра-
правило, пренебрегают.
Очень важным для приложений является вопрос, можно ли
в правой части D) вместо р = р(д) воспользоваться какой-либо
другой оценкой р(Т)?
Ответ гласит:
Если Т — асимптотически эффективная оценка (§ 50, конец)
и поэтому \ Т — ё | с вероятностью, сколь угодно близкой к еди-
единице, является величиной высшего, чем \/]/п, порядка малости, то в
правой части D) р можно заменить на р(Т) и затем применить
критерий у\
Доказательство очевидно. Если к пр в числителях D) приба-
прибавить некоторые дополнительные члены высшего, чем \/Уп, порядка
малости, то хг изменится лишь на бесконечно малую величину,
поэтому асимптотическое распределение останется неизменным.
Но если р заменить другими сценками, отличающимися от р
величинами в точности порядка 1/]/те, то D) может оказаться зна-
значительно больше %-. Отсюда мы видим, как важно пользоваться
лишь асимптотически эффективными оценками.
§ 51. Критерий %- 255
Пример 35. Если мы хотим проверить изложенную в примере 34 (§ 50)
гипотезу Ф. Бернштейна о группах крови О, А, В и АВ, то сначала можно
найти оценки наибольшего правдоподобия для параметров р, g и г = 1 -
— Р— Я и затем с помощью функций от этих оценок
й = г\
вычислить величину
г _ (% nPi) , (^2 пРгУ , (зз и?>з) _, (Д4 "Р4) 5
"Pi ^Рг «Рз Г »Р4
Так как по результатам наблюдений оцениваются два параметра р и ?,
то число степеней свободы равно
/=4 — 1—2=1.
Оценки параметров р и д очень сложны. Существует более простой
способ проверки указанной гипотезы, который практически дает такой же
результат, что и общий критерий х2-
Прежде всего заметим, что уравнения A4) определяют в пространстве
наблюдений некоторую поверхность F и что Р представляет собой такую
точку этой поверхности, которая находится на кратчайшем расстоянии от
наблюденной точки Н, в смысле метрики, определяемой выражением у\
Следовательно, %г — квадрат расстояния от Н до поверхности F.
Вместо параметрического представления A4) поверхность F можно
задать с помощью ее уравнения, которое имеет вид1
Ук+Ра + УрТ+Рз - Ур7 — 1 - 0. A6)
Если точка Н не лежит на поверхности F, то расстояние от Н до по-
поверхности пропорционально величине
D = Yh^+T2 + }'hV~h-~-)%--l. A7)
Функцию D в окрестности «истинной точки» Р, принадлежащей поверх-
поверхности F, можно аппроксимировать линейной функцией координат Ла, й2
н h3.
Положив hj = р; + и,, после небольших вычислений найдем, что
D ~ - -- - - + - ——: - - _ = а1Щ + a,v2 -, агщ. A8)
2 I'Pi + Рг 2 VPi + Рз 2 I/Pi
Случайные величины м,- — А,-—р,-распределены приближенно нормаль-
нормально с нулевым средним значением и дисперсиями
?«*'--= яр,-A -pi). A9)
Согласно D) § 50, математические ожидания произведений tijti^ также
известны:
6 Щ ик= — npi pk. B0)
1 Bernstein F., Z. ind. Abstammungs — u. Vercrbtmgslehre, 37S
S. 246.
256 Гл. IX. Оценка параметров по наблюденным частотам
Таким образом, сумма а^щ + а2щ + а3щ (а вместе с ней и величина
D) распределена приближенно нормально с нулевым средним значением и
дисперсией
о-2 = at & «1 + а\ & и\ + а\ в и\ -f 2ax а2 & щщ +
+ 2% о3 g ихи3 + 2а2 а, в щи,- B1)
Следовательно, случайная величина
2 Я'
*о = ^г B2)
асимптотически распределена, как х2 с одной степенью свободы. Выражение
Хо приближенно равно выражению х2, введенному ранее, и может быть
использовано для проверки гипотезы Бернштейиа.
При вычислении о-2 вероятности р;, входящие в A8), A9) и B0), можно
заменить их приближенными значениями Л,-. При тех больших значениях и,
которые, как правило, встречаются при данного рода исследованиях, это
приближение не может вызывать опасений, тем более что при небольших
изменениях р,- величина хг меняется не очень сильно.
ГЛАВА X
ОБРАБОТКА РЕЗУЛЬТАТОВ БИОЛОГИЧЕСКИХ
ИСПЫТАНИЙ
Эта глава посвящена обработке результатов биологических
испытаний ядов и других веществ (bio-assay1).
Если подопытные' животные подвергаются действию различ-
различных доз некоторого яда, то для каждой дозы наблюдается опре-
деленная смертность. Кривая, изображающая зависимость смерт-
ности от дозы, называется кривой эффекта. Мы рассмотрим раз-
личные методы оценки кривых эффекта по результатам наблюде-
ний. При этом будет предполагаться известным в основном лишь
содержание гл. I и II.
§ 52. Кривая эффекта
и логарифмическая кривая эффекта
Существуют препараты, действие которых может быть выяв-
выявлено лишь тогда, когда некоторое количество подопытных живот-
животных подвергают действию различных доз испытываемого вещества
и регистрируют, сколько животных реагирует определенным
образом, например умирает. Каждой дозе соответствует определен-
определенная вероятность реагирования, которая может быть аппроксими-
аппроксимирована эмпирической частотой. С возрастанием дозы, как правило,
возрастает и вероятность р. Если эту вероятность как функцию
дозы изобразить графически, то получится кривая эффекта
данного препарата.
Очень часто в качестве абсциссы выбирают не саму дозу,
а ее логарифм I, Соответствующая кривая в плоскости Юр назы-
называется логарифмической кривой эффекта. Одно из преимуществ
применения логарифмов заключается в том, что кривые эффектов
двух препаратов, отличающихся только различными концентра-
концентрациями действующего вещества, получаются друг из друга парал-
параллельным сдвигом. Величина параллельного сдвига, очевидно,
равна логарифму отношения концентраций.
Если имеются два препарата с похожими свойствами и нужно
сравнить результаты их действия, то по большей части пред-
предполагают, что соответствующие логарифмические кривые эффек-
1 Bio-assay (англ.) — биологическое испытание. — Прим. перев.
17 Б. Л. ван дер Варден - 1062
268
Гл. Л. Обработка результатов биологических испытаний
тов отличаются также лишь параллельным сдвигом. Только при
этом предположении имеет смысл говорить об отношении эффек-
тивностей. Логарифм этого отношения опять-таки равен величине
параллельного сдвига.
На практике, как пра-
правило, каждый препарат срав-
сравнивают с некоторым стандарт-
стандартным препаратом и стремятся
оценить эффективность лю-
любого препарата относительно
стандартного.
Многие кривые эффекта
возрастают от 0 до 1. Это
означает, что на очень силь-
сильные дозы реагируют все под-
подопытные животные. Однако
Рис. 25.
Логарифмическая кривая
эффекта.
бывают случаи, когда опре-
определенная доля подопытных животных нечувствительна к действу-
действующему веществу и не реагирует на самые большие дозы. Тогда
кривая возрастает только до некоторого предельного значения
р*,< 1. Для кривых этого типа обработка наблюдений более
трудна.
Здесь мы ограничимся в основном лишь кривыми первого типа,
которые возрастают от нуля до единицы.
Логарифмические кривые эффекта, наблюдаемые в природе,
очень часто соответствуют графикам функций нормального распре-
распределения:
р = Ф
7 — 7,
A)
где I — логарифм дозы, L — логарифм 50%-ной дозы1, сг — квад-
квадратичное отклонение нормального распределения и, как всегда
в этой книге,
B)
Существуют методы обработки наблюдений, целиком осно-
основанные на предположении такой «нормальности» кривой эффекта.
1 50%-ной дозой называют такую дозу, для которой р = 0,5. — Прим..
перев.
§ 53. Метод площадей Берэнса и Кербера 269
Их называют «пробит-методами». Однако только в очень редких
случаях это предположение проверено на достаточно обширном
экспериментальном материале. По этой причине здесь сначала
будут рассматриваться такие способы, которые не зависят от
предположения нормальности кривой эффекта и используют
лишь более слабее предположение о том, что с ростом дозы вероят-
вероятность р возрастает от нуля до единицы.
В дальнейшем для простоты мы будем всегда называть ве-
вероятность р «смертностью», хотя излагаемые методы применимы
не только к смертельным ядам, но и к любым биологическим
препаратам. Мы будем также часто говорить «доза I», подразумевая
под дозой ее логарифм I. Буквы I или L достаточно ясно указывают
на логарифм.
§ 53. Метод площадей Берэнса и Кербера1
Основой этого метода является понятие средней смертельной
дозы. Если на рис. 25 провести вертикальную прямую таким обра-
образом, чтобы обе заштрихованные области, ограниченные кривой
эффекта и указанной прямой, имели одинаковые площади, то
абсцисса L точки пересечения этой прямой с осью 01 называется
логарифмом средней смертельной дозы. Если кривая эффекта
центрально-симметрична, то средняя смертельная деза равна
50%-ной дозе.
Смысл выражения «средняя смертельная доза» можно выяснить
следующим образом. Предположим, что для каждого подопыт-
подопытного животного существует определенная наименьшая величина
дозы, при которой животное заведомо умирает. Если подопытное
животное выбирается случайно, то логарифм такой смертельной
дозы является случайной величиной, в смысле § 2. Функция
распределения F(l) этой случайной величины I представляет
собой вероятность смерти животного от дозы I. Таким образом,
значение функции F(l) в точке I совпадает со смертностью р от
дозы I (под дозой мы всегда будем понимать логарифм дозы).
Поэтому график функции F(l) является логарифмической кривой
эффекта. Согласно результатам § 3, среднее значение случайной
величины I равно интегралу
1 Kiirber E., Archiv exp. Path., 162 A931), 480; Behrens und
Karber, Archiv exp. Path., 177 A935), 637.
17*
260
Гл. X. Обработка результатов биологических испытаний
Если в этом интеграле в качестве новой переменной интегри-
интегрирования выбрать р = F(l), то получим
0)
Следовательно, L является средним значением логарифмов
индивидуальных смертельных доз подопытных животных.
Дисперсия <г2 случайной величины I точно так же определяется
интегралом
ос
J (I - Lf dF{l) =
B)
Для определения дозы L можно воспользоваться также сле-
следующим методом. Пусть 10 -— столь малая доза, что соответствую-
соответствующая ей смертность р0 практически равна нулю, и пусть доза 1Ю
так велика, что соответствующая смертность^ практически равна
единице. Если на рис. 25 провести прямые с уравнениями I == 10
и 1 — 1ш, то площадь прямоугольника с высотой, равной единице,
и основанием, лежащим между L п1а, будет приближенно1 равна
площади, расположенной
между осью 01 и кривой
эффекта:
Это равенство можно разре-
разрешить относительно L:
\pdl. C)
lo 4 4 4, 4,
Рис. 26. Трапециоидальное прибли-
приближение кривой эффекта.
Если интервал от 10 до 2Ш разделим на (п + 1) частичных интер-
интервалов, граничными точками которых являются l0, llt..., ln+1 = 1а,
то интеграл в формуле C) можно приближенно заменить суммой
площадей трапеций (рис. 26); трапеция в любом интервале (Ц, li+l)
получается заменой соответствующего отрезка кривой эффекта
прямолинейным отрезком, проходящим через точки A^р(Щ и
(W Pih+г))-
1 Если рA9) — 0 и рAш) = 1, то, по определению средней смертельной
дозы, формула C) будет точной. — Прим. перев.
§ S3. Метод площадей Берэнса и Кербера 26J.
L ~ L - \ [(Ро + Pi) (h - Zo) + (Pi + P2) (h — h) + ...+
+ (Pn + Pj Qn+1 - Ml D)
Если сумму в правой части D) расположить в порядке возра-
возрастания р0, ри . . ., рп, рш и учесть, что р0 = О и р,^ = 1, то получим
+ PnVn+l-ln-l)l E)
Это выражение является исходным для эмпирического опре-
определения L по методу площадей.
Некоторое количество подопытных животных подвергают
действию доз lv lz,..., ln и наблюдают частоты смертельных
исходов hlt h2,. . ., hn, соответствующие этим дозам. При этом
количества животных для всех доз не обязательно должны быть
одинаковыми. Нужно лишь, чтобы дозы возрастали достаточно
малыми скачками [это обеспечит- близость интеграла C) и суммы
E)] и чтобы для концевых доз 1Х и 1п частоты были близки соот-
соответственно нулю и единице (это, практически, обеспечит уверен-
уверенность, что для наименьшей дозы 10 смертность почти равна нулю,
а для наибольшей дозы 1п+1 = 1т смертность почти равна единице).
Следовательно, ряд доз должен достаточно далеко прости-
простираться в обе стороны. По большей части требуют, чтобы первая
частота А, равнялась нулю, а последняя hn равнялась единице,
однако наблюдения можно считать удовлетворительными также
и в том случае, когда, например, частоты hy и Л2 — обе близки к
нулю. Зная весь набор частот и руководствуясь чутьем и опытом,
экспериментатор может судить, будет ли р0 почти нулем, а рп+1 —
почти единицей.
Приближенное значение для L получают из формулы E)
заменой вероятностей Pi,-.-,Pn соответствующими частотами:
М = \ Aп -| 1п+1) - \ [h, Aг - l0) + Л2 (*з - *i) + ¦ ¦ +
На практике средняя смертельная доза вычисляется именно
по этой формуле.
Количества животных, подвергающихся действию различных
доз, не обязательно должны быть одинаковыми. Точность формулы
F) даже повысится, если эти количества для средних доз будут
больше соответствующих количеств для доз на концах ряда.
Излишнее употребление сильных доз, при которых почти все
животные умирают, и слабых доз, при которых смертность
262 Гл. X. Обработка результатов биологических испытаний
почти не наблюдается, является расточительством времени и
опытного материала; на это указывал в свое время Гаддум1.
Величина М зависит от случая; ее среднее значение равно L.
В силу F), М представляет собой сумму одного постоянного и п
независимых случайных слагаемых. Так как постоянное слагаемое
не оказывает влияния на дисперсию всей суммы, то, согласно A5)
§ 3, дисперсия М имеет вид
где, например, <rf — дисперсия члена —\ {1г — h)/^'-
2 _ Pl(L — Pl) (I I \2
Таким образом,
Но рк неизвестны, поэтому, согласно известному правилу (§ 5,
конец), рк заменяют частотами hk, а числа Nk в знаменателях —
величинами Шк—1. В результате получают приближенное зна-
значение для дисперсии а-%:
^ ^1^
Среднее значение s^, равно <т%, и для больших количеств жи-
животных s?, не очень отличается от <тгм. Следовательно, величина
sM позволяет судить о точности оценки М.
Пример Зв. Исследуя влияние доз солянокислого гельземицина на смерт-
смертность кроликов, Чен, Андерсон и Роббинс2 наблюдали следующие частоты
смертельных исходов (каждая доза применялась к 'десяти кроли-
кроликам):
Дозы 6 7 8 9 10 И 12 13
Частоты смертельных
исходов 0 0,1 0,3 0,6 0,8 0,5 0,8 1,0
При вычислениях по формуле F) воспользуемся трехзначными десятич-
десятичными логарифмами3:
lt = ]g 6 = 0,778 и т. д.
Данные, указанные в таблице, позволяют надеяться, что при наимень-
наименьшей дозе (примерно равной /0 = lg 5) смертность практически равна нулю,
х G a d d u m J. П., Mod. Res. Council Rep. on Biol. Standards, 3 A933),
27.
2 Quarterly Journal Pharmacol., 11 A938), 84.
3 Применение логарифмов не является обязательным, так как все
формулы этого параграфа остаются справедливыми и для самих доз (а не
только для их логарифмов). — Прим. перев.
§ 54. Методы, предполагающие нормальность кривой эффекта 263
а при наибольшей дозе (примерно равной ln+i = lg 15) смертность практи-
практически равна единице. Впрочем, выбор 10 к!п+г совершенно безразличен, так
как в нашем случае Ь^ = 0 и hn = 1, поэтому в формулах F) и (8) члены,
содержащие 1а и ln+i, исчезают.
Согласно формулам F) и (8), получаем1
М = 0,957,
sM= 0,016.
Следовательно, логарифм средней смертельной дозы равен
L= 0,957 ± 0,016:
Этот результат показывает, что бессмысленно пользоваться более
чем трехзначными логарифмами доз. Даже второй знак у М не заслужи-
заслуживает доверия, так как выборочное квадратичное отклонение превышает еди-
единицу второго десятичного знака.
С помощью этого же самого экспериментального материала, но другим
методом, связанным с большим количеством вычислений, Блисе2 нашел,
что
L = 0,961 ±0,0166.
Отсюда видно, что метод площадей по точности почти не уступает более
сложным методам вычисления оценок, основанным на предположении нор-
нормальности кривой эффекта. В заключительной части моей только что
цитированной работы получен более точный результат, согласно которому
средняя ошибка метода площадей, в случае одинаковых количеств живот-
животных, лишь на 1 % превышает среднюю ошибку метода наибольшего правдо-
правдоподобия, в предположении, что кривая эффекта является нормальной.
§ 54. Методы, основанные на предположении
нормальности кривой эффекта
Если предположить, что логарифмическая кривая эффекта
представляет собой график функции нормального распределения,
то в нашем распоряжении окажется целый ряд методов обработки
наблюдений.
А. ГРАФИЧЕСКИЙ МЕТОД
Основой графического метода является такое преобразование
оси Ор, при котором кривая эффекта превращается в прямую.
Абсциссу I, равную логарифму дозы, теперь удобнее обозна-
обозначить буквой х. Тогда, согласно A) §52, нормальная кривая эффекта
будет задаваться уравнением
(L] A)
1 V a n dor Waerdcn, Archiv f. exp. Pathol., 195 A940), 389.
2 В 1 i s s O. I., Quarterly Journal Pharmacy and Pharmacol., 11 A938),
264
Гл. X. Обработка результатов биологических испытаний
Введем теперь новую зависимую переменную у, связанную с р
соотношением
р = Ф(у) или у = У(р). B)
В новых координатах х и у уравнение кривой эффекта будет
иметь вид
У = ^— • C)
Это уравнение задает прямую линию.
Иногда, для того чтобы не иметь дела с отрицательными
числами, к значениям у прибавляют 5 и суммы у + 5 называют
ааг.
аоо/
Рис. 27. Графическая оценка двух параллельных кривых
эффекта методом прббитов.
прббитами. Однако с целью получения более простых формул
мы будем пользоваться самими величинами у, а не у + 5.
Для того чтобы оценить L и а-, на оси Ох откладывают лога-
логарифмы применяемых доз, а на оси Оу пробиты y=W(h), соответству-
соответствующие частотам h. Затем проводят такую прямую, которая возможно
меньше отклоняется от полученных точек с координатами (xltyt).
Существует бумага, похожая на миллиметровую бумагу и устроен-
устроенная таким образом, чтобы точки (xt, yt) можно было наносить без.
предварительного вычисления логарифмов и пробитов (рис. 27).
Трудность заключается в том, что при h = 0 или h = 1 соот-
соответствующие пробиты принимают значения —оо или +«».
Для того чтобы преодолеть это затруднение1, сначала по наблю-
1 Prigge В. und Sch&fer W., Arch. exp. Path., 191 A939), 303.
§ 54. Методы, предполагающие нормальность кривой эффекта 265
денным частотам h вычисляют доверительные границы р1 и р2,
причем в формулах из § 6 целесообразно положить g = 1: в этом
случае границы не будут слишком широкими. Затем по этим
рх и рг вычисляют соответствующие границы пробитов уг и уг,
согласно формуле B). В результате для каждой дозы получают
отрезок, параллельный оси Оу и расположенный между точками
с ординатами ух и уг. Если А = 0 или h = 1, то этот отрезок рас-
распространяется вниз или соответственно вверх до бесконечности.
Предположительную прямую эффекта проводят таким образом,
чтобы она пересекала все или по крайней мере большинство этих
отрезков. Если это можно сделать многими способами, то прямую
выбирают так, чтобы она проходила возможно ближе к точкам,
соответствующим тем наблюденным частотам ht, которые отличны
от нуля и от единицы.
Этот метод иллюстрируется рис. 27, заимствованным из работы,
цитированной в предыдущей сноске.
Б. НАИБОЛЬШЕЕ ПРАВДОПОДОБИЕ
Результаты графической оценки можно улучшить с помощью
метода наибольшего правдоподобия1. Этот метод, однако, требует
очень большого количества вычислений, которые, по-моему,
никогда не окупаются. Кажущаяся точность пробит-анализа
является лишь иллюзорной, так как все выводы основываются
на весьма недостоверной гипотезе о нормальности кривой эффекта.
Если тем не менее обработку наблюдений все же рискуют строить
на столь скользкой почве, то можно вполне довольствоваться
грубыми графическими оценками. Для того чтобы получить
для ьеизвестных параметров более надежные приближения, точ-
точность которых можно оценить, следует применить метод площадей,
не зависящий от гипотезы нормальности кривой эффекта.
Лишь в одном случае методы получения асимптотически
эффективных оценок оказываются, безусловно, необходимыми, а
именно, тогда, когда нужно проверить гипотезу о том, что кривая
эффекта является нормальной. В этом случае применяют критерий
X2 (§51). Выражение %г зависит от оценок пр для математических
ожиданий. Для того чтобы хг не было слишком велико, нужно,
чтобы эти оценки были асимптотически эффективными. Согласно
§ 50, такие асимптотически эффективные оценки можно получить
методом наибольшего правдоподобия. Несколько более удобным
является эффективный метод минимума Хо (§ 48) (пр@) в знамена-
знаменателях х1 можно найти, например, с помощью графического метода).
1 Bliss С. I., Annals of Applied Biol., 22 A935), 134, с дополнением
Fisher В. А., 149. Этот метод обстоятельно изложен в книге: Finney
D. J., Probit Analysis, Cambridge TJmv. Press, 1947.
266 Гл. X. Обработка результатов биологических испытаний
В. МЕТОД ДВУХ ТОЧЕК
Согласно этому методу, животных подвергают воздействию
лишь двух доз испытываемого вещества, наблюдают соответствую-
соответствующие частоты h± и h2 и на вероятностной бумаге (см. рис. 27) через
точки с координатами {xlt ^(h^)) и (хг, W(h2)) проводят прямую
линию. Абсцисса точки пересечения этой прямой с осью Ох
является оценкой для 50%-ной дозы.
Этот метод можно применять лишь тогда, когда количества
подопытных животных велики, а параметры L и а- кривой эффекта
A) заранее приближенно известны. Для того чтобы, с большой
вероятностью, обе точки были расположены по разные стороны
от 50%-ной прямой х = L, нужно, чтобы первая доза была зна-
значительно меньше 50%-ной дозы, а вторая доза — значительно
больше 50%-ной дозы. С другой стороны, нельзя допускать,
чтобы дозы слишком отклонялись от 50%-иой дозы, так как если
эмпирическая смертность будет равна 0 или 100%, то соответству-
соответствующую точку нельзя будет нанести на вероятностную бумагу. Эти
недостатки1 усугубляются еще и тем, что изложенный метод
существенно зависит от предположения нормальности кривой
эффекта и что точность этого метода оценить очень трудно, а может
быть, и вообще невозможно. Мне представляется более предпочти-
предпочтительной такая постановка эксперимента, при которой можно
применять метод площадей.
Г. МЕТОД ОДНОЙ ТОЧКИ
Если приближенное значение для углового коэффициента
прямой известно из других экспериментов, то наиболее точным
методом получения оценки для L является метод одной точки,
согласно которому ко всем подопытным животным применяется
лишь одна доза, по возможности близкая к средней дозе L. В ре-
результате эксперимента получают точку (х, у), через которую
проводят прямую с известным угловым коэффициентом 1/сг.
В качестве оценки для средней дозы L принимают абсциссу
точки пересечения прямой с осью Ох:
М = х — о-у. D)
На практике сг, конечно, заменяется оценкой s. Этот метод
является надежным только тогда, когда примененная доза близка
к средней смертельной дозе L. Следовательно, сначала с помощью
предварительных опытов нужно определить приближенное значе-
значение для средней смертельной дозы (например, по методу пло-
площадей) и лишь затем применять метод одной точки. О вычислении
1 По этому вопросу см. Behrens und Karber, Archiv exp.
Path., 177 A936), 637.
§ 55. Методы « вверх и вниз» 267
средней ошибки М см. мою ранее цитированную работу в журнале
Archiv exp. Path., 195 A940).
Метод одной точки использует лишь среднюю, наиболее крутую
часть кривой 'эффекта. Следовательно, он мало зависит от пред-
предположения нормальности кривой эффекта.
Д. ЛОГИСТИЧЕСКАЯ КРИВАЯ
Вместо нормальной кривой эффекта можно, следуя Берксону1,
принять за основу так называемую логистическую кривую, урав-
уравнение которой задается формулой
где z — линейная функция от х. Если z возрастает от — оо до
+ оо, то функция E) так же, как Ф{г), возрастает от 0 до 1. Функ-
Функция E) очень мало отличается от функции нормального распреде-
распределения. Кривая с уравнением E) так же, как нормальная кривая,
симметрична относительно точки с координатами г = 0, р — 1/2:
p(z) +p(— 2)= 1.
Уравнение E) можно легко разрешить относительно г:
(б)
Величины г, определяемые формулой F), называются лдгитами.
Вычисления с помощью логитов выполняются легче вычислений
с помощью указанных ранее пробитое у = Ф(р). Все методы про-
бит-анализа (графический метод, метод наибольшего правдопо-
правдоподобия, метод двух точек и метод одной точки) можно с одинако-
одинаковым или еще большим успехом применять для логит-анализа.
§ 55. Методы «вверх и вниз»
А. МЕТОД ДИКСОНА И МУДА
Диксон и Муд2 указали метод, который при меньшем количе-
количестве опытного материала позволяет получать столь же точные
оценки, как и методы, изложенные выше, Согласно этому методу,
сначала нужно выбрать исходную дозу (I — логарифм этой дозы)
и подвергнуть ее воздействию одно животное. Затем, смотря по
тому, реагирует ли животное определенным образом (например,
умирает) или нет, логарифм уменьшается или соответственно
1 Berk son J., Journal Amer. Statist. Assoc, 39, 41, 48.
2 D i x о n W. J. and Mood A. M., Journal Amer. Statist. Assoc,
43 A948), 109.
268 Гл. X. Обработка результатов биологических испытаний
увеличивается на d и новая доза применяется ко второму живот-
животному и т. д. — всегда вверх или вниз. Никакие другие дозы, кроме
доз с логарифмами I, I + d, I ±_ 2d,..., не применяются.
При таком методе большая часть экспериментов автомати-
автоматически проводится с теми дозами, которым соответствует наиболее
крутая часть кривой эффекта, так как если смертность близка к
единице, то доза, с большой вероятностью, будет уменьшена, и
точно так же если смертность близка к нулю, то доза будет увели-
увеличена. Это очень выгодно, так как приходится иметь дело как раз
с той частью кривой эффекта, которая находится вблизи точки
с ординатой р — у2 E0%-ная смертность). Чтобы метод действо-
действовал хорошо, разность d должна, по возможности, быть выбрана из
интервала от ег/2 до 2сг. Таким образом, грубая оценка для сг
должна быть известна заранее.
Для оценки неизвестных параметров можно бы было применить
метод площадей. Однако Диксон и Муд воспользовались другим,
чрезвычайно, простым методом. Согласно этому методу, сначала
надо подсчитать общее число «успехов» (т. е. число случаев, в
которых животные реагировали положительно) и общее число
«неудач». Пусть N — наименьшее из этих двух чисел и пусть соот-
соответствующее менее частое событие (успех или неудача) происхо-
происходило при экспериментах с дозами 10,1^,1^,., ., причем для указан-
указанных доз это событие наступало п0> nv щ,. . , раз. Образуем суммы
Тогда для L — логарифма 50%-ной дозы — можно указать
следующую оценку:
^^ A)
Знак + употребляется в том случае, когда успехов наблюдается
больше, чем неудач, а знак —, когда успехов наблюдается меньше,
чем неудач. В качестве оценки для сг используют выражение
0,03]. B)
Обоснование этих формул методом наибольшего правдопо-
правдоподобия можно найти в оригинальной работе. Броунли, Ходжес
и Розенблатт(см. Brownlee, Hodges and Rosenblatt, J.Amer. Statist.
Assoc.,48,262) показали, что формулы A) и B) очень полезны даже
при малом количестве опытов. Кроме того, эти авторы предло-
предложили вместо A) и B) несколько модификаций, предназначенных
для того, чтобы сделать метод еще более эффективным.
При обосновании формул A) и B) кривая эффекта предпола-
предполагалась нормальной, однако это предположение не очень суще-
§ 55. Методы «вверх и вниз* 269
ственно. Достаточно, чтобы часть кривой вблизи средней смер-
смертельной дозы приближенно представлялась некоторой нормаль-
нормальной кривой. Поведение ветвей кривой эффекта вблизи прямых
р = 0 и р = 1 не имеет большого значения, так как метод устроен
таким образом,что очень большие и очень малые дозы применяются
чрезвычайно редко, и поэтому они не оказывают почти никакого
влияния на среднее значение и дисперсию оценки М.
Недостатком метода является то обстоятельство, что после-
последующий опыт можно проводить лишь тогда, когда установлен
результат предыдущего опыта (успех или неудача). Этот недо-
недостаток можно частично уменьшить, поставив одновременно, на-
например, четыре ряда опытов.
Б. МЕТОД СТОХАСТИЧЕСКОЙ АППРОКСИМАЦИИ
Согласно результатам Роббинса и Монро1, метод «вверх и
вниз» можно еще более улучшить, если дозы увеличивать или
уменьшать не на постоянную величину d, а на некоторую пере-
переменную величину, стремящуюся к нулю при п-»оо. Предвари-
Предварительно выбирают убывающую последовательность положитель-
положительных чисел alt а2,. . . и задают начальную дозу 1г. Если на дозу 1п
очередное животное реагирует, то в качестве следующей дозы
выбирают
ln+l = ln-i*n, C)
но если животное на дозу /„ не реагирует, то полагают
ln+i = ln+\an. D)
Можно также, при желании, проводить опыты одновременно
с несколькими животными. Если hn — частота успехов в га-м опыте,
то в следующем опыте дозу выбирают равной
?-Л*) «„¦ E)
*„+! = *„
В качестве оценки для 50%-ной дозы принимают последнюю вы-
вычисленную дозу lN+l, где N — число опытов. При некоторых ограни-
ограничивающих предположениях Роббинс и Монро доказали, что при
iV-»oo оценка lN+1 сходится, по вероятности, к 50%-ной дозе, т. е.
что для достаточно больших N с вероятностью, сколь угодно
близкой к единице, имеет место неравенство
— L I < е-
1Robbins H. and М о п г о S., A stochastic approximation method,
Ann. Math. Stat., 22 A961), 400.
270 Гл. X. Обработка результатов биологических испытаний
Об асимптотическом распределении оценки lN+1 прежде всего
см. работу Чжуна: Chung К. L., On a stochastic approximation
method, Ann. of Math. Stat., 25 A954), 463.
Какой выбор коэффициентов ап является наилучшим? Во
всяком случае они должны стремиться к нулю, так как иначе,
в силу формул C) и D), сходимость последовательности 1п к L
будет невозможна. С другой стороны, если бы ап столь быстро
стремились к нулю, что ряд^а,, был бы сходящимся, то с некото-
некоторого номера п успех или неудача в очередном опыте почти не
оказывали бы влияния на величину последующих доз 1п+1,1п+2,. . . ,
так как сумма всех поправочных членов + ^ ап i ~2~an+i i ¦ • •
по абсолютной величине была бы меньше е. Поэтому ап выбирают
таким образом, чтобы ряд J?a,n расходился.
Чжун рекомендует выбрать
i) F)
В противоположность этому, Роббинс и Монро выбирают
Коэффициенты F) столь медленно стремятся к нулю, что это
обеспечивает состоятельность оценки при довольно общих пред-
предположениях о виде кривой эффекта. При выборе последователь-
последовательности G) нужно соблюдать осторожность. Если а — угловсй
коэффициент касательной к кривой эффекта вблизи от 50%-ной
дозы L, то постоянную с в формуле G) нужно выбрать большей1,
чем 1/Bа).
Если вблизи 50%-ной дозы кривая эффекта приближенно
представима некоторой прямой линией, то, согласно результатам
Чжуна, при определенных дополнительных предположениях,
квадратичное отклонение оценки lN+1 будет асимптотически равно
?Г/,
У2ас—1 V2V '
(8)
где crh — квадратичное отклонение для частоты h, соответствую-
соответствующей дозе, близкой к L. Если п' — количество животных в каж-
каждом опыте, то
<* = %-?>• (9>
1 Если кривая эффекта задается дифференцируемой функцией
и если а = swpp'(x), то с в формуле G) должно удовлетворять неравенству
с> 1/Bа). — Прим. перев.
§ 55. Методы «вверх и вниз* 271
Выражение (8) достигает минимума при
Но если угловой коэффициент а известен лишь приближенно,
то с разумно выбрать несколько большим, чем 1/а. На квадратич-
квадратичное отклонение это окажет лишь малое влияние, так как функ-
функция (8) вблизи своего минимума возрастает очень медленно. Во
всех случаях, как уже говорилось, с нужно выбирать большим,
чем 1/Bа). Если с стремится к 1/Bа), то выражение (8) стано-
становится очень большим.
ГЛАВА XI
ПРОВЕРКА ГИПОТЕЗ
С ПОМОЩЬЮ СТАТИСТИЧЕСКИХ КРИТЕРИЕВ
Статистические критерии являются важнейшей частью всех
приложений. В этой главе мы сначала рассмотрим некоторые
наиболее важные критерии и при этом вспомним те из них, ко-
которые были уже изложены ранее. Затем мы познакомимся с основ-
основными идеями общей теории Неймана и Пирсона.
Если даже читатель изучил и не все предшествующие главы
этой книги, то, как я надеюсь, с помощью примеров он сможет
уяснить те основные принципы, от которых зависит выбор кри-
критерия, соответствующего данным конкретным условиям. Необ-
Необходимость знакомства с основными понятиями гл. I и II предпо-
предполагается сама собой разумеющейся. При доказательствах в неко-
некоторых случаях будут, конечно, делаться ссылки на более поздние
главы (а именно на гл. VIII и IX), а также на дополнительную
литературу.
§ 56. Применения критерия хг
Общий критерий х2, выведенный нами в § 51, включает в себя
различные специальные случаи, часть которых была уже рас-
рассмотрена ранее. Напомним, что критерий %2 применяется тогда,
когда по наблюденным частотам нужно проверить некоторую
гипотезу относительно вероятностей.
А. ПРОВЕРКА ОДНОЙ ПРЕДПОЛАГАЕМОЙ ВЕРОЯТНОСТИ
Пусть некоторое событие в те независимых опытах наступило
Xi раз и не наступило ж2 раз (хх + хг = я), и пусть предполага-
предполагается, что вероятность этого события равняется некоторому за-
заданному числу р. Для проверки этой гипотезы полагают q = 1 —р
и образуют
)8 ,
пр щ
{пр и щ — математические ожидания хх и х2). Если хг оказыва-
оказывается больше некоторой границы, выбранной по табл. 6, то пред-
§ 56. Применения критерия хг 273
полагаемую вероятность р отвергают. Так как два наблюдаемых
количества, хх и хг, связаны одним линейным уравнением хх -\- хг =
= п, то число степеней свободы равно
/ = 2—1 = 1.
Но
(«! — пр) + (х2 — nq) = О,
следовательно,
(«! — прJ = (х2 — nqJ.
Последнее равенство позволяет записать A) проще:
2 _ (*1—
Это в точности то же самое выражение, которым мы пользо-
пользовались раньше.
Б. НЕСКОЛЬКО ПРЕДПОЛАГАЕМЫХ ВЕРОЯТНОСТЕЙ
Пусть имеется выборка объема п из некоторой бесконечной
совокупности, разбитой на т классов, и пусть хх,. . . , хт— наб-
наблюденные количества выборочных элементов, принадлежащих
этим классам, причем х1 -\- . . . +хт = га. Нужно проверить ги-
гипотезу, согласно которой вероятности, соответствующие т клас-
классам, равны заданным числам plt . . . , pm (например, в случае двух
песцепленных генов, г/1в, 3/16, 3/1в, 9/1в). С этой целью вычис-
вычисляют
X2 = 2(Xi~nPiJ (m—l степеней свободы), C)
и если х2 превосходит границу, найденную по табл. 6, то гипо-
гипотезу отвергают.
Строго говоря, распределение %2 имеет место лишь асимпто-
асимптотически при га—>оо. Точное распределение случайной величины
X1 является дискретным, так как при заданных га и р,- величина
X2 может принимать лишь конечное число значений.
Для того чтобы проверить, насколько близки точное распре-
распределение и распределение ^2, я для случая
га = 10; Pl = 0,5; рг = 0,3; р3 = 0,2
вычислил точное распределение случайной величины
Y = 1 — е 2 D)
18 Б. Л. ван дер Варден - 1062
274 Гл. XI. Проверка гипотез с помощью статистических критериев
и сравнил его с асимптотическим распределением. В этом слу
чае
2 (а?1 — б}2 . (#2 — 3)z , (а?з — 2J
E)
Имеется 66 возможных троек чисел (хи х2, х3), удовлетворяю-
удовлетворяющих условию xt + х2 + ж3 = 10. Тройке (хи хг, х3) соответствует
вероятность
10!
xj ж»! x3l
@,5)*. @,3)*« @,2)*.
(в)
Каждая тройка, согласно D) и E), приюдит к определенному
значению Т. Эти значения и их вероятности F) определяют не-
некоторую ступенчатую функ-
функцию, являющуюся функцией
распределения случайной ве-
величины Т (рис. 28).
Асимптотическая функ-
функция распределения %z с двумя
степенями свободы равна
= ie-' dt — 1 — е-и.
,? 4 6в X
Р и с. 28. Точное и асимптотическое
распределение Y с двумя степенями
свободы (та = 10, Рх = 0,5, рг = 0,3,
р3 = 0,2).
Поэтому асимптотическая
функция распределения слу-
случайной величины Y задается
формулой
F(v) =
0, v
v, 0«
1. ws
v< 1, G)
и имеет своим графиком прямую, изображенную на рис. 28. От-
Отклонение точной функции распределения Т от асимптотической
мало, особенно в интервале от 0,95 до 1, который наиболее важен
для приложений. Вероятность события хг> 9^21 при асимпто-
асимптотическом распределении должна быть равна 0,01, а в действи-
действительности она равна 0,0096. Вероятность события %2 > 5,99,
которая должна быть равной 0,05, в действительности равна
0,0502. В большинстве случаев истинный уровень значимости
критерия х2 оказывается даже меньше уровня значимости,
вычисленного по асимптотической формуле, поэтому примене-
§ 56. Применения критерия %г 275
ние асимптотического распределения, как правило, лишь уве-
увеличивает надежность критерия1.
В литературе часто можно найти замечание, что асимпто-
асимптотическое распределение %2 можно применять лишь тогда, когда
наблюденные xt или их математические ожидания пр1 не слиш-
слишком малы. Только что приведенный пример показывает, что ма-
математические ожидания npt могут быть равны лишь двум или
трем единицам и тем не менее асимптотическое распределение
оказывается еще применимым. Это же подтверждается и дру-
другими примерами. Если имеется много классов, то математические
ожидания могут быть даже равны единице. Я однажды проводил
вычисления в примере с десятью классами
пр1 = 1, пр2 = 1, . . . , пр10 — 1 (п = 10)
и нашел все еще удовлетворительное согласие с асимптотическим
распределением %2. Следовательно, чрезмерная осторожность
является излишней.
В. СРАВНЕНИЕ ДВУХ ВЕРОЯТНОСТЕЙ
Пусть некоторое событие в щ опытах наступило хх раз и не
наступило ух раз. И пусть в новых щ опытах это событие насту-
наступило ж2 раз и не наступило уг раз. Нужно проверить, изменилась
ли вероятность события или нет? Все опыты предполагаются
независимыми.
Гипотеза, которую мы хотим проверить, гласит: вероятность
р в обоих случаях одинакова. Значения р мы не знаем. Для того
чтобы вычислить %г, мы должны р заменить некоторой оценкой,
а именно, асимптотически эффективной оценкой, так как иначе
значение %г может получиться слишксм большим (§ 51).
Для отыскания такой оценки мы воспользуемся методом наи-
наибольшего правдоподобия. Если вероятность осуществления со-
события в каждом отдельном опыте равна р, то вероятность того,
что в % опытах это событие наступит жг раз, а в щ опытах нас-
наступит х2 раз, равна
При вычислении максимума этого выражения на числовой
множитель можно не обращать внимания. Максимум достигается в
точке
- _ Хг±^Х , (8)
е + Щ V '
1 Надежность критериях* увеличивается, так как реже будет ошибочно
отвергаться испытываемая гипотеза, когда она имеет место в действитель-
действительности и вместе с тем мы с большим основанием будем заключать о суще-
существенности (неслучайности) расхождений между наблюдаемым в опыте
распределением и гипотетически допускаемым. — Прим. ред.
276 Гл. XI. Проверка гипотез с помощью статистических критериев
С помощью этого значения р и q = 1 — р образуем теперь
„г _ fa—">Р)г л.
у — ~~ r
np
т
щд n2p
или, что то же самое,
«lP 3 эт2~Р2
Но
следовательно, у* можно записать короче:
Ранее мы видели, что при малых щ и щ множитель N = % +
+ иг в числителе A1) целесообразно заменить на JV"—I. При
этом истинный уровень значимости будет лишь незначительно
превышать заранее заданную величину (см. § 9). Таким образом,
для сравнения двух вероятностей вместо %г следует пользо-
пользоваться статистикой
г) (l/i + Ун)
Число степеней свободы равно
/ = 4 — 2 — 1 = 1,
так как наблюдались четыре количества xlt ух, х2, у2, связанные
двумя линейными уравнениями, и оценивался один неизвестный
параметр р по формуле (8).
Г. ПРОВЕРКА1НЕЗАВИСИМОСТИ ДВУХ ПРИЗНАКОВ
Пусть N объектов расклассифицированы по двум парам при-
признаков, вследствие чего возникают четыре класса (так называе-
называемая таблица сопряженности признаков 2x2), и пусть хп, хк,
хп> *22 ~ количества объектов в этих четырех классах. Нужно
проверить, будут ли обе пары признаков независимыми? Пусть
р1 и р% — вероятности тогг, 4io в отдельном опыте объект будет
обладать соответственно первым или вторым признаками, при-
принадлежащими первой паре, я пусть qt и q2 — вероятности при-
признаков второй пары (Pi-r р^— I, qt 4- q2 ~ I). Если признаки
независимы, то четырем классам соответствуют вероятности pxqt,
ТхЧг, P&v РЯг-
§ 56. Применения критерия х2 277
Значения pt и qk неизвестны. Если для их оценки снова вос-
воспользоваться методом наибольшего правдеподооия, то найдем
Pt = —i~ (»" = 1.2), ~qk = ?^±^ (k = lj2). A3)
С помощью р, и qk можно образовать
2 _ (^11 — A'Pigi)8 , (gia~A>i?aK ,
(xn — ^p2gi)
Пели в числителях и знаменателях i^p,- заменить величинами
и,- = «л + Хц, то получим то же самое выражение, что и (9), ко-
которое можно преобразовать в A0) или A1), или
2 (XuXi2—Xl2X2iJ N
(*11 + *и) (iljl + 12») (*11 + ^l)
Так как наблюдались четыре количества, связанные одним ли-
линейным соотношением
и два неизвестных параметра р1 и <уг оценивались по результатам
наблюдений с помощью формул A3), то число степеней свободы
равно
/ = 4—1—2 = 1.
Если множитель N в числителе A5) мал, то его снова целе-
целесообразно заменить величиной N— - 1.
Среди английских статистиков в свое время велась большая
дискуссия по вопросу о выборе числа степеней свободы. Если
проверка независимости признаков производится на основе таб-
таблицы 2 х 2, то чему должно равняться это число, 1 или 3? Пер-
Первоначально Карл Пирсон вывел критерий %% только для случая,
ко1да вероятности pt и qk заданы. При этем предположении асим-
асимптотически для больших N имеет место распределение f с 4 —
— 1=3 степенями свободы. Если истинные pt и qk заменить их
приближенными значениями A3), то %г может лишь уменьшиться.
Поэтому истинное значение %2 не меньше приближенного зна-
значения "A5). Следовательно, если приближеннее значение A5)
превосходит границу и, то и истинное значение %2 заведомо пре-
превосходит и. Пусть граница и выбрана по таблице с тремя сте-
степенями свободы, тогда вероятность того, что истинное значение
X2 будет удовлетворять неравенству %2> и, равна /3 ( = 0,01
или 0,05). Таким образом, для того чтобы иметь уверенность,
что уровень значимости критерия %z не превосходит /3, нужно
278 Гл. XI. Проверка гипотез с помощью статистических критериев
пользоваться таблицами распределения %2 с тремя степенями
свободы — такой вывод делал Пирсон.
В противоположность этому, Фишер оправдывал свою точку
зрения так: величина у?, вычисленная по формуле A5) (назовем
ее %2), в большинстве случаев оказывается меньше истинного
значения %2. Следовательно, вероятность события х2> и СУ"
щественно меньше вероятности события %г> и. Таким образом,
уровень значимости критерия у2 с тремя степенями свободы су-
существенно меньше /3, т. е. он излишне мал. Но если принять
/ = 1, то уровень значимости будет в точности равен /S.
Так как Фишер не смог точно доказать справедливость сво-
своего взгляда и приводил лишь наводящие соображения, то Юль
и Браунли с помощью обширных случайных экспериментов по-
попытались установить, каково число степеней свободы у функции
распределения %г: f = 3 или / = 1? Опыты показали, что прав
был Фишер, однако противники взгляда Фишера стали крити-
критиковать это экспериментальное доказательство. В конце концов
спор был полностью решен Нейманом и Е. Пирсоном1, которые с
помощью математического доказательства установили, что ин-
интуиция Фишера была правильной.
Д. СРАВНЕНИЕ НЕСКОЛЬКИХ ВЕРОЯТНОСТЕЙ
Пусть некоторое событие в первых % опытах наступило хг
раз и не наступило yt раз, во второй группе из щ опытов оно
наступило хг раз и не наступило у% раз, и т. д. Нужно проверить,
одинаковы вероятности этого события во всех группах опытов
или нет?
Еще более общим является следующий случай. Пусть % объек-
объектов разбиты по какому-то признаку на h классов, и пусть xlt уи
. . , гг — количества объектов в этих классах. Следующим щ
объектам аналогичным образом соответствуют количества xit
yz, ..., ZjH т. д. до хк, ук,..., гк. Таким образом, в результате
наблюдений получается hh чисел, которые можно расположить
в прямоугольную таблицу
Справа указаны суммы по строкам, снизу — по столбцам и,
наконец, в правом нижнем углу указана общая сумма N.
lNeyman J. and Pearson. E. S., On the use and interpretation
of test criteria, Biometrika, 20 A, 176 и 263.
§ 56. Применения критерия хг 279
Нужно проверить, могут ли вероятности р, q,.. , , г, соот-
соответствующие h классам, быть одинаковыми для всех строк? Наи-
Наилучшими оценками для p,q,,..,r являются общие частоты клас-
классов
р N ' * #'•••• г N •
С помощью этих оценок вычисляют оценки для математи-
математических ожиданий
щр, пд,..., щг
и вычитают их из наблюденных количеств х(, уо . . ., zt. Полу-
Полученные разности снова располагают в прямоугольную таблицу
В этой таблице суммы по строкам и суммы по столбцам обя-
обязаны быть равными нулю. Этим свойством пользуются для конт-
контроля вычислений.
Если квадраты всех hh разностей разделить на соответствую-
соответствующие оценки для математических ожиданий и результаты сло-
сложить, то получим
у ^ | V (VI—у)* |
щр ntq
Число степеней свободы равно
/=Л1—ft —(А—1) = (Л—l)(ft—1), A8)
так как наблюдались Ыс количеств, связанных h линейными
уравнениями
Щ + Vi + • • ¦ + zi = Ч
кроме того, h параметров р, q,. . . , г оценивались по результа-
результатам наблюдений с помощью формул A6), и эти параметры удов-
удовлетворяют одному линейному уравнению
p + q + ... +r=l.
Следовательно, все вероятности определяются h — 1 неза-
независимыми параметрами, поэтому в A8) из hh—h вычитается
не A, a h — 1.
Е. РЕДКИЕ СОБЫТИЯ
Как уже ранее упоминалось, событие называют редким, если
его вероятность р настолько мала, что во всех формулах q = 1 — р
можно заменить единицей. Тогда биномиальное распределение
280 Гл. XI. Проверка гипотез с помощью статистических критериев
перейдет в распределение Пуассона: вероятность того, что в п
опытах данное событие осуществится х раз, будет равна1
х
х
Правая часть A9) зависит лишь от произведения А = пр,
равного Математическому ожиданию ж, и не зависит от р и п в
отдельности. Соответственно упрощается и формула для %2. Сла-
Слагаемым с щ в знаменателе можно пренебречь, так как оно мало по
сравнению со слагаемым, у которого в знаменателе пр. В этом
случае формула A) будет иметь вид
2 _ (»ир)» (**)¦
Х -
пр Я
Гипотезу о том, что А принимает некоторое заданное значе-
значение, следует отвергнуть тогда, когда B0) превосходит границу
для х2 с одной степенью свободы. Точно так же если имеются два
независимых редких события, из которых первое наступило х
раз, а второе — у раз, то гипотезу о том, что математические
ожидания х и у равны соответственно А и ju, следует отвергнуть
тогда, когда выражение
^И + Й^ B1)
превосходит некоторую границу, найденную по таблице функции
распределения %г с двумя степенями свободы.
Ж. СРАВНЕНИЕ ДВУХ РЕДКИХ СОБЫТИЙ
Эта задача была уже подробно изложена ранее (§ 10 Б). Те-
Теперь мы хотим лишь кратко показать, что критерий, найденный
в § 10, Можно непосредственно получить из общего критерия %2.
Пусть за время tx первое редкое событие наблюдалось xt раз
и за время t2 другое редкое событие наблюдалось ж2 раз, и пусть
математические ожидания хг и хг равны соответственно
Aj = \}xtx, A2 = t>2t2.
Нужно проверить гипотезу, согласно которой Сх = €2- Вели
положим t)j = fl2 = $> то
Аг = ^, А2 = dt2. B2)
Для того чтобы можно было вычислить ^2, нужно оценить С.
Функция правдоподобия, в силу распределения Пуассона, имеет
вид
1 Это равенство является приближенным. Точный смысл формулы
A9) указан в § 10. — Прим. перев.
§ 56. Применения критерия хг 281
Если отбросить множители, не зависящие от г), и вычислить
логарифм, то получим
Цхг, х2 ] 0) = (хг + х2)Ы й-((,-гУй. B3)
Выражение B3) достигает максимума в точке
e = f^fa- B4)
Следовательно,
Так как наблюдались два количества хх и ж2 и один параметр б
оценивался по формуле B4), то число степеней свободы равно
/ = 2—1 = 1. B6)
3, ПРОВЕРКА НОРМАЛЬНОСТИ РАСПРЕДЕЛЕНИЯ
Пусть результатами наблюдений являются п независимых
случайных величин ги . . ., zn. Нужно проверить гипотезу, сог-
согласно которой все zt распределены одинаково нормально.
С этой целью можно вычислить эмпирическую функцию рас-
распределения и применить критерий Колмогорова (§ 16). Ранее
было уже отмечено, что «хвосты» распределения, т. е очень боль-
большие и очень малые значения z, учитываются этим критерием от-
относительно слабо. А как раз поведение «хвостов» может, при
определенных условиях, оказаться решающим для суждения об
отклонении от нормальности!
Применение критерия Колмогорова затрудняется еще и тем,
что математическое ожидание и дисперсия нормального распре-
распределения, как правило, бывают неизвестны.
Хорошим методом, несколько сильнее учитывающим поведение «хво-
«хвостов», является метод моментов. Мы здесь дадим лишь краткий обзор этого
метода. Обоснование можно найти в книге Крамера (Крамер Г., Математи-
Математические методы статистики, ИЛ, М., 1948, гл. 27.1 — 28.4 и 29.3).
Центральные выборочные моменты определяются формулами
mk = -2(z-z)k (k =1,2,...).
По определению, первый момент т^ равен нулю. С помощью mit % и я,
вычисляются асимметрия и эксцесс, которые равны соответственно
VI —
При больших п все т^, а также <?i и д2 распределены асимптотически
нормально. Эти случайные величины можно использовать в качестве оце-
282 Гл. XI. Проверка гипотез с помощью статистических критериев
нок для истинных моментов /Aft, а также для асимметрии и эксцесса истин-
истинного распределения
В случае нормального распределения yt и^ равны нулю.
При конечных п целесообразно заменить дг и gs величинами
в1 й . 4^tt.+ 1)fc+.].
Если истинное распределение является нормальным, то математиче-
математические ожидания Ог и О2 в точности равны нулю. Их дисперсии задаются
формулами
, _ 6п(п — 1) , 24и(п — IJ
(м - 2)(я + 1)(« + 3) (п — 3)(я - 2)(и + 3)(м + 5)
Следовательно, с помощью статистик GJo-i или 02/<га можно построить
критерий для проверки нормальности истинного распределения. Обе
статистики асимптотически нормальны с нулевым средним значением и
единичной дисперсией.
Метод %2 можно применять не только при нормальном, но
также и при других распределениях. Согласно этому методу,
интервал изменения 2 разбивают на г частей, границами кото-
которых служат точки ^,.. ., 1г_г, и подсчитывают количество Zj
в каждом частичном интервале. Пусть эти количества равны
«1, • • ¦ , «г-
Для того чтобы можно было вычислить у?, нужно зкать ма-
математические ожидания про а для этого нужно в свою очередь
найти оценки шив для среднего значения и квадратичного от-
отклонения истинного нормального распределения. Зная эти оценки,
можно положить
(^|(г) B7)
Если мы хотим применить теорию из § 51, то в качестве то
и s мы должны выбрдть асимптотически эффективные оценки,
которые зависят лишь от хг,... , хп. За первое приближение
можно принять известные оценки
я*,=42>. B8)
«=S=l2B-«.)'. B9)
Однако B8) и B9) не удовлетворяют указанному выше условию,
§ 56. Применения критерия %% 283
согласно которому оценки должны зависеть лишь от xt. С по-
помощью т0 и s0 образуем
Для определения оценок т и в теперь можно воспользоваться
методом наименьших квадратов и потребовать, чтобы выражение
XoZ npit
было минимальным. Функции р{ в C1) целесообразно заменить
линейными функциями
Pi = Рю + (т — т0) qt + (a — s0) r{, C2)
где q, и г,- — значения частных производных от B7) в точке (т0, s0):
qi=l%(m0,s0); r,- = ^K, s0). C3)
Как известно, метод наименьших квадратов в этом случае
приводит к двум линейным относительно т—т0 и s — s0 урав-
уравнениям, решая которые можно определить т и $.
Этот способ вычислений достаточно сложен. Спрашивается,
нет ли более простого приближения?
Крамер рекомендует вычислять шив2 по группированным
значениям z и затем для s2 использовать поправку Шеппарда.
При этом все г из интервала (*,-_,, t() нужно считать сконцентри-
сконцентрированными в средней точке этого интервала (ti_l + tt)f2, С по-
помощью таких модифицированных значений г и нужно вычислять
среднее т и квадратичное отклонение s. Для того чтобы можно
было применить поправку Шеппарда, нужно, чтобы все интер-
интервалы имели одинаковую длину Л. Оценки т и з, найденные по
этому методу, зависят лишь от х(. Вопрос о том, являются ли
они асимптотически эффективными, насколько мне известно,
еще не исследовался.
Если имеется очень много классов и середины соседних классов
расположены очень близко друг от друга, то отличие разных
оценок для среднего значения и квадратичного отклонения на-
настолько мало, что не возникает вопроса о том, какие оценки прини-
принимать за основу.
При грубых расчетах, когда количество интервалов мало,
в качестве оценок рекомендуется использовать т0 и s0 и приме-
применить критерий с г— 1 степенями свободы. Строго говоря, распре-
распределение хг с г — 1 степенями свободы имело бы место лишь в том
случае, если бы выражение
284 Гл. XI. Проверка гипотез с помощью статистических критериев
было вычислено с помощью истинных значений pt = р, (/х, сг).
Эти истинные значения нам не известны, однако нам известны
наилучшие приближения т0 и s0 для jtx и о-. Величина х'2(то> so)r
построенная с помощью этих приближений, будет, как правило,
несколько меньше истинной величины %г> но не настолько, чтобы
число степеней свободы можно было считать равным г — 3. Если
при вычислении границы для %2 воспользоваться г — 1 степенями
свободы, то это, во всяком случае, увеличит надежность кри-
критерия1.
Вопрос о наилучшем выборе количества классов г и граничных
точек между классами tly. ,., iT_1 исследовалсял в частности, Ман-
Манном и Вальдсм2, которые хотя и не решили этот вопрос оконча-
окончательно, однако дали ряд полезных указаний. Согласно этим
исследованиям, при « = 200 или 400, или 1000, классы нужно
выбрать таким образом, чтобы в каждый класс попадало примерно
12 (соответственно 20 или 30) наблюдений. Если воспользоваться
этой рекомендацией, то размеры классов окажутся значительно
меньше обычно употребляемых; соответственно возрастет и вычи-
вычислительная работа.
И. ПРОВЕРКА НОРМАЛЬНОСТИ КРИВОЙ ЭФФЕКТА
Пусть имеется г групп подопытных животных, и пусть п%,
щ,.. ,, пг — количества животных в этих группах. Если живот-
животные подвергались действию некоторого вещества, причем лога-
логарифмы доз в соответствующих группах были равны 1и 12,. . ., 1Г,
и если в результате опытов стали известны количества живот-
животных хг, хъ,..,, хТ, реагировавших на эти дозы, то с помощью ме-
методов из § 54 можно попытаться подобрать такую нормальную
кривую эффекта, которая в том или ином смысле соответствует
1 Рекомендации автора относительно критерия х*(тв *о) Для проверки
нормальности при небольшом числе классовых промежутков слишком
неопределенны. Как показали Чернов и Леманн (Chernoff H. and
Lehmann E. L., The use of maximum Ukelihood estimates in z2 tests fur
goodness of fit,Ann.Math.Stat., 25, №3A954), 579—586), случайная величина
X2(mt» as) асимптотически распределена как сумма yi + |/г+ .. .. +
+ У?-8 + ^2 Уг—2-h^yr-i, где yi — независимые и нормально распределенные
величины, <S(«/i) = 0, D(yi) = 1; числаА! и Хш лежатмежду нулем иединицей
и зависят от параметров проверяемого закона и принятого способа подраз-
подразделения. Если для данного уровня значимости а мы зададим критическую
границу, исходя из закона распределения с г — 3 степенями свободы
{как это часто делается на практике), то такой выбор может привести к
серьезному преуменьшению вероятности оишбок первого рода. Но и выбор
г— 1 степеней свободы, который рекомендуется автором, может привести
к заметной потере мощности критерия. — Прим. ред.
2 Очень хороший сводный отчет об этих исследованиях дал Кочрен (см.
Cochraa W. G., The x* test of goodness of fit, Ann. Math. Stat., 23, 315).
§ 56. Применения критерия %г 285
наблюденным частотам h, = ж,/и,-. Для того чтобы проверить
согласие между этой кривой эффекта и результатами наблюдений,
нужно вычислить соответствующие вероятности Pi,---,pr, a
также их дополнения qt = 1 —pt и образовать
2
где у,- = nt — xt — количество животных из группы с номером
г, которые не реагировали на дозу Z,. Так как снова
(ж,- — щ>,) + {у, — п,д,) = О,
то %2 можно записать короче:
2&*Р*. . C6)
При этом постоянные L и s, определяющие положение и на-
наклон кривой эффекта, нужно вычислять с помощью асимптоти-
асимптотически эффективных методов, например по методам пробит-анализа
или по методу минимума %г (§ 51). Графическая оценка прямой
эффекта в этом случае не является достаточной, так как величина
X1 может получиться чрезмерно большой.
Число степеней свободы равно
f = 2r — r — 2 = г — 2,
так как наблюдается 2г количеств хи . . ., хТ и ух,. . ., уГ, связан-
связанных г линейными уравнениями
Щ + Уг = Щ,
и два параметра L и s оцениваются по результатам наблюдений.
Если для одного и того же действующего вещества имеется
несколько эмпирических кривых эффекта, то для каждой такой
кривой можно вычислить xl и результаты сложить. Сумма %\
(с /i степенями свободы) и х\ (с /г степенями свободы), в силу § 23,
подчиняется распределению х2 с /i + h степенями свободы.
Чем больше количество слагаемых, из которых складывается
общая величина х2> тем надежнее можно полагаться на асимптоти-
асимптотическое распределение х2', это следует из центральной предельной
теоремы (§ 24 Г).
Если найденные х2> а также их сумма не превышают границ,
за которыми нормальность заведомо отвергается, то тем не менее
к гипотезе нормальности нужно относиться скептически. Только
тогда, когда на обширном экспериментальном материале уда-
удастся установить, что величины %- все время колеблются около
своих средних значений / (/ — число степеней свободы) и, следова-
следовательно, сумма всех х2 близка к сумме всех /, только тогда к гипо-
гипотезе нормальности кривой эффекта можно относиться с несколько
большим доверием.
286 Гл. XI. Проверка гипотез с помощью статистических критериев
К. НАСКОЛЬКО ВЕЛИКИ ДОЛЖНЫ БЫТЬ МАТЕМАТИЧЕСКИЕ
ОЖИДАНИЯ пР-. ЧТОБЫ БЫЛО ПРИМЕНИМО РАСПРЕДЕЛЕНИЕ X1?
В литературе можно часто встретить замечания такого рода:
применение распределения х2 Допустимо лишь тогда, когда мате-
математические ожидания пр по величине не менее 5 или 10. По-
видимому, эти замечания диктуются лишь взглядами их авторов.
Кочрен, а вместе с ним все те, кто исследовал этот вопрос точнее,
пришли к более оптимистическому заключению1.
Символом X2 Кочрен обозначает ту дискретную случайную
величину, которая применяется в критерии %2:
•*-' пр
Непрерывную случайную величину, подчиняющуюся распределе-
распределению х2 с тем же числом степеней свободы /, что и X2, он обозна-
обозначает х2 и> точно так же как мы это делали в § 56 Б, сравнивает
распределения X2 и х2- При этом особое внимание уделяется срав-
сравнению указанных распределений в той области изменения и, где
вероятность Р события Х2> и заключена между 0,01 и 0,05.
Согласие оказывается достаточно хорошим, особенно если число
степеней свободы не слишком мало. Если оно больше 6, то одно и»
математических ожиданий пр может снижаться даже до 1/г и при
этом согласие будет вполне удовлетворительным. При 60 степенях
свободы или более и при малых математических ожиданиях
точное значение вероятности Р оказывается существенно меньше
приближенного значения, вычисленного с помощью распределения
X1, так как дисперсия х2 больше дисперсии X2. Таким образом,
применение распределения хг лишь увеличивает надежность кри-
критерия. Если вместо распределения х2 воспользоваться нормаль-
нормальным распределением с точной дисперсией, вычисленной Холдей-
ном2, то приближение станет еще более лучшим.
Как показьтает пример в § 56 Б, при двух степенях свободы
математическое ожидание может снижаться до 2 единиц.
Только при одной степени свободы нужно соблюдать осторож-
осторожность и при этом либо требовать, чтобы математические ожида-
ожидания не были меньше 4, либо, что еще лучше, умножить Хг на
(N— 1)/-/V, где N — общее число наблюдений (см. § 9).
л. примеры критерия *'
Пример 37. Тройные гибриды примулы (т. е. гибриды по трем наслед-
наследственным признакам) скрещивались с представителями чистой линии,
1 С о с hr a n W. G., The хг test, Ann. Math. Stat., 23, 328.
2 Hal dan e J. B. S., Biometrika, 29, 133 и 31, 346.
§ 66. Применения критерия хг
287
у которых все три признака были рецессивными1. В качестве наследствен-
наследственных признаков рассматривались:
Ch— oh: Китайская примула — звездная примула
G — g: Зеленый пестик — красный пестик
W — w: Белый венчик — желтый венчик
В 12 семействах1 потомства были получены следующие распределения
восьми возможных типов:
Тип
(JhGW
ChGw
ChgW
Chgw
ohGW
chGw
chgW
chgw
Сумма
Z2 =
107
12
20
14
13
5
12
7
10
93
12,6
110
17
16
10
13
5
6
3
8
78
19,2
119
9
10
6
9
16
14
18
10
92
10,1
121
10
7
8
8
2
о
2
4
44
12,4
Номер семейства
122
24
23
19
9
30
16
11
23
155
18,1
127
9
3
5
6
3
5
5
5
41
4,9
129
3
6
5
3
8
7
4
4
40
4,8
131
16
24
23
12
21
13
14
22
145
9,2
132
20
18
18
18
19
14
23
23
153
3,2
133
9
2
10
1
4
4
4
7
41
14,2
135
11
13
7
9
9
13
6
8
76
5,0
178
10
12
12
12
12
10
13
16
97
2,0
Сумма
150
154
137
113
134
117
ПО
140
1055
115,7
Если три наследственных признака не являются сцепленными и
если факторы летальности и неуживчивости не играют никакой роли,
то для каждого типа следует ожидать частоту, близкую к 1/в. Общая сумма
квадратов отклонений от математических ожиданий для всех семейств равна
Хг — 115,7. В каждом семействе имеется семь степеней свободы, всего,
следовательно, 84. 5%-ная граница в случае 84 степеней свободы равна
106,4, следовательно, х2 превосходит эту границу. Кроме того, в трех семей-
семействах соответствующие величины х2 превосходят 5%-ную границу для
семи степеней свободы, равную 14,1. Семейство № 110 превосходит даже
1%-ную границу 18,5. Таким образом, наблюденные частоты значительно
отклоняются от закона Менделя.
Для того чтобы исследовать, какие из наследственных признаков ведут
себя нерегулярно и имеются ли сцепленные признаки, мы, следуя Фишеру,
разложим о.бщую величину %г на составные части, соответствующие отдель-
отдельным наследственным признакам и парам признаков. Тогда будет видно,
какие составные части особенно велики.
1 Gregory, de Winton and B a t e s о n, Genetics of Primula
Sinensis, J. of Genetics, 13 A923), 236. Статистический анализ излагается
по книге Fisher R. A., Statist. Methods for Research Workers, 11 ed.,
Ex. 16, p. 101. (Терминология и основные понятия объяснены в примере
32, § 46, где шла речь о двойных гибридах. — Прим. перев.)
2 Семейства 54, 55, 58 и 59 из этой таблицы исключены, так как числа,
указанные Фишером, не совпадают с теми данными, которые указаны в
журнале — J. of Genetics, 13.
288 Гл. XI. Проверка гипотез с помощью статистических критериев
Если Хц . . ., xt — наблюденные количества в одном семействе QTx = и),
то для этого семейства
С помощью ортогонального преобразования вместо х1<. . ., xs введем
новые переменные уг,. . ., j/8 таким образом, чтобы величина уг У 8 равнялась
разности между числом потомков вида Ch и числом .потомков вида ch:
yt У 8 = Sj = xl + х2 J- х3 + х* — ш8 — хв — ж, — хв. (Ch)
Точно так же определяются ij2 , tfe> соответствующие наследственным
признакам G — g и VV — w:
Следующая переменная у4 соответствует парному признаку (GW,
gw) — (gw, Gw):
«* "i/q _ «I л» л» _i ™i * «» jv. ^ti .,i, iy {С^\к/\
Если наследственные признаки G —g и W — w не связаны, то математи-
математическое ожидание z4 должно быть равно нулю.
Аналогично определяются zB и ze:
У ]/g~— g =a%- х 4-яч г Хс-\- х ,т -f-x (ChW)
j, 1/я"— v — v Л. q. ^.„.э. ж у J_3; J_-r fOhfr't
уб I u — ~S — *^i t* ~2 3 Л4 5 в i^ 7 i^ 8* \v^xi.v^/
Для того чтобы ортогональное преобразование было полным, нужно
ввести еще две переменные:
У7 У8 = S, = 3j — Х2 — Х3 + Xt — Хв 4- ^6 + ^! — *8i
Величина г, не имеет сколько-нибудь простого биологического истолко-
истолкования; zg = п — количество растений в семействе. _
Практически, для того чтобы избежать деления на ]'8, все вычисления
проводят, конечно, с величинами г, а не с у. Величина %г выражается через г/
следующим образом:
Эта формула представляет собой разложение %г на составные части, о
которых говорилось выше. Каждая случайная величина г^ распределена
приближенно нормально с нулевым средним и дисперсией п. Следова-
Следовательно, каждое слагаемое z*Jn распределено приближенно, как х2 с ОД"°Й
степенью свободы. С помощью вычислений получаем для этих слагаемых
следующие значения.
56. Применения критерия х%
289
Семейство
107
ПО
119
121
122
127
129
131
132
133
135
178
Сумма
(Ch)
6,72
14,82
6,26
11,00
0,16
0,61
0,90
0,17
U, 16
0,22
0,21
0,26
41,49
DK
0,27
1,28
0,39
0
6,20
0,02
1,60
0,06
0,79
0,22
3,37
0,84
15,04
Сумма
0,27
0
0,70
0,09
7,90
1,98
0,90
8,45
0,06
0,61
0,05
0,50
12,56
19,22
10,08
12,36
18,05
4,86
4,80
9,20
3,18
14,21
5,05
2,05
115,62
1 %-пая граница для отдельного значения равна 6,6 (одна степень
свободы), для суммы значении в отдельном столбце — 26,2 A2 степеней
свободы). Соответствующие 5%-ные границы раины 3,8 и 21,0. Числа,
превосходящие 5%-ную границу, выделены в таблице жирным шрифтом.
Три наименьших жирных числа — 6,26 в столбце (Ch), 6,20 в столбце (G)
и 4,12 в столбце (W) — еще ни о чем не говорят, так как даже в том случае,
когда всё в порядке, среди 84 чисел в среднем 4 будут превосходить 5%-
ную границу. Все остальные случаи превышения 5%-пой границы сосредо-
сосредоточены в столбцах (Ch), (Ch\\) и (;,). В этих столбцах 1 %-ная граница
превышается шесть раз, а сумма чисел в столбце (Ch) превосходит даже
0,1%-ную границу 32,9. Следовательно, признак Ch —• ch заведомо ведет
себя ненормальным образом, и большая часть отклонений падает именно
на этот-признак. Вполне возможно, что признак Ch — eh связан с фактором
летальности или неуживчивости.
Сцепления между какими-либо двумя из трех признаков ¦— Ch—oh,
О — g и W — •^'по-видимому, не имеется, так как суммы в столбцах (GW),
(Ch W) и (Ch G) не особенно велики.
Пример 38 (из книги Г. Крамера, Математические методы статистики,
ИЛ, М., 1948, стр. 477). Юханнсен измерял толщину 12 000 бобов. Резуль-
Результаты измерений были разбиты на 16 классов. К первому классу были отне-
отнесены бобы с толщиной менее 7 мм, ко второму — бобы с толщиной от 7 до
7,25 мм и т. д. (верхняя граница каждого последующего класса всегда на
0,25 мм больше верхней границы предыдущего класса). Количества бобов
•г1!, хг, . . ., х1в в этих классах указаны во втором столбце таблицы, следую-
лцей ниже. Для того чтобы проверить, подчиняется ли толщина бобов
нормальному распределению, сначала по группированным данным были
вычислены muse шеппардовской поправкой, причем оба концевых интер-
интерчала (до 7,00 и свыше 10,50) были разбиты на частичные интервалы длины
ч,25. В результате вычислений получились оценки
т -.-, 8,512, а --= 0,6163.
По этим т н s была построена функция нормального распределения,
с помощью которой были найдены оценки яр,-для математических ожиданий
'столбец 3). Разности xt — npi указаны в столбце А. Оказалось, что велп-
19 Б. Л. ван д«р Варден - 1062
290 Гл. XI. Проверка гипотез с помощью статистических критериев
Классы
До 7,00
7,00— 7,25
7,25— 7,50
7,50— 7,75
7,75— 8,00
8,00— 8,25
8,25— 8,50
8,50— 8,75
8,75— 9,00
9,00— 9,25
9,25— 9,50
9,50— 9,75
9,75—10,00
10,00—10,25
10,25—10,50
Свыше 10,50
— —
1
1
1
1
1
1
X
32
103
239
624
187
650
883
930
638
130
737
427
221
ПО
57
32
пр
68
132
310
617
1 046
1 506
1 842
1 920
1 698
1 277
817
444
205
81
27
10
х — яр
— 36
— 29
— 71
+ 7
+ 141
+ 144
+ 41
+ 10
— 60
— 147
— 80
— 17
+ 16
+ 29
+ 30
+ 22
Сумма
12 000 | 12 000
чина %г равна 196,5, в то время как 0,1%-ная граница для 13 степеней
свободы равна 34,5. Следовательно, с большой уверенностью можно
утверждать, что распределение толщины бобов не является нор-
нормальным. Разности х — пр показывают, что это распределение обладает
значительной асимметрией: очень толстых бобов больше, а очень тонких
бобов меньше, чем полагалось бы при нормальном распределении.
§ 57. Критерий, основанный на дисперсионном
отношении (критерий F)
Пусть s\ и s| — две независимые сценки для дисперсий о\ и
а-\ соответственно. Как проверить гипотезу сг1 = о-,?
Если sf и s§ получены с псмощью известной формулы по % и
щ наблюдениям соответственно и если отдельные наблюдения
независимы и распределены нормально, то случайная величина
2 _ (щ — 1) 81
Л1 — ' 2
A)
подчиняется распределению %2 с ft = п1 — 1 степенями свободы,
а случайная величина
, _ (И2 1)82
B)
§ ,57. Критерий, основанный на дисперсионном отношении 291
подчиняется распределению #2 с /2 = щ — 1 степенями свободы.
Если o-j = о-2, то
2 , 2
Для проверки гипотезы <гг = <га вычисляют отношение выбороч-
выборочных дисперсий (дисперсионное отношение)
Если отношение F превосходит границу Fp, то гипотеза a-t =
= о-2 отвергается. Это правило1 называют критерием F. Граница
Fp выбирается так, чтобы в том случае, когда гипотеза а-г = аг
верна, вероятность события F> F^ в точности равнялась задан-
заданному уровню значимости р.
Для того чтобы вычислить Fp, мы должны найти функцию
распределения случайной величины F при условии, что гипотеза
o-j = о-2 верна. Эта функция будет известна, если мы найдем функ-
функцию распределения II(ic) отношения
Плотность вероятности для %\ задается формулой
-/.-1 -1* 1
g1(t)=a1t2 ' е - , где щ = г- .
Для плотности ^| формула будет аналогичной. Следовательно,
вероятность того, что отношение E) окажется меньше w, равна
Щю) = a, aj j f- h"X e~ » ' # /' f a " d^ rf«, F)
где интегрирование производится по области
t> 0, и > 0, — < to,
Двойной интеграл F) можно представить в виде двух последо-
последовательных интегралов:
UW
H{w) = at ajdui t* '^ «2 /" e~ *'"a " Л. G)
о о
1 P. А. Фишер строил критерий с помощью статистики г = (In F")/2.
19*
292 Га. XI. Проверка гипотез с помощью статистических критериев
Если рвести новую переменную интегрирования у = t/u и поло-
положить А + /2 = /, то получим
du\ и* у2' е -Щ 2" dy (8)
J
о о
или, меняя порядок интегрирования,
Ш оо
lh-l , Г if-l -
du. (9)
о о
Внутренний интеграл представляет собой гамма-функцию:
ш
о
Таким образом.
II (и-)—С ^2 (^ 4- П 2 (/у, A1)
,;
О
где
Интеграл A1) является неполной бета-функцией, и при целочи-
целочисленных Ли/ его, очевидно, можно вычислить элементарно.
Таким образом, функция распределения II(w) известна.
Подстановкой
w = fyw' A3)
/а
получим из H(w) функцию распределения G(w') для отношения F.
Искомая граница w' -- Ffi определяется как решение уравнения
G(w') =-; 1 --р. A4)
Эта граница, помимо fi, зависит также от Д и /2. Границы Fp для
/3 = 0,05 и 0,01 указаны в табл. 8А и 8Б.
Пример 39, В СШЛ в 30 лабораториях производился анализ газов.
В каждой лаборатории делалось несколько анализов (в большинстве слу-
§ 57. Критерий, основанный на дисперсионном отношении
293
чаев 10), отдельные результаты которых были опубликованы М. Шефер-
дом1.
Если по этим результатам попытаться вычислить дисперсию внутри
лабораторий2, то возникнет затруднение, связанное с тем, что внутри от-
отдельных лабораторий выборочные дисперсии s2 сильно отличаются друг
от друга: имеются более хорошие и менее хорошие лаборатории. Если
желательно вычислить среднюю выборочную дисперсию s2 для хороших и
средних лабораторий с тем, чтобы потом ее можно было принять за норму
качества анализа для Есех лабораторий, ю совсем плохие лаборатории
нужно из этого осреднения исключить. Однако те s2, которые лишь случайно
оказались несколько больше нсех остальных, исключать не следует, так как
в противном случае среднее будет иметь отрицательную систематическую
ошибку.
Для исключения больших s2 мокко применить критерий F. В качестве
примера рассмотрим определение количества метана так называемым
«методом сжигания А», который применялся большинством лабораторий.
В некоторых лабораториях анализ проводился двумя различными
исследователями. При этом оказалось, что различие результатов обоих
исследователей, как правило, несколько больше различия результатов,
полученных отдельным исследователем. Поэтому для оценки дисперсии
нужно выделить результаты каждого исследователя из общей массы
наблюдений и с их помощью вычислить выборочные дисперсии по фор-
формуле
s2 = -—- , где Q = У1 (ж —ТJ,
п — 1 J—1
где а; — процентное содержание MeTatia.
Полученные результаты указаны ниже в порядке возрастания выбо-
выборочной дисперсии s2:
1
2
3
4
5
6
7
8
9
0
1!
12
3
14
15
Q
0,0
0,6
0,8
0,4
1,3
е,б
0,6
1,5
1,8
2,2
0,9
3,5
3,8
Л - 1 S»
1 -= 0,00
9 = 0,07
9 = 0,0')
4 = 0,10
9 -= 0,14
4 = 0,15
4-0,15
9= 0,17
9 =- 0,20
10 = - 0,22
4 - 0,23
9 = 0,39
9 =: 0,42
- 0,60
= 0,65
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
я
3,6
6,7
7,3
4,0
8,3
9.1
18,1
5,9
13,8
10,2
21,1
28,5
29,9
16,9
43,4
15,2
п — 1 s'
5 = 0,72
<> = 0,74
9 = 0,81
4 ¦-; 1,00
8 -- 1,04
8= 1,14
15 = 1,20
4 ¦-¦¦ 1,47
9--= 1,53
6 = 1,70
9 = 2,34
9 ¦-¦ 3,17
9 -= 3,32
4 = 4,23
9 = 4,82
2 = 7,60
Как видно, результаты исследователя 31 имеют значительно большую
дисперсию, чем результаты всех остальных исследователей. Для того
1 Shepherd M., J. Hes. Nat. Bureau of Standards, 38 A947), 19.
a Т. е. дисперсию результатов анализа в отдельной лаборатории —
Прим. перев.
294 Гл. XI. Проверка гипотез с помощью статистических критериев
чтобы проверить, не является ли это случайностью, мы разделим выбороч-
выборочную дисперсию si = 7,60 на среднюю дисперсию всех остальных наблюде-
наблюдений, вычисленную по формуле
«I = — •
2с-1)
В результате получим ss -— 239,9/215 = 1,116 и
s\ 7,60
F31 = — == —- = 6,81.
8% ].П6
Точно таким же образом можно вычислить Flt F2, . , ,, Fao исследова-
исследователю j при сравнении со всеми остальными ставится в соответствие отно-
отношение Fj (j — !,..., 31). Наибольшим из этих Fj является Fn.
Если отвлечься от остальных результатов, то окажется, что Fn
превосходит 5%-ную границу 3,04. Однако, хотя вероятность того, что
определенное отдельное Fj превзойдет Fp, и равна 0,05, тем не менее для
F31 мы не имеем права делать такое заключение: значение F31 является
наибольшим из всех Fj, и событие, при котором хотя бы одно Fj превзойдет
Fg, отнюдь не маловероятно. Если, в действительности, все о-г равны друг
другу, то вероятность того, что все Fj будут меньше F $, равна1 @,95K1 =
= 0,20, следовательно, вероятность того, что хотя бы одно Fj будет больше
Fa, равна
1 — 0,20 ¦-- 0,80.
То, что F31 превосходит 1%-ную границу, также еще почти ни о чем
не говорит, так как вероятность случайного осуществления этого события
1 — @,99)" = 0,27
все еще велика. Если бы Fsl превзошло 0,1%-ную границу, то наличие гру-
грубых ошибок у 31-го исследователя было бы доказано, но так как эта граница
равна 7,15, то F31 ее не превышает.
Более благоприятное положение складывается при проверке Fso,
так как F30 имеет большее число степеней свободы, чем FS1. Находим
4,82
.F = -1— = 4,53.
1,066
Эта величина значительно превосходит 0,1%-ную границу, равную
3,26. Вероятность того, что это событие произошло случайно, раина2 лишь
1 — @.999K1 = 0,03. Следовательно, гипотезу о том, что результаты иссле-
исследователя 30 имеют такую же дисперсию <тг, как и результаты остальных
исследователей, следует отвергнуть.
Исключив исследователя 30, можно снова сравнить точность исследо-
исследователя 31 со всеми остальными (с I по 29). В данном случае находим
7,60
^---=7,60.
1 Это утверждение было бы справедливо, если бы все Fj были незави-
независимы. На самом деле они являются зависимыми, так как связаны соотноше-
соотношением ]?\пРAA +vtFj)l= 1, где >»<=(«/—1J/21 Су —О- -Прим.
перев.
2 Здесь автор снова допускает ошибку, так как вероятность события
-^'зо > 3,26 не равна 0,03 (см. предыдущую сноску). — Прим. перев.
§ 57. Критерий, основанный на дисперсионном отношении 295
Эта величина превосходит 0,1%-ную границу, равную 7,15, поэтому
исследователя 31 также надо исключить.
После исключения исследователей 30 и 31 можно продолжать проверку
с помощью этого же метода. В результате последовательно будут исключе-
исключены исследователи 28, 27, 29 и 26. Вероятность ошибочного исключения во
всех случаях менее 0,03, следовательно, вероятность того, что хотя бы
одно исключение из шести было ошибочным, не превосходит 0,18.
На первый взгляд заключение с вероятностью ошибки 0,18 может пока-
показаться неосторожным. Однако более точная проверка показывает, что
большинство заключений остаются справедливыми также и при 0,05%-ной
границе. В результате оказывается, что выборочное среднее значение содер-
содержания метана у исследователей 29 и 30 слишком велико, а у исследователя
31 слишком мало. Следовательно, исключение номеров 29, 30 и 31 не было
ошибочным. При исключении трех остальных исследователей вероятность
ошибки каждый раз оказывается меньше 0,014, а общая вероятность ошиб-
ошибки ¦— меньше 0,042. Если ошибку, вероятность которой равна 0,05, считать
допустимой, то исключение шести исследователей: 31, 30, 29, 28, 27 и 26,
следует признать оправданным1.
Средняя выборочная дисперсия на одного исследователя, вычисленная
по оставшимся данным (с 1 по 25), равна
= 0,63.
V(m-I) 175
Величина s2 представляет собой несмещенную оценку дисперсии сг2
одного измерения и не отражает колебания выборочных дисперсий для
отдельных исследователей, поэтому s2 можно назвать дисперсией воспро-
воспроизводимости2. Величина в равна 0,8 (% метана).
Следует отметить, что даже в том случае, когда исключены показания
исследователей, допускающих наибольшие отклонения, результаты измере-
измерений, произведенных в различных лабораториях, могут отличаться друг от
друга на величину, почти вдвое превосходящую3 *. Для квадратичного
1 Для проверки гипотезы об однородности ряда дисперсий в данном
случае следовало бы применить специальные критерии (см. Хальд А.,
Математическая статистика с техническими приложениями, ИЛ, 1956, гл.
ХГ, § 6). — Прим. ред.
2 Оценка в2 представляет собой среднее взвешенное выборочных ди-
дисперсий для отдельных исследователей: s2 = [^ (я,-—1) в?]/^ (и,-—- 1).
Если гипотеза о равенстве дисперсий верна, то ?(щ — 1) «а/<г2подчиняется
распределению х2 с / = ^ (nt — 0 степенями свободы. Это позволяет
построить доверительный интервал для <г. .Например, в данном случае
95%-ный интервал задается неравенством 0,72 <; ег < 0,90. — Прим.
персе.
3 Пусть хг и х3 — результаты измерений в двух различных лаборато-
лабораториях. По предположению, хг и а» — независимые нормальные величины с
дисперсией <г2, поэтому разность х1 — хг распределена нормально с нулевым
средним и дисперсией 2о-2. Таким образом, Р (|а% — ж21 > 1,5я) =
= 2 [1 —ФA,5в/<гУ2)]. Согласно предыдущей сноске, с вероятностью
0,975 имеет место неравенстро s/a-< 1,1, поэтому P(|xj — хг|>1,5в)>
>2 [1 — ФA,5 • 1,1/1,41)] =-- 2 [1 — ФA,17)] =-= 0,24. Полученный результат
позволяет с вероятностью 0,975 утверждать, что не менее чем в четверти
всех случаев результаты измерений в двух различных лабораториях
будут отличаться друг от друга более чем на 1,5*. — Прим. перев.
296 Гл. XI. Проверка гипотез с помощью статистических критериев
отклонения результатов различных лабораторий получилась оценка S =
= 1,4.
Сравнение с более точными методами измерений показывает, что систе-
систематическая ошибка «метода сжигания» ужасающе велика и достигает 2.6.
Следовательно, метод сжигания А не очень надежен.
§ 58. Дисперсионный анализ
А. ДИСПЕРСИЯ ВНУТРИ КЛАССОВ И МЕЖДУ КЛАССАМИ
Пусть хи . . ., хп, у1г ...,уп и ги . . ., zn — независимые, нор-
нормально распределенные случайные величины, причем все ж,-
наблюдаются в одинаковых экспериментальных условиях, и поэто-
поэтому можно предположить, что ж,-имеют одинаковые средние значе-
значения и одинаковые дисперсии. Точно такие же предположения мы
будем делать относительно У] и zk. Далее, предположим, что все
х,, У] и зА имеют одинаковую "дисперсию <т2 (эту гипотезу можно
проверить с помощью критерия F). Возникает вопрос, одинаковы
ли средние значения у ж,-, yj и zk?
Для ответа на этот вопрос можно использовать метод диспер-
дисперсионного анализа. Идея этого метода основана на том, что если
ж, у и z имеют одинаковое среднее значение, то общая сумма
квадратов
где М — общее выборочное среднее значение всех хи у, и zk,
распадается на две составные части, из которых первая связана
с оценкой дисперсии внутри трех классов, а вторая — с оценкой
дисперсии между классами. Эти две составные части сравниваются
затем друг с другом посредством критерия F.
Математическим вспомогательным средством, позволяющим
получить такое разложение, является ортогональное преобразо-
преобразование. Введем вместо xv . . ., хп новые переменные щ,. .., ип,
из которых первое пропорционально арифметическому среднему ж:
«1 = ?-1-t^I±^-x^, B)
1 п
а остальные переменные и2,. . ., ип определяются таким образом,
чтобы преобразование было ортогональным. Тогда, в силу орто-
ортогональности,
V х°- = JV м2 = и\ -\- . . . +и?,, C)
следовательно,
«1 + . . . + и\ = 2! х'1 — и? = 2 х% — «г2 = V (ж — жJ. D)
§ 68. Дисперсионный анализ 297
Таким образом, данная часть суммы квадратов соответствует
дисперсии в классе всех х.
Точно так же, заменив у±,. . ., уп и zlt . . ., zn новыми перемен-
переменными »!,. . ., vn и ii\,. .., wn, получим
v\ + . . . -г «Й = 2' (У -УJ- E)
к| + ... + «'2=2Л(г—гJ- F)
Складывая D), E) и F), найдем
Qt = № + ¦¦¦+ О + D + ¦ ¦ ¦ + «й) + («ti + ... + «^) =
Сумму квадратов Q2 можно использовать для оценки дисперсии
внутри классов. Как всегда, такой оценкой является
Если три класса состоят из различных количеств наблюдений
^, п2, п3, то вместо (8) получится формула
S =
2 («I —
или, короче,
где N = щ + w2 -{- та3.
Для того чтобы найти «дисперсию между классами», щ, ю1( M"t
подвергают новому ортогональному преобразованию, при котором
они переходят в и', г/, и/, где и' пропорционально общему выбо-
выборочному среднему М всех х[ш У] и zk:
В силу результатов § 13, такое преобразование возможно, так
как сумма квадратов коэффициентов в правой части A0) равна
единице:
N "т" N ~г tf
Так как преобразование ортогонально, то
«f + vf ¦'- гс\ -— w'2 — и'2 + w'2 • (П)
Поэтому, положив v'2 4- м/2 = Qu получим
Qx = «f -г t| + и\ — и'г = и\ + и? + w.2 — ЛТЛ/2. A2)
298 Гл. XI. Проверка гипотез с помощью статистических критериев
Если Qx сложить с ранее полученной суммой
то найдем, что
ft + ft =
= 2{х-М)* + 2(у-М)*+2(г-М)*. A3)
Правую часть A3) мы уже ранние обозначили буквой Q.
Таким образом, разложение
Q = ft + ft, A4)
о котором говорилось выше, найдено.
Вторая составная часть ft определяет сценку (9) для диспер-
дисперсии внутри классов. Первая составная часть
Q1 = v'2 + w'2 A5)
зависит лишь от разностей между выборочными средними значе-
значениями х, у и z внутри классов. Л именно
ft = м| + vf + гь\ — NM* =
= щ ~х- + пг~у2 + n3~z2 — NM2, A6)
где М — взвешенное среднее, составленное из х, у и z с весами
пу, щ и п3:
Поэтому вместо A6) можно записать
ft = щ (х — Mf + Щ (У- М^ + п3 G- ЖJ. A8)
В теории наименьших квадратов к такому же выражению
A8) приходят тогда, когда х, у и z представляют собой неравно-
неравноточные оценки для неизвестного параметра о. Так как х, у и г
вычисляются по пх, 7?2 и щ наблюдениям соответственно, то их
нужно снабдить весами щ, п2 и щ и вычислить взвешенное среднее
A7). Согласно теории наименьших квадратов, «выборочная диспер-
дисперсия одного наблюдения на единицу веса» равна
, _ П1&— му
— му _ Q1
з — l — г —I"
Знаменатель равен числу классов, уменьшенному на единицу;
следовательно, в случае г классов, в знаменателе должно стоять
г— 1.
§ 58. Дисперсионный анализ 299
Если предположить, что все три класса х,ук z имеют не только
равные дисперсии, но также и равные средние значения, то, сог-
согласно теории наименьших квадратов,
$ = ~1 A9)
будет являться несмещенной оценкой для общей дисперсии а-2.
Независимо от теории наименьших квадратов мы снова пока-
покажем, что оценка A9) является несмещенной, т. е. покажем,
что среднее значение Qi равно (г—1)о-2 (в нашем случае это
среднее значение равно 2сг-),
Пусть О — общее среднее значение для х, у и г. Введением
новых переменных х — is, у— € и z — С можно добиться, чтобы
общее среднее значение стало равным нулю. В этом случае средние
значения xf, yj и z\ будут равны а-2, а средние значения всех осталь-
остальных произведений xt xJt xt yj и т. д. будут равны нулю. Так как при
ортогональном преобразовании указанные свойства средних зна-
значений для квадратов и произведений сохраняются, то средние
значения uf, tf, ttf и и'2, v'2, и/2 также равны о-2. Следовательно,
среднее значение A5) равно 2<г2, что и требовалось доказать.
С помощью G) и (8) точно так же можно показать, что среднее
значение s| равно о-2. Этот результат, разумеется, остается справед-
справедливым и в том случае, когда математические ожидания х, у и 2
различны, так как замена переменных
х\ = ж,- — а, у) = у] — Ъ, z'k =r.zk — c
не оказывает влияния на s?.
Наиболее удобными формулами для вычисления Qt и Q2 явля-
являются A8) и G). Для контроля можно воспользоваться A3) или
формулой
& + «. = <? = 2(*-*)г + 2(У-аJ +
+ 2(z ~af — N{M — af, B0)
где о — произвольное число.
Если Qi и Qi уже вычислены, то для получения оценок s| и «1
нужно лишь Qx и Q2 разделить на соответствующее «число степе-
степеней свободы»:
j? * B1)
N—г
Б. КРИТЕРИЙ F
Если величина sf меньше или лишь немногим больше величины
«|, то нет оснований считать средние значения в классах различ-
различными. Однако если sf значительно превосходит s|, то возникает
300 Гл. XI. Проверка гипотез с помощью статистических критериев
подозрение, что эти истинные средние значения различны. Чтсбы
исследовать, насколько это подозрение является обоснованным,
составим отношение
р _ si _ (N-r)Qi
и применим критерий F.
Для того чтобы получить точную формулу для функции рас-
распределения отношения F, нужно, конечно, воспельзонаться пред-
предположением, согласно которому все xt, yj и zk независимы и рас-
распределены одинаково нормально. В этом случае и', v', w' и
щ, v2, w2, . . ., ип, vn, wn будут также независимыми нормально
распределенными случайными величинами с одинаковой дис-
дисперсией о, так как плотность вероятности
О 6
~
при ортогональном преобразовании переменных переходит в
плотность вероятности того же вида:
- к-, [W-d i n)' + и'2 + ш'г + и\ +1>; + • • • + mi ]
Се 2tr B3)
Следовательно,
подчиняется распределению х2 с
fx = 2 (в общем случае f1 = г— 1) B5)
степенями свободы, и точно так же
подчиняется распределению ¦?- с
/2 = У — 3 (в общем случае /2 = N — г)
степенями свободы. Оба отношения B4) и B6) независимы, так
как плотность вероятности B3) представляет собой произведе-
произведение двух семножителей, из которых первый зависит лишь от
и', v', го', а второй — лишь от и2, v2,. .., wn. Таким образом,
Если все X;, i/j и zk независимы и распределены одинаково нормально
со средним значением \> и дисперсией сг2, то отношение B2) подчи-
подчиняется распределению F. Следовательно, для проверки гипотезы
о равенстве средних можно применить критерий F. Число степеней
§ 58. Дисперсионный анализ
301
свободы в числителе и знаменателе равно г — 1 и N — г соответствен-
соответственно.
В приложениях целесообразно составлять таблицу следую-
следующего вида:
Дисперсия
ми
Дисперсия
сов
Дисперсия
дениям
между
внутри
по всем
класса-
клас-
н а бл го-
Сумма
квадра-
квадратов
Q
Число степе-
степеней свободы
Л
и
N
- г —1
- Л* — г
— 1
Оценка
дисперсии
г. , 2
Ql '¦ /1 = *1
<Э2 : /2 ~ 4
Q-(N-l) =
В. РАСПРЕДЕЛЕНИЯ. ОТЛИЧНЫЕ ОТ НОРМАЛЬНОГО
Можно ли применять критерий F в том случае, когда распре-
распределение х, у и z отлично от нормального? При исследовании этого
вопроса мы предположим, что в каждом классе количество вели-
величин п не слишком мало, например, тег» 4. При этом предположе-
предположении Д = г—1 будет существенно меньше, чем /2 = (п — \) г.
Отсюда следует, что относительная ошибка оценки sf подвержена
значительно большим случайным колебаниям, чем относительная
ошибка оценки s|. Поэтому функция распределения отношения F
зависит главным образом от распределения числителя. Как видно
из формул A8) и A9), числитель отношения F зависит лишь от
х, у и z, которые представляют собой выборочные средние значе-
значения, вычисленные по выборкам объема я>4. Согласно централь-
центральной предельной теореме, такие средние значения имеют прибли-
приближенно нормальное распределение даже в том случае, когда ра-
распределения отдельных элементов этих выборок сильно откло-
отклоняются от нормального распределения. Бели теперь по х, у, z
построить две линейные комбинации v' и w' и сложить их квадра-
квадраты, то последствия отклонения распределений х, у, z от нормаль-
нормального еще более сгладятся. Образование отношения B2) лишь
незначительно ухудшит это приближение.
При малых «обстановка будет несколько менее благоприят-
благоприятной. Однако даже в случае п = 2 образование сумм и разно-
разностей
с последующим сложением их квадратов (и\ -\ v\ -f- «f и и\ +
-f- v\ + м-1) в значительной степени выравнивает отклонения от
302 Гл. XI. Проверка гипотез с помощью статистических критериев
нормальности. Конкретные числовые примеры демонстрируют
это свойство значительно лучше, чем рассуждения на основе
общей теории.
Подводя итог, мы вправе сказать, что критерий F можно
применять даже в том случае, когда не известно, подчиняются
результаты надлюдений нормальному распределению или нет;
при этом ошибка будет небольшой1.
Пример 40 (по книге Fisher В. A., Stat. Meth., 11 ed. Ex. 38). Для экспе-
экспериментального определения точности подсчета бактерий в почве некоторый
участок земли был разбит на четыре равные части, с каждой из которых
был произведен посев бактерий на семи пластинках. В результате на 28
пластинках были получены следующие количества колоний:
Пластин-
Пластинка
1
2
з
4
5
6
7
Сумма
Среднее
I
72
69
63
59
59
53
51
426
60,9
Проба
11
74
72
70
69
66
58
52
461
65,9
почвы
III
78
74
70
58
58
56
56
450
64,3
IV
69
67
66
64
62
58
54
440
62,9
Для того чтобы проверить, являются ли отклонения средних в четырех
выборках чисто случайными или нет, был применен метод дисперсионного
анализа, который дал следующие результаты:
Между классами
Внутри классов
Все наблюдения
к
Qi
Q
Сумма
задратов
- 95
= 1446
= 1541
Число степе-
степеней свободы
Л-
/.=
N -
-- 3
= 24
- 1 =27
Оценка
дисперсии
а? - 32
s\ = 60
ss - 57
Выборочная дисперсия внутри классов здесь больше выборочной
дисперсии между классами, и уже поэтому различие выборочных средних
1 Для того, чтобы это утверждение было верно, нужно, чтобы выбо-
выборочные средние х, у, z были распределены приближенно нормально, а для
этого в свою очередь достаточно, чтобы у одинаково распределенных ре-
результатов наблюдений существовала дисперсия. — Прим. перев
§ 68. Дисперсионный анализ 303
незначимо: вычислять F = 32/60 совсем не нужно. Все 28 пластинок можно
рассматривать как выборку из однородной совокупности. Общее выбороч-
выборочное среднее равно 63,5, а наилучшая оценка для дисперсии
1541
- 571
27
Если бы отдельные результаты наблюдений подчинялись распределе-
распределению Пуассона с математическим ожиданием 63,5, то истинная дисперсия
равнялась бы сг2 = 63,5 (§ 10 А). Для того чтобы проверить, насколько это
предположение согласуется с результатами наблюдений, вычислим отно-
отношение
27s2 1541
X2 = = = 24,3.
о-2 63,5
Если бы результаты наблюдений были распределены нормально, то
случайная величина х* подчинялась бы распределению /2 с 27 степенями
свободы. Распределение Пуассона с большим математическим ожиданием
63,5 совсем незначительно отклоняется от соответствующего нормального
распределения. Следовательно, в силу формул (9) и A0) из § 23, нужно
ожидать, что хг будет иметь среднее значение 27 и квадратичное отклонение
/54 ^ 7,4:
X2 = 27 ± 7,4.
Таким образом, отклонение найденного значения 24,3 от математиче-
математического ожидания 27 следует признать случайным, и поэтому правдоподоб-
правдоподобное предположение о том, что результаты наблюдений подчиняются рас-
распределению Пуассона, экспериментом не опровергается. Наилучшая
оценка для среднего значения распределения Пуассона в данном случае
принимает значение С = 63,5. Дисперсия распределения Пуассона равна
среднему значению.
Г. СВЯЗЬ С КРИТЕРИЕМ I
Если имеется лишь дса ряда наблюдений, то
ef = Q, = т>1 (х — МУ + щ (у — МУ =
( I j~~ lira I С/ -~•— . I ¦
nl T nl -I I nl + ЭТ2 '
= ^'1-*— (x — 'yJ
и
J-y " Wi + И. — ^
следовательно,
v __s\ __ (х^-_][)г_
1,1 2
— + — Зг
B7)
304 Гл. XI. Проверка гипотез с помощью статистических критериев
Правая часть B7) представляет собой квадрат статистики t,
используемой в критерии Стьюдента. Это означает, что при
двух классах критерий F совпадает с двусторонним критерием t.
Следовательно, если щ и п2 не слишком малы (например, оба
в= 4), то двусторонний критерий t можно применять даже в том
случае, когда х и у имеют распределение, отличное от нормаль-
нормального.
Д. КОРРЕЛЯЦИЯ ВНУТРИ КЛАССОВ
Если каждый класс содержит лишь два наблюдения, то воз-
возникает ряд, состоящий из г пар (х, х'). Для вычисления Qx и Q2
образуем из каждой пары среднее и разность
- = z+j/ и d = x_x,
Если М — общее среднее всех х, то, согласно A8),
Qi = 2 2 (* - Mf B8)
и. согласно G),
Q, = i2&. B9)
Для контроля служит формула
Q1 + Qi = Q= 2[(х - Mf -J- (х1 - MY). C0)
Далее, согласно B1),
$ = F=i> 4 = ~;
и, наконец, как всегда,
Выборочный коэффициент корреляции внутри классов опре-
определяется формулой
г* _- 2 2 (Я — М) W — М)
2! [(«— му- + (*' — ло2]
Выражение C3) устроено аналогично выборочному коэффи-
коэффициенту корреляции1 (§ 66 Б). После небольших вычислений на-
находим, что
'•-№¦ <34»
1 Выборочный коэффициент корреляции целесообразно вычислять
по формуле C3) в том случае, когда неизвестные дисперсии величин х и х
равны друг другу. — Прим. перев.
§ 58. Дисперсионный анализ
306
Если выборочная дисперсия внутри классов равна нулю,
то коэффициент г* равен +1. Если же выборочная дисперсия
между классами равна нулю, то г* = —1, однако практически
этого никогда не наблюдается. Если обе выборочные дисперсии
приближенно равны друг другу, то величина г* близка к нулю.
Пример 41. Хедорн, Бертаии и Галлера1 разрезали на две симметрич-
симметричные части имагинальные диски, из которых развиваются мужские поло-
половые железы мухи-дрозофилы (Drosophila melanogastcr), и полученные поло-
половинки пересаживали представителю того же вида. В результате из обеих
частей возникали семенники приблизительно нормальных размеров. Од-
Однако от случая к случаю их размеры колебались в очень широких пре-
пределах. Нужно проверить, не вызывались ли эти колебания тем, что вели-
величины обеих пересаженных половин зачастую были неравными? Если это
так, то нужно ожидать, что наряду с особенно большими семенниками
столь же часто должны встречаться и крайне малые, т. е. дисперсия
внутри пар должна быть больше дисперсии между парами. Однако вычи-
вычисления показывают, что, напротив, дисперсия внутри пар меньше, чем
между парами. В таблице на стр. 308 указаны длины половых клеток х,
х', причем наибольшая из обеих длин всегда предшествует наименьшей.
Находим
M = —
36'
Qx-^2
; --= 313,5,
— МI = 63 222,
^-2--
- 23 006.
Выборочный коэффициент корреляции внутри пар равен
г. = 0^1 = «216
Qx + Q2 86 228
Выборочные дисперсии указаны в таблице:
Между парами
Внутри пар
Сумма
квадратов
<2i = 63 222
| Q2 = 23 006
| C = 86 228
Число степе-
степеней свободы
/i = 35
/s = 36
-= 71
Оценка
дисперсии
ef = 1806
si = 639
e" = 1214
Наконец,
1806
= =- 2,83.
639
1 II adorn E., Bertani G. und Gallera J., Regulationsfahig-
keit und Foldorganisation dcr mannlichen Genital—Imaginalschcibe von Dro-
Drosophila, Wilhelm Itoux' Archiv fur Entwicklungsmechanik der Organismen,
2114 A949), 31.
20 Б. Л. ван дер Варден - 1062
306 Гл. XT. Проверка гипотез с помощью статистических критериев
X
394
382
375
369
369
369
363
357
357
356
353
350
347
344
335
331
328
325
322
319
319
319
316
313
313
309
309
306
297
297
294
287
281
281
275
250
X'
328
344
328
319
319
293
350
325
300
331
347
297
325
313
319
319
269
300
300
313
306
303
303
272
234
300
294
300
287
253
281
253
272
269
263
234
X
361
363
351,5
344
344
331
356,5
341
328,5
343,5
350
323,5
336
328,5
327
325
298,5
312,5
311
316
312,5
311
309,5
292,5
273,5
304,5
301,5
303
292
275
287,5
270
276,5
275
269
242
(х — MY
2 256
2 450
1 444
930
930
306
1 849
756
225
900
1 332
100
506
225
182
132
225
1
6
6
6
16
441
1 600
81
144
ПО
462
1 482
676
1 892
1 369
1 482
1 980
5 112
el
66
38
47
50
50
76
13
32
57
25
6
53
22
31
16
.2
59
25
22
6
13
16
13
41
79
9
15
6
10
44
13
34
9
12-
12
16
(!'
4 356
1 444
2 209
2 500
2 500
5 776
169
1 024
3 249
625
36
2 809
484
961
256
144
3 481
625
484
36
169
256
169
1 681
6 241
81
225
36
100
1 936
169
1 156
81
144
144
256
U 811
10 763
11 287
31 611
1048
46 012
§ 59. Общие принципы. Наиболее мощные критерии 307
Следовательно, различие между классами значительно больше, чем
внутри классов. 1%-ная граница для F равна 2^21. Таким образом, нет
оснований утверждать, что колебания длин вызываются различием разме-
размеров обеих пересаженных половин.
Е. ДАЛЬНЕЙШИЕ ПРИЛОЖЕНИЯ
Метод дисперсионного анализа применим и к более сложным
случаям. Например, может оказаться, что пг наблюденных
величин xik разбиваются на классы не только по строкам, но и по
столбцам, и при этом требуется узнать, сколь существенно разли-
различие не только между строками, но также и между столбцами. Од-
Однако для того, чтобы в подобных случаях можно было применить
критерий F, нужно сделать дополнительные предположения о рас-
распределении xik. Так, например, в нашем случае нужно пред-
предположить, что случайные величины xik представимы в виде сумм
xik = ai + К + zik>
где zik — независимые, нормально распределенные случайные
величины с нулевым средним значением и одинаковыми диспер-
дисперсиями.
Дальнейшее изложение намеченных здесь основных идей
можно найти в соответствующей литературе, например, Fisher
R. A., The Design of Experiments (Oliver and Boyd, 1935) или
Kempthorne 0., The Design and Analysis of Experiments (John
Wiley and Sons, 1952).
§ 59. Общие принципы. Наиболее мощные критерии
А. ОСНОВНЫЕ ПОНЯТИЯ
С общей точки зрения вопросы проверки статистических
гипотез были рассмотрены Нейманом и Е. Пирсоном1. В этом пара-
параграфе мы постараемся изложить основные идеи их исследо-
исследования.
Возможные результаты эксперимента можно изобразить в
виде точек X некоторого пространства Е. При этом безразлично,
заполняют ли возможные точки все пространство или они могут
попадать лишь в отдельные точки, принадлежащие Е (например,
в целочисленные точки). Эксперимент используется для проверки
некоторой гипотезы Н.
Пусть рВ = р(В\Н) — вероятность, соответствующая произ-
произвольней измеримой области В из пространства Е, вычисленная в
предположении, что гипотеза Ы верна. Эту вероятность можно
1 В первую очередь см. N е у m a n J. and Pearson E. S., Phil.
Trans. Roy. Soc. London, A 231 A932), 332.
20»
308 Гл. XI. Проверка гипотез с помощью статистических критериев
получить суммированием вероятностей, соответствующих отдель-
отдельным точкам из В или интегрированием плотности вероятности
по области В.
Основой всех критериев является принцип, согласно которо-
которому гипотезу //отвергают тогда, когда наблюденная точка принад-
принадлежит некоторой определенной критической области V.
Область V выбирается таким образом, чтобы вероятность
P(V\H) была мала. Иными словами, должно выполняться нера-
неравенство
где р — заданная допустимая вероятность ошибки (например,
€,05 или 0,01).
Спрашивается, чем же нужно руководствоваться при выборе
области V? Ведь по заданной вероятности C область V определя-
определяется неоднозначно! Для ответа на этот вопрос введем понятия
ошибок первого и второго рода.
Ошибка первого рода возникает тогда, когда отвергается
правильная гипотеза. Как уже сказано, вероятность ошибки пер-
первого рода не превышает Д Если бы принималась во внимание
лишь ошибка первого рода, то выбор V был бы в значительной
степени произвольным. Может даже возникнуть мысль, что в
качестве V удобно выбрать пустое множество: ведь в этом случае
вероятность ошибки первого рода была бы равна нулю! Почему
же так не поступают? Да потому, что имеется возможность совер-
совершить ошибку второго рода.
Ошибка второго рода возникает тогда, когда не отвергается
ложная гипотеза. Если гипотеза Н является ложной, то, вообще
говоря, легко может случиться, что наблюденная точка не попа-
попадет в область V и, следовательно, гипотеза Я не будет отверг-
отвергнута. Однако этого нужно, по возможности, избегать. Целью
эксперимента является решение вопроса, правильна или ложна
гипотеза Н, поэтому критерий должен быть устроен так, чтобы
гипотеза Н, по возможности, не отвергалась в том случае, когда
она правильна, и чтобы она отвергалась, когда она ложна. Таким
образом, следует стремиться к тому, чтобы вероятность ошибки
второго рода была возможно меньше.
Но возникает новая трудность, связанная с тем, что вероят-
вероятность ошибки второго рода нельзя указать заранее. Эта вероят-
вероятность зависит от того, какая гипотеза Н' является правильной,
вместо ложной гипотезы //.
Сначала мы предположим, что имеется лишь одна альтер-
альтернативная гипотеза Н'. Мощностью I" некоторого определенного
критерия относительно гипотезы Н' называют вероятность от-
отвергнуть гипотезу Н, когда верна гипотеза //':
Р' = p'V = P(V\H').
§ 59. Общие принципы. Наиболее мощные критерии 309
Если гипотеза Н' является правильной, то вероятность не
отвергнуть Н (т. е. вероятность сшибки второго рода) будет
равна 1 — Р'.
Эта вероятность должна быть возможно меньшей, следова-
следовательно, мощность Р' нужно сделать возможно большей. Если
среди всех критериев, удовлетворяющих условию pF=s/}, дан-
данный критерий имеет наибольшую мощность Р', то он называется
наиболее мощным критерием относительно, альтернативной гипо-
гипотезы II'.
Возникает следующая задача. Пусть заданы две функции
множеств рВ = р(В\Н) и Р'В = Р(В\ Н'), удовлетворяющие
аксиомам теории вероятностей и определенные на всех измери-
измеримых множествах из пространства Е. Требуется найти такую
область V, для которой p'V будет наибольшей при условии, что
PV^p. A)
Решения этой задачи в непрерывном и дискретном случаях
требуют отдельного изложения.
Б. СЛУЧАЙ НЕПРЕРЫВНОГО РАСПРЕДЕЛЕНИЯ
Пусть Е — пространство непрерывно меняющихся перемен-
переменных $!,..., хп или часть этого пространства. Предположим,
что обе функции множеств р и р' определяются непрерывными
плотностями
f{X) = f(xu . . ., хп) и д(Х) = д(х, хп).
Если в некоторой части Т пространства Е функция / равна
нулю, то мы можем, не нарушая условия A), объединить Т с V.
От такого увеличения области V мощность P'V может лишь увели-
увеличиться. Следовательно, мы можем рассматривать лишь дополнение
множества Т, равное разности Е — Т.
На множестве Е — Т функция / не равна нулю, поэтому
U = ЩХ) = 9- B)
является непрерывной функцией от X. При любом положительном
г>событиюЕ/< v в поле р соответствует определенная вероятность
G(v) = p(U < v) = р(д < v f). C)
Мы предположим сначала, что 1 — /J принадлежит множеству
значений функции распределения G(v), т. е. найдется такое поло-
положительное v, что
следовательно,
»/)=?. D)
310 Гл. XI. Проверка гипотез с помощью статистических критериев
В таком случае область V, определяемая неравенством
д ^ vf ил и j > v.
является решением нашей экстремальной задачи.
Действительно, эта область, в силу D), удовлетворяет условию
A). Если W — любая другая область, также удовлетворяющая
условию A), то можно показать, что Р' W «s p' V.
Р и с. 29.
Пусть D — пересечение областей V nW (рис. 29) и пусть
V = D + A, W =D + В.
Таким образом.. А представляет собой ту часть области V, которая
не пересекается с W, а В — часть области W, которая не пересе-
пересекается с V. Так как
то
pV = p D + Р А=р и рРР
рл > рв,
или, что то же самое,
Г/йХв» [fdX.
E)
Но А принадлежит V, поэтому для всех точек X множества
А справедливо неравенство gz* vf. Следовательно,
' V =
P'D + \vfdX.
,•? 59. Общие принципы. Наиболее мощные критерии 311
Отсюда, в силу E).. получаем
Так как В не пересекается с V, то для всех точек X множества
В справедливо неравенство д < vf, поэтому
Р' V > p'Z) + \ д dX = Р' D + ?'В = р' W.
в
Таким образом, область V является решением нашей экстре-
экстремальной задачи.
Если функция 1 —G(t) не принимает значения р (т. е. 1 —
— G(f) совершает скачок от значения < р к значению > /J), то
V строится следующим образом: сначала берут всю область
д> vf и затем добавляют к пей такую часть множества д = vf,
чтобы общая вероятность PV равнялась /3. В остальном эта часть
может быть выбрана произвольно. Доказательство останется тем
же самым. Этот случай едва ли встречается в приложениях, и в
дальнейшем мы его рассматривать не будем.
Плотность вероятности f(X) называется функцией правдо-
правдоподобия гипотезы Н, и точно так же д(Х) называется функцией
правдоподобия гипотезы Н'. Поэтому отношение B) называют
отношением правдоподобия.
Только что найденный критерий, наиболее чувствительный к
альтернативе Н', можно сформулировать так:
Гипотезу Н следует отвергнуть тогда, когда отношение
правдоподобия B) будет не меньше v. При этом критическое значение
v определяется таким образом, чтобы вероятность ошибки первого
рода равнялась §, т. е. p(U г» v) = р.
Этот критерий называется критерием отношения правдо-
правдоподобия. Он является наиболее мощным относительно гипотезы
//', и поэтому его целесообразно применять во всех тех случаях,
когда имеется большая уверенность, что гипотеза Н' может быть
верна.
В. СЛУЧАЙ ДИСКРЕТНОГО РАСПРЕДЕЛЕНИЯ
Если пространство Е состоит из конечного или счетного
количества дискретных точек X, причем вероятность, соответ-
соответствующая любому точечному множеству, равна сумме вероят-
вероятностей для отдельных точек, то можно действовать точно так же,
как мы действовали в непрерывном случае. Вместо плотностей
вероятности f(X) и д(Х) здесь появляются вероятности рХ и
Р' X, соответствующие отдельным точкам. Эти вероятности мы
снова обозначим f(X) и д(Х).
312 Гл. XI. Проверка гипотез с помощью статистических критериев
Если, в случае справедливости гипотезы Н, некоторые точки
пространства Е имеют нулевые вероятности, то эти точки всегда
можно присоединить к критической области V.
В остальных точках f(X) ф О, следовательно, можно построить
случайную величину
U = °?1 =
X
f(X) РХ "
Предположим сначала, что 1 —/J принадлежит множеству
значений функции распределения G(v) случайной величины V',
иными словами, найдется такое v, что
Тогда, как и выше, в качестве V можно взять область, определяе-
определяемую неравенством gs* vf с очевидней заменой интегрирования
суммированием. Пусть W — любая другая область, удовлетворяю-
удовлетворяющая условию P(W) =syS, и пусть D — пересечение V и W. Если
V =D + A, W =D + В,
то, как и в непрерывном случае,
или
В А имеет место неравенство дз* vf, а в В — противополож-
противоположное неравенство д < vf, поэтому
р' V = p'D + P'A = P'D+2 9{Х) ^-P'D+2 vf(X) ^
» Р'D + ^ vf(X) > p'D + ? д(Х) = Р' D+ Р' В = p'W.
в в
Таким образом, область V является решением экстремальной
задачи, сформулированной выше.
Если функция 1 — G(v) не принимает значения р, а совершает
скачок от значения < J5 к значению > р, то для построения V
сначала берут всю область д> vf и, если это возможно, добав-
добавляют к ней столько точек X, удовлетворяющих условию д = vf,
чтобы общая вероятность P(F) равнялась /J. Доказательство
осуществляется точно так же, как и в непрерывном случае.
Если невозможно подобрать такие точки X, для которых
P(F) = р, то к множеству д> vf добавляют столько точек X,
удовлетворяющих условию д = vf, чтобы вероятность P(V)
была по возможности близка к ft (но не превосходила /J). Пусть,
например, р V = ft — е. Если к V прибавить еще одну точку X,
удовлетворяющую условию д(Х) = vf(X), то вероятность ошибки
§ 59. Общие принципы. Наиболее мощные критерии 313
первого рода увеличится: P(F -f X) — уЗ + $, т. е. областьV -\- X
— слишком велика. Следовательно, точку X нужно расщепить
на две точки Xt и Х2 и приписать им вероятности pij = ? и
р Х2 = 6. Затем точку Хх следует включить в область V.
Для осуществления этого расщепления применяют следую-
следующий искусственный прием, аналогичный азартной игре с вероят-
вероятностью выигрыша
Если в результате эксперимента получена точка X, подлежащая
расщеплению, то производится упомянутая выше «игра», причем в
случае «выигрыша» гипотеза Н отвергается, а в случае «проиг-
«проигрыша» не отвергается. Конечно, «игра» должна производиться
независимо от результата опыта.
Докажем, что такой критерий будет являться решением
нашей экстремальной задачи. Точке X соответствует вероятность
е -\- Ь. Событие Хх осуществляется тогда и только тогда, когда
наступает событие X и одновременно осуществляется «выигрыш».
Следовательно, вероятность события Хх равна
(е + б) р = е.
Поэтому
03 - е) + е = (J
является вероятностью события V -\- Xlt т. е. V + Xt представ-
представляет собой решение экстремальной задачи.
Указанная игра совсем не связана с выяснением вопроса
о справедливости или ложности гипотезы Н. Поэтому, практиче-
практически, едва ли следует пользоваться такой игрой, а нужно в каче-
качестве критической области просто выбирать множество V (без Хх).
И хотя в этом случае вероятность ошибки второго рода несколько
возрастет, зато, однако, уменьшится вероятность ошибки первого
рода, а именно она станет равной /3 — е (ранее она равнялась /J).
Если в качестве допустимой вероятности ошибки первого рода
вместо р принять /J — е, то F будет решением новой экстремальной
задачи, т. е. критерий, соответствующий критической области V,
будет наиболее мощным с «уровнем значимости»1 C — е.
г. примеры
Пример 42. Пусть Е — пространство переменных а^, . . ., хп и пусть,
согласно гипотезе Н, случайные величины а^, . . ., хп независимы и одинаково
нормально распределены с нулевым средним значением и единичной диспер-
1 Уровень значимости критерия равен вероятности ошибки первого
рода, т. е. этот уровень совпадает с вероятностью отвергнуть гипотезу Н,
когда она верна. Критерии проверки гипотез иногда также называют
критериями значимости. — Прим. перев.
314 Гл. XI. Проверка гипотез с помощью статистических критериев
сией. Тогда совместная плотность вероятности будет задаваться форму-
формулой
- о - 4 <*! + Х1 + ¦ ¦ ¦ + XV
f(X) = B*) 2 е 2 ' '
Далее, пусть, согласно конкурирующей гипотезе Н', случайные вели-
величины а^, . . ., хп предполагаются независимыми и одинаково нормально рас-
распределенными со средним значением а > 0 и единичной дисперсией:
Bл) 2е 2 (а>0).
Отношение правдоподобия равно
v _Я _ еа^х-\па'
U представляет собой монотонно возрастающую функцию" от аргумента
х = — 'У х.
п ¦*¦*
Таким образом, гипотезу Н следует отвергнуть тогда, когда выборочное
среднее х превосходит некоторое критическое значение с. Это критическое
значение с определяется так, чтобы, в случае справедливости гипотезы
Н, вероятность события х > с равнялась /3. Согласно гипотезе Н, среднее
х распределено нормально с нулевым математическим ожиданием и диспер-
дисперсией 1/я. Поэтому
с = ~У(|-/9), F)
где W — функция, обратная функции нормального распределения Ф. В
нашем случае а- — 1, однако формула F) справедлива при любом а- > 0.
Критерий, полученный в этом примере, замечателен тем, что он не
зависит от о, если только а является положительным. Следовательно,
односторонний критерий, отвергающий все значения х > с, является равно-
равномерно наиболее мощным относительно всех гипотез Н' с а > 0. Если бы мы
в качестве конкурирующей гипотезы Н' рассмотрели нормальное распреде-
распределение с отрицательным а, то нужно бы было отвергнуть все значения
х <. — с.
Пример 43. Пусть некоторое событие, согласно гипотезе II, имеет
вероятность р и пусть, согласно альтернативной гипотезе Н', оно имеет
большую вероятность р'. Предположим, что в п независимых опытах это
событие осуществилось х раз. При каких х гипотезу Н нужно отвергнуть?
Согласно гипотезе Н, вероятность ж-кратного осуществления события
равна
/(х) =
\х
Согласно гипотезе Н', эта вероятность равна
д(х) = (W]p'x(l — р')"-*.
\х
§ 60. Сложные гипотезы 315
Отношение правдоподобия задается формулой
/ Ы и -р)
Так как и является возрастающей функцией от х, то мы должны
отвергнуть значения х > с. При этом граница с определяется таким обра-
образом, чтобы сумма вероятностей, соответствующих отброшенным значениям
х, была наибольшей и не превосходила /3:
, )p q + ]jy jn-c-2 + ,., + 2"«/3. G)
с + 1 ) \ с + 2/
Левая часть неравенства G) является возрастающей функцией от р,
так как ее производная
в интервале 0 < р < 1 всегда положительна. Левая часть G) при р ¦-- О
равна нулю и прир = 1 равна единице, поэтому существует одно и только
одно значение рр, при котором левая часть G) в точности равна /3. Для
р*ерр неравенство G) выполняется, а для р >рр не выполняется. Следова-
Следовательно, этим критерием можно воспользоваться для проверки тех гипотез Н,
для которых р «г р^. Конкурирующей гипотезой И' в этом случае является
V>Pp- Если х > с, то гипотезы р =s pp отвергаются, а р>Рр не отвер-
отвергаются.
Граница рр в точности совпадает с односторонней доверительной
границей для р, по Клопперу и Пирсону (§ 7). Таким образом, ранее изло-
изложенная теория доверительных границ подчиняется общим принципам
проверки статистических гипотез.
§ 60. Сложные гипотезы
Простой гипотезой называется такая гипотеза, которая каж-
каждому событию из пространства Е ставит в соответствие определен-
определенную вероятность. Если же вероятности зависят, кроме того,
еще и от параметров, то мы имеем дело со сложной гипотезой.
Сложная гипотеза состоит из простых гипотез, отвечающих
фиксированным значениям параметров. Определение можно сфор-
сформулировать и так: сложная гипотеза есть множество простых
гипотез.
Если хотят проверить простую гипотезу // и если альтерна-
альтернатива Н' также является простой, то, как мы видели в § 59, для
проверки Н всегда существует критерий, являющийся наиболее
мощным относительно альтернативы Н'. Но если Н' является
сложной, то могут иметь место два случая: либо существует равно-
равномерно наиболее мощный критерий, относительно всех простых
гипотез, содержащихся в Н', либо такого критерия не существует.
Пример 42 (§ 59) может служить иллюстрацией обоих случаев.
В этом примере гипотеза // является простой и гласит, что все
316 Гл. XI. Проверка гипотез с помощью статистических критериев
х{ независимы и распределены нормально с нулевым средним
значением и единичной дисперсией. Альтернативная гипотеза
Н' зависит от параметра а и поэтому является сложной; сог-
согласно этой гипотезе, х{ независимы и распределены нормально со
средним значением а и единичной дисперсией. Если допустимы
лишь положительные значения а, то существует равномерно
наиболее мощный критерий: гипотеза II отвергается тогда, когда
х превышает cjfn. Но если допустимы также и отрицательные
значения а, то равномерно наиболее мощного критерия не суще-
существует. Критерий, отвергающий большие значения х, теряет свою
мощность при отрицательных а, и критерий, отвергающий малые
значения х, не является наиболее мощным при положительных а.
Для того чтобы в подобных случаях хорошие критерии можно
было отличать от менее хороших, вводится понятие несмещен-
несмещенности. Критерий для проверки простей гипотезы Н называется
несмещенным, если вероятность отвергнуть Н, когда она верна, не
превосходит вероятность отвергнуть Ы, когда верна одна из
гипотез И', т. е.
P(V\H)-^p(V\II') для всех И'. A)
Другими словами, вероятность отвергнуть гипотезу II, когда
она правильна, не должна превосходить вероятность отвергнуть
И, когда Н ложна. Вполне разумное требование!
Если в примере 42 расширить гипотезу II' и считать допусти-
допустимыми все положительные и отрицательные средние значения а,
то односторонние критерии, которые отвергают гипотезу В.,
коль скоро х> c/Yn или коль скоро х < — с/Уп, не будут нес-
несмещенными. Для того чтобы получить несмещенный критерий,
нужно воспользоваться абсолютной величиной | х \ и определить
критическую область с помощью неравенства | х | > с'/[/п. Если
с' выбрать таким образом, чтобы вероятность отвергнуть гипо-
гипотезу И, когда она правильна, в точности равнялась /3, то этот
критерий будет несмещенным, наиболее мощным критерием отно-
относительно всех альтернатив Н'. Доказательство1 можно найти в
работе: Neyman J. and Pearson E. S., On the problem of the
most efficient tests of statistical hypotheses, Philos. Trans. Royal
Soc, London, A 231 A933).
Если гипотеза // также является сложной, то и задача стано-
становится сложнее. Пусть, например, согласно гипотезе Н, слу-
случайные величины я„ . . ., хп предполагаются независимыми и
одинаково нормально распределенными с нулевым средним зна-
1 Это доказательство приводится в книге Крамера Г., Математи-
Математические методы статистики, ИЛ, М., 1948, стр. 581. — Прим. перев.
§ 60. Сложные гипотезы 317
чением и произвольным (незаданным) квадратичным отклонением
о-. Если гипотеза Н верна, то совместная плотность вероятности
для ху,. . ., хп задается формулой
f{x\cr) = Bжг)~? е~ы1х1 + --- + х'") * B)
Пусть V — критическая область. Если наблюденная точка
X принадлежит V, то гипотезу 27 следует отвергнуть. При этом
вероятность ошибки первого рода
cT) = \f{x\a)dV, C)
вообще говоря, зависит от о-. Если P(V | о-) =s р для всех о- > О,
то говорят, что уровень значимости критерия или области V
не превосходит /3. Если же для всех о-
P(V | о-) = /J,
то говорят, что критерий (или область V) имеет уровень значи-
значимости, в точности равный р. В этом случае Нейман и Пирсон
называют V областью, подобной пространству выборок1.
Нейман, Шсффе и Лсманн2 разработали общие методы, поз-
позволяющие находить области V с уровнем значимости, в точности
равным /J. Сущность этих методов мы поясним с помощью только
что сформулированного примера. Доказательства можно найти
в соответствующей литературе.
Формула плотности вероятности B) непосредственно пока-
показывает, что
Q = a* + ...+a* D)
является достаточной оценкой для по-2. Плотность распределения
случайной величины Q равна
" 1 г
д{и\а-) =Со-»«2 е 2<r'U, гдеС = Ц-. E)
rtl,.
Однопараметрическое семейство функций д(и \ о-) образует
ограниченно-полную систему, в смысле Леманна и Шеффе; это
1 Пространство выборок Е удовлетворяет равенству РСЕ|сг) = 1 при
всех сг. — Прим. перев.
2 См. прежде всего Lohmann and Scheffe, Completenes, Similar
Regions and Unbiased Estimation, Sankhya, 10 (I960), 306 и 16 A956), 219.
Там же указана дальнейшая литература.
318 Гл. XI. Проверка гипотез с помощью статистических критериев
означает, что если ограниченная интегрируемая функция q>(t)
удовлетворяет интегральному уравнению
(м) д(и | о-) du = 0 при всех о-> 0, F)
о
то tp{t) = 0. Эта полнота становится тотчас же ясной, если, отбро-
отбросив множитель Со—п, записать интегральное уравнение F)
так:
I
и q>(u) e~ku du = 0 при всех А > 0. G)
о
Леманн и Шеффе доказали, что в том случае, когда плотности
вероятности образуют ограниченно-полную систему, все области
V, имеющие уровень значимости, в точности равны /}, можно
найти по методу Неймана. Согласно этому методу, для каждого
отдельного значения и достаточной статистики Q ищут такую
область Fu, для которой условная вероятность, вычисленная при
условии Q = и, принимает значение /3. Если объединение V всех
областей Fu измеримо, то оно имеет уровень значимости, в точно-
точности равный /3.
В нашем случае Fu представляет собой область на сфере
*? + ¦ ¦ ¦ + а» = и. (8)
Условная плотность распределения случайных величин xv . . ., хп
на этой сфере задается отношением
J /(Ж | О")
,9)
причем интегрирование в знаменателе производится по сфере (8).
Область Fu на этой сфере нужно выбрать таким образом, чтобы
интеграл от функции (9) по Fu в точности равнялся р. Так как
функция f(x | о-) на всей сфере равна некоторой постоянной вели-
величине, то в числителе и знаменателе (9) множители f(x | о-) сокра-
сократятся и интеграл будет просто равен отношению площади Vu
к площади всей сферы. Таким образом, площадь Fu должна быть
равна площади сферы, умноженной на /J. В остальном области FB
можно выбирать произвольно (лишь бы они были не слишком
дикими, с тем чтобы их объединение F оставалось измеримым).
Выбор областей Vu для построения наилучшего критерия в
значительной мере зависит от рассматриваемых альтернативных
гипотез //'. В данном случае в качестве альтернативы Н' мы при-
примем сложную гипотезу, согласно которой xv . . ., хп — независи-
§ 60. Сложные гипотезы 319
мые, одинаково нормально распределенные случайные величины
с положительным средним значением а и произвольным квадратич-
квадратичным отклонением <т. Соответствующая плотность вероятности
задается формулой
-" --^-.[(х,-а)»+...+ (*»-о)']
fa(x\<r) = Bn<r) 2 в 2СГ . A0)
Определение наиболее мощного критерия, соответствующего
этой альтернативной гипотезе И', не представляет труда. Сначала
зафиксируем значение о- и определим область Vu таким образом,
чтобы соответствующий критерий был наиболее мощным относи-
относительно отдельной гипотезы Л'а. Так как интеграл от функции (9)
не зависит от сг, то можно считать, что в (9) и A0) величины а-
одинаковы. Тогда метод, изложенный в § 59, сам собой приведет
нас к критерию отношения правдоподобия1
«*1> A1)
О")
т. е., в нашем случае,
па1
s= v.
Таким образом, гипотезу Н следует отвергнуть, коль скоро
выборочное среднее
превышает некоторое критическое значение и\ Величина w
выбирается таким образом, чтобы плоскость с уравнением х = w
разбивала сферу (8) на две части и чтобы площадь той части,
где х > w, равнялась площади всей сферы, умноженной на р.
Полученный критерий в точности совпадает с односторонним
критерием t.
Таким образом, среди всех критериев, имеющих уровень
значимости, в точности равный C, односторонний критерий t
1 Так как мы хотим найти область Vu, расположенную на сфере (8), то
мы должны воспользоваться условными плотностями (9) и
fa(x\ o-)/j fa(x\°-) dan_x,
где интегрирование производится по сфере (8). Так как интегралы в знаме-
знаменателях условных плотностей зависят лишь ото-, то отношение правдоподо-
правдоподобия можно записать в виде A1), где, вообще говоря, v = v(<r). Если гипотеза
Н верна, то Q — достаточная статистика, поэтому условное распределение
х, при условии Q = и, не зависит от о-. — Прим. перев.
320 Гл. XI. Проверка гипотез с помощью статистических критериев
является равномерно наиболее мощным1 относительно всех аль-
альтернатив Н' с а> 0.
Пусть хх, . . ., хт и Ух, . . .,уп — независимые, нормально ра-
распределенные случайные величины с одинаковыми неизвестными
дисперсиями и пусть ga^ = . . . = <ga;m = /л и <S yl = . . . =
= g yn = v. Тем же самым методом можно доказать, что среди
всех критериев с точным уровнем значимости ft, предназначенных
для проверки гипотезы ju. = v, односторонний критерий t является
равномерно наиболее мощным относительно всех альтернатив
1Г с /л> v.
Естественно поставить вопрос, не является ли критерий
Стьюдента равномерно наиболее мощным также и среди всех
критериев с уровнем значимости, не превосходящим /3? К сожа-
сожалению, ответ на этот вопрос получается отрицательным2.
1 Можно показать, что среди всех несмещенных критериев с точным
уровнем значимости 2/3, предназначенных для проверки гипотезы о = 0,
двусторонний критерий t является несмещенным, равномерно наиболее
мощным относительно всех альтернатив а^.О (см. Крамер Г., Мате-
Математические методы статистики, ИЛ, М., 1948, стр. 583). — Прим. перев.
¦Lehmann E. L. and Stein С, Most powerful tests of composite
hypotheses I, Ann. of Math. Stat., 19 A948), 495.
ГЛАВА XII
ПОРЯДКОВЫЕ КРИТЕРИИ
Порядковыми критериями называют такие критерии, в кото-
которых используются не сами значения наблюденных величин, а
лишь их упорядоченность, т. е. соотношения х < у и х> у (между
двумя измеренными величинами). Такие критерии не зависят от
функций распределения случайных величин х и у, и поэтому
их называют не зависящими от распределения или непараметри-
непараметрическими.
Изучение теории порядковых критериев не требует больших
предварительных познаний. Будет предполагаться известным
лишь содержание гл. I и II.
§ 61. Критерий знаков
А. ОСНОВНОЙ ПРИНЦИП
Если 10 подопытных животных подвергались некоторому
воздействию и во всех 10 случаях наблюдалось повышение кро-
кровяного давления, то, руководствуясь лишь одним чутьем, можно
утверждать, что такой результат не является случайным! Это
произвольное заключение можно обосновать следующим образом.
Если бы наблюдаемые изменения кровяного давления колебались
чисто случайно, то с большой вероятностью примерно половина
всех разностей состояла бы из положительных величин, а другая
половина — из отрицательных. Для каждого отдельного живот-
животного вероятность положительной разности — вероятность повы-
повышения кровяного давления — равнялась бы 1/г. Следовательно,
вероятность того, что все разности будут положительными, равня-
равнялась бы A/2I0 = 1/1024. Столь маловероятный исход можно не
принимать в расчет и поэтому следует заключить, что указанное
выше утверждение соответствует действительности.
Этот совсем простей вывод заключения можно превратить
в точный порядковый критерий с произвольно заданным уровнем
значимости р.
Пусть в результате наблюдений получены п разностей а*,-— yt
(г = 1,2,..., эт), из которых к положительны и п — к отрицатель-
отрицательны. Возможность равенства xt = yf мы пока исключаем. Гипотеза
//, которую нужно проверить, утверждает, что при каждом г
оба результата наблюдений xt и yt — независимые, одинаково
21 Б. Л. ван дер Варден - 1062
322 Гл. XII. Порядковые критерии
распределенные случайные величины. Согласно этой гипотезе,
вероятность того, что разность xt — yt окажется положительной,
в точности равна вероятности, что эта разность будет отрицатель-
отрицательной. Так как вероятность события xt = yt равна нулю, то вероят-
вероятности для положительных и отрицательных разностей равны 1/2.
Это и является тем следствием гипотезы Ы, которое нужно про-
проверить с помощью критерия знаков.
Можно также положить zt = х( — у(; разности гх,. . ., zn
являются независимыми случайными величинами. Тогда подлежа-
подлежащая проверке гипотеза Н утверждает, что для каждого i вероят-
вероятности событий Z; > 0 и г,- < 0 равны друг другу:
Р(г, > 0) = р(г,. < 0). A)
Критерий знаков можно использовать для проверки гипо-
гипотезы A) также и в том случае, когда z не являются разностями.
Если вероятность события z,- = 0 равна нулю, то из A) следует,
что
Р(г, > 0) = \-. B)
При этом предположении вероятность того, что среди всех
zu. . ., zn положительных величин окажется больше, чем т,
равна
Если т —• наименьшее число, для которого выражение C)
еще не превосходит §, то критерий знаков можно сформулировать
так:
Гипотезу И следует отвергнуть, коль скоро к (количество
положительных Zj) окажется больше, чем т.
Уровень значимости этого критерия, т.е. вероятность отверг-
отвергнуть гипотезу U, когда она правильна, очевидно, не превосходит р.
Ведь критерий именно так и строился!
Сформулированное правило представляет собой односторонний
критерий знаков. Двусторонний критерий отвергает гипотезу Н
не только тогда, когда количество к (количество положительных
zt) превышает границу т, но также и тогда, когда количество
п — к (количество отрицательных г,) превышает эту же границу.
Если граница т осталась той же самой, что и в одностороннем
критерии, то уровень значимости двустороннего критерия вдвое
больше уровня одностороннего критерия, следовательно, он не
превосходит 2/3.
§ 61. Критерий знаков 323
В таблице 9 указаны границы т для п =s 50, соответствую-
соответствующие обычным уровням значимости, а именно:
Двусторонний критерий: 2/3 = 0,05; 0,02; 0,01;
Односторонний критерий: /3 = 0,025; 0,01; 0,005.
в. связи
Спрашивается, как нужно поступать в том случае, когда
имеются «связи», т. е. когда некоторые разности х( — у( = г,
обращаются в нуль? Можно, например, половину связей считать
положительными, а другую половину — отрицательными. Можно
также для каждой связи бросать монету, и если выпадет герб,
то считать разность z,- положительной. Однако лучше всего связи
просто отбросить1. Пусть к — количество положительных
разностей zt, I — количество отрицательных разностей и пусть
п = 1с -\- I- Если к этим п разностям применить критерий значи-
значимости, то можно гарантировать, что уровень значимости не прев-
превзойдет /3 (в случае двустороннего критерия — 2/3).
Доказательство. Предположим, что гипотеза A) яв-
является правильной. Пусть N — общее число наблюдений (JVs* n)
и пусть рп — вероятность того, что п разностей будут отличными
от нуля. Сумма Есех рп, разумеется, равна единице:
2Рп = 1- D)
о
Если количество отличных от нуля разностей равно п, то
условная вероятность события к> т (т — граница, соответ-
соответствующая числу п) не превышает /3. Обозначим эту условную
вероятность Рп. Тогда
Рп^Р- E)
Безусловная вероятность отвергнуть гипотезу II, в силу
формулы полной вероятности, удовлетворяет неравенству
P = ZPnPn^ZPnP=l3. (б)
Теорема доказана.
Пример 44. В опытах Фрица-Нигглн2 яйца мухи-дрозофилы подвер-
подвергались воздействию мягкого и жесткого излучения A8 ¦ 141 и 31 ¦ 10е
электрон-вольт). Из частот смертности в различных группах яиц, подвер-
1 TI р m р 1 г у k J., A theorem on the sign test when ties are present,
Proc. Kon. Nod. Akad. section of sciences, A 65, 322.
2 F r i t к - N i g g 1 i II., Vprgleichende Analyse der Strahlensohadigung
von Drosophila-Eiern, Fortschr. aut' dem Geb. d. Eontgenstrahlen, 83 A956),
178.
21*
324 Гл. XII. Порядковые критерии
гавшихся воздействию одинаковых доз излучения, были сначала составлены
средние. Затем, во всех случаях, вычислялись разности средних d для
мягкого и жесткого излучений. К разностям d применялся критерий Стью-
Стьюдента. При этом d имели следующие знаки (для яиц различного возраста)
Возраст яиц (в часах):
1 4- 4- 4• 4~ — 4" 4- — (8 случаев)
13/4 4~ 4~ 4- — — — 4- G случаев)
3 4-4-4-4-4- E случаев)
4-f4-4-4-4- E случаев)
5Уг 4- + B случая)
7 4-4-4-4- D случая).
В возрастных группах от 1 до 3 час. критерий Стьюдента обнаружил
превышение 5%-ной границы лишь в одном-единственном случае (а именно,
у яиц возраста 13/4 часа); случаев же превышения 1%-ной границы вообще
не оказалось. Напротив, в возрастных группах от 4 до 7 час. этот критерий
в 7 случаях из 11 выявил превышение 5%-ной границы и в 5 случаях —
превышение 1%-ной границы. Следовательно, практически можно считать
установленным (по крайней мере для яиц старшего возраста), что при рав-
равных дозах мягкое излучение имеет более сильные летальные свойства, чем
жесткое излучение.
Применение критерия Стьюдента было связано с большим количеством
вычислений и, кроме того, потребовало предположения нормальности
распределения. Поэтому возникает вопрос, нельзя ли сделать вывод о
свойствах излучения с помощью одних только знаков + и —?
Если мы объединим возрастные группы от 4 до 7 час, то в 11 случаях
из 11 будем иметь знак 4-- В качестве двусторонних 1 %-ных границ табл. 9
указывает 1 и 10. Так как 11 находится вне этих границ, то с большой
уверенностью можно утверждать, что летальные свойства мягкого излу-
излучения более эффективны, чем жесткого. Вероятность ошибочности этого
вывода не превышает 0,01.
В возрастных группах от 1 до 3 час. знак 4- наблюдался в 15 случаях
из 20. Двусторонние 5%-ные границы равны б и 14. Так как 15 находится
вне этих границ, то эффективность мягкого излучения можно также считать
установленной, степень уверенности здесь, конечно, меньше, чем в преды-
предыдущем случае.
Таким образом, критерий знаков позволяет установить почти без
вычислений, что мягкие лучи на яйца старшего поколения действуют, прак-
практически достоверно, сильнее, а на яйца младшего возраста, вероятно,
сильнее, чем жесткие лучи.
В. СИММЕТРИЯ РАСПРЕДЕЛЕНИЯ
Распределение случайной величины z называется симметрич-
симметричным относительно нуля, если при всех и имеет место равенство
рB > и) = р(г < - и). G)
Если распределение задается плотностью вероятности я(и)>
то равенство G) означает, что д(и) является четной функцией
д(и) = д( — и). (8)
§ 62. Задача двух выборок 325
В частности, из G) следует A). Таким образом, для проверки
симметрии распределения можно воспользоваться критерием
знаков. Другие критерии симметрии изложены в работе:
Hemelryk J., A family of parameterfree tests for symmetry,
Proc. Kon. Ned. Akad. (section of sciences), 53, 945, 1186.
Г. ДОВЕРИТЕЛЬНЫЕ ГРАНИЦЫ ДЛЯ МЕДИАНЫ
Если рассматривать лишь непрерывные функции распределения
F(u), то A) будет эквивалентно равенству
РB < 0) = р(а > 0) = \-. (9)
В силу условия (9), (истинная) медиана равна нулю (§ 17).
Поэтому критерий знаков можно использовать для проверки
гипотезы о тем, что распределение имеет нулевую медиану.
Если нужно проверить гипотезу, согласно которой медиана
равна ?, то можно в качестве новых случайных величин ввести
zt—? и затем веспользоваться критерием знаков. В силу одно-
одностороннего критерия, предположительное значение медианы ?
следует отвергнуть, если выберка (ги. . ., zn) содержит более,
чем т, положительных разностей г,- — ?.
Это же правило можно сформулировать еще и по-другему.
Пусть zlt...,zn расположены в порядке их возрастания: г^*
•s . . . «s 2(п>. Случайные величины 2<'> представляют собой поряд-
порядковые статистики (§ 17). Рассмотрим порядковую статистику с
номером п — т (т. е. рассмотрим г*"-)). Если ? < z<n-m>, то
количество положительных разностей zW — ? будет больше то,
следовательно, все предполагаемые значения медианы ?, удовлет-
удовлетворяющие неравенству ? < 2("-т), должны быть отвергнуты.
Согласно двустороннему критерию, следует также отвергнуть
Есе предполагаемые значения медианы ? > z'm + 1\ Таким образом,
z(n-m) u z(m + i) являются двусторонними доверительными граница-
границами для медианы ?. Соответствующий доверительный интервал имеет
вид
г<п-л1) «s ? «s z(m+l)_ A0)
Заключение A0) справедливо с вероятностью г= 1 —2р. Как
легко убедиться, полученный результат сохраняет силу также и
для распределений, не являющихся непрерывными.
§ 62. Задача двух выборок
А. ПОСТАНОВКА ЗАДАЧИ
Пусть результатами наблюдений являются п = g -)- А неза-
независимых случайных величин:
х1; . . ., xg; ух,. . ., у„,
и пусть все х( наблюдаются в одинаковых экспериментальных
условиях, т. е. можно предположить, что все они имеют одинако-
326 Гл. XII. Порядковые критерии
вые функции распределения. Такое же предположение мы будем
делать и относительно у. Допустим, что наблюдается некоторое
различие эмпирических распределений х и у; например, все х
могут оказаться больше, чем у, или область рассеяния х может
быть шире области рассеяниям/. Спрашивается, является ли раз-
различие эмпирических распределений следствием различия истин-
истинных распределений или же оно чисго случайное?
Нулевая гипотеза Ыо, подлежащая проверке, утверждает,
что все х и у имеют одинаковые функции распределения и, значит,
наблюдаемое различие эмпирических распределений является
чисто случайным. Однако при этом мы не должны делать никаких
специальных предположений о функции распределения х и у.
Два критерия, о которых мы уже говорили раньше, а именно
критерий Стьюдента и критерий отношения дисперсий, основаны
на предположении нормальности распределений х и у; поэтому
указанные критерии с самого начала нужно исключить из рас-
рассмотрения. И хотя оба критерия, с определенной степенью прибли-
приближения, применимы к распределениям, отличным от нормаль-
нормального, однако в данном случае они оказываются непригодными,
так как наша задача заключается в отыскании точных критериев,
использующих лишь порядковые соотношения х<у и х > у.
Будет показано, что при некоторых условиях эти порядковые
критерии являются даже более мощными, чем критерий Стью-
Стьюдента, т. е. что существуют случаи, когда указанные критерии
приводят к правильному решению, а критерий Стьюдента — нет
(иными словами, критерий Стьюдента в этих случаях ложную гипо-
гипотезу Но не отвергает).
Согласно гипотезе Но, все х{ нук распределены одинаково.
Предположим, что их функция распределения F(t) является не-
непрерывной. Отсюда следует, что такие события, как xt = Xj или
xt = ук, все имеют вероятность, равную нулю.
На практике это предположение непрерывности, строго
говоря, никогда не выполняется, так как все результаты изме-
измерений являются округленными числами. В приложениях довольно
часто оказывается, например, что некоторые xt и ук равны друг
другу. Наличие таких «связей» влечет за собой небольшие затруд-
затруднения в применении порядковых критериев. Способы преодоления
этих затруднений мы изложим позднее.
Преобразование
V = F(t)
переводит xt иукв новые случайные величины х\ и у'к, подчиняю-
подчиняющиеся «прямоугольному» распределению с функцией распределе-
распределения
§ 62. Задача двух выборок 327
Упорядоченность величин х' и у' остается той же самой, что и
для величин х и у. Следовательно, для порядковых критериев
совершенно безразлично, оперируем ли мы с х и у или с ж' и у'.
Поэтому во всех тех случаях, когда это облегчает вычисление
вероятностей, мы можем предположить, что х и у подчиняются
прямоугольному распределению. При желании мы можем взять
за основу и любое другое непрерывное распределение, например
нормальное распределение с нулевым средним значением и единич-
единичной дисперсией.
Согласно гипотезе По, все перестановки n = g -f- h случайных
величин хх,. . ., xg, уг, . . ., yh равновероятны. Таких перестановок
имеется тй, следовательно, каждой из них соответствует вероят-
вероятность l/nl.
Построение критерия для проверки гипотезы Яо эквивалентно
указанию критической области V, включающей в себя некоторые
из п\ перестановок. Если наблюденное расположение принадле-
принадлежит области V, то гипотезу Но следует отвергнуть. Для того
чтобы уровень значимости этого критерия не превосходил /3, нужно,
чтобы область V содержала не более чем рп\ перестановок.
Б. КРИТЕРИЙ Н. В. СМИРНОВА
Критерий Смирнова аналогичен критерию Колмогорова (§ 16).
В критерии Колмогорова сравнивались эмпирическая и предпола-
предполагаемая теоретическая функции распределения. В критерии Смир-
Смирнова сравниваются две эмпирические функции распределения.
Пусть Fg(t) — эмпирическая функция распределения, построен-
построенная по выборке хъ . . ., xg. Если k(t) — количество тех xt, которые
удовлетворяют неравенству xt < t, то
Точно так же пусть Gh(t) — эмпирическая функция распреде-
распределения, построенная по выборке уи . . .,yh, и пусть D — верхняя
грань разности \ Fg — Gh\. Согласно критерию Смирнова, гипо-
гипотезу Но следует отвергнуть, если D > D3. При этом Dp опреде-
определяется так, чтобы вероятность события D > Dp, когда гипотеза
Яо верна, не превосходила /3.
Смирнов доказал1, что вероятность события
1 Смирнов Н. В., Оценка расхождения между эмпирическими
кривыми распределения в двух независимых выборках, Бюлл. МГУ, 2,
вып. 2 A939), 1.
328 Гл. XII. Порядковые критерии
при больших п асимптотически равна сумме бесконечного ряде
Следовательно, если Л определить таким образом, чтобы сумма
этого ряда равнялась 2/3, то при больших п можно будет поло-
положить
Ряд A) сходится очень быстро, и для практических целей его
сумму можно заменить первым членом: это лишь увеличит надеж-
надежность критерия. В результате получаем очень полезное прибли-
приближение
л~у— |-1п/з. C)
Для того чтобы найти хорошее приближение для Dp, нужно
лишь C) подставить в B).
Особым преимуществом критерия Смирнова является то, что
этот критерий со сколь угодно большей вероятностью позволяет
обнаружить любое отклонение между функциями распределения
х и у, если только л достаточно велико. Таким образом, критерий
Смирнова следует применять тогда, когда нужно проверить полное
согласие функций распределения F(t) и G(t) случайных величин
х и у во всем интервале изменения t и когда для этой проверки в
нашем распоряжении имеется очень обширный материал наблю-
наблюдений.
Но если речь идет лишь о том, чтобы установить, не будет ли
х в среднем больше, чем у, то следует^применять более мощные
критерии, которые даже при небольших п могут привести к реше-
решению поставленного вопроса. Такого рода критериями являются
критерий Вилкоксона и критерий X, к изложению которых мы
теперь и переходим.
§ 63. Критерий Вилкоксона
А. ФОРМУЛИРОВКА КРИТЕРИЯ
Пусть наблюденные ж,- и ук расположены в порядке возраста-
возрастания их величины. Если отбросить индексы, то получим последо-
последовательность, состоящую из букв х и у, например,
уухухуу хх. A)
Если в этой последовательности х появляется позднее некото-
некоторого у, то говорят, что имеется одна инверсия. Например, последо-
последовательность A) содержит 15 инверсий, так как первый а; образует
§ 63. Критерий Видкоксона 329
с двумя предшествующими у две инверсии, второй хобразует три
инверсии и оба последних х — по пять инверсий.
Согласно критерию Вилкоксона, нулевая гипотеза отвергается,
коль скоро количество инверсий U превосходит границу Up. Граница
Up выбирается таким образом, чтобы, в случае если нулевая
гипотеза верна, количество перестановок с числом инверсий
U > Uр не превышало /8 п\. Указанное правило представляет
собсй односторонний критерий.
При малых g и h граница Up определяется непосредственным
подсчетом последовательностей с наибольшими количествами
инверсий. Для облегчения этого подсчета можно у х и у так же,
как в A), отбросить все индексы. В этом случае количество всех
возможных последовательностей будет равно не п\, а
in\ п\
Подсчет начинают с последовательности
уу...уухх...хх, B)
которая имеет gh инверсий. Затем записывают последовательность
у у . . .у ху х. . . хх C)
с gh — 1 инверсиями и т. д. — до тех пор, пока не наберется больше
чем р[ I последовательностей. Количество инверсий в последней
из полученных последовательностей и принимают в качестве Up.
Проиллюстрируем этот метод следующим примером:
g = h = 5, /3 = 0,025
|я\ =252 =6д
1- уууууххххх
2. уууухухххх
3. ууухуухххх
4. ууууххуххх
5. уухууухххх
6. ууухухуххх
7. уууухххухх
Последняя из выписанных последовательностей имеет 22
инверсии, следовательно, ?70,025 = 22.
В данном случае существуют лишь 4 последовательности
с большим чем 22 количеством инверсий, а именно последователь-
последовательности с 1 по 4. Таким образом, уровень значимости соответствую-
330 Гл. XII. Порядковые критерии
щего критерия равен 4/252 = 0,016, т. е. он значительно ниже
допустимого уровня 0,025.
Это же обстоятельство имеет место и в других примерах.
В большинстве случаев существует целый ряд последовательностей
с одинаковым числом инверсий. В нашем примере последователь-
последовательности 5, 6 и 7 имеют по 22 инверсии. Если бы все эти три последо-
последовательности были включены в критическую область, то уровень
значимости соответствующего критерия превышал бы /3. Однако
если ни одну из этих трех последовательностей не включать в
критическую область, то критерий окажется излишне слабым.
При больших д и Л вычисление точной границы U? очень уто-
утомительно. Но мы увидим, что в этом случае распределение случай-
случайной величины U можно аппроксимировать нормальным распреде-
распределением.
При двустороннем варианте критерия Вилкоксона нулевая
гипотеза отвергается не только тогда, когда количество инверсий
превосходит границу U?, но также и тогда, когда эту же границу
превосходит количество gh — U обратных инверсий. В этом
случае уровень значимости критерия удваивается.
Вместо подсчета инверсий можно xt и ук перенумеровать в
порядке возрастания их величины. Если при этом наименьший
из всех xt имеет порядковый номер г1з то количество предшествую-
предшествующих ук равно rt— 1, и поэтому наименьшему х соответствуют точно
тг — 1 инверсий. Если следующий за наименьшим х имеет поряд-
порядковый номер г2, то ему соответствуют гг — 2 инверсий и т. д. Таким
образом, в итоге получаем
U = (г, - 1) -f (rt - 2) + . . . + (г, - д) =
= 2, ri — 2 Я \Я + 1) D)
инверсий. Следовательно, для построения критерия Вилкоксона
вместо U можно воспользоваться статистикой ^ ri> представляю-
представляющей собой сумму порядковых номеров случайных величин xt.
Мы постараемся теперь исследовать распределение U несколько
точнее. При этом мы сначала будем предполагать, что нулевая
гипотеза верна. Напомним, что, согласно этой гипотезе, все xt и ук
независимы и имеют одинаковые (непрерывные) функции распреде-
распределения.
Б. СРЕДНЕЕ ЗНАЧЕНИЕ И ДИСПЕРСИЯ V
Для каждой пары наблюдений xt, ук определим функцию zik,
принимающую лишь значения 0 или 1, а именно
1, если х, > ук,
0, если ж4- =s ук.
§ 63. Критерий Вилкоксона 331
Тогда, очевидно,
U = 2 г№. E)
Если нулевая гипотеза верна, то значения 0 и 1 для всех слу-
случайных величин zik являются равновероятными. Следовательно,
среднее значение zjk равно 1/2. Из E) тотчас же получаем среднее
значение для U:
U = \ gh. F)
Вместо E) мы можем теперь записать
\\ G)
Для того чтобы вычислить дисперсию о-2 случайной величины
U, мы возведем G) в квадрат и найдем среднее значение:
- Uf = 2 S (г« - j) [zfl -4) • (8)
Слагаемые с i^t j и кф I равны нулю, так как в данном случае
2ik и zji независимы и их средние значения равны 1/2. Слагаемые с
i = j и к = I все равны 1/4. Произведения (zik — ^j) B;7 — 1/2)
при i = j и к ф I равны —1/i, если х( расположен между ук и yt,
и равны -f Y4 — в противном случае. Таким образом, среднее
значение такого произведения равно
_! !-L.1 -— —
~Т 'з~ 4 'З "~12 "
То же самое справедливо и при к = I и i ф /. Окончательно,
в силу (8), получаем
°Л=Г ^h + ^ 9W - \) + ± gh(g- ]) = j1' (д + h + I). (9)
В. АСИМПТОТИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ U ПРИ ff -> х: И '*->¦*>
Манн и Уитни1 вычислили не только среднее значение и ди-
дисперсию ?7, но также и нашли для больших д и h асимптотические
формулы центральных моментов высших порядков. Моменты
нечетного порядка равны нулю, так как распределение U сим-
1 Mann П. В. and Whitney D. R., On a test whether one of
two random variables is stochastically larger than the other, Annals of Math.
Stat., 18 A947), 50.
332 Гл. XII. Порядковые критерии
метрично относительно среднего значения g hf2. Для моментов
четного порядка имеет место формула
S(«P) = 1 • 3 • 5 . . . Bг - 1) (ghy (g + h+lYjlw + В, A0)
где и = U — gh/2 и В стремится к бесконечности (при g —» оо
и h —> оо) медленнее, чем главный член формулы A0). Если и2г
разделить на
о* = (б »2)' = (ghy (g+h+\y щг ,
затем вычислить математическое ожидание и устремить g и h
к бесконечности, то, в силу A0), получим
f^f = 1 -3-5... Bг—1). A1)
Согласно «второй предельной теореме» (§ 24 Е), отсюда следует,
что случайная величина и/а- при g —» оо и Л —» оо распределена
асимптотически нормально с нулевым средним значением и еди-
единичной дисперсией, или
Если g и h стремятся к бесконечности, то U распределена
асимптотически нормально со средним значением gh/2 и диспер-
дисперсией о-2.
Метод моментов, примененный здесь для доказательства
асимптотической нормальности, можно использовать и во многих
других случаях; например, с псмсщью этого метода можно дока-
доказать асимптотическую нормальность случайной величины U даже
тогда, когда распределения х и у различны1.
Г. АСИМПТОТИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ U ПРИ h —> оо
Если к бесконечности стремится только h, а достается постоян-
постоянным, то для отыскания асимптотического распределения U нужно
применить другой метод. Основная идея этого метода станет осо-
особенно ясной, если мы сначала предположим, что g = 2.
Пусть Ху, х2 и Ух,. . ., yh — независимые случайные величины
и пусть F(t) = t @ =s t =s 1) — их общая функция распределения,
т. е. все х, и ук распределены одинаково равномерно в интервале
@,1). Далее, пусть их и щ — количества инверсий для хх и х%
соответственно. Общее количество инверсий равно U =
1 См. Lehmann E. L., Consistency and unbiasedness of nonpara-
metric tests, Ann. of Math. Stat. 22, 167, Theorem 3.2 (здесь же указана
литература), а также Iloeffding W., A combinatorial central limit-
theorem, Ann. of Math. Stat., 22, 558.
§ 63. Критерий Видкоксона
333
Сначала мы зафиксируем хх и х2. Если хх — постоянная вели*
чина, то вероятнссть события у < хх равна ^(а^) = а^. Частота
этого события задается отношением
щ
A2)
так как из h величин ух, . . ., yh ровно щ оказались меньше х1.
Если h велико, то частота события, с большей вероятностью,
близка к вероятности этого события, следовательно, частота vx
приближенно равна хх.
\
Рис.
Р и с. 31.
По той же самой причине частота v2 близка к х2. Следовательно,
отношение
ui + ui U
V,
A3)
с большой вероятностью близко к хг + х2.
Задача заключается в вычислении функции распределения
случайней величины U, т. е. в вычислении вероятности события
U < и. Вместо неравенства U < и можно также записать
U
V* = -h
h
A4)
Таким образом, мы должны вычислить вероятность события
vi + ^г < t-
Так как случайная величина vt + v2, с большой вероятностью,
близка к Xj -f x2, то мы сначала вычислим вероятность события
хх + х2 < t. Случайные величины х1 и х2 независимы и распреде-
распределены одинаково" равномерно в интервале @,1), поэтому совместная
плотность вероятности для пары (хи х2) внутри квадрата
0 < х1 < 1, 0 < х2 < 1 равна единице. Таким образом, вероя-
вероятность события хх -f хг < t равна площади области Gt, опреде-
определяемой неравенствами
0 < х,_ < 1, 0 < х2 < 1, хх + х2 < t.
334
Гл. XII. Порядковые критерии
Область Gt изображена на рис. 30. Она представляет собой
часть единичного квадрата, лежащую под прямой с уравнением
Ху -4- х2 = t. Площадь области Gt равна
0, есл и t =s 0,
,, t2, если 0 =s t =s I,
2 " A5)
¦— g- B — tJ, если 1 =s < -s_2,
A, если t s-2.
График функции #(/) изображен на рис. 31. В интервале от 0
Р и с. 32.
до 2 этот график состоит из двух дуг квадратных парабол. График
соответствующей плотности вероятности указан в § 25, рис. 16.
Точно так же в случае g = 3 вероятность события Ху + х2 +
+ х3 < t оказывается равной объему той части пространства,
которая возникает в результате пересечения единичного куба
плоскостью с уравнением хх + х2 -f x3 = t (рис. 32).
Вычисления показывают, что
H(t) =
о,
6 2
i-4C-*)8>
i,
если
если
, если
если
если
0=а
1 *
2=а
0,
3.
1
2
3
A6)
График функции H{t) изображен на рис, 33, а график соответ-
соответствующей плотности вероятности указан в § 25, рис. 17.
Уже в случае g = 2 и 3 графики функций A5) и A6) похожи на
кривые нормального распределения. При g = 4 график функции
§ 63. Критерий Вилкоксона 335
H(t) почти совпадает с нормальной кривой; с увеличением д
согласие станет еще лучшим.
Для перехода от xt 4- х2 к vx -f v2 нам потребуется следующая
лемма:
При любом целом положительном д и при любом е > 0 функция
H(t) удовлетворяет условию
И (t + е) — H{t) =a е. A7)
Доказател ьство. Левая часть A7) представляет собой
gr-кратный интеграл
I =j...\dx1...dxg. A8)
где интегрирование
неравенствами
t =? Х%
0 <
производится
+ Х2 + ...+
ж, < 1 (г = 1,
по
xg<
2,..
ot
t
эласт]
4- е,
д)-
л, определяемой
A9)
B0)
Если сперва зафиксировать х1г. . ., xg_1 и произвести интегри-
интегрирование по xg, то длина интервала интегрирования не будет превы-
превышать е, так как неравенства A9) определяют интервал длины е и,
вследствие условия B0), этот интервал может лишь уменьшиться.
Интегрированием по xlt. . ., хё_г в единичном кубе, принадлежа-
принадлежащем (<7—1)-мерному пространству, убеждаемся, что интеграл
A8) не превосходит е. Лемма доказана.
Так как функция распределения E(t) случайной величины
хг + х2 известна, то с помощью этой леммы мы можем оценить
функцию распределения г^ 4- v2 сверху и снизу.
Пусть задано е > 0. Покажем, что для достаточно больших h
вероятность события v1 4- v2 < t отличается от H{i) не более
чем на 2е.
Как мы уже знаем, разность (хг 4- х2) — (^ + v2) при h -» сю
по вероятности стремится к нулю. Отсюда следует, что для всех
достаточно больших Л вероятность события (хх -\- х2) — {vt + v2) >
> е будет меньше, чем е. Если vx + v2 < t, то либо хх 4- х2 < t + e,
либо (гг + 1г) — (v1-\-v2)>e. Таким образом, событие vx +
4- «2 < t содержится в объединении событий хх 4- х2 < t 4- ?
и (х1 4- х2) — (% 4- «2)-> е- Отсюда следует, что
= H(t + е) + е ¦« Я@ 4- 2е.
Точно так же находим,
Р(*>1 + ^2 < 0 э= P(^i + ^2 < t — е) — е =
= Я(* — е) — е s= Я(<) — 2е.
336
Гл. XII. Порядковые критерии
Следовательно, как и утверждалось, p(vx + v2 < t) отличается
от H(t) не более чем на 2е.
Этот же самый результат можно установить не только в слу-
случае g = 2, но и при любом д, а именно
При постоянном д и h -» оо случайная величина U асимптоти-
асимптотически распределена, как сумма g независимых случайных величин,
распределенных одинаково равномерно в интервале (О, h).
85
Рис. 34. Критерий Вилкоксона. Точная и асимптотическая кривые
распределения U.
Следовательно, среднее значение этой суммы, равное gh/2,
совпадает с точным средним значением случайной величины U.
Дисперсия суммы равна
в то время как дисперсия V задается формулой
Ь ^ + h + 1).
При g г» 4 распределение суммы можно достаточно точно аппрокси-
аппроксимировать нормальным распределением. Поэтому нормальное приб-
приближение, найденное Манном и Уитни для больших g и А, приме-
применимо также для умеренных g и больших h, коль скоро д> 3.
Числовые примеры свидетельствуют о том, что h не обязательно
должно быть очень большим. На рис. 34 изображены отрезок
§ 64. Мощность критерия Вилкоксона 337
точной кривой распределения (ломаная линия) при д = h = 10
и отрезок соответствующей кривой нормального распределения.
Согласие вполне удовлетворительное, ссобенно в интервале между
95 и 90%, который наиболее важен для практических прило-
приложений. В интервале между 99 и 100% ломаная линия располо-
расположена над нормальной кривой, поэтому, в случае уровней зна-
значимости /S=s0,01, применение нормального приближения увели-
увеличивает надежность критерия.
Изложенные результаты можно сформулировать так: При
д > 3 и д + hs> 20 нормальное приближение для критерия Вилкок-
Вилкоксона оказывается достаточно точным. Если же значения g и h не
удовлетворяют указанным неравенствам, то следует воспользо-
воспользоваться точным распределением.
Д. ТАБЛИЦЫ ДЛЯ МАЛЫХ д И h
В таблице 10, в конце книги, указаны вероятности р(м), соответ-
соответствующие распределению статистики U критерия Вилкоксона,
для всех д и А, удовлетворяющих условию
g*sh*s 10;
р(и) определяется как вероятность события U =s и, когда нулевая
гипотеза верна. Если в результате эксперимента оказалось, что
число инверсий равно и, и если р(м)=е/3, то это означает, что,
согласно критерию Вилкоксона с заданным уровнем /3, нулевую
гипотезу следует отвергнуть. При двустороннем критерии нужно
и заменить на gh — и и применить то же самое правило.
В случае одностороннего критерия истинный уровеньзначимости
не превосходит /3, а в случае двустороннего критерия он не пре-
превосходит 2/3.
Таблица 10 была вычислена с помощью таблиц Ван дер Варта,
опубликованных Математическим центром в Амстердаме A952,
отчет, стр. 32).
§ 64. Мощность критерия Вилкоксона
Как и в § 60, под мощностью критерия для проверки гипотезы
IIQ относительно альтернативной гипотезы W мы понимаем ве-
вероятность отвергнуть Но, когда W правильна. В нашем случае,
согласно нулевой гипотезе Но, все xt и ук независимы и имеют
одинаковые функции распределения F(t). В качестве альтернативы
мы воспользуемся теперь гипотезой Н', которая утверждает,
что все xt и ук независимы, причем все х( имеют функцию распреде-
распределения F(t), а все ук имеют функцию распределения G(t), отличную
от F(t).
22 Б. Л. ван дер Варден - 1062
338 Гл. XII. Порядковые критерии
А. СРЕДНЕЕ ЗНАЧЕНИЕ И ДИСПЕРСИЯ U В СЛУЧАЕ
СПРАВЕДЛИВОСТИ ГИПОТЕЗЫ II'
Положим снова
и = 2ч. A)
где zik = 1, если xt > yk, и zik = 0 - в противном случае, и опре-
определим среднее значение и дисперсию U с помощью того же метода,
которым мы пользовались в § 63 Б. В результате получим1
SU = ghp, B)
<?3 = gh [(g - I у + (h — 1 )s~ + pq], C)
где
p = \ G(t) dF(t), D)
q=-.\-p=\F{t)dG(t), E)
F)
s* = J [G(t) - Я2 ^F@, G)
причем во ксех формулах интегрирование производится от — оо
до -j- оо.
Предположим, например, что ж,- распределены нормально со
средним значением /л, > 0 и единичной дисперсией и что ук распре-
распределены нормально с нулевым средним значением и единичной
дисперсией.
R этом случае
F(t) = O(t - lx), G(t) =
= J Ф(?) ЙФ (/ - /x) = J
i
где область интегрирования определяется неравенством у < х-\-
+ /х. Для того чтобы вычислить этот интеграл, мы введем новые
переменные t и и с помощью ортогонального преобразования:
- х + у — и |/2.
1 См. van Dantzig D., Consistenoy smd power of Wilc-oxons test,
Proc. Kon. Not]. Akad., Amsterdam (Section of Sciences), A 54, 1.
§ 64. Мощность критерия Еилкскссна 339
Таким образом, получаем
1 ГГ^« )
р = : \ \е " dl du,
где область интегрирования определяется неравенством и ^2 < fi.
Если сначала проинтегрировать по t, а затем по и, то найдем
'=*(¦?)¦ (8)
Тогда
г- = С [Ф{1 — р.) — д\- AФA), (9)
(Ю)
Подстановкой ? =—V можно (9) перевести в A0). Следова-
Следовательно, г- = s2. Далее, если \х заменить на —\х, то р перейдет в
q us2-— в г2, т. е. s2 перейдет само в себя. Поэтому s2 является
четной функцией от /х. Производить дальнейшие преобразования
интеграла s2 не имеет смысла, так как при этом не удастся получить
простое выражение, зависящее от известных функций. Поэтому
мы удовлетворимся тем замечанием, что р, тг и s2 являются огра-
ограниченными функциями от /х (г2 и s2 даже стремятся к нулю при
/х —> -{- со или — ею) и что эти функции при малых /и. можно
разложить в ряды по степеням /л, начинающиеся с членов
(выписаны лишь члены, содержащие ju° и /л,1).
Наша цель заключается в вычислении мощности односторон-
одностороннего критерия Вилкоксона, т. е. в вычислении вероятности собы-
события U > и? как функции от /х. Обозначим эту функпию Р(ц).
Она нам, в частности, потребуется для сравнения мощностей
критерия Вилкоксона и критерия Стьюдента. Ведь, как нам извест-
известно из § 60, если все х и у независимы и распределены нормально
с одинаковыми дисперсиями, то среди всех односторонних крите-
критериев с точным уровнем значимости /3, предназначенных для срав-
сравнения средних значений х и у, односторонний критерий Стьюдента
является равномерно наиболее мощным. Так как речь идет об
односторонних критериях, то, для определенности, мы снова
предположим, что jli> 0.
Пусть, например, д =s h. Рассмотрим сначала два случая.
Первый случай: д и h — величины одинакового порядка.
22*
340 Гл. XII. Порядковые критерии
Второй случай: h велико сравнительно с д, и д безгранично
возрастает.
В обоих случаях мы будем рассматривать лишь такие зна-
значения ц, которые являются величинами порядка 1/fg. Так как
если /и, велико сравнительно с 1/7 <7, то искомая функция мощности
критерия Вилкоксона и функция мощности критерия Стьюдента
будут очень близки к единице, поэтому полное сравнение этих
функций (при всех /л, > 0) не интересно. Доказывается это так.
Положим U — gh/2 = V и Up — ghf2 = Vй. Среднее значе-
значение V равно (р — \j2)gh, следовательно, оно является величиной
порядка [xgh. Таким образом, если /х велико сравнительно с
l/Kfi'. то среднее значение V велико сравнительно с h ]/^. Согласно
C), квадратичное отклонение V является величиной порядка
h](g и граница V' 9 также является1 величиной порядка h ]/g. Следо-
Следовательно, вероятность события V > V^ близка к единице. Так
как при любом /х критерий Вилкокссна не мощнее критерия
Стьюдента, то мощность критерия Стьюдента в обоих указанных
случаях также будет близка к единице.
Итак, мы теперь предположим, что /л является величиной
порядка \/)[д. В этом случае в формулах A1) и A2) можно пренеб-
пренебречь членами порядка /л,2 или 1/д и ограничиться выписанными
членами. Если A1) и A2) подставить в B) и C), то получим
A3)
A4)
Ь. ПЕРВЫЙ СЛУЧАЙ: д И h — ВЕЛИЧИНЫ
ОДИНАКОВОГО ПОРЯДКА
Для определенноеги мы предположим, что д и h стремятся к
бесконечности таким образом, что отношение gr/Aостается постоян-
постоянным. В этом случае Леманн2 доказал, что случайная величина U
распределена асимптотически нормально со средним значением
ghp и квадратичным отклонением «ту. Следовательно, вероятность
P(ju-) события U > Up асимптотически равна вероятности события
w>Up, где w — случайная величина, распределенная нормально
со средним значением ghp и квадратичным отклонением о-у.
Ф («*?=?в) . A5)
1 В обоих случаях д — > зо и h —» оо, поэтому, согласно теореме,сформу-
теореме,сформулированной в § 63 В, Up = О (try) = C(h}'g). — Прим. перев.
а См. сноску на стр. 332.
§ 64. Мощность критерия Вилкоксона 341
Если A1) и A4) подставить в правую часть A5), то получим
с), A6)
где
= I/-3- ".»*_
Г я 5 + h
и постоянная с зависит от 17Й. Напомним, что граница UB была
определена таким образом, чтобы вероятность события V > U^
при /г = 0 не превышала у9 и при д —> оо и h -* оо стремилась к /3.
Поэтому вероятность A6) при /г = 0 должна равняться /3:
ФГ—^=/=1 A8)
у\симптотическая формула для функции мощности определяется
формулами A6), A7) и A8).
В. СРАВНЕНИЕ С КРИТЕРИЕМ СТЬЮДЕНТЛ
В критерии Стьюдента для сравнения двух средних значений
(§ 29) используется статистика
а~ в , A9)
i-де
1
х = хд(х1-\ ...+ xg), B0)
У ^1(У1 I" ••¦ 'г Ун), B1)
В формуле A9) среднее значение числителя D равно [л, в то
время как среднее значение S2 задается выражением
B3)
Числитель D представляет собой нормально распределенную
случайную величину, у которой квадратичное отклонение является
величиной того же порядка, что и /л. Так как квадратичное откло-
отклонение знаменателя S является величиной более высокого порядка
малости, чем квадратичное отклонение числителя, то отсюда сле-
следуем, что отношение t имеет асимптотически ту же самую функцию
распределения, что и отношение D/<rD. Таким образом, функция
распределения t асимптотически равна функции распределения
отношения
Но случайная величина V распределена нормально со средним
342 Гл. XII. Порядковые критерии
значением /а/°Ъ и единичной дисперсией. Следовательно, вероят-
вероятность события V > с равна
B4)
При /л = 0 снова должно иметь место равенство Ф(— с) = /3,
следовательно, постоянная с принимает то же самое значение, что
и раньше. Если в формулу B4) подставить B3), то получим асим-
асимптотическую формулу для функции мощности критерия Стью-
Стьюдента
/¦"(м) ~Ф{Ъ'у, -- с), B5)
где
Ъ' = |/_^._ . B6)
Сравнение A6) с B5) показывает, что асимптотически функции
мощности Р(/л) и P'(jj.) при больших д и h отличаются друг от
друга лишь множителем ]АЗ/я в коэффициенте при /а. Иными сло-
словами, если критерий Вилкоксона применяется к выборкам объема
д и h, а критерий Стьюдента — к выборкам объема д' и h' и если
<7'~3 д и Л'~3 Л, B7)
то функции мощности Р()х) и ^'(/л.) будут асимптотически равны
друг другу. Указанное свойство можно выразить и так: асимп-
асимптотическая эффективность критерия Вилкоксона равна 3/я\ Это
означает, что для критерия Стьюдента, который является наиболее
мощным, объемы выборок д и h нужно уменьшить в 3/я раз, чтобы
получить такую же функцию мощности, какую имеет критерий
Вилкоксона, построенный по выборкам объема д и Л.
Так как отношение 3/я приближенно равно 21/22, то можно
также сказать, что критерий Вилкоксона, примененный к 22
наблюдениям, приблизительно равноценен но мощности критерию
Стьюдента, примененному к 21 наблюдению. Вследствие этого
потеря мощности при переходе к критерию Вилкоксона оказы-
оказывается очень малой.
Большим преимуществом критерия Вилкоксона является,
конечно, возможность его применения в случае распределений,
отличных от нормального. К тому же он требует значительно
меньших вычислений, чем критерий Стьюдента. При больших д
и h потеря мощности будет совсем незначительной и полностью
окупается этими двумя преимуществами.
Г. ВТОРОЙ СЛУЧАЙ: h ВЕЛИКО СРАВНИТЕЛЬНО С Я
Пусть теперь h велико сравнительно с д. Если мы сначала д
зафиксируем; то можно будет применить методы из § 63 Г. Сперва
предположим, что д = 2 и что а^ и хг — фиксированные числа.
§ 64. Мощность критерия Вилкоксона 343
Вероятность события у < хг равна G(x1), а частота этого события,
как и A2) § 63, задается отношением
Так как частота события по вероятности стремится к вероят-
вероятности события, то величина v1 близка к G(Xj) и точно так же
v2 близка к G{x^), следовательно, отношение
близко к
G{Xl) -j- G(x2).
Поэтому вероятность события U < и или
<i<% = t B8)
асимптотически равна вероятности события
G(Xl) + G(x2) < t. B9)
Таким образом, функция распределения случайной вели-
величины U/k асимптотически равна функции распределения суммы
двух (в общем случае — суммы д) независимых случайных вели-
величин, каждая из которых распределена так же, как G{xx), где хх —
случайная величина с функцией распределения F(t). Функция
распределения случайней величины G{x^) равна вероятности
события G{x^) < t или события хх < G-^t), где G-1 — функция,
обратная функции G. Таким образом, функция распределения для
Gix,) задается формулой
K{t) = F[G-\t)\ C0)
Если мы снова предположим, что xt и ук независимы и подчи-
подчиняются нормальному распределению с единичной дисперсией и
математическим ожиданием /л (для х) и 0 (для у), то
= O{t — p), G(t) = O(t),
следовательно,
K{t) = Ф
где Ч* — функция,обратная функции нормального распределения Ф.
Согласно нулевой гипотезе, F = G (или /и, = 0), поэтому
K(t) = t, т. е. G(x1) подчиняется равномерному распределению в
интервале @,1). При малых (л, а также и во всех тех случаях, когда
F не сильно отличается от G, отклонение K(t) от функции равно-
равномерного распределения будет небольшим. Во всяком случае, вели-
величина G(x±) заключена между нулем и единицей, поэтому ее распре-
344 Гл. XII. Порядковые критерии
деление ограниченно и, значит, существуют моменты всех поряд-
порядков.
Рассмотрим теперь распределение суммы G(x^) + G(x2) или —
в общем случае — распределение суммы
G{Xl) +... + G(xa).
Согласно центральной предельней теореме (§ 24 Г), при боль-
больших g эта сумма распределена приближенно нормально. При
этем g не обязательно должно быть очень большим: уже при
умеренных значениях g приближение оказывается очень хорошим.
В том случае, когда G(xt) подчиняются равномерному распределе-
распределению, аппроксимация становится отличной для нсех д, начиная с
д — 4. Если К{1) несколько отклоняется от функции равномерного
распределения, то качество приближения будет лишь немного
хуже. Таким образом, если д^А, то распределение отношения
мало отличается от нормального распределения.
Для того чтобы утверждение об асимптотическом распределе-
распределении было теоретически правильным, нужно д устремить к беско-
бесконечности. При этом безразлично, остается ли отношение h/g
ограниченным или оно стремится к бесконечности, так как в обоих
случаях U распределено асимптотически нормально. Если ju.
не слишком велико, то для практических целей нормальное приб-
приближение оказывается вполне удовлетворительным уже при
д и h > 4 и д + h з= 20.
Д. ДРУГИЕ СЛУЧАИ
При малых д (например, д = 2) и больших h можно применять
этот же метод; нельзя только распределение суммы G(x1) +
-|- G(x2) заменять нормальным распределением, а нужно восполь-
воспользоваться точным распределением, для вычисления которого сле-
следует применить теорему III, § 4 Г. Если все х, и ук независимы и
нормально распределены с единичной дисперсией и средними
значениями ц (для х) и 0 (для у) и если д = 2 и h —> оо, то при
/3 = 0,05, fx = 1,5 функции мощности критериев Вилкоксона и
Стьюдента имеют значения1 соответственно
ffy) = 0,64, Р'(Ю = 0,68. C1)
При больших д и h функции Р{^л) и Р'(/г) можно вычислять Ш»
формулам A6) и B5), где Ъ и Ъ' определяются формулами A7) Я
1 Van der Waerden В. L., Ртос. Коп. Ned. Acad. Amsterdam.
Series A, 55 A962), 450.
§ 64. Мощность критерии Вилкоксона 345
B6), а с определяется равенством A8). Если положим снова
/5 = 0,05 и выберем Ъ ^ = 2,03, то получим, что Ъ' /л = 2,08 и
РМ = 0,64, PV) = 0,67, C2)
т. е. почти тот же самый результат, что и C1).
Другим случаем, в котором легко осуществляются числовые
оценки1, является д = h — 3 и /? = 0,05. В этом случае по кри-
критерию Вилкоксона нулевую гипотезу Но отвергают лишь тогда,
когда хъ х2, х3 и уlt уг, уй образуют последовательность
у у у х х х.
Уровень значимости при этом точно равен /3 = 1/20. При (л = 2
функции мощности критериев Вилкоксона и Стьюдента прини-
принимают значения
Р(ц) = 0,62, Р'Aл) = 0,65, C3)
следовательно, разность этих значений столь же мала, как и
в предыдущих случаях.
Однако при малых д и h критерии Вилкоксона обладает
одним недостатком, вследствие которого мощность этого критерия
в отдельных случаях существенно снижается. А именно, тогда,
когда несколько перестановок имеют одинаковое число инверсий.
Об этом говорилось в § 63 А и там же был указан соответствующий
пример. Количество таких примеров можно увеличивать безгра-
безгранично.
Пусть, например, <7 = 4, Л = 6и/? = 0,05. Критерий Вилкок-
Вилкоксона отвергает нулевую гипотезу в следующих случаях, имеющих
21 инверсию или больше:
1 ¦ У У У У У У * х х х
?¦ ууууухуххх
3. уууухууххх
4. у у у у у х х у х х
5. у у у х у у у х х х
6. уууухухухх
7. у у у у у х х х у х.
Так как заданный уровень значимости равен 0,05, то следовало
бы отвергнуть 0,05-210 сочетаний, т. е. 10 сочетаний. Однако
если к выписанным семи сочетаниям добавить все сочетания с 20
инверсиями, то получим 12 сочетаний; это количество слишком
велико. Таким образом, критерий Вилкоксона с fi = 1/20 не мощ-
1 См. стр. 452 только что цитированной заметки.
34E Гл. XII. Порядковые критерии
нее того же критерия с /3 = 1/30, в то время как критерий Стью-
дента с уровнем значимости */го, конечно, значительно мощнее
того же критерия с уровнем значимости 7зо-
Точно так же можно показать, что в данном случае (д = 4,
h = 6) критерий Вилкоксона с /3 — 0,025 не мощнее того же кри-
критерия с /3 = 0,02 или двусторонний критерий Вилкоксона с задан-
заданным уровнем значимости 0,05 не мощнее двустороннего критерия
с заданным уровнем значимости 0,04 и т. д.
Мощность критерия можно было бы увеличить, если в сомни-
сомнительных случаях вытаскивать карту из специально подобранной
колоды и отвергать гипотезу Ыо в том случае, когда извлеченная
карта окажется черной масти. Однако лучше вс спсльзсваться
более мощным критерием, а именно, критерием X. к изложению
которого мы теперь и переходим.
§ 65. Критерий X
А. ЭВРИСТИЧЕСКИ!"! ВЫВОД
Рассмотрим снопа случай <7 = 2 и Л —> оо. Таким сбразем,
пусть xi,xi,y1,...,yh — результаты наблюдений и пусть щ —
количество величин ук. меньших чем хъ щ — количество величин
ук, меньших чем х2, г\ -- частота себьпия у < хл и v., — частота
события у < х2, I. е.
v, -": v -^ (I)
Количество инверсий равно
U = и,-\ щ. B)
Согласно критерию Внлксксснш, нулевая гипотеза отвергается
тогда, когда щ ~- щ> V'd или
vi + У2 > Ь, где Ъ = ^ . C)
Вероятность этого события асимптотически равна вероятности
события
G(xt) + G(xt)> b D)
(см. § 64 Г).
Сначала мы предположим, что у подчиняется нормальному
распределению с нулевым средним значением и единичной диспер-
дисперсией, т. е.
G(t) = O(t). E)
Тогда вместо D) можно написать
Ф(х1) + Ф(х.2) > Ь. F)
§ 65. Критерий X 347
Если х1 и х2 распределены нормально со средним значением
/X г= 0 и единичной дисперсией, то равномерно наиболее мощный
критерий для проверки нулевой гипотезы /л = 0 отвергает эту
гипотезу тогда, когда
ху + х2 > с. G)
где постоянная с выбирается таким образом, чтобы вероятность
события G) в случае, если гипотеза /л = 0 верна, точно равнялась
/3. Это приводит к условию
или
с = К2УA—/S). (9)
Критерий G) имеет асимптотически ту же самую мощность,
что и критерий Стыодента. В этом можно убедиться непосред-
непосредственно, вычислив мощность критерия G) и сравнив ее с асимпто-
асимптотической сценкой мощности критерия Стыодента, вычисленной в
§ 64 В.
Таким образом, различие асимптотических мощностей крите-
критериев Вилкоксона и Стьюдента возникает вследствие того, что
в левой части F) стоит Ф(х1) -->, Ф(х2), тогда как левая часть G)
равна х1 -{- х2. Статистика х1 -~ х2 позволяет получить несколько
лучший критерий.
Подстановка vt — G(xt) ~ Ф{х() переводит леиую часть C)
в левую часть F). Однако неравенство C) можно легко видоизме-
видоизменить таким образом, чтобы в результате той же подстановки
получалась левая часть G). Для этого нужно лишь vi формально
заменить величинами ^(t?,), где Ф — функция, обратная функ-
функции Ф.
В результате получается видоизмененный критерий, согла-
согласно которому нулевая гипотеза отвергается тогда, когда сумма
A0)
превосходит надлежащим образом выбранную границу с. Если
в A0) положить
то сумма 8 перейдет в хх -f- x2 и получится критерий G).
При произвольном д вместо A0) нужно рассматривать сумму
8 = y(|j + V[fj + . . . + У^) . A2)
Однако соответствующий критерий будет иметь один недостаток,
связанный с тем, что слагаемые суммы A2) могут обращаться
348 Гл. XII. Порядковые критерии
в —оо (при и, = 0) или в + оо (при щ = Л); в этих случаях вы-
вычисление суммы невозможно. Для того чтобы преодолеть это
затруднение, все xt (а вместе с ними и щ) располагают в порядке
возрастания их величины, затем и, заменяют числами
г1 = щ + \, г2 = щ + 2, . . ., rg = ug + q, A3)
и, наконец, в знаменатели вместо h подставляют
п + 1 = д + h+ 1.
Таким образом, возникает окончательное выражение
Числа гх, . . ., rg, определенные равенствами A3), равны поряд-
порядковым номерам х1г . . ., xg в общем вариационном ряду, составлен-
составленном по объединенной выборке xlt . . ., xg, yu . . ., yh. Порядковые
номера rt могут принимать лишь значения от 1 до п = д -{- h,
поэтому слагаемые A4) никогда не обращаются в + оо.
Если отвлечься от крайнего случая, когда в A2) некоторые щ
близки к 0 или к h (для очень больших h этот случай все равно
является очень маловероятным), то окажется, что асимптотическ
при h —> оо сумма A4) ведет себя так же, как сумма A2). Изложен-
Изложенный выше эвристический вывод, который сперва привел нас к
сумме S и критерию S > с, приводит, таким образом, к более
удобней для приложений сумме X и к следующему критерию.
Б. КРИТЕРИЙ X
Пусть п = д -f h случайных величин xt,. . ., xg и уи . . .,yh
расположены в порядке их возрастания, и пусть г, (или просто г) —
порядковый номер хг и sk (или просто s) — порядковый номер ук.
Образуем суммы
A5)
В интервале 0 < t < 1 функция W(t) принимает лишь конеч-
конечные значения и удовлетворяет условию
? (I — t) =—W(t), A7)
поэтому сумма X -\- Y всегда равна нулю:
§ 65. Критерий X 349
При перемене ролей х и у величина X переходит вУ = —X.
Если затем изменить еще и порядок следования (т. е. расположить
все х и у не в порядке их возрастания, а в порядке убывания),
то —X снова перейдет в X
Границу Хр следует определить таким образом, чтобы вероят-
вероятность события
Х>Х,, A9)
вычисленная в предположении, что все п\ перестановок из xlt . . .,
xg< У\> ¦ ¦ ¦> Уь являются равновероятными, была наибольшей и
при этом не превосходила /?. Указанное предположение является
следствием нулевой гипотезы Но, которая утверждает, что все xt
и ук независимы и обладают одинаковыми функциями распределе-
распределения F{x). Сначала эту функцию мы будем считать непрерывной и
поэтому возможность ссущсствления таких событий, как ж,- = ук,
можно не принимать в расчет.
Согласно одностороннему критерию X, нулевая гипотеза от-
отвергается, коль скоро сумма X превосходит границу Х?. Этот
критерий применяется тогда, когда интересуются, не будут ли
X/, вообще говоря, больше, чем у,? Уровень значимости этого
критерия не превосходит /3.
Согласно двустороннему критерию X, нулевая гипотеза отвер-
отвергается тогда, когда X или Y превосходят границу Хр. Если сказы-
сказывается, что Х> Хр, то считают, что х в среднем больше, чем у.
В противоположность этому если Y > Хр, то полагают, что у в
среднем больше, чем х. Уровень значимости двустороннего крите-
критерия не превосходит 2/3.
В. ВЫЧИСЛЕНИЕ Хр
При малых ди hграницу Хр можно вычислить точно с помощью
непосредственного перечисления равновозможных сочетаний. В
качестве примера снова рассмотрим случай д = 4, h = б и поло-
положим
/3 = i = 0,025, следовательно, 2? = ^ = 0.05.
1
Количество различных сочетаний вида х у у.. . х равно 1 =
= 210. Сороковая часть этого количества1 равна 5. Таким образом,
1 Как и в случае критерия Вилкоксона, здесь идет речь о целой части
Прим. перев.
и;)]- -
350
Гл. XII. Порядковые критерии
мы должны выписать 5 таких сочетаний, для которых соответству-
соответствующие значения X являются наибольшими.
Сначала составим таблицу значений У. округленных до двух
десятичных зпакор:
,-|= -1,34
¦-= - 0,91
= — 0,35
:•---- -0,11
A] =0,1
11
3 .
lli
) = 0,60
= 0,91
11
С пемшцыо этой таблицы для каждого такого сочетания,
как у у уу ху у х х х, можно теперь вычислить значение X по
формуле A5). Шестью сочетаниями с наибольшими значениями X
являются
1- уууууухххх X = 3,31
2. ууууухуххх X — 2,96
3. уууухууххх X = 2,74
4. у у у у у х х у х х X = 2,71
5. у у у х у у у х х х X = 2,50
6. уууухухухх X = 2,49
Бели мы положим Х? — 2,49, то лишь для пяти сочетаний
значения X будут превосходить Хр. При этом предполагается,
что в практических применениях критерия X значения X вы-
вычисляются лишь с двумя десятичными знаками и что нулевая гипо-
гипотеза отвергается только тогда, когда вычисленное значение X
оказывается строго больше, чем Хр.
Для контроля целесообразно наряду с X вычислять также
и Y. Сумма X -г Y должна быть точно равна нулю (даже при
округленных значениях W).
Указанное здесь перечисление всех возможных случаев прак-
практически удобно лишь при g -г h=s20. При больших значениях
g и h приходится переходить к асимптотическим оценкам.
§ 65. Критерий X ЗС1
Г. СРЕДНЕЕ ЗНАЧЕНИЕ И ДИСПЕРСИЯ Л
Обозначим значения W буквами ах, . . . , ап:
Согласно A5), статистика X представляет собой сумму
* =-24 = «г, + вг, -... +arff B1)
где rv, . . . , rg — некоторая выборка объема д, извлеченная из
совокупности п возможных индексов г-~ 1,2, . . ., п. В случае
справедливости нулевой гипотезы все такие выборки равно-
равновероятны.
Каждое отдельное слагаемое аг суммы B1) принимает значе-
значения ах, . . . , ап с одинаковыми вероятностями. Следовательно,
математическое ожидание каждого аГ равно нулю, а поэтому
& X = 0. B2)
Для того чтобы вычислить дисперсию случайной величины
X, определим сначала среднее значение для а?. Так как а2г при-
принимает значения af, . . . , ajj с одинаковыми вероятностями, то
S*?=f7(«? + --•+<$- Я. B3)
Определим теперь среднее значение произведения яГ[ aTt.
Это произведение принимает значения вида арь(гф 1с) с одина-
одинаковыми вероятностями, поэтому
Если B1) возвести в квадрат и вычислить среднее значение,
то получим
пли
При этом Q, согласно B3), определяется формулой
352 Гл. XII. Порядковые критерии
Среднее значение и дисперсия случайной величины X за-
задаются формулами B2) и B5). Величины Q табулированы в
табл. 12.
Д. АСИМПТОТИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ X
Пусть хи . . . , xg и Уи • • • >Уь —" независимые, одинаково
распределенные случайные величины, и пусть сначала h велико
сравнительно с д. При этом безразлично, велико д или нет. В таком
случае справедлива теорема: случайная величина X распределена
асимптотически нормально с нулевым средним значением и квадра-
квадратичным отклонением <гх. Доказательство не представляет труд-
трудности; его можно найти в моей работе о критерии X, опублико-
опубликованной в журнале Math. Ann., 126 A953), 94.
Согласно только что сформулированной теореме для каждого
е> 0 найдется таксе М, что при всех h/g > М функция распре-
распределения X будет отличаться от соответствующей функции нор-
нормального распределения менее чем на е. Это же самое справедливо
и для g/h> M. Таким образом, мы должны еще рассмотреть
лишь случай, когда оба отношения g/h и h/g не превосходят М
и при этом п = g -) h безгранично возрастает. В этом случае
теорема об асимптотической нормальности также справедлива,
но доказывается она много тяжелее. В реферате моей только что
цитированной работы (реферативный журнал Math. Reviews, 15,
46, референт G. E. Noether) отмечается, что доказательство можно
провести с помощью одной теоремы Вальда и Вольфовица, кото-
которую в свею очередь можно доказать методом моментов, указан-
указанным в § 63 В. Полностью это доказательство провел Стокер
в своей Амстердамской диссертации: [см. Stoker. D. J. Оог 'n klas
van toetsings-groothede vir die probleem van twee steekproewe
11955)].
Поэтому при п —» oo случайная величина Х распределена
асимптотически нормально, независимо от того, стремятся в
отдельности g и h к бесконечности или нет. Таким образом,
статистика X и число инверсий U асимптотически ведут себя
различно.
На основе этой теоремы были вычислены таблицы1 для крите-
критерия X. При этом для малых п (т. е. для малых g и К) граница
Хр определялась точно, путем перечисления возможных случаев.
Для больших п использовалось асимптотическое нормальное
распределение. При этом особое внимание уделялось членам
ах и ап, которые могут встретиться среди слагаемых суммы B1).
Это позволило существенно улучшить приближение.
1 V a n der Waerden В. L. und Nievergelt E., Tafeln zum
Vergleich zwcier Stichprohen mittels X-Test und Zeichentest, Springer—
Verlag, 1956.
§ 65. Критерий X 363
Е. СЛУЧАЙ. КОГДА НЕКОТОРЫЕ X И У МОГУТ
БЫТЬ РАВНЫМИ
До сих пор мы предполагали, что х и у обладают непрерывными
функциями распределения и отсюда следовало, что возможность
осуществления события ж, = ук можно не принимать в расчет.
Однако на практике xt и ук всегда представляются округленными
числами и, следовательно, имеют дискретное распределение;
поэтому вполне возможен случай, когда xt = yk. Спрашивается,
как в таком случае нужно определять порядковые номера rt и
sk, которые используются при вычислении X и Г по формулам
A5) и A6)? Такой же вопрос возникает также и в случае крите-
критерия Вилкоксона.
Были предложены различные методы. Например, для того
чтобы решить, какую из двух равных величин xt и ук считать
большей, можно бросать монету. Можно также условиться
приписывать средний порядковый номер г + lU тем равным
величинам xt = yk, которые, в случае их неравенства, должны
были бы иметь порядковые номера г и г -f- 1. Однако наилучшим
оказывается следующий метод.
Мы рассмотрим сейчас наиболее общий случай, когда имеется
с = а 4- Ъ равных величин а^,. . . , ха и уъ . . ., уь, занимающих
места с порядковыми номерами г, т -f-1, . . ., г + с — 1. Располо-
Расположим величины х1,. . . , ха, уъ . . . , уь на имеющихся в нашем
распоряжении с местах всеми с! возможными способами, для
каждой такой перестановки вычислим X и из всех полученных
значений X образуем арифметическое среднее.
При практических расчетах этот метод можно упростить.
Следует суммировать не с! слагаемых, а лишь с. А именно, нужно
по имеющимся в нашем распоряжении порядковым номерам
построить сумму
)Ш+¦¦¦+' (ЭД B6)
и к суммам X и Y, вычисленным по остальным порядковым номе-
номерам, добавить дроби, соответственно равные
Л и -^rSc. B7)
а+Ь
Если в другом месте имеется еще с' = а' -\- Ъ' равных друг
другу величин xt и ук, то вычисляют аналогичное выражение
и т. д. Суммированием всех таких выражений1 получают X и
соответственно Y.
1 Этот прием формально применим и в случае с = 1, т. е. тогда, когда
два соседних члена вариационного ряда не равны друг другу. Поэтому
-X и Y можно считать суммами выражений вида B7). — Прим. пере.в.
23 Б. Л. ван дер Варден - 1062
354 Гл. XII. Порядковые критерии
Эта модификация оказывает лишь небольшое влияние на
функцию распределения X. Квадратичное отклонение X (а вместе
с ним, вероятно, и истинный уровень значимости критерия)
несколько уменьшается. Следовательно, если граница Х^ остается
неизменной, то указанная модификация лишь увеличивает надеж-
надежность критерия.
Ж. СРАВНЕНИЕ С КРИТЕРИЕМ СТЬЮДЕНТА
Предположим теперь, что все х{ и ук независимы и распреде-
распределены нормально с единичной дисперсией и средними значе-
значениями /л г= 0 (для х) и 0 (для у). Далее, предположим, что g фик-
фиксировано и А стремится к бесконечности. В этих предположениях
мы хотим найти асимптотическую оценку для мощности критерия
X и сравнить ее с мощностью критерия Стьюдента.
Функция мощности P(ja) критерия Xопределяется как вероят-
вероятность события
Так как все перестановки величин xv . . . , xg являются равно-
равновероятными, то мы можем считать, что хг< х2< . . . < xg. В этом
случае формулы A3) снова оказываются справедливыми, и вместо
B8) можно записать
(+1| l+v I9Q\
Если в этом неравенстве, согласно A), положить
и п = д -\- k, то получим
= ~hvl
Теперь мы так же, как в § 64 Г, заменим частоты vt близкими
к ним вероятностями. Тогда выражение
перейдет в
Если, кроме того, в числителе и знаменателе пренебречь теми
членами, которые малы сравнительно с h, то получим
§ 65. Критерий X 356
и C0) перейдет в
»i + х2 + ... -\-xg> Х„. C1)
Наконец, если при h —> оо X, заменить соответствующим
асимптотическим выражением, то C1) перейдет в неравенство
x1 + x2 + ... + xg> YgT A -Р). C2)
Этот результат является обобщением критерия G) на случай
произвольного д. В том, что мы вернулись к этому критерию,
нет ничего удивительного, так как в разделе А этого параграфа
мы вывели критерий X, исходя из неравенства G). В данном же
случае мы шли тем же путем, но только в обратном направлении.
Только что полученный результат показывает, что асимпто-
асимптотически при Л —» оо критерий X имеет ту же самую функцию
мощности, что и критерий C2). Как мы уже видели, среди всех
критериев для проверки нулевой гипотезы, обладающих точным
уровнем значимости /?, критерий C2) является равномерно наи-
наиболее мощным.
Легко можно вычислить функцию мощности критерия C2).
Находим
Р'М = Ф(Ь> - с), C3)
где
V = fa и c = W(\—p). C4,
Следовательно, асимптотически функция мощности критерия
X задается формулой C3). В § 64 В мы видели, что функция
мощности критерия Стьюдента также задается асимптотической
формулой C3). Таким образом, при постоянном д и при h —» оо
критерий X имеет такую же мощность, как и критерий Стью-
Стьюдента.
В данном случае я хотел лишь изложить основные идеи и
наметить путь доказательства. Точный вывод можно найти в
работе, цитированной выше (Math. Ann., 126, § 5, 103).
Я подозреваю, что этот же результат останется справедливым
и тогда, когда оба параметра д и h стремятся к бесконечности.
3. РАСПРЕДЕЛЕНИЯ. ОТЛИЧНЫЕ ОТ НОРМАЛЬНОГО
Критерий Стьюдента предназначен для проверки нулевой
гипотезы в предположении, что в обеих выборках случайные
величины распределены нормально с одинаковыми дисперсиями.
Большим преимуществом порядковых критериев является их
полная независимость от предположения нормальности. При
этом, независимо от выбора непрерывной функции распределения
F(x), уровень значимости таких критериев всегда не превосходит р.
23*
356 Гл. XII. Порядковые критерии
Что касается критерия Стьюдента, то его истинный уровень
значимости может превышать /9, если только распределения
х я у отличны от нормального.
Однако при соответствующих предположениях о функции
F(x) и при больших g и h превышение заданного уровня значи-
значимости критерия Стьюдента оказывается не очень значительным.
А именно, при достаточно большом g выборочное среднее х незави-
независимых случайных величин xlt. . . , xg распределено приближенно
нормально, точно так же распределено и выборочное среднее у
при достаточно большом А, следовательно, разность D = x — у
распределена приближенно нормально: При больших п = д -\- h
знаменатель S стьюдентовского отношения можно приближенно
заменить истинным квадратичным отклонением <rD разности D.
Таким образом, отношение D/S распределено приближенно
нормально с квадратичным отклонением, стремящимся к единице
при д -f- h —» оо. Поэтому если все х и у имеют одинаковые и не
слишком дикие функции распределения F(t) и если д и h велики,
то истинный уровень значимости критерия Стьюдента будет
приближенно равен заданному значению /3.
Однако при распределениях, отличных от нормального, крите-
критерий Стьюдента, в противоположность порядковым критериям,
обладает другим недостатком, а именно незначительной мощ-
мощностью. В § 6 моей уже упоминавшейся работы (Math. Ann., 126,
106) я рассматривал случай, когда функции распределения F и
G случайных величин х и у устроены таким образом, что при
некотором однозначном преобразовании случайных величин
х'=т(х), у' = т(у) C5)
оба распределения переходят в нормальные распределения с рав-
равными дисперсиями, но различными средними значениями. Мощ-
Мощность критерия X точно так же, как и мощность любого другого
порядкового критерия, при таком преобразовании остается,
конечно, неизменной. Что касается функции мощности критерия
Стьюдента, то она вследствие преобразования C5) может значи-
значительно уменьшиться. В частности, такое уменьшение происходит
тогда, когда благодаря преобразованию C5) квадратичные откло-
отклонения <тх и сгу увеличиваются сильнее, чем разность средних
значений х — у.
В одной из следующих заметок (Ргос. Коп. Akad. Amsterdam,
А 56, 311) я рассмотрел другой случай, когда хх,. . . , xt распре-
распределены равномерно между нулем и единицей, a ylt . . . , ув распре-
распределены равномерно между нулем и 1 + /а. При этом оказалось,
что при [L -» оо функции мощности порядковых критериев стре-
стремятся к единице, а функция мощности критерия Стьюдента
к единице не стремится.
§ 65. Критерий X 357
Мне и на практике приходилось иметь дело со случаями,
в которых гипотеза о нормальном распределении х и у с равными
дисперсиями заведомо не имела места и в которых критерий X
нулевую гипотезу отвергал, в то время как критерий Стьюдента
(с тем же уровнем значимости) не позволял сделать такой же
вывод.
Пример 25. На одном промышленном предприятии измерялось время
простоев, подверженное сильному рассеянию. Числовые значения я, к
сожалению, забыл; поэтому мы воспользуемся теми данными, которые
указаны в упоминавшихся ранее таблицах ван дер Вардена и Нивергельта:
а:1=11, хг = 34, Х3=\3, Z4=18.
После реорганизации производства время простоев сократилось и
рассеяние уменьшилось, например:
2/i= 8, уг = 10, у3 = 7, j/4= 6.
В данном случае возможность применения критерия Стьюдента яв-
является весьма сомнительной, так как результаты наблюдений показывают,
что распределения едва ли являются нормальными и что дисперсии не равны
друг другу; кроме того, д и h не очень велики. Если тем не менее все-таки
применить критерий Стьюдента (двусторонний критерий с уровнем значи-
значимости 0,05), то нулевая гипотеза не будет отвергнута: отношение t в данном
случае принимает значение 2,1, а соответствующая граница (по табл. 7)
равна 2,4.
Критерий Вилкоксона нулевую гипотезу немедленно отвергает. Так
как все х больше любого из у, то количество инверсий равно 16. Для того
чтобы применить табл. 10, нужно хну поменять местами; в этом случае
количество инверсий станет равным нулю. В столбце D; 4) при w=0
находим, что вероятность события U = 0 равна 0,0143. Так как эта вероят-
вероятность меньше чем 0,025, то, согласно одностороннему критерию с р — 0,025
или согласно двустороннему критерию с 2/3 = 0,05, нулевую гипотезу
следует отвергнуть.
Для применения критерия X нужно все хну расположить в порядке
возрастания их величины (при этом а;,- будут иметь порядковые номера
5, 8, 6 и 7) и вычислить
= 0,14 + 1,22 + 0,43 + 0,76 = 2,55.
Для вычисления X можно воспользоваться табл. 2, в конце этой книги,
или более удобной табл. 2 ван дер Вардена—Нивергельта. При n = 8i
д — h = 0 двусторонняя 5%-ная граница равна 2,40 (табл. 11). Следова-
Следовательно, по критерию X нулевую гипотезу нужно также отвергнуть.
ГЛАВА ХШ
КОРРЕЛЯЦИЯ
В этой главе будет предполагаться известным лишь содержа-
содержание первых шести глав.
§ 66. Ковариация и коэффициент корреляции
А. ИСТИННЫЙ КОЭФФИЦИЕНТ КОРРЕЛЯЦИИ
Если х и у — две зависимые случайные величины, то дисперсия
суммы Кх + у, помимо дисперсий слагаемых А х и у, содержит
еще член, линейный относительно Л:
6(Л х -f у - Л х — yf = Л2 g(x — xf +
+2b?{x—x)(y — y)+S(v-V)°-- 0)
Коэффициент при 2Л в правой части A) называется ковариацией
случайных величин х и у. Если ковариацию разделить на произ-
произведение квадратичных отклонений сгх сгу, которые предполагаются
отличными от нуля, то получится истинный коэффициент корре-
корреляции (У.
_ &(х—х){у—'у) _ B)
С помощью B) формулу A) можно записать так:
vlx+v = K*l + 2Л остхсгу + о*.. C)
Коэффициент корреляции тесно связан с коэффициентом
регрессии у, который определяется следующим образом. Положим
у = ух + z D)
и определим у гак, чтобы дисперсия z была наименьшей. Диспер-
Дисперсию разнести z = у—ух можно вычислить по формуле C),
заменив Л на —у:
а\ = у2о-2 — 2уQO-xo-y -\- а-],. E)
Правая часть E) представляет собой многочлен относительно
у, достигающий минимума в точке
7 = eg- F)
Формула F) связывает коэффициент регрессии у с коэффициентом
корреляции д.
§ 66. Ковариация и коэффициент корреляции 359
Значение минимума многочлена E) равно
<г\ = е*г» - 2eV* + о-» = A _ е2)^. G)
Из G) непосредственно следует, что
1 — е2 г» 0.
Таким образом, значение коэффициента корреляции заклю-
заключено в пределах —1 и +1.
Если q принимает одно из крайних значений, равных +1,
то, согласно G), сгг = 0. В силу последней теоремы из § 3, это
возможно лишь тогда, когда г с вероятностью единица является
постоянной величиной, т. е. когда у с вероятностью единица
представляет собой линейную функцию от х:
у = ух + а. (8)
Коэффициент корреляции q является мерой зависимости
(мерой линейной зависимости) между х и у. В случае независи-
независимости этих величин q = 0. Если же х и у связаны точной линей-
линейной зависимостью (8), то р = ^1; при этом знак q, в силу F),
всегда равен знаку коэффициента регрессии у.
Смысл коэффициента корреляции можно выяснить с помощью
анализа дисперсии величины у. Из формулы D) видно, что у
является суммой двух случайных величин ух и z, из которых
первая (ух) пропорциональна х, а вторая (г) с а; некоррелирована,
так как ковариация хи z равна нулю. Таким образом, дисперсия у
представляет собой сумму дисперсий ух и z:
o* = y*j*+o*. (9)
Если в эту формулу вместо у и о-2 подставить F) и G), то первое
слагаемое правой части (9) будет равно g2o-|, а вторым слагаемым
будет A — g2) о-2,. Как и следовало ожидать, сумма этих сла-
слагаемых равна о-2,. Таким образом, g2 показывает, какая часть
дисперсии случайной величины у приходится на долю слагаемого
ух в формуле D).
Б. ВЫБОРОЧНЫЙ КОЭФФИЦИЕНТ КОРРЕЛЯЦИИ
Если в результате наблюдений получены п пар значений
(хи yj, . . ., (хп, уп) и если предполагается, что пары (х0 yt) явля-
являются независимыми двумерными случайными величинами с оди-
одинаковым двумерным распределением, то в качестве оценки для
дисперсии o"!r-i-y можно применить выборочную дисперсию
1 _ —
2Я
п—1 ' п—1 п—1
,
360 Га. XIII. Корреляция
Поэтому в качестве оценки для ковариации Q(x — х) (у — у)
естественно воспользоваться выборочной ковариацией
где, как всегда, х и у являются выборочными средними:
Так как A0) представляет собой несмещенную оценку, то
оценка A1) также является несмещенной.
Для того чтобы получить оценку для q, разделим A1) на
sxsy. Такая оценка называется выборочным коэффициентом корре-
корреляции
Можно показать, что г обладает теми же свойствами, какими
обладает указанный выше истинный коэффициент корреляции q.
Положим Л = ¦—с и выберем с таким образом, чтобы значение
многочлена A0) стало наименьшим. Точка минимума и мини-
минимальное значение многочлена задаются формулами
с _ г8* _ 2(р*Нуу)
и
^ = 0-^. A5)
Так как выражение A5) всегда неотрицательно, то значение
г всегда заключено между —1 и +1. Если г = +1, то, в силу A5),
все yt — сх, принимают одинаковое значение а, т. е. все наблю-
наблюденные точки с координатами (х(, у,) лежат на прямой с уравне-
уравнением
у = сх + а.
Если же эти точки не лежат на одной прямой, то через точку
с координатами (х, у) можно провести прямую, угловой коэффи-
коэффициент которой задается равенством A4). Эта прямая представляет
собой эмпирическую линию регрессии, о которой говорилось выше,
в §33,
у — у= с(х —- х). A6)
§ 66. Ко вариация и коэффициент корреляции
361
В § 33 эта линия определялась таким образом, чтобы сумма
квадратов отклонений точек (х{, у() от прямой была наименьшей
(отклонения измеряются по направлению Оу). Угловой коэффи-
коэффициент с этой прямой называется выборочным коэффициентом
регрессии. Связь между выборочным коэффициентом регрессии
и выборочным коэффициентом корреляции выражается формулой
A4).
Числитель A3) можно вычислять различными способами,
контролирующими друг друга:
— х)(у — У)=
—х)у = 2; х(у — у) =
= 2 ХУ — пхУ =
= ^{х — а)(у — Ь) — »(ж — а)(у— Ъ).
Как уже отмечалось ранее, то же самое справедливо и для
знаменателя.
Пример 46. Теммис1 исследовал различные виды цветочной пыльцы и
нашел связь между величиной пылинки и количеством пор для выхода
пыльцевых трубок. В качестве примера мы рассмотрим результаты исследо-
исследований пыльцы шаровидной фуксии (Fuchsia Olobosa). Эта пыльца может
иметь от 0 до 4 пор, расположенных в экваториальной плоскости пылинки.
Для измерения диаметров пылинок были выделены 5 групп (по 10 пылинок
в каждой группе) с количеством пор 0, 1, 2, 3 и 4. Результаты измерений
округлялись до числа, кратного 5 микронам. Количества пылинок указаны
а корреляционной таблице.
Диаметр
у= ю
15
20
25
30
35
40
45
50
55
60
х = 0
з
7
Количество
1
3
6
1
2
4
5
1
пор
3
3
4
Г)
4
3
4
3
1 Т a m m e s P. M. L., On the origin of number and arrangement of the
places of exit on the surface of pollen-grains. Diss., Groningen, 1930.
362 Гл. XIII. Корреляция
Очень красивый и редко встречающийся случай линейной регрессии!
Находим
х = 2,
у= 33,2, У(У-УJ= 12 588,
2>-*)(»-») = 109°-
Выборочный коэффициент регрессии равен
1090
= 10,9.
с
100
Уравнение эмпирической линии регрессии имеет вид
У — У — с (х — х)
или
у = 10,9а; + 11,4.
Собственно говоря, выборочный коэффициент корреляции имеет смысл
вычислять лишь тогда, когда пары (х, у) являются независимыми, т. е.
получаются чисто случайно. Поэтому общее количество пылинок для каж-
каждого фиксированного х должно быть случайной величиной с частотой
приближенно равной вероятности данного значения х. В нашем же случае
для всех х выбирается по 10 пылинок. Если, несмотря на это, все-таки
вычислить г по формуле A3), то корреляция окажется очень высокой:
^0,97.
У 100 • 12 588
§ 67. Коэффициент корреляции как признак зависимости
Так как г является оценкой для q и так как q = 0, для неза-
независимых х и у, то в том случае, когда г значительно отличается от
нуля, можно сделать вывод, что о ф 0 и поэтому случайные
величины х и у зависимы1.
Для того чтобы знать, при каких г можно уверенно делать
указанный вывод, мы должны уметь отвечать на следующий
вопрос: насколько может отклоняться от нуля выборочный коэф-
коэффициент корреляции т, если, в действительности, случайные
величины х и у независимы и поэтому q = 0?
1 Практически использование коэффициента корреляции в качестве
меры зависимости оправдано лишь тогда, когда предполагается, что случай-
случайные величины х и у распределены нормально. В общем случае коэффициент
q как мера зависимости может оказаться неудовлетворительным. Например,
если х принимает значения 1/эт, 1 и и с вероятностями 2nj(n — l)s,
1 — 4nl(n ¦— IJ и 2пЦп — IJ соответственно и если у = 1/х, то
Qxy -- —4п/(п— IJ. Таким образом, при п —> ао коэффициент корреляции
стремится к нулю, хотя хцу связаны функциональной зависимостью. О дру-
других мерах зависимости, лишенных недостатков коэффициента корреляции,
см. Д у н и н - Б а р к о в с к и й И. В. и Смирнов II. В., Теория вероят-
вероятностей и математическая статистика в технике (общая часть), ГИТТЛ,
М., 1955, гл. VII. — Прим. перев.
§ 67. Коэффициент корреляции как признак зависимости 363
Предположим, что х и у независимы и распределены нормально.
Заменой а; на а (х—х) и у на Ъ (у — у) можно добиться, чтобы
обе величины имели нулевое среднее значение и единичную
дисперсию. Следовательно, мы можем считать, что совместная
плотность распределения случайных величин х и у задается
формулой
f(x,y)=f(x)f(y) = ^e-*ix'+y') A)
Так как отдельные пары (хх, у^, . . ., (хп, уп) предполагаются
независимыми друг от друга, то совместная плотность вероят-
вероятности всей системы (хъ уъ . . ., хп, уп) равна произведению
Уг) ¦ ¦ ¦ f(*n, Уп) = (г^Г ^ Х' ~ * ^ У1 B)
Спрашивается, какова функция распределения г?
Мы исследуем сейчас несколько более общий вопрос, а именно
каково совместное распределение пяти случайных величин:
х, у, s%, Sy и г, т. е. какова вероятность того, что все эти величины
будут лежать в заданных границах?
Прежде всего с помощью ортогонального преобразования
можно легко выделить распределение х и у. Для этого случайные
величины xv ..., хп ортогонально преобразуем в щ, . . ., ип таким
образом, чтобы щ была пропорциональна выборочному среднему х:
Mi = т= + Ф + ¦ ¦ ¦ + Ф = х К
и2 — а21х, + а22х., + . . . -\- а,пхп,
C)
К Уг, . ¦ ¦ , уп применим ортогональное преобразование с теми
же самыми коэффициентами:
\ п \п
а>пУп,
D)
Тогда ?х? = ^w? и 2 Vf = 2 v't ^ так как СУММЫ xi -
подвергаются эте му же преобразованию, например
щ + v2 = а21 [х, + у,) + а22 (х2 + уг) -)¦...+ а2п (хп + уп),
то отсюда следует, что
364 Гл. XIII. Корреляция
Если из обеих частей последнего равенства вычесть ^х2
= _2"м2, 2у2 г= 2®2 и результат разделить на 2, то получим
^ ХУ = w
Таким образом,
2) (.2 г/2—и г/2)
(г/2
<п — 1) s? = У1 ж2 — пх2 = У1 м2 — и\ = «1 + . . . + и\ , G)
(п - 1) s2 = 2" 2/2 - «У2 = 2 * - wi = vl + ¦ ¦ ¦ + rt ¦ (8)
Так как случайные величины щ и v1 не зависят друг от друга
и от остальных щ, v2, . . ., ип, vn, то х и у не зависят друг от друга
и от s2, s2, и г.
Разумеется, х и у распределены нормально с дисперсией \/п.
Поэтому нам осталось исследовать лишь распределение случай-
случайных величин s%, s2 и г, являющихся функциями от щ, v%, . . .,
ип, vn. Эти функции задаются формулами F), G) и (8). Постараемся
вычислить вероятность события
s2 < а, Щ, <Ъ, г < с. (9)
Эта вероятность равна интегралу
du2dv2. . . dundvn, A0)
где область интегрирования G определяется неравенствами (9).
В формуле A0) можно сначала интегрировать по v2, . . ., vn,
а затем — по иг, . . ., ип. При внутреннем интегрировании по
v2, . . ., vn величины и следует рассматривать как постоянные.
Введем ортогональное преобразование переменных v, считая и
фиксированными:
= b22v2 + . . . + b2nvn,
(И)
где коэффициенты первой строки определяются формулами
Ъп = -__g ._ (i = 2,. . . , я). A2)
§ 67. Коэффициент корреляции как признак зависимости 366
Сумма квадратов коэффициентов Ь2( равна единице, следова-
следовательно, в силу § 13, коэффициенты остальных строк можно опре-
определить таким образом, чтобы все преобразование было ортого-
ортогональным. Тогда внутренний интеграл запишется так:
7 = I . . .1 е , * dv2. . . dvn =J . . . I e * , w> dw2.. .dwn. A3)
Согласно A2),
u>2 = 2l buvi = w "- '" " " •
2 У 1/2+.. . + Un
следовательно,
r = , Wi = ™г A4)
/ 2 , ,2 1A 2 . .2 V '
У Vi -{- .. . + vn С tt'2 + .. . + wn
Если положим
w\ + . .. +«¦= =42, A5)
то, в силу (8) и A4), г и s? окажутся зависящими лишь от м>2 и?2:
(п - 1) S>2 = и\ + ж\ + . . . + и-2 = it| -} 42, A6)
r = —^?^. A7)
Для того чтобы вычислить интеграл A3), мы вместо wa,. . ., wn
введем полярные координаты ?, ц>х, . . ., <р„_3. Так как неравенства
(9), определяющие область интегрирования, не зависят от угло-
угловых переменных, то можно сразу же проинтегрировать по <рг,
. . ., <р„-з и, положив w2 = w, записать внутренний интеграл
A3) в виде
Яг , 1 „,
е 2 2 L"-3dwdL, A8)
где область интегрирования определяется неравенствами
+ С2 = (я — 1) sj < (п — 1) Ъ,
= г < с.
У w2 + С
A9)
Интеграл 7 не зависит от «,-, поэтому в формуле A0) множи-
множитель I можно вынести за знак интеграла. Тогда получим
-¦» 1 *
W = ^„-- 7 J . . . j e~L: du2... dun, B0)
366 Гл. XIII. Корреляция
где область интегрирования задается неравенством
]?uf = (» — 1) s^ < (тг — 1)в. B1)
2
Если в этом интеграле также ввести полярные координаты х>
<р\, . . ., <р„_2, то снова можно будет проинтегрировать по угловым
переменным. В результате получим
W =C
е 2 Xn~2
B2)
где область интегрирования задается неравенствами
X2 < (я—1)о, х^О,
w2 + tf<(n-l)b, 4^0. Г B3)
= < С.
У W2 +
Само собой разумеется, что этот результат справедлив не
только для области специального вида (9), но также и для произ-
произвольной области G в пространстве переменных s2, s2., г. Пусть
G' — преобразованная область, расположенная в пространстве
новых переменных %, ?, w, которые определяются равенствами
4
2* = (и-1L, х^0, B4)
A , B5)
<Ту
П — 1 — . BЬ)
Знаменатели а-2, <т2 и а-у добавлены для того, чтобы формулы
были справедливы и тогда, когда сгх и о\не равны единице. В этом
случае области G соответствует вероятность
pG = W =а\\\е~* xn~2dX-e~'2~ Cn-3dC-ё~~2' dw, B7)
где интегрирование распространяется на преобразованную об-
область G'. Постоянную а, конечно, следует определить таким
образом, чтобы интеграл по всему пространству Xs* ®> 4 ^ ^
равнялся единице.
§ 67. Коэффициент корреляции как признак зависимости 367
Результат можно сформулировать так:
X2 = и, ?2 = v и w являются независимыми случайными вели-
величинами с плотностями вероятности
f(u) = а, е~ в" и -", а1 = - * „_i I B8)
1 Л — 4
g(v) =a2e '*" v *", «2 = ^ ; B9)
/я — 2\ — "
C0)
Поэтому х2 и С1 подчиняются распределению х~ с п — \ и п — 2
степенями свободы соответственно. Случайная величина w распре-
распределена нормально с нулевым средним значением и единичной диспер-
дисперсией.
Теперь легко можно вывести распределение выборочного
коэффициента корреляции г. Сначала равенство B6) разрешим
относительно ?:
и затем построим отношение
« = ?1^ = ^КЯ2. C1)
Так как w имеет нормальное распределение и ?2 подчиняется
распределению х2 с п — 2 степенями свободы, то, согласно § 28,
случайная величина t подчиняется распределению Стьюдента
сп — 2 степенями свободы. Зная границы для t, соответствую-
соответствующие обычным уровням значимости E, 2 и 1%), и пользуясь фор-
формулой C1), немедленно получаем границы для выборочного
коэффициента корреляции г. Эти границы табулированы в табл. 13,
в конце книги.
Таблица 13 применяется следующим образом: если в резуль-
результате практических вычислений получается такое значение г,
абсолютная величина которого превосходит границу г» из табл. 13,
то случайные величины х и у считают зависимыми.
Относительно уровня значимости этого критерия можно ска-
сказать следующее.
368 Гл. XIII. Корреляция
Если х и у зависимы и если, согласно этому критерию, незави-
независимость отвергается, то в данном случае никакой ошибки не
возникает1.
Может быть и другой случай, когда хиу независимы и распре-
распределены приближенно нормально. В этом случае истинный уровень
значимости критерия приближенно равен 2уЗ, так как именно
с таким уровнем строился точный критерий для проверки неза-
независимости двух нормальных случайных величин.
Имеется и третий случай, когда х и у независимы, но их распре-
распределения существенно отличаются от нормального. В этом случае
истинный уровень значимости критерия может оказаться не-
несколько больше, чем 2/3. Однако если х и у обладают конечными
дисперсиями и п достаточно велико, то отклонение истинного
уровня значимости от 2/3 не будет значительным. Это происходит
потому, что случайные колебания г определяются главным обра-
образом случайными колебаниями числителя
^{х-~х)(у-~у). C2)
Если п велико, то х и у можно приближенно заменить истинными
средними значениями хну. Тогда вместо C2) получим
^ {х — х) {у — у).
Это выражение представляет собой сумму большого коли-
количества независимых слагаемых, квадратичное отклонение каждого
из которых равно о-хсгу. Следовательно, согласно центральной
предельной теореме (§ 24 Г), эта сумма распределена приближенно
нормально с нулевым средним значением и дисперсией тго-|сг|.
Знаменателем г является (п— \)sxsy, следовательно, этот знаме-
знаменатель приближенно равен псгхсгу. Поэтому при п —* <х> случайная
величина г распределена асимптотически нормально с нулевым
средним значением и дисперсией \/п, безотносительно к тому,
распределены хиу нормально или нет. Таким образом, при
п —» оо истинный уровень значимости стремится к 2j8. Для конеч-
конечных, не слишком Малых п отклонение от 2/J не очень значительно.
Пример 47 (из книги: Fisher К. A., Statistical Methods for Research Wor-
Workers, 11th ed., Ex.27). В восточной Англии в течение 20 лет (с 1885 по 1904 г.)
1 Строго говоря, этот критерий предназначен для проверки независи-
независимости случайных величин х к у, распределенных нормально. В остальных
случаях этот критерий употребляется для проверки гипотезы g = 0. При
таком истолковании мощность критерия оказывается вполне удовлетвори-
удовлетворительной. Если же этот критерий применяется для проверки независимости
случайных величин с распределениями, отличными от нормального, то,
как показывает пример в предыдущей сноске, мощность критерия может
оказаться очень малой. Автор не затрагивает вопроса оценки мощности
этого критерия, а рассматривает лишь вероятность ошибки первого рода. —
Прим. перев.
§ 68. Частные коэффициенты корреляции 369
велись наблюдения за урожаем пшеницы и количеством осадков осенью.
В результате оказалось, что урожай пшеницы и осенние осадки связаны
отрицательной корреляцией, равной ¦—0,63. По таблице находим, что
0,56 является 1%-ной границей для г. Следовательно, взаимосвязь между
осадками и урожаем пшеницы можно считать доказанной.
§ 68. Частные коэффициенты корреляции
А. ПОНЯТИЕ ЧАСТНОЙ КОРРЕЛЯЦИИ1
В некоторых случаях корреляция между двумя величинами
хну целиком или частично вызывается тем, что существует
значительная корреляция между х и у, с одной стороны, и третьей
случайной величиной г — с другой. Можно попытаться исключить
зависимость от z, заменив х и у такими величинами
х' = х — Яг и У'= У — М2,
которые некоррелированы с г (слово«некоррелированы»означает,
что коэффициент корреляции равен нулю). Возникает вопрос,
какова будет при этом оставшаяся корреляция между хну?
Сначала мы займемся изучением этого вопроса для истинного
коэффициента корреляции дху. Если х = у — z = 0, то
Множители Я и /и. нужно выбрать так, чтобы имели место
равенства
S x'z = g(zz — Яг2) = 0,
S у'г = &(уг - м*2) = 0.
Отсюда находим
. Ьхг Qx~<tx<tz
Я = —,— = -=- —5 =
&* 2
сгх
«Частный коэффициент корреляции» дху>2 определяется фор-
формулой
1 Автор пользуется здесь терминами «очищенные» коэффициенты корре-
корреляции и «очищение» (bereinigte Korrclations koeffizienten, Bereinigung), кото-
которые хорошо соответствуют логическому замыслу теории частной корре-
корреляции. — Прим. ред.
24 Б. Л. ван дер Варден - 1062
370 Гл. XIII. Корреляция
Числитель D) можно записать так:
& ху — A g zy — [х g xz + А/х g zz =
Если в этом равенстве Л и /х заменить их значениями B) и C),
то получим
в (х — A z) {у — y,z) = (Qxy — QxzQyz)crxcry. E)
Точно так же вычисляются
"Uz = 6(х - Щг = A - qIz) о* , F)
^у-,г = 6(У ~ V-*? = О - Фуг) "I ¦ G)
Если все эти выражения подставить в D), то найдем
_ вху — бхгSyz /nv
Для того чтобы получить оценку для еЗД|г, заменим в фор-
формуле (8) истинные коэффициенты корреляции q выборочными г.
В результате получим
гад|г = —Г^^г.. (9)
Формулу (9) можно было бы вывести так же, как была выве-
выведена формула (8). Для этого нужно бы было определить, какие
линейные комбинации х" = х — az и у" = у—bz имеют с z
выборочный коэффициент корреляции, равный нулю. В этом
случае выборочный коэффициент корреляции между х" и у"
задавался бы формулой, в точности совпадающей с (9).
Отсюда следует, что rxlJ'Z не изменится, если х заменить на
х — Kz, а у — на у — fiz, где Л и /х — произвольные числа. Действи-
Действительно, выборочные коэффициенты корреляции между z и линей-
линейными комбинациями х" = х — az и у" = у — bz равны нулю,
а поэтому при замене х на х — Кг и у на у — fiz линейные комби-
комбинации х" и у" остаются неизменными. Таким образом, при изучении
свойств случайной величины rXIJ]Z мы всегда можем заменить
х и у величинами х' и у', некоррелированными с z, т. е. мы можем
заранее предположить, что gX2 = дуг = 0.
Б. ФУНКЦИЯ РАСПРЕДЕЛЕНИЯ »"*,1»
Возникает тот же вопрос, что и в предыдущем параграфе:
сколь велик должен быть частный коэффициент корреляции rxy\z,
чтобы можно было утверждать, что между х — Kz и у — /xz
действительно существует зависимость? Или, иными словами,
§ 68. Частные коэффициенты корреляции 371
какие значения rxyz следует считать чисто случайными, если
х — Kz и у— \i,z, в действительности, независимы?
Согласно сделанному выше замечанию, мы можем при этом
предположить, что А = /л = О, следовательно, дхг — gyz = 0.
Мы пойдем еще дальше и предположим, что х,у, z — независимые,
нормально распределенные случайные величины. Если их диспер-
дисперсии равны единице, то совместная плотность вероятности будет
задаваться формулой
| ( » >
/(я, у, z) = B*) 2 в 2 A0)
При этих предположениях мы должны найти функцию распре-
распределения Н(с) случайной величины rxy\z. Эта функция определяется
кратным интегралом
=Ш• • •
где область интегрирования задается неравенством rxy\z < с.
Как и в § 66, с помощью ортогонального преобразования
можно выделить распределение выборочных средних х, у и z.
Для этого мы вместо х{, yj и zk введем щ, Vj и wk таким образом,
чтобы щ, v1 и и\ были пропорциональны х, у и z соответственно.
Коэффициенты ортогонального преобразования для Vj и wk выбе-
выберем те же самые, что и для ut. Если положим, для краткости,
[uv] =-. u2v2 + . . . + unvn, A2)
a [uw] и [vw] определим аналогично, то выборочные коэффи-
коэффициенты корреляции будут задаваться формулами
7" — Ь - 7* —
Преобразованный интеграл выглядит точно так же, как
первоначальный интеграл A1), но только с заменой х, у, z на
и, v, w. Так как определение области интегрирования rxyiz < с
не зависит от щ, vx, u\, то можно произвести интегрирование по
этим переменным и получить
..dwn, A4)
где область интегрирования задается неравенством гЖ9|г < с
24*
372 Гл. XIIT. Корреляция
В формуле A4) мы сначала произведем интегрирование по
Щ. ¦ ¦ ¦, ип, v2, . . . , vn, а затем по w2, . . ., wn. В качестве внут-
внутреннего интеграла получим
. . . J J e ~ 2 du.2. . . dundv,. . .dvn. A5)
Как и в § 67, введем теперь ортогональное преобразование
переменных и и v, считая w постоянным:
u'i = w aikUk • v'i = 2 aikvk • С б)
При этом коэффициенты выбираются таким образом, чтобы,
в частности, имели место равенства
У[гмо] ' У [дал]
и, следовательно,
На иг гJ г?г
r = - I"-1 -^ = -^l1 -_
x>r ]f[uu)[vv] \[u'u'\[v'v']
Тогда A5) перейдет в интеграл
ЯСС—1- [«'u'] —I [»'»']
¦ .-JJe " du'o. . .dundv'2...dv',,, A8)
где w — постоянная величина, и область интегрирования, как
и прежде, задается неравенством rIH|Z < с. При этом
1 V2
[/ [и' и'] — иг • ^ [г/ v'] — v'%
= - ^^i^+i^"-. ___. A9)
1/" '2 ,2 ][ ,2 ,2
[/ из + . . • + и„ • ]j i-з + . . . + vn
Так как определение области интегрирования не зависит от
и'2 и v'2, то, интегрируя по этим переменным, получим
/ = 2я J . . . J е 2 ' du'3... du'n dv3... dv'n. B0)
Формула B0) показывает, что интеграл / не зависит от wv
. . ., wn, следовательно, множитель / можно вынести за знак
§ 68. Частные коэффициенты корреляции 373
интеграла A4) и затем проинтегрировать по w2, . . ., wn. Таким
образом, заменив и'.Л, ... на щ, . . ., получаем
J ...)e 2
du3...dvn, B1)
где область гнтегрирования определяется нерг.вснс"всм г < с,
а г, в силу A9), задается формулой
1/ 2 | | 2 |/ 2 , . L
Сравним теперь интегр.'.л B1) с интегралом A0), вычисленным
в § 67. Ранее имелось 2(л — 1) переменных интегрирования
и2,. . .,unnv2>. . .,vn, теперь же таких переменных имеется 2(п —2):
щ. . . ., ип и v2,. . ., vn. Область интегрирования для интеграла
A0) § 67 определялась неравенствами
s2x < а, iy < Ь, г < с.
Но если а и Ъ устремить к бесконечности, то область интегриро-
интегрирования будет задаваться одним неравекстрсм г < с. Таким обра-
образом, интеграл B1) является частным случаем интеграла A0)
§ 67, псэгсму справедлива теорема:
Функция распребеления выборочного частного коэффициента
корреляции гху: равна функции распределения обычного выбороч-
выборочного коэффициента корреляции г, вычисленного по двум рядам
независимых. нормально распределенных случайных величин
хх,. . -,хп_л и ylt . . ., уп-1У с той лишь разницей, что количество
переменных в каждом ряду равно не п, an — 1. Еще раз напомним,
что эта тесрема справедлива лишь в том случае, когда справедлива
гипотеза, согласно котсрсй х—Az, у— ju.2 и г являются незави-
независимыми, нормально распределенными случайными величинами.
При этом наиболее важным является требование независимости;
что же касается требования нормальней распределенное™, то
оно менее существенно,
Согласно этей теореме, для проверки зависимости случайных
величин х — Kz и у — цхг можно воспользоваться табл. 13, считая
число наблюдений равным п— 1 вместо п.
В. ГЕОМЕТРИЧЕСКОЕ ИСТОЛКОВАНИЕ
Результаты, полученные в этом и в предыдущих параграфах,
можно выеьсти геометрически.
Пусть, например, п = 4 и пусть (и2, и3, ut), (v2, v3, vt) и
(w2, w3, z/-4) — компоненты трех векторов и, о и ш, расположенных
в трехмерном пространстве. В этом случае [ии\ представляет
собой квадрат длины вектора и, [uv] — скалярное произведение
374
Гл. XIII. Корреляция
и и v, и rxy — косинус угла у между и и с. Плотность совмест-
совместного распределения случайных величин и( и vt
Bjt)
показывает, что Бее шесть векторных компонент ut и v, взаимно
независимы и распределены нормально. Этот же вывод останется
справедливым и в том случае, если к и, и «;. добавить еще wk.
Указанный закон распределения инвариантен относительно
ортогональных преобразований. Таким образом, если одну из
новых осей координат направшь вдоль вектора ц, а две другие
Р и с. 35.
Рис. 36.
ортогональные оси расположить в плоскости, перпендикулярной
U, то в новых координатах одна компонента «/ вектора с будет
параллельна вектору \\, а две другие компоненты будут перпенди-
перпендикулярны и. При этом все компоненты независимы и подчиняю 1ся
нормальному распределению. Компонента v', параллельная и,
распределена нормально с единичной дисперсией, а сумма квадра-
квадратов компонент, перпендикулярных и, подчиняется распределению
X2 с двумя степенями свободы. Обозначим эту сумму квадратов
v. Отношение v'l | v" \ равно котангенсу угла <р (рис. 35), следо-
следовательно,
COS <р
sin <р
Этот результат объясняет, почему случайная величина
подчиняется распределению Стьюдента с п — 2 степенями сво-
свободы.
Если к векторам и и о добавить еще вектор ш (рис. 36), то для
вычисления выборочного частного коэффициента корреляции
Гху\х нужно будет сначала ц и с заменить векторами и" = и — aw
и х>" = с — Ъхо, перпендикулярными ш. Выберем новую систему
§ 69. Распределение выборочного коэффициента корреляции 375
координат таким образом, чтобы одна из новых осей была направ-
направлена вдоль вектора ф, а две другие оси были перпендикулярный?.
Компоненты векторов и и о, перпендикулярные ю, определяются
векторами и" и с"; косинус угла между и" и о" равен выборочному
частному коэффициенту корреляции rxulz. Так как эти векторы
расположены в плоскости, перпендикулярной. Ф, то их размер-
размерность равна не я— 1, а п — 2; кроме того, и" и о" подчиняются
нормальному распределению. Отсюда ясно, что rxg\z имеет ту же
самую функцию распределения, что и обычный выборочный коэф-
коэффициент корреляции, но только с заменой п на п— 1.
§ 69. Распределение выборочного коэффициента
корреляции зависимых случайных величин
Л.ДВУМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ
До сих пор мы всегда предполагали, что, в действительности,
х и у являются независимыми случайными величинами и что г
лишь случайно отличается от нуля. Для зависимых х и у все ста-
становится значительно сложнее. Для того чтобы о распределении г
можно было сказать что-то определенное, нужно сделать некото-
некоторые предположения о распределении х и у.
Наиболее простым является предположение, согласно кото-
которому величина х распределена нормально, а у равна А х -\- г, где
z также распределена нормально и не зависит от х. Если диспер-
дисперсия случайной величины х равна l/g, а дисперсия z равна l/h,
то плотность совместного распределения пары (x,z) задается фор-
формулой
Vh^ + hV^ A)
^
следовательно, плотность совместного распределения пары (х, у)
равна
( '
Эту же плотность можно записать так:
- I- (ах' - 2Ьху + hy)
f(x,y)=Ce 2 C)
Средние значения х и у выбраны равными нулю только для
удобства. Если желательно рассматривать общий случай, то
нужно х и у заменить разностями х — х и у — у.
376 Гл. XIII. Корреляция
Функцию вида C) с отрицательной квадратичной формой
в показателе степени называют плотностью двумерного нормаль-
нормального распределения. Такие распределения очень часто прибли-
приближенно осуществляются в биологии, а именно, тогда, когда на
основе неселектированного материала изучается наследственность
определенных размеров тела.
Каждую плотность вида C) можно представить выражением
B), т. е. у можно представить как сумму двух случайных величин,
из которых первая (Аж) пропорциональна х, а вторая {г) от х не
зависит. Так как х и у совершенно равноправны, то можно, конечно,
наоборот, представить х в виде суммы линейного члена цху
и случайной величины г', не зависящей от у. Выбор одного из
этих представлений зависит от той конкретной задачи, которую
нужно решить.
Изменением масштабов на осях Охи Оу всегда можно добиться,
чтобы выполнялись равенства а= А= 1. Тогда А = Ъ и g = 1 — Ъ2.
В этом случае плотность распределения C) задается простой
формулой
D)
и \ 1 IЛ Г?
№,v) = 2^П — ь е >
которая в дальнейшем для нас будет являться основной.
Дисперсия х была равна
Дисперсия у, конечно, имеет то же самое значение
Ковариация х и у вычисляется так:
&ху = & 4^ + 2) = A g х2 + g xz =
= Ь ? ж* + 0 = j-^p • G)
Поэтому истинный коэффициент корреляции равен
е = 65» = Ъ. (8)
Таким образом, положив в D) Ъ = q, мы могли бы написать
1 ,, S" (ж1 - 2ожН + У1)
Кх,у)=±Г1-е* е 2 (9)
§ 69. Распределение выборочного коэффициента корреляции 377
Б. АСИМПТОТИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ Г ПРИ БОЛЬШИХ П
Пусть (ж1( у^, (х2,у2) (хп'Уп) — независимые двумерные
случайные величины, каждая из которых подчиняется распределе-
распределению с плотностью (9). Тогда совместная плотность распределения
всей системы (xlr ylt. . ., хп, уп) задается формулой
/(*, Ш) ¦ • ¦ /(V Уп) =^г A -<? е~^ --—
При этих предположениях и при п -» оо выборочный коэффици-
коэффициент корреляции г распределен асимптотически нормально. Среднее
значение г асимптотически равно q, а его квадратичное отклонены
асимптотически равно
(И)
]/п — 1
Доказательство будет очень простым. Сначала мы так же, как
в § 67, с помощью ортогонального преобразования заменим
хк и ук новыми переменными ик и vk таким образом, чтобы имели
место равенства щ = х ^п и vx=^y^fn. Тогда г будет задаваться
формулой
==• A2)
г =
Плотность распределения ик и vk имеет тот же вид, что и плот-
плотность A0):
Средние значения и\, г$ и ик ¦ vk равны
g
& ukvk =
Следовательно, мы можем положить
«л: — — g '
«?=-„-.
о + гк
в
A4)
9
378 Гл. XIII. Корреляция
Если A4) подставить в A2), то получим
V~W-- , A5)
\'т + 2
где т = п — 1 и ? Рк> 2 Як' 2L гк представляют собой суммы т
случайных величин, каждая из которых имеет среднее значение,
равное нулю, и квадратичное отклонение порядка единицы. Таким
образом, с вероятностью, сколь угодно близкой к единице, эти
суммы при т —> оо являются величинами порядка У т. т. е. все
они меньше т. Поэтому A5) можно разложить в ряд по степеням
г> 2 Qk/m и .2 rklm'-
г = -
В результате получаем асимптотическую формулу
1 1
Правая часть представляет собсй сумму большого числа неза-
независимых случайных величин, дисперсии которых ограничены.
Согласно центральной предельной теореме (§ 24 Г), эта сумма
распределена асимптотически нормально. Среднее значение пра-
правей части A6) равно нулю, а дисперсия равна сумме дисперсий
отдельных слагаемых. Вычислив эти дисперсии, найдем, что
квадратичное отклонение выражается формулой A1).
При практическом применении этих результатов возникают
различные трудности. Так как значение g заранее не известно,
то нельзя вычислить о-. Часто в правей части A1) q заменяют на
г и, таким образом, получают следующую оценку для а-.
\п — 1
Однако эта оценка является надежной лишь тогда, когда п
очень велико и д2 не близко к единице. Если значение п является
лишь умеренно большим и если д2 близко к единице (признаком
этого является близость к единице значения г2), то «может значи-
значительно отличаться от о-. Кроме того, математическое ожидание г
отклоняется от д, т. е. оценка г имеет смещение. В этом можно
§ 69. Распределение выборочного коэффициента корреляции 379
очень легко убедиться, вычислив несколько следующих членов
приближения A6). В результате найдем, что
A8)
Ко всему тому нужно еще добавить, что для умеренных зна-
значений п точное распределение г может значительно отклоняться
от нормального распределения, особенно тогда, когда значение
q- близко к единице. Таким образом, при вычислении доверитель-
доверительных границ для q по заданному т нельзя непосредственно приме-
применять нормальное распределение, а нужно воспользоваться точной
функцией распределения т или по меньшей мере улучшенным
приближением для этой функции.
В. ТОЧНОЕ РАСПРЕДЕЛЕНИЕ «?, «yHf
Плотность совместного распределения трех случайных вели-
величин s\, sjnr можно вычислить следующим образом. Введем сначала
для оценок дисперсий и ковариации обозначения:
sxx = *с* *уу — &у> Sxy = rsxsy
Пусть снова у = Кх -\- z = qx -\- z, где z — случайная вели-
величина, не зависящая от х. Построим сценки дисперсий и ковариации,
аналогичные A9):
*хх = 4, Sxz = r'SxSz, SZZ = S?, B0)
где г' — выборочный коэффициент корреляции между х и z.
Величины A9) можно легко выразить через величины B0):
sxy = QSxx + *хг>
Вместо трех величин B0) можно ввести независимые случай-
случайные величины х< w> C> указанные в § 67. Согласно B2) § 67, плот-
плотность совместного распределения %, w и ? задается формулой
-•i-z'-i-^-iu» п-2 п-3
// г\ 2 2 2 г /ОО\
о\Х> w, Q = а. е х С > (¦")
где а — постоянный нормирующий множитель.
Случайные величины B0) выражаются через х> w> С следующим
обрчзом:
(п-1) 83a = <rx<rzX, B3)
380 Гл. XIII. Корреляция
При этом, согласно E), o-f = \/д = 1/A — q2) и а\ = 1.
С помощью плотности B2) и формул B3) можно сначала
найти плотность распределения случайных величин sXI, sxz и в.г,
затем с помощью формул B1) вычислить плотность для sxx, sxy и
syy и, наконец, воспользовавшись формулами A9), найти плот-
плотнеет ь совместного распределения sx, syur. В результате окажется,
что плотность совместного распределения трех случайных величин
sr, sv и г имеет вид
f(sx, sy, г) =
Этот результат принадлежит Фишеру [Fisher R. A., Biometrika,
10 A915), 507].
Г. ВСПОМОГАТЕЛЬНОЕ ПРЕОБРАЗОВАНИЕ ФИШЕРА
Интегрированием B4) по sx и sy получаем плотность вероят-
вероятнее™ для г:
п — 1 п — 4
1
- г
2\1Г
" arc sin or
О вычислении этой плотности см. Kendall M. G., Advanced
Theory of Statistics, I, 14.14, или только что цитированную работу
Фишера, опубликованную в журнале Biometrika, 10.
Фишер указал очень практичное преобразование случай-
случайной величины г, с помощью которого распределение с плотностью
B5) приближенно преобразуется в нормальное распределение.
Это преобразование задается формулой
Распределение случайной величины z очень хорошо аппрокси-
аппроксимируется нормальным распределением с не зависящей от q диспер-
дисперсией
(г, =
I
га— 3
и средним значением
B7)
Поправочный член в правой части B8) всегда мал сравни-
сравнительно с квадра шчным отклонением a-i и поэтому таким ела-
§ 69. Распределение выборочного коэффициента корреляции 381
гаемым можно пренебречь. Оно оказывается существенным лишь
тогда, когда вычисляется много выборочных коэффициентов
корреляции и из соответствующих значений z образуется
среднее.
Насколько сильно улучшает нормальное приближение переход
от г к 2, можно видеть на рис. 37 и 38, заимствованных из книги:
Fisher R. Л., Mathematical Methods for Research Workers A1th
ed., Fig. 8, p. 200).
,—¦—
—
-^
о=ав
Л
/
/
/
/
ч
о
-w -аз -as -оа -аг о аг а* о,б о.з w
Р и с. 37. Плотности распределения г при g =-0 и g = 0,8.
С помощью преобразования z можно решать следующие за-
задачи.
1. Проверить, согласуется ли выборочный коэффициент кор-
корреляции г с предполагаемым значением теоретического коэффи-
коэффициента корреляции д?
2. Найти доверительные границы для q по наблюденному
значению г.
3. Проверить, соответствуют два выборочных коэффициента
корреляции гх и г2 одинаковым значениям q или нет?
4. Предполагается, что нескольким выборочным коэффициен-
коэффициентам корреляции rlf тг, . . . соответствуют одинаковые значения q.
Требуется найти наилучшую оценку для q.
Пример 48. По выборке, состоящей из 25 пар наблюдений, было най-
найдено, что выборочный коэффициент корреляции равняется 0,60. В каких
доверительных границах находится истинный коэффициент корреляции
2, если предполагается, что наблюденные пары независимы и распределены
•одинаково нормально?
382
Гл. XIII. Корреляция
По формуле B6) находим z = 0,693. Согласно B7), квадратичное откло-
отклонение г равно
о-, ¦=—-=: 0,2132.
У'22
Следовательно, доверительными границами для z с уровнем значи-
значимости 0,05 будут
?j = 0,693 — 1,96 <гг = 0,275,
% =- 0,693 + 1,96 <гг = 1,111.
/
/
р-0
1
\
\
1
J
\
\ 1
\
\
>
о,в
ОА
0,2
-го -7.5 -7,0 -0,5 О Q5 7,0 7,5 2,0 2,5 3.0
Р и с. 38. Плотности распределения г при о = 0 и g --- 0,8.
Решая уравнение B6), находим г как функцию от г:
Таким образом, доверительные границы для g с уровнем значимости
0,05 равны
i\ =¦-- 0,268 и г2 =- 0,804.
Пример 49. По выборке, состоящей из 20 пар наблюдений, было най-
найдено, что 7-J-- 0,6. В другой пыборке, состоящей из 25 пар наблюдений,
выборочный коэффициент корреляции оказался равным г2 = 0,8. Значимо-
ли различие г1 и ?2?
Находим
z, = 0,693, z2 = 1,099, d = z2 — гг = 0,406.
Дисперсии %, 3j и rf равны
o-i — — ^ 0,0588, о-2 = — = 0,0455, 0-^ = 0-1 + 0-2 = 0,1043.
Зная d и o-rf, найдем их отношение:
d 0,406
o7=0l23 = 1>26-
Так как 5?ь-ная граница для \dl<rd\ равна 1,96, то различие i"x и гЕ
следует считать незначимым.
§ 70. Коэффициент ранговой корреляции Я, по Спирмену 383
§ 70. Коэффициент ранговой корреляции R, по Спирмену
А. ОПРЕДЕЛЕНИЕ Л
Отдельные индивидуумы могут обладать таким признаком,
который хотя и не поддается точной количественной оценке,
однако позволяет сравнивать индивидуумы друг с другом. В ре-
результате всю совокупность индивидуумов удается упорядочить,
приписав каждому из них порядковый номер. Такие признаки мы
будем называть качественными признакйми. Примерами каче-
качественных признаков являются успеваемость школьников по опре-
определенному предмету, музыкальность, цвет волос. Если хотят
проверить зависимость двух таких качественных признаков, то
рассматривают выборку из п независимых индивидуумов и каж-
каждому индивидууму приписывают два порядковых номера, соответ-
соответствующие двум данным признакам. Из этих порядковых номеров
можно построить коэффициент ранговой корреляции.
Как обычно, мы будем приписывать порядковые номера в соот-
соответствии с убыванием качества: первый номер приписывается
наилучшему индивидууму в данном классе и т. д.
Пусть п индивидуумам по двум сравниваемым признакам
приписаны порядковые номера 1,2,. , ., п. Сначала, для того
чтобы арифметическое среднее равнялось нулю, мы из этих
номеров вычтем (п -\- 1)/2, а затем все результаты удвоим и обоз-
обозначим их ь (для первого качественного признака) и г] (для второго
качественного признака); ? и г) выражаются целыми числами.
Такой порядковый номер индивидуума (f или tj) равен к — I,
если по данному признаку этот индивидуум превосходит I других
индивидуумов и при этом его самого превосходят к индивидуумов
Сумма квадратов порядковых номеров f или г) равна
Q = ^ь2 = .ZV = (я— I)'1 + (п —ЗJ -f- . . . + (—я 4- О2 =
_ п(п— 1) (я + 1)
~~ 3 ¦
Коэффициент ранговой корреляции R, по Спирмену, определя-
определяется формулой
R=±=dH-. A)
Спирмен применял его для психологических исследований1.
Обычно этот коэффициент обозначается буквой q, однако у нас
эта буква имеет другое значение.
'Spearmen С, The proof and measurement of association between
two things, Amer. J. Psyhol., 15 A904), 88.
344 Гл. XIII. Корреляция
Крайними значениями R снова являются + 1 и — 1, причем
значение 4- 1 достигается тогда, когда оба ряда порядковых
номеров полностью совпадают (f — т? = 0), а значение — 1 до-
достигается тогда, когда оба ряда полностью противоположны
друг другу (? + V = 0).
Для вычисления К удобен следующий способ. Применим
обычную нумерацию от 1 до и и для каждого индивидуума вы-
вычислим разность d порядковых номеров по обоим признакам. Тогда
К- l l Q ~ ' я(п-1)(п+1) • I"'
Два качественных признака называются независимыми, если
при любом п порядковые номера f и tj являются независимыми
случайными величинами. Таким образом, в случае независимости
признаков среднее значение каждого слагаемого в числителе A)
равно нулю, а поэтому g R = 0. Следовательно, если В значительно
отличается от нуля, то можно сделать вывод, что признаки явля-
являются зависимыми. Для того чтобы уточнить смысл слов «значи-
«значительно отличается», мы должны будем исследовать, сколь велико
может оказаться чисто случайное отклонение R от нуля, когда
оба признака независимы. Иными словами, мы должны исследо-
исследовать функцию распределения К в случае двух независимых каче-
качественных признаков.
В. РАСПРЕДЕЛЕНИЕ R В СЛУЧАЕ НЕЗАВИСИМЫХ ПРИЗНАКОВ
Если два качественных признака являются независимыми, то
последовательность порядковых номеров г) не зависит от последо-
последовательности f. Последовательности г) представляют собой пере-
перестановки всех ?, и для заданной последовательности ? все такие
перестановки равновероятны. Каждой перестановке соответствует
определенное значение R. Таким образом, независимо от распреде-
распределения случайных величин f и rj искомая функция распределения
представляет собой вполне определенную ступенчатую функцию,
которую при малых п можно легко вычислить, если только иметь
необходимое терпение. Например, в случае п = 5 нужно будет
вычислить значения R для всех 120 перестановок rj. В действи-
действительности, такие расчеты проводились до п = 8; результаты
изложены в книге: Kendall M. G., Rank Correlation Methods (Lon-
(London, 1948), Appendix Table 2. При п > 8 расчеты становятся очень
утомительными.
В случае независимости признаков среднее значение R равно
нулю. Вычислим теперь дисперсию о-2. Из формулы A) следует, что
§ 70. Коэффициент ранговой корреляции R, по Спирмену 385
2
i k
2
&
Эта сумма содержит п слагаемых с индексами i = к, и так как
все индексы равноправны, то все эти слагаемые имеют одинаковые
значения. Точно так же оказываются равными друг другу и осталь-
остальные слагаемые с индексами г ф к; таких слагаемых имеется
п(п — 1). Поэтому
Q*o* = n g # • 6 г? + я (п - 1) 6 Ш ¦ 6 ThVi- C)
В силу равенства ]?gt = 0, имеем
о = &(Si Ид = бй + (»-1) б ё&,
следовательно,
6fifi = -f^-1-6^. D)
и точно так же
S 171^2 = — ^zifS^i- E)
Далее,
2"?? = Я- F)
Если от обеих частей F) вычислить средние значения, то полу-
получим
То же самое, конечно, справедливо и для гIщ Таким образом,
6Й=6^ = |, G)
и далее, согласно D) и E),
& €i€2 = & viHi = — n&T—i) • (8)
Если G) и (8) подставить в C), то получим
^ и ^ n{n— l)~n — 1'
или, после сокращения Q2,
о-2 = —Ц . (9)
n—1 v '
25 Б. Л. ван дер Варден - 1062
386 Гл. XIII. Корреляция
Тем же самым методом можно вычислить и четвертый момент
It, т. е. математическое ожидание Е*. Находим
гм 3 25п? — 38и2 — 35п + 72
В. СРАВНЕНИЕ С НОРМАЛЬНЫМ РАСПРЕДЕЛЕНИЕМ
Если в A0) последние два члена — Зоп -)- 72 заменить на
— 25и + 38 (от этого правая часть A0) изменится лишь очень
незначительно), то можно будет числитель и знаменатель сокра-
сократить на п2— 1. В результате получим
Сравнение правой части A1) с четвертым моментом нормаль-
нормального распределения, обладающего нулевым средним значением и
дисперсией 1/(тг — 1),
показывает, что выражения A0) и A2) асимптотически равны
и что A0) несколько меньше, чем A2). Так как распределение
больших отклонений R в значительной мере определяется сред-
средним значением Е*, то отсюда следует, что значения Е, сильно
отклоняющиеся от нуля, возникают с несколько меньшей вероят-
вероятностью, чем это было бы при нормальном распределении с той
же дисперсией.
Если вычислить высшие моменты g E"k, то окажется, что
все они, после умножения на (п—1)к, при п —» оо стремятся
к соответствующим моментам нормального распределения1 с
нулевым средним значением и единичной дисперсией, а именно, к
B*)!
Согласно «второй предельной теореме» (§ 24 Е), отсюда следует,
что функция распределения Е^п — 1 при п —> оо стремится
к функции нормального распределения с нулевым средним значе-
значением и единичной дисперсией, т. е. случайная величина Е распреде-
распределена асимптотически нормально с нулевым средним значением и
дисперсией сг2 = 1 /(п — 1).
Если при проверке независимости действовать так, как если
бы R была нормально распределенной случайной величиной, то
надежность выводов лишь увеличится. Действительно, как мы
только что видели, большим отклонениям Лот нуля соответствует,
1 См. К е n d a 11 M. G., Rank Correlation Methods, p. 61.
§ 70. Коэффициент ранговой корреляции R, по Спирмену 387
на самом деле, несколько меньшая вероятность, чем при нормаль-
нормальном распределении. Отсюда получаем следующий простой крите-
критерий зависимости:
Если значение коэффициента ранговой корреляции R (или, в
случае двустороннего критерия, значение \ R \) окажется больше,
чем
A4)
то гипотезу независимости качественных признаков следует
отвергнуть.
Истинный уровень значимости одностороннего критерия < /3,
двустороннего критерия < 2E.
Г. СРАВНЕНИЕ С РАСПРЕДЕЛЕНИЕМ СТЬЮДЕНТА
Кендалл заметил, что распределение с плотностью вероят-
вероятности
вт-т-~
A5)
аппроксимирует распределение случайной величины R несколько
лучше, чем нормальное распределение. Функция В(р, q) пред-
представляет собой бета-функцию, определенную в § 12 Д. Второй и
четвертый моменты распределения с плотностью A5) задаются
формулами
, 1
Следовательно, fi'2 в точности равен дисперсии коэффициента
ранговой корреляции. Четвертый момент /л\ можно записать
так:
3 '' 2 A6)
Если A6) сравнить с A1), то окажется, что ц,\ несколько мень-
меньше A1). Таким образом, это приближение не увеличивает, а умень-
уменьшает надежность критерия.
Если вместо случайной величины В, подчиняющейся распре-
распределению с плотностью A5), ВЕести новую случайную величину
t =.
25*
388
Гл. XIII. Корреляция
то точным распределением t будет являться распределение Стью-
дента си — 2 степенями свобсды. Практически это означает, что
по найденному значению коэффициента ранговой корреляции R
можно вычислить t no формуле A7) и затем применить критерий
Стьюдента. Правда, при этом истинный уровень значимости будет
несколько больше, чем C или 2/3. Более простым и надежным
является применение границы A4), основанной на нормальном
приближении.
Выводы, полученные нами с помощью исследования вторых
и четвертых моментов, можно непосредственно проверить в слу-
случае п = 8. Для границ получаем следующие значения:
Уровни значимости
20 = 0.01
2/3 = 0,02
2/3 = 0.05
Точные границы
Нормальное прибли-
приближение
Стьюдентовское при-
приближение
0,86 @,007)
0,97 @,0004)
0,82@,015)
0,88 @,007)
0,83 @,011) | 0,79@,022)
0,72 @,046)
0,74 @,036)
0,71 @,058)
Соответствующие этим границам истинные уровни значимо-
значимости указаны в скобках. Из таблицы видно, что истинные уровни
значимости границ, полученных с помощью стьюдентовского при-
приближения, оказываются систематически слишком большими.
С другой стороны, эти же уровни для границ, полученных с пемо-
щью нормального приближения, слишком малы. Можно бы
было, например, в качестве границы выбрать арифметическое
среднее, составленное из нормального и стьюдентовского прибли-
приближений; вероятно, в этом случае надежность критерия должна
всегда повышаться1.
При очень больших п безразлично, каким приближением
пользоваться —. нормальным или стьюдентовским.
1 С помощью небольшого усложнения формулы A4) можно нормальное
приближение существенно улучшить. А именно, нужно воспользоваться
уточненной асимптотической формулой
Щ1-Р)
0,19
' n— 1
Значения Rp, вычисленные по этой формуле при п = 8 и 2fi = 0,01; 0,02;
0,05, равны соответственно 0,87; 0,82 и 0,72. Таким образом, указанное
приближение значительно лучше нормального и стьюдентовского. Вычи-
Вычисления с большим количеством знаков показывают, что приближенные
границы больше точных, т. е. улучшенное приближение лишь увеличивает
надежность критерия. — Прим. перев.
§ 70. Коэффициент ранговой корреляции R, по Спирмену 389
Д. СЛУЧАЙ ЗАВИСИМЫХ ПРИЗНАКОВ
Мы хотим теперь исследовать, каково соотношение между
истинным коэффициентом корреляции q и коэффициентом ран-
ранговой корреляции R в случае зависимых признаков?
Предположим, что в сснове двух качественных признаков
лежат две нормальные случайные величины х и у, плотность
распределения которых задается формулой
г
Для п независимых пар (xt, yt) плотность совместного распреде-
распределения равна
— — — У" * "п »
fix и) fix v\— - П п2J р 2 (Xi~"°х'т + Hi) (\Ц\
ДХ1) У\) ¦ • ¦ /Wn> Уп) — Bп)п Q I ь llyj
Согласно A),
ЯЛ = ^biVt' B0)
где f,- — разность между количеством тех хк, которые больше х,,
и количеством тех хк, которые меньше xt.
Пусть xik и yik — случайные величины, которые при всех г и
к определяются равенствами
+ 1, если yt < ук,
0, если у{ = ук,
— \, если «/,-> ук.
1 -И. к
xik = s 0, если х, = хк. уш =
(
s 0, если х,
(—1, если xt > хк.
Тогда
7/ = 24*-
i 2,h Vt 2
к к
Если эти суммы подставим в B0), то получим
i к 1
Вычислим теперь математические ожидания от обеих частей ра-
равенства B1):
Q& = 2 2 2 &(*,№,)¦ B2)
i к I
Все слагаемые этой суммы, у которых г = к или г -- I, равны
нулю, поэтому сумма B2) содержит п (п—\)(п—2) равных
друг другу слагаемых с к -jb I и п (п — 1) одинаковых слагаемых
с к = I. Таким образом,
QH= п{п—\){п — 2) в(я-12 У№) + п(п- 1) 6(*ц у12),
ли, пиосле деления на Q — п (п— 1) (п + 1)/3,
к = 3 J^t^,, Уп) ±^п б(*к Уп). B3)
Нам нужно теперь вычислить средние значения произведений
xi2 2/i2 и ^i2 2/i3- Случайная величина z12 ?/12 принимает значение 1,
390 Гл. XIII. Корреляция
если х1 < х2 и уу < у, или если х±> х2 и уг> х2; в противном
случае, когда хг < х2 и у1 > уг или когда х± > х2 и у1 < 2/2. она
принимает значение —1. Вероятность одновременного осуще-
птвления двух событий, хг < х2 и ух < у2, равна интегралу от
слотности f(xlt yx) f(x2, y>) по области, заданной неравенствами
«1 < х2, уг < у2:
I I I I —-z-te' — ZexiUi + y') —¦^¦(x\ — 2QXty1 + yl)
X e 2 e - dx1dyldx2 dy2.
Этот интеграл имеет точно такой же вид, как и интеграл, вы-
вычисленный в общем виде в § 14 В:
1 = B jzf^ )fg Г . . . Г е~ г' GdxK. . dxn, B4)
(их) >0
где п = 4,
и
я = A - е2J-
Для того чтобы перейти к обозначениям из § 14 В, нужно
положить
х = хх, х- — ylt х3 = xt< x — у2,
»х = 0, »2 = —1, «0 = 0, w4 = -f 1.
Квадратичной формой, контрагредиентнои форме G, является
2 д'кщик = Vl + ^^"j + + -^-±-
Отсюда получаем значения инвариантов:
Ct/CL I ¦ ^— /^ t/ cvv tv
_L_ + _J_ = _i_ f
Поэтому интеграл W\ = I равен
§ 70. Коэффициент ранговой корреляции R, по Спирмену 391
Точно такое же значение имеет и вероятность W2 одновремен-
одновременного осуществления событий х1 > х2 и у1 > у2. Вероятность W3
одновременного осуществления событий х^ > х2 и у1 < у2 полу-
получается умножением »,- на (— 1):
If з = }г- arc cos g. B8)
Такое же значение имеет и вероятность Wt одновременного
осуществления событий х1 < х2 и ух > у,. Поэтому среднее значе-
значение х12у12 равно
б ХпУи = (W, -i Wt) • 1 г (W3 i tf4) (- 1) = 2TFX - 2W3 =
= ~ arc cos (— o) arc cos p =
= - I ь r arc sin p\ I •"— arc sin p| = - arc sin p. B9)
Аналогично вычисляется среднее значение случайной вели-
величины х12у13. Она принимает значение 1, если хх < х2 и уу<у$
или если хх > а,-2 и ух > у3- Вероятность одновременного осуще-
осуществления первых двух событий равна
г 2 G
где
G = (**- 2QxlVl + yl) -\- (xl - 2Qx2y2 + y\) +
+ (xft — 2gx3y3 f yl),
2ou3ut +u\ , ul + 2ow6ive + u\
Г
Z Я uiuh ,_— g2 + — -i_-
Инварианты имеют значения
Следовательно,
tit 1 — (uv) 1 p /o/»\
W5 = s— arc cos,,— i-,,:^- - = .> - arc cos -~ . C0)
2" ]'(uu) У(«») 2я 2
Точно такое же значение имеет вероятность W6 одновремен-
одновременного осуществления событий хх > х2 и ^ > у3. Вероятности
W7 и H^g остальных двух возможных случаев равны
W7 = Ws = - - arc cos | .
392 Гл. XIII. Корреляция
Поэтому
12 у13) = (W6 + WJ-1+ (W7 + W8) (- 1) = - arc sin ?- . C1)
Если B9) и C1) подставить в B3), то получим
-„ 6 п—2 . а , 6 .
*=агс 8Ш 2 + ^ + -1)агс sm ^¦
При больших я из C2) следует, что
Ё ~ - - arc sin % . C3)
При не очень больших п значение Ё несколько меньше, чем
правая часть C3), так как, в силу неравенств
2 arc sin ~ < arc sin q < 3 arc sin -- ,
имеем
n
arc sin ~~ < К < • arc sin ~- .
12 л 2
Различие Между n/(n + 1) и 1 совсем незначительно, поэтому
приближение C3) можно применять и для умеренно больших
значений п. Если C3) разрешить относительно q, to получим
q ~ 2 sin ?- Д. C4)
Это означает, что при больших п выражение 2 sin (пЕ/6) можно
использовать в качестве оценки для истинного коэффициента
корреляции q.
Все это справедливо лишь в предположении, что совместное
распределение х и у является нормальным. Если такое предполо-
предположение не выполняется, то R всегда можно истолковать как сценку
для «истинного коэффициента ранговой корреляции» Щ, который
определяется так. Пусть F(x) и G(y) — непрерывные функции
распределения случайных величин хну. Положим1
Тогда случайные величины f и г) будут распределены равно-
равномерно между нулем и единицей, поэтому их дисперсии равны
1 См. Kendall M. G., Rank correlation methods 9.7; 10.6. Величины
и 7j Кендалл называет „рангами".
§ 70. Коэффициент ранговой корреляции R, по Спирмену
393
Истинный коэффициент ранговой корреляции & определяется
как истинный коэффициент корреляции случайных величин
? и г]:
C5)
Если совместное распределение хну является нормальным,
то между q и <Л существует соотношение, аналогичное C4),
е = 2 sin I
C6)
Это соотношение было найдено Карлом Пирсоном (см. Dra-
Draper's Company Research Memoirs, Biometric Series IV, Cambridge
1907, 13).
Пример 50 (PearsonKarl, Biometrika, 13, 304). На экзаменах, которым
подвергались 27 кандидатов на должность в службе связи, была принята
следующая система оценок: по арифметике — от 1 до 300 баллов, по осталь-
остальным четырем предметам (орфография, чистописание, география и сочинение
на английском языке) — от 1 до 200 баллов. Оценки, полученные каждым
кандидатом, складывались и всем кандидатам приписывались порядковые
номера в соответствии с убыванием сумм оценок. В следующей таблице на
первом месте указаны порядковые номера и общие суммы оценок по всем
предметам, а на втором месте — оценки по арифметике и соответствующие
им порядковые номера.
Пирсон нашел, что в данном случае коэффициент ранговой корреляции
имеет значение
R = 0,8834.
Все предметы
номер
оценка
1 907
2 764
3
4
5
6
748
746
724
718
7 710
8
9
10
1 1
12
13
14
703
677
665
645
643
634
628
Арифметика
номер
1
9
2
10
8
5
14
7
3
4
11
6
20
12
оценка
230
158
228
154
162
182
129
164
187
186
151
167
103
146
Все предметы
номер
оценка
15 ; 580
16 ' 561
17 560
18
19
20
21
22
23
24
25
26
27
532
529
526
515
484
463
444
386
369
288
Арифметика
номер
13
15
18
22
16
17
19
21
25
26
27
23
24
оценка
131
128
116
82
125
122
114
93
61
38
37
63
62
394 Гл. XIII. Корреляция
Отсюда, в силу формулы C4), получается оценка для истинного коэффи-
коэффициента корреляции, а именно
г' = 2 sin" Я = 0,893.
6
Выборочный коэффициент корреляции г, вычисленный непосредственно
по оценкам, равен
г = 0,896.
Пирсон справедливо замечает: «Согласие между г и г' в этом случае
является превосходным».
§ 71. Коэффициент ранговой корреляции Т, по Кендаллу
В родственной связи с R находится коэффициент ранговой
корреляции т, который для наших целей предпочтительнее обоз-
обозначить буквой Т. Этот коэффициент был введен Грейнером и
Эсчером и заново открыт Кендаллом. Обстоятельное исследова-
исследование свойств Т можно найти в уже неоднократно цитированной
книге: Kendall M. G.,Rank Correlation Methods. В этом параграфе
мы затронем лишь некоторые основные вопросы.
А. ОПРЕДЕЛЕНИЕ Т
Пусть снова имеется п индивидуумов, упорядоченных по двум
качественным признакам. Для каждой пары индивидуумов (г, к)
мы определим функцию, принимающую значения: +1, если поряд-
порядковые номера одного индивидуума превосходят соответствующие
порядковые номера другого индивидуума, и —1 в противном
случае. В обозначениях § 70 Д эта функция для пары индивиду-
индивидуумов (г, к) равна произведению xikyik. Сумма S таких произведений
для всех пар,
A)
по абсолютной величине не превосходит
п(п—1)
\2)~ 2
Следовательно, если положить
то значения Т будут принадлежать отрезку, расположенному
между —1 и +1. При этом Т — +1 тогда и только тогда, когда
обе последовательности порядковых номеров совпадают (разность
порядковых номеров каждого индивидуума равна нулю), и Т — —1
тогда и только тогда, когда обе последовательности противо-
§ 71. Коэффициент ранговой корреляции Т, по Кендаллу 395
положиы друг другу (сумма порядковых номеров каждого индиви-
индивидуума равна п -г 1).
Если номера первой последовательности расположить в воз-
возрастающем порядке от 1 до п и под каждым из них написать номер
из второй последовательности
&= 1, ?2 = 2, .... ?„ = »,
то S можно будет вычислить следующим образом: подсчитаем
количество тех r)k, которые стоят правее т^ и величина которых
превосходит г]х, затем подсчитаем, сколько имеется номеров rjk,
больших 172 и расположенных правее г)г, и т. д. Пусть Р — сумма
всех этих количеств, тогда S представляет собой сумму Р величин,
равных +1, и ™ I —Р величин, равных —I, т. е.
8 = 2Р — \п{п-\), C)
Б. РАСПРЕДЕЛЕНИЕ Г
Если случайные величины х и у независимы, то математиче-
математическое ожидание Т, очевидно, равно нулю. Если же х и у зависимы
и распределены нормально с коэффициентом корреляции q, to
математическое ожидание 8 принимает значение
SS = 82 xikyik = —f11 &
т. е., согласно B9) § 70,
Таким образом,
я(и —1) 2
-^—- arc sin q.
8 Т = ?- arc sin q. E)
Поэтому если совместное распределение х и у является нормаль-
нормальным, то величину
r"=8in=f F)
можно использовать в качестве оценки для q.
Вернемся к случаю независимых х и у и с помощью A) вычис-
вычислим дисперсию 8:
o-S = 6 5* = 6B хм)*-
396 Гл. XIII. Корреляция
Вычисления полностью приводятся в § 5.6 книги Кендалла.
Поэтому мы укажем лишь результат:
_Я(Я —1)Bп + 5)
s ~ 18
G)
Отсюда, в силу B), следует, что
О"-г =¦ ' (oV
QnGi 1)
Если таким же образом вычислить и высшие моменты g Т4,
iS Тй,. . . (моменты нечетного порядка равны нулю, так как значе-
значения Т и — Т всегда имеют равные вероятности), то окажется, что
они при п —> оо асимптотически равны соответствующим моментам
нормального распределения с дисперсией о-|:
Отсюда следует, что случайная величина Т распределена асимптоти-
асимптотически нормально с нулевым средним значением и дисперсией (8).
Асимптотическая нормальность остается справедливой даже
и. в том случае, когда х и у являются зависимыми величинами с
произвольной функцией распределения, если только абсолютная
величина математического ожидания S Т не слишком близка к
единице. Доказательство см. в книге: Kendall M. G., Rank cor-
correlation methods 5.21.
В случае зависимых случайных величин теорема об асимптоти-
асимптотической нормальности практически не очень полезна, так как при
умеренно больших значениях п распределение Т может обладать
значительной асимметрией и, кроме того, дисперсия У неизвестна.
Однако, в случае независимых х и у, дисперсия Т известна [она
задается формулой (8)], и уже при п = 8 нормальное приближение
оказывается очень хорошим. Следовательно, Т можно с успехом
использовать в качестве статистики критерия для проверки неза-
независимости признаков. Точное распределение Т известно для п =s 10
(Kendall M. G., Appendix Table 1); при п> 10 можно воспользо-
воспользоваться нормальным приближением, т. е. гипотезу независимости
следует отвергнуть тогда, когда Т (или, в случае двустороннего
критерия, | Т |) превосходит границу
Т0 = о-тТA-13). A0)
Уровень значимости такого одностороннего критерия прибли-
приближенно равен /3, а уровень двустороннего критерия приближенно
равен 2/3.
§ 71. Коэффициент ранговой корреляции Т, по Кендаллу 397
В. СРАВНЕНИЕ If И Т
Если мы предположим, что х и у распределены нормально, и
разложим математические ожидания Ё и Т в степенные ряды по
q, то получим
Ь 3
Отсюда следует, что при больших п и малых q математические
ожидания относятся приблизительно как 3:2. С другой стороны,
если при q = О сравнить квадратичные отклонения, а именно
2Bя+5) _2
5
— A4)
.(га—1) 3 n—1 ' K '
то при больших п снова найдем то же отношение 3:2. Отсюда мож-
можно, предположительно, сделать вывод, что случайные величины
ЕаТ относятся друг к другу приблизительно как 3:2, если только
их абсолютные величины не слишком близки к единице. Этот
вывод был подтвержден результатами Дэниелса, согласно которым
коэффициент корреляции случайных величин R и Т при п —> оо
стремится к единице, причем он близок к единице уже при не сли-
слишком больших значениях п (см. Kendall M. G., Rank correlation
methods 5.14).
Какая статистика является наилучшей для построения крите-
критерия независимости признаков, R или Т? Односторонний кри-
критерий -й отвергает гипотезу независимости, если R > Rp; в случае
критерия Т тот же вывод делается при Т > Тр. Нам нужно ис-
исследовать, какой из этих двух критериев имеет наибольшую
мощность (в смысле § 59). Под мощностью критерия в данном
случае мы понимаем вероятность отвергнуть гипотезу независи-
независимости, когда случайные величины х и у действительно являются
зависимыми.
Для ответа на этот вопрос мы должны будем сначала сделать
некоторое предположение о распределении х и у. А именно, мы
предположим, что совместное распределение х и у является нор-
нормальным. Тогда, в силу § 69, плотность этого распределения
можно задать формулой
A5)
398 Гл. XIII. Корреляция
В этом случае мощности критериев R и Т будут являться функ-
функциями от q.
Предположим сперва, что п настолько велико, что обе случай-
случайные величины RuT распределены почти нормально. Тогда границы
Rp и Т.. можно будет определить с помощью нормального распреде-
распределения:
Р) = -у^=р , A6)
A7)
Разумеется, значения crR и сгт в формулах A6) и A7) вычис-
вычислены при q = 0. Если q отлично от нуля, то значения сгя и <тт
изменятся, однако это изменение является лишь величиной
порядка q2 и поэтому им сначала можно пренебречь. Таким обра-
образом, в первом приближении вычисление функций мощности для
критериев R и Т мы будем производить с помощью нормальных
распределений, математические ожидания которых задаются
формулами A1) и A2), а квадратичные отклонения — формулами
A3) и A4). Тогда мощность критерия R, или вероятность события
R> Rj, будет равна
A8)
и точно так же мощность критерия Т будет равна
A9)
Если q велико сравнительно с 1/Уп — 1, то R будет значительно
больше crR, a T — значительно больше а-т. Таким образом, в этом
случае выражения A8) и A9) окажутся практически равными
единице. Поэтому можно предположить, что g2 является вели-
величиной порядка 1/и. Если теперь в формулах A8) и A9) пренебречь
всеми членами порядка малости \/п или выше, то для Mr(q)
и Mt(q) получим одну и ту же функцию M{q), а именно
M(q) =o\IqV~n~I" _ W( 1 - p)] . B0)
Следовательно, в первом приближении оба критерия имеют
одну и ту же функцию мощности. График этой функции изобра-
изображен сплошной линией на рис. 39 и обозначен M(q).
Это приближение мы теперь постараемся последовательно
уточнить. Если сначала воспользоваться нормальными приближе-
§ 71. Коэффициент ранговой корреляции Т, по Кендаллу
399
ниями A8) и A9), но на этот раз в разложениях (И) и A2) учиты-
учитывать и члены порядка q3, а в формуле A7) — член 5/Bи), то резуль-
результат будет практически тем же самым, что и раньше: графики
функции Mr(q) и Mt(q) получаются почти совпадающими друг
с другом.
Как мы видели, нормальное приближение для распределения Т
является хорошим, а для распределения R — нет. Истинная функ-
функция распределения R при больших положительных значениях R
быстрее стремится к единице, а при больших отрицательных
значениях R быстрее стремится к нулю, чем соответствующая
Рис. 39. Графики функций мощности критериев R и Т. Сплошная линия
соответствует первому приближению для функций мощности Л и Т; улуч-
улучшенное приближение для Т указано штриховой линией, а для В — штрих-
пунктирной линией.
функция нормального распределения. Если учесть это обстоя-
обстоятельство, но границу Rp оставить пока неизменной, то в качестве
графика Mr{q) получается кривая, изображенная на рис. 39 штри-
штриховой линией и обозначенная M'r(q). Сперва при малых q эта
кривая проходит под сплошной линией, затем она идет над кривей
M{q); в точке с ординатой М = х/а кривая M'R переходит вниз, и,
наконец, при больших q она снова оказывается выше кривой М.
Рисунок является лишь качественно правильным: различие между
кривыми несколько преувеличено.
При больших п нужно также еще учитывать и асимметрию
распределений R и Т. Влияние асимметрии приводит к уменьше-
уменьшению функций мощности Mr(q) и Mt(q), особенно при значениях
q, близких по абсолютной величине к единице. При этом MR
уменьшается несколько сильнее, чем Мт. Однако это уменьшение
не очень значительно; на рисунке оно не указано.
400 Гл. XIII. Корреляция
Но мы должны учесть еще одну последнюю поправку, которая
является решающей, а именно, поправку к границе Rfi. Как мы
видели, границы для Т, вычисленные с помощью нормального
приближения, являются приблизительно правильными, так как
случайная величина Т распределена приближенно нормально.
Однако для R соответствующие границы слишком велики. При
п = 8 с помощью нормального приближения мы в качестве 0,5%-
ной границы получили R$ = 0,97, в то время как точная граница
равнялась 0,88. В результате мы оказываемся перед выбором:
либо, с целью увеличения надежности критерия, оставить границу
Ер неизменной (тогда, мощность критерия также не изменится,
но истинный уровень значимости будет значительно меньше §),
либо уменьшить-й^ таким образом, чтобы истинный уровень значи-
значимости по-прежнему не превосходил р. В последнем случае штрихо-
штриховая линия сместится влево на значительное расстояние и в резуль-
результате получится большая функция мощности Мц(о), график кото-
которой изображен на рисунке штрих-пунктирной линией. Поэтому
Критерий R по сравнению с критерием Т имеет приблизительно
равную мощность и меньший истинный уровень значимости или
одинаковый истинный уровень значимости и ббльшую мощность.
К этому следует добавить, что вычисление R требует меньшей
вычислительной работы, чем вычисление Т. Таким образом,
оказывается, что старый коэффициент ранговой корреляции R,
по Спирмену, теоретически и практически предпочтительнее своего
более молодого конкурента Т.
ТАБЛИЦЫ
Таблица
i
—0,0
-0,1
-0,2
-0,3
-0,4
—0,5
—0,6
—0,7
—0,8
—0,9
—1,0
--1,1
— 1,2
— 1,3
— 1,4
—1,5
—1,6
— 1,7
—1,8
1 Q
-2,0
—2,1
—2,2
-2,3
-2,4
—2,5
—2,6
—2,7
—2,8
—2,9
|и пир
0
,5000
,4602
,4207
,3821
,3446
,3085
,2743
,2420
,2119
,1841
, 1587
,1357
,1151
,0968
,0808
,0668
,0548
,0446
,0359
,0288
,0228
,0179
,0139
,0107
,0082
,0062
,0047
,0035
,0026
,0019
t = —3,0
ФA) =-,
00K
палопи
1
,4960
,4562
,4168
,3783
,3409
,3050
,2709
,2389
,2090
,1814
, 1562
,1335
,1131
,0951
,0793
,0655
,0537
,0436
,0351
,0281
,0222
,0174
,0136
,0104
,0080
,0060
,0045
,0034
,0025
,0018
—3,1
,0010
1 IT pdt
2
,4920
,4522
,4129
,3745
,3372
,3015
,2676
,2358
,2061
,1788
, 1539
,1314
,1112
,0934
,0778
,0643
,0526
,0427
,0344
,0274
,0217
,0170
,0132
,0H2
,0078
,0059
,0044
,0033
,0024
,0018
—3,2
,0007
¦редел
3
,4880
,4483
,4090
,3707
,3336
,2981
,2643
,2327
,2033
,1762
,1515
,1292
,1093
,0918
,0764
,0630
,0516
,0418
,0336
,0268
,0212
,0166
,0129
,0099
,0075
,0057
,0043
,0032
,0023
,0017
-3,3
,0005
спи и **¦
*
,4840
,4443
,4052
,3669
,3300
,2946
,2611
,2297
,2005
,1736
,1492
,1271
,1075
,0901
,0749
,0618
,0505
,0409
,0329
,0262
,0207
,0162
,0125
,0096
,0073
,0055
,0041
,0031
,0023
,0016
—3,4
,0003
,4801
,4404
,4013
,3632
,3264
,2912
,2578
,2266
,1977
,1711
,1469
,1251
,1056
,0885
,0735
,0606
,0495
,0401
,0322
,0256
,0202
,0158
,0122
,0094
,0071
,0054
,0040
,0030
,0022
,0016
-3,5
,0002
Т/о""'
6
,4761
оо
,4721
,4364 ,4325
,3974' ,3936
,3594, ,3557
,3228' ,3192
,2877 ,2843
,2546 ,2514
,2236 ,2206
,1949 ,1922
,1685 ,1650
,1446 ,1423
,1230
,1038
,1210
,1020
,0869 ,0853
,0721 ,0708
,0594
,0485
,0582
,0475
,0392 ,0384
,0314
,0307
,0250! ,0244
,0197 ,0192
,01541 ,0150
,0119! ,0116
,0091
,0089
,0069 ,0068
,0052- ,0051
,0039
,0038
,0029 ,0028
,0021 р ,0021
,00151 ,0015
-3,6
,0002
-3,7
,0001
8
,4681
,4286
,3897
,3520
,3156
,2810
,2483
,2177
,1894
,1635
,1401
,1190
,1003
,0838
,0694
,0571
,0465
,0375
,0301
,0239
,0188
,0146
,0113
,0087
,0066
,0049
,0037
,0027
,0020
,0014
-3,8
,0001
9
,4641
,4247
,3859
,3483
,3121
.,2776
,2451
¦ ,2148
,1867
,1611
,1379
,1170
,0985
,0823
,0681
,0559
,0455
,0367
,0294
,0233
,0183
,0143
,0110
,0084
,0064
,0048
,0036
,0026
,0019
,0014
-3,9
,0000
26 Б. Л. пан дер Пярд(?н - 1 0Й2
402
Таблица 1 (продолжение)
t
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
1,1
1,2
1,3
1,4
1,5
1,6
1,7
1,8
1,9
2,0
2,1
2,2
2,3
2,4
2,5
2,6
2,7
2,8
2,9
1
0 I
,5000
,5398!
,5793
,6179,
,6554)
,69151
,7257!
,758о!
,78811
,8159'
,8413
,8643!
,8849
,9032
,9192
,9332
,9452
,9554
,9641
,9713
,9772
,9821
,9861
,9893
,9918
,9938
,9953
,9965
,9974
,9981
5,0
1
,5040
,5438
,5832
,6217
,6591
,6950
,7291
,76! 1
,7910
,8186
,8438
,8665
,8869
,9049
,9207
,9345
,9463
,9564
,9649
,9719
,9778
,9826
,9864
,9896
,9920
,9940
,9955
,9966
,9972
2
1
,5080
,5478
,5871
,6255
,6628
,6985
,7324
,7642
,7939
,82! 2
,8461
,8686
,8888
,9066
,9222
,9357
,9474
! ,9573
,9656
,9726
,9783
1 ,9830
1 ,9868
1 ,9898
,9922
,9941
,9956
,9967
,9976
,9982J ,9982
3,1
3,2
3
,5120
,5517
,5910
,6293
,6664
,7019'
,7357
,7673
,7967
,8238
,8485
,8708
,8907
,9082
,9236
,9370
1 ,9484
1 ,9582
,9664
,9732
,9788
1 ,9834
,987!
J ,9901
' ,9925
,9943
,9957
1 ,9968
' ,9977
; ,9982
!
) 3,3
4
,5160
,5557
,5948!
,6331
,6700
,7054
,7389
,7703
,7995
,8264
,8508
,8729
,8925
,9099
,9251
! ,9382
,9495
,9591
,9671
,9738
,9793
,9838
,9875
,9904
,9927
' ,9945
,9959
5
,5199
,5596:
,5987
,6368
,6736
,7088
,7422
,7734
,8023
,8289
,8531
,8749
,8944
,9115
,9265
,9394
,9505
,9599
,9678
,9744
,9798
,9842
,9878
j ,9906
. ,9929
,9946
,9960
,9969| ,9970
j ,9977
| ,9984
1
| 3,4
,9978
,9984
3,5
6
,52391
,5636|
,6026,
,6406
,6772
,7123'
,7454
,7764
,8051
,8315
,8554
,8770
,8962
,9131
,9279
,9406
,9515
,9608
,9686
,9750
,9803
,9846
1 ,9881
,9909
1 ,9931
,9948
7
!
1
,5279'
,5675!
,60641
,6443'
,6808!
,7157!
,7486j
,7794'
,8078:
,8340'
,8577J
,8790,
,8980;
,9147i
,9292'
,9418
,9525
'• ,9616
,9693
,9756
,9808
,9850
1 ,9884
• ,9911
,9932
1 ,9949
,9961j ,9962
,9971
,9972
1 ,9979, ,9979
' ,9985
3,6
,9985
3,7
s
,5319;
,5714
,6103,
,6480|
,6844
,7190i
,7517
,7823;
,8106
,8365
,8599
,8810
,8997
,9162
,9306
,9429
,9535
,9625
,9699
,9761
,9812
,9854
,9887
,9913
,9934
,9951
,9963
,9973
,9980
,9986
3,8
9
,5359
,5753
,6141
,6517
,6879
,7224
,7549
,7852
,8133
,8389
,8621
,8830
,9015
,9177
,9319
,9441
,9545
,9633
,9706
,9767
,9857
,9857
,9890
,9916
,9936
,9952
,9964
,9974
,9981
,9986
3,9
= ,9987 I ,9990, ,9993 ,9995 ,9997, ,9998 ,9998. ,9999 ,9999| 1,0000
403
Таблица 2
Обратная функция W(x)
ж ->
i
0,00
0,01
0,02
0,03
0,04
0,05
0,06
0,07
0.08
0.09
0.10
0,11
0.12
0.13
0,14
0,15
0,16
0.17
0,18
0,19
0,20
0.21
0,22
0,23
0,24
0.25
0,26
0,27
0,28
fi.29
0.30
0,31
20*
-3,09-
-2,29-
-2,03 -
-1,74 -
-1,64 -
-1,55-
-1,47,-
-1.40-
-1,33,-
-1,28'-
-1,22,-
-1,17
-1,12
-1.08
-1,03
-0,99,
-0,95
-0,91,
-0,87"
-0,84'
-0,80|
-0,77'
-0,74
-0,70
-0,67
-0,64
-0,61
-0,58
-0,55
-0,52i
-0,49
2,65
2,20
¦1,98
-1,83
¦1,71
¦1,61
¦1.52
¦1,45
¦1,38;
¦1,32
¦1,26
1,21
—1,17- 1,16 —1,16 —
2,88
2,26
2,01
1,85
1,73
1,63
1,54
1,46
1,39
1,33
1,27
1,22
—2,75
—2,23
—2,00
-1,84
— 1,72
— 1,62
— 1,53
-1,45
— 1,39
-¦1,32
— 1,26
— 1,21
-О©
-2,33;
-2,05:-
-1,88 ¦
-1,75 -
-1,641-
-1,55 ¦
-1,41 ¦
-1,34,
-1.28'-
-1,18!-
-1,13—1,12—1,12—1,11'
-1,08'—1.08—1,07—1.07
-1,04—1,03—1,03--1,02,
-0,99 —0,99,-0,99 —0,98
-0,95 —0,95 —0,95 —0,94
-0,92—0,91,—0,9!—0,90|
-0,88 —0,87"—0,87 —0,87'
-0,84 —0,84'—0,83!—0,83
-0,81 —0,80|—0,80'—0,80
0,77!—0,76'
j_0!74j—0,74l—0,73(-0,73
—0,71 —0,70 —0.70'—0,70
—0,67.--0,67'—0,67 —0,67
—0,64 —0,64 —0,64 —0,63'
;—0,611—0,611—0,61'—0,60
i—0,581—0,58 —0,58—0,57,
—0,55'-0,55 —0,55'—0,54
—0,52 —0,52j—0,52 —0.52'
-0,50'—0,49—0,49—0,49
-1,06 -
-1,02,-
-0,98 -
-0.94'-
-0,90,-
-0,86-
-0,83-
-0.79 -
-0,76 -
-0,73 ¦
-0,69-
-0,66'-
-0,63 ¦
-0,60'
-0,57,
-0.541-
-0,5b
-0,48t-
-2,58,
-2,17;
-1,96'
-1,8}
-1,70
-1,60
-1,51
-1,44
-1.37
-1,31|
-1,25
-1,20
1,15
-1,10
-1,06
-1,02
-0,97'
-0,93;
-0,90
-0,80
-0,82
-0,79f
-0,76
-0,72;
-0,69
-0,66|
-о.бз'
-0.601
-0,57
-0,54;
-0.51
-0,48
¦2,51 -
-2,14'-
-1,94-
-1,68 -
-1,59-
-1,43'-
-1,37;-
-1,зо|-
-1,25-
-1,20-
-1,15'-
-1,10 -
-1,05!-
-1,01 -
-0,97 -
-0,93'-
-0,89,-
-0.861-
-0,82 -
-0,79'-
-0,75 ¦
-0,72:-
-0,69'-
-0,661-
-0,631-
-0,59 ¦
-0,57 ¦
-0,54 -
-0,51 '-
-0,48 -
-2,46 -
-2,12-
-1,93-
-1,79-
-1,67-
-1,58-
-1,50-
-1,43-
-1,36-
-1,30-
-1,24 -
-1,19'-
-1,14-
-1,05-
-1,01;-
-0,97-
-0,93'-
-0,89r
-0,85 -
-0,82 -
-0,78 -
-0,75 -
-0,72-
-0,68-
-0,65 -
-0,62 -
-0,59 ¦
-0,56 ¦
-0,53!-
i
-0,50-
-0,48 -
-2,41
-2,10
-1,91'
-1,77-
-1,66
-1,57
-1,49
-1,42
-1,35^
-1,29'
-1,24 —
-1,19; -
-1,14' —
-1,09,
-1,05'
-1,00
-0,96
-0,92j
-0,89;
-0,85J
-0,81'
-0.78J
-0,75
-0,71
-0,68J
-0,65
-0,62
-0,59
-0,56
-0,53
-0,50;
-0,47'
-2,37
2,07
•1,90
¦1,76
1,65
1,56
1,48
1,44
¦1,35
¦1,29
1,23
,18
1,13
1,09
1.04
1,00
0,96
0,92
0,88
0,85
¦0,81
0,78
0,74
¦0,71
¦0,68
0,65
0,62
¦0,59
0,56
¦0,53
•0,50
¦0,47
404
Таблица 2 (продолжение)
X-
I
I
0,32
0,33
0,34
0,35
0,36
0,37
0,38
0,39
0,40
0,41
0,42
0,43
0,44
0,45
0,46
0,47
0,48
0,49
0,50
0,51
0,52
0,53
0,54
0,55
0,56
0,57
0,58
0,59
0,60
0,61
0,62
0,63
0,64
0,65
—0,181— 0,171— 0,17— 0,171— 0,17,— 0,16,— 0,16| —
0,47
0,44
0,41
0,39
0,36
0,33,
0,31|
0,28
0,25
0,23
0,20|
0,
—0,15!
—0.13J
—0,10
—0,08
—0,051
—О,ОЗ|
0,00
0,03
0,05
0,08
0,10
0,13
0,15
0,18
0,20
0,23
0,251
0,28:
0,31,
о,зз!
0,361
0,39j
-0,46
-0.44J
-0,4Г
-0.381
-0,36
-0.331
-о.зо'
-0,28!
-0,25
-0,23'
-0,20
-0,17!
-0,15
-0,! 2
-0,Ю|
-0,07
-0,05
-0,02
0,00
0,03
0,05
0,08
0,10
0,13
0,15]
0,18]
0,20!
0,23
0,26
0,28'
О,ЗГ
0,33;
0,36!
0.39J
-0,46
-0.431
-0,41
-0,38
-0,35
-0,33
-0,30!
-0,27
-0,25
-0,22]
-0,20
0,17
0,15
-0,46
-0,43;
-0,40
-0,38
-0,35
-0,32|
-0,30,
-0,27
-0,25
-0,22|
-0,191
-0,46]— 0,45— 0,45 —
-0,43i—0,43L0,42l
-0,40— 0,40j— 0,40j
-0,37—0,37|—0,37,
-0,35 —0,35—0,34
-0.321—0,32 -0.321
-0.301— 0.291— 0.291
-0,27'—0.271—0,26
-0.241—0,24,—0,24]
-0,22'—0,21 j—0,21 j
-0,191—0,191—0,19,
-0,10
-0,07
-0,05
-0,02
0,01
0,03
0.06J
0,08'
0,13
0,16
0,18'
0,21:
0,23'
0,26
0,28
0,31!
0,341
0.36J
0,39
-0.141
-0.121
-0.091
-0,07
-0,04
-0,02
0,0!
0,03
0,06
0,08
0,1
0,13
0,16
0,18
0,21
0,24
0,26
0,29
0,31
0,34
0,37,'
0,39
0,17
0,14
0,12
0,09
0,07
0,04
0,02
0,01
0,04
0,06
0,09
0,11
0,14
0,16|
0,19'
0,21
0,24'
0,26'
0,29
0,32:
0,34
0,37
0,40
—0.11 ?
-0,09;
-0,0б]
-0,04
-0,0l'
0,01
0,041
0,06
0,09;
0,11,
0,14
о,1б;
0,19
0,21
0,24
0,27
0,29
0,32
0,35
0.37
0,40
-0,141
-0,11!
-0,09
-0,06,
-0,04
-0,01
0,02
0,04
0,07
0,09
0,12
0,14
0,17
0,191
0,22
0,24
0,27
0,30
0,32
0,35
0,37
0,40;
0,45
0,42'
0,39;
0,37J
0,34
0,31
0,29
0,26
0,24]
0,21
0,18
О,! 6
-0,13
-0,11
-0,08
-0,06
-0,03
-0,01
0,02
0,04
0,07
о,оэ;
0,12
0,14
0,17
0,19
0,22
0,25
0,27
0,30
0,32
0,35
0,38
0,45
0,42
0,39
0,36
0,34
0,31
0,28
0,26
0,23
0,21
0,18
0,16
0,13
0,11
0,08
0.06
0,03
0,01
0,02
0,05
0,07
0,10
0,12
0,15
0,17
0,20
0,22
0,25
0,27
0,30
0,33
0,35
0,38
0,41
—0,44
—0,42
—0,39
—0,36
—0,33
—0,31
-0,28
—0,26
—0,23
—0,20
—0,18
—0,15
—0,13
—0,10
—0,08
—0,05
—0,03
—0,00
0,02
0,05
0,07
0,10
0,12
0,15
0,17
0,20
0,23
0,25
0,28
0,30
0,33
0,36
0,38
0,41
405
Таблица 2 (продолжение)
Х- +
_|_
0,66
0,67
0,68
0,69
0,70
0,71
0,72
0,73
0,74
0,75
0,76
0,77
0,78
0,79
0,80
0,81
0,82
0,83
0,84
0.85
0,86
0,87
0,88
0,89
0,90
0,91
0,92
0,93
0,94
0,95
0,96
0,97
0,98
0,99
0,41
0,44
0,47
0,50
0,52
0,55
0,58
0,61
0,64
0,67
J0.71
0,74
I 0,77
i 0,81
I 0,84
0,88
0,92
0,95
0,99 :
1,04 ,
1,08 ,
1,13
1,18
1,23
1,28 i
1,34
1,41 |
1,48 |
0,42
0,44
0,47
0,50
0,53
0,56
0,59
0,62
0,65
0,68
0,71
0,74
0,78
0,81
0,85
0,88
0,92
0,96
1,00
1,04
1,09
1,13
1,18
1,23
1,29
1,35
1,41
1,48
0,42
0,45
0,47
0,50
0,53
0,56
0,59
0,62
0,65
0,68
0,71
0,75
0,78
0,81 j
0,85
0,89
0,92
0,96
1,00 !
1,05
1,09
1,14
1,19
1,24
1.29
1,35
1,42
1,49
1
1
1
1
2
2
,55
,64
,75
,88
,05
,33
1,
1,
1,
1,
2,
2,
56
65
76
90
07
37
1,57
1,66
1,77
1,91
2,10
2,41
0,42
0,45
0,48
0,50 j
0,53
0,56
0,59
0,62
0,65
0,68
0,72
0,75
0,78
0,82
0,85
0,89
0,93
0,97
1,01
1,05
1,09
1,14
1,19
1,24
1,30
1,36
1,43
1,50
1,58
1,67
1,79
1,93
2,12
2,46
0,42
0,45
0,48
0,51
0,54
0,57
0,59
0,63
0,06
0,69
0,72
0,75
0,79
0,82
0,86
0,89
0,93
0,97
1,01
1,05
1,10
1,15
1,20
1,25
1,30
1,37
1,43
1,51
1,59
1,68
1,80
1,94
2,14
2,51
0,43
0,45
0,48
0,51
0,54
0,57
0,60
0,63
0,66
0,69
0,72
0,76
0,79
0,82
0,86
0,90
0,93
0,97
1,02
1,06
1,10
1,15
1,20
1,25
1,31
1,37
1,44
1,51
1,60
1,70
1,81
1,96
2,17
2,58
0,43
0,46
0,48
0,51
0,54
0,57
0,60
0,63
0,66
0,69
0,73
0,76
0,79
0,83
0,86
0,90
0,94
0,98
1,02
1,06
1,11
1,16
1,21
1,26
1,32
1,38
1,45
1,52
1,61
1,71
1,83
1,98
2,20
2,65
0,43
0,46
0,49
0,52
0,54
0,57
0,60
0,63
0,67
0,70
0,73
0,76
0,80
0,83
0,87
0,90
0,94
0,98
1,02
1,07
1,11
1,16
1,21
1,26
1,32
1,39
1,45
1,53
1,62
1,72
1,84
2,00
2,23
2,75
0,43
0,46
0,49
0,52
0,55
0,58
0,61
0,64
0,67
0,70
0,73
0,77
0,80
0,83
0,87
0,91
0,95
0,99
1,03
1,07
1,12
1,17
1,22
1,27
1,33
1,39
1,46
1,54
1,63
1,73
1,85
2,01
2,26
2,88
0,44
0,46
0,49
0,52
0,55
0,58
0,61
0,64
0,67
0,70
0,74
•0,77
0,80
0,84
0,87
0,91
0,95
0,99
1,03
1,08
1,12
1,17
1,22
1,28
1,33
1,40
1,47
1,55
1,64
1,74
1,87
2,03
2,29
3,09
406
Таблица 3
Доверительные границы д в случае
нормального распределения и довери-
доверительные границы <72 в случае рас-
распределения %2q одной степенью свободы
Уровень
значимости
одно-
сторон-
сторонний
5%
2,5%
1%
0,5%
0,1%
0,05%
дву-
сторон-
сторонний
10%
5%
2%
1%
0,2%
0,1%
д
нормаль-
нормальное рас-
пределе-
пределение
1,64
1,96
2,33
2,58
3,09
3,29
о'
распреде-
распределение
2,71
3,84
5,02
6,63
9,55
10,83
Таблица 4
Критерий Н. В. Смирнова. Точные и асимптотические односторонние
границы для верхней грани разности истинной н эмпирической функций
распределения
n
5
8
10
20
40
50
При
Уровень значимости 5%
точная
граница
0,5094
0,4096
0,3687
0,2647
0,1891
0,1696
п> 50
асимптота- ОТно-
ческая
граница
0,5473
0,4327
0,3870
0,2737
0,1935
0,1731
следует
шение
1,074
1,056
1,050
: 1,034
1,023
1,021
применять
Уровень значимости 1 %
точная
граница
0,6271
0,5065
0,4566
0.3285
0,2350
0,2107
асимптоти
ческая
граница
0,6786
0,5365
0,4799
0,3393
0,2399
0,2146
асимптотическую
ОТНО-
шение
1,082
; 1,059
1,051
1,033
1,021
1,019
границу
2п
заданный, уровень значимости),
для которой истинный коэффициент доверия несколько больше
заданной величины 1 —/?. Асимптотические границы, указанные
в таблице, можно даже уменьшить на 1/Fи) и при этом коэффи-
коэффициент доверия по-прежнему не будет превосходить 1 —/J. Таким
образом, применение асимптотических границ лишь увеличивает
надежность критерия.
Таблица 4 заимствована из статьи: Birnbaum Z. W. and
Tingey F. H., One-sided confidence contours for probability distri"
bution functions, Ann. Math. Statist., 22 A959) 595.
407
Таблица 5
Критерий А. Н. Колмогорова. Точные и асимптотические границы для
верхней грани модуля разности истинной и эмпирической функций
распределения
л
5
10
15
20
25
30
40 •
50
60
70
80
90
100 j
При
Уровень
точная
граница
0,5633
0,4087
0,3375
0,2939
0,2639
0,2417
0,2101
0,1884
0,1723
0,1597
0,1496 |
0,1412
0,1340
п> 100
значимости
асимпто-
асимптотическая
граница
0,6074
0,4295
0,3507
0,3037
0,2716
0,2480
0,2147
0,1921
0,1753
0,1623
0,1518
0,1432
0,1358
следует
5%
отно-
отношение
1,078
1,051
1,039
1,033
1,029
1,026
1,022 :
1,019
1,018 :
1,016
1,015 ;
1,014
1,013
применять
Уровень
точная
граница
0,6685
0,4864
0,4042
0,3524
0,3165
0,2898
0,2521
0,2260
0,2067
0,1917
0,1795
значимости
асимпто-
асимптотическая
граница
0,7279
0,5147
0,4202
0,3639
0,3255
0,2972
0,2574
0,2302
0,2101
0,1945
0,1820
асимптотические
1%
отно-
отношение
1,089
1,058
1,040
1,033
1,028
1,025
1,021
1,018
1,016
1,015
1,014
границы
Ь0,05
U и
1>63
для которых истинные коэффициенты доверия несколько больше
заданных величин 0,95 и 0,99 соответственно. Асимптотические
границы, указанные в таблице, можно даже уменьшить на 1/Fи)
и при этом коэффициенты доверия по-прежнему не будут прево-
превосходить 1 — р. Таким образом, применение асимптотических гра-
границ лишь увеличивает надежность критерия.
Таблица 5 заимствована из статьи: Birnbaum Z. W.,Nume-
W.,Numerical tabulation of the distribution of Kolmogorov's statistic, J.
Amer. Statist. Assoc, 47 A952) 431.
408
Таблица 6
Доверительные границы для х2 с/ степенями свободы
5%
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
3,84
5,99
7,81
9,49
11,1
12,6
14,1
15,5
16,9
18,3
19,7
21,0
22,4
23,7
25,0
26,3
27,6
28,9
30,1
31,4
32,7
33,9
35,2
36,4
37,7
%
6,63
9,21
11,3
13,3
15,1
16,8
18,5
20,1
21,7
23,2
24,7
26,2
27,7
29,1
30,6
32,0
33,4
34,8
36,2
37,6
38,9
40,3
41,6
43,0
44,3
0,1 %
10,8
13,8
16,3
18,5
20,5
22,5
24,3
26,1
7,9
29,6
31,3
32,9
34,5
36,1
37,7
39,3
40,8
42,3
43,8
45,3
46,8
48,3
49,7
51,2
52,6
/
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
5%
38,9
40,1
41,3
42,6
43,8
45,0
46,2
47,4
48,6
49,8
51,0
52,2
53,4
54,6
55,8
56,9
58,1
59,3
60,5
61,7
62,8
64,0
65,2
66,3
67,5
1%
45,6
47,0
48,3
49,6
50,9
52,2
53,5
54,8
56,1
57,3
58,6
59,9
61,2
62,4
63,7
65,0
66,2
67,5
68,7
70,0
71,2
72,4
73,7
74,9
76,2
0,1%
54,1
55,5
56,9
58,3
59,7
61,1
62,5
63,9
65,2
66,6
68,0
69,3
70,7
72,1
73,4
74,7
76,1
77,4
78,7
80,1
81,4
82,7
84,0
85,4
86,7
Таблицы б и 7 заимствованы из сборника: Ilald A., Statistical
Tables and Formulas, John Wiley and Sons, New York, 1952. Три зна-
значения в последнем столбце таблицы 7 исправлены согласно дан-
данным, указанным в таблице 12 сборника: Pearson E. S. and
Hartley II. О., Biometrika, Tables for Statisticians, vol. 1.
409
Таблица б (продолжение)
Доверительные границы для у}
1
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
5%
68,7
69,8
71,0
72,2
73,3
74,5
75,6
76,8
77,9
79,1
80,2
81,4
82,5
83,7
84,8
86,0
87,1
88,3
89,4
90.5
91,7
92,8
93,9
95,1
96,2
При /> 100
мости Д следуе
1 /о
77,4
78,6
79,8
81,1
82,3
83,5
84,7
86,0
87,2
88,4
89,6
90,8
92,0
93,2
94,4
95,6
96,8
98,0
99,2
100,4
101,6
102,8
104,0
105,2
106,4
0.1 %
88,0
89,3
90,6
91,9
93,2
94,5
95,8
97,0
98,3
99,6
100,9
102,2
103,4
104,7
106,0
107,3
108,5
109,8
111,1
112,3
113,6
114,8
116,1
117,3
118,6
/
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
доверительную границу
г вычислять по формуле
5%
97,4
98,5
99,6
100,7
101,9
103,0
104,1
105,3
106,4
107,5
108,6
109,8
110,9
112,0
113,1
114,3
115,4
116,5
117,6
118,8
119,9
121,0
122,1
123,2
124,3
для х2
1 %
107,6
108,8
110,0
111,1
112,3
113,5
114,7
115,9
117,1
118,2
119,4
120,6
121,8
122,9
124,1
125,3
126,5
127,6
128,8
130,0
131,1
132,3
133,5
134,6
135,8
0,1 %
119,9
121,1
122,3
123,6
124,8
126,1
127,3
128,6
129,8
131,0
132,3
133,5
134,7
136,0
137,2
138,4
139,7
140,9
142,1
143,3
144.6
145,8
147,0
148,2
149,4
z уровнем значи
410
Таблица 7
Критерий Стьюдента. Доверительные границы для t с/ степенями свободы
/
4
1
2
з
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
т
У
Двусторонние границы
5%
12,71
4,303
3,182
2,776
2,571
2,447
2,365
2,306
2,262
2,228
2,201
2,179
2,160
2,145
2,131
2,120
2,110
2,101
2,093
2,5%
ОЛ!
2%
31,82
6,965
4,541
3,747
3,365
3,143
2,998
2,896
2,821
2,764
2,718
2,681
2,650
2,624
2,602
2,583
2,567
2,552
2,539
1%
1%
63,66
9,925
5,841
4,604
4,032
3,707
3,499
3,355
3,250
3,169
3,106
3,055
3,012
2,977
2,947
2,921
2,898
2,878
2,861
0,5%
0.1%
636,6
31,60
12,92
8,610
6,869
5,959
5,408
5,041
4,781
4,587
4,437
4,318
4,221
4,140
4,073
4,015
3,965
3,922
3,883
0,05%
осторонние границы
/
i
20
21
22
23
24
25
26
27
28
29
30
40
50
60
80
100
200
500
ОО
т
/
т
5%
2,086
2,080
2,074
2,069
2.064
2,060
2,056
2,052
2,048
2,045
2,042
2,021
2,009
2,000
1,990
1,984
1,972
1,965
1,960
2,5%
(вусторонние границы
2%
2,528
2,518
2,508
2,500
2,492
2,485
2,479
2,473
2,467
2,462
2,457
2,423
2,403
2,390
2,374
2,365
2,345
2,334
2,326
1 о/
1 /о
1%
2,845
2,831
2,819
2,807
2,797
2,787
2,779
2,771
2,763
2,756
2,750
2,704
2,678
2,660
2,639
2,626
2,601
2,586
2,576
0,5%
0.1%
3,850
3,819
3,792
3,767
3,745
3,725
3,707
3,690
3,674
3,659
3,646
3,551
3,495
3,460
3,415
3,389
3,339
3,310
3,291
0,05%
Односторонние границы
Линейная интерполяция в таблице 7 позволяет получать лишь
два верных десятичных знака1.
1 Если вместо / в качестпе нового аргумента выбрать <р = 1//, то при
линейной интерполяции по tp все три десятичных знака будут получаться
верными. Например, в последнем столбце таблицы 7 находим, что при / = 50
t = 3,495 и при / = 100 t = 3,389, поэтому <р„ = 0,01, щ = 0,02 и t(<p9) =
= 3,389, %i) = 3,495. Согласно формуле линейной интерполяции
%) = %о) + и [%,) - <{<Ро)]. где и = ¦*?=— ,
т. е. в нашем случае t{<p) — 3,389-|-0,106 • и. Пусть / = 60 и 80, тогда и =
= 2/3 и 1/4, поэтому t= 3,460 и 3,415. Вычисленные значения t совпадают
с табличными. — Прим. перев.
411
Таблица 8 А
Доверительные границы для F = b\js\ с уровнем значимости 5%;
ix — число степеней свободы числителя, /2 — число степеней свободы
h
i
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
32
34
36
38
40
42
44
46
48
50
60
70
80
90
100
125
150
200
300
500
1000
1
161
18,5
10,1
7.71
6,61
5,99
5,59
5,32
5.12
4,96
4,84
4,75
4,67
4,60
4,54
4.49
4,45
4,41
4,38
4,35
4,32
4,30
4,28
4,26
4,24
4,23
4,21
4,20
4,18
4,17
4,15
4,13
4,11
4,10
4,08
4,07
4,06
4,05
4,04
4,03
4,00
3.98
3,96
3,95
3,94
3,92
3,90
3,89
3 87
3,86
3,85
2
200
19.0
9,55
6,94
5,79
5,14
4,74
4,46
4,26
4,10
3,98
3,89
3,81
ЗД4
3,68
3.63
3,59
3,55
3,52
3,49
3,47
3,44
3,42
3,40
3,39
3,37
3,35
3,34
3,33
3,32
3,29
3,28
3.26
3,24
3,23
3,22
3,21
3,20
3,19
3,18
3,15
3,13
3,11
3.10
3.09
3.07
3.06
3,04
3,03
3,01
3,00
3
216
19,2
9,28
6,59
5,41
4,76
4,35
4,07
3,86
3,71
3,59
3,49
3,41
3,34
3,29
3.24
3,20
3,16
3.13
3.10
3,07
3,05
3,03
3,01
2,99
2.98
2,96
2,95
2,93
2,92
2,90
2,88
2,87
2,85
2,84
2,83
2,82
2,81
2,80
2,79
2,76
2,74
2,72
2,71
2,70
2,68
2.66
2,65
2,63
2,62
2,61
4
225
19,2
9,12
6,39
5,19
4,53
4,12
3.84
3,63
3,48
3,36
3,26
3,18
3,11
3,06
3.01
2,96
2,93
2,90
2,87
2,84
2,82
2,80
2.78
2,76
2,74
2.73
2 71
2,70
2,69
2,67
2,65
2,63
2,62
2,61
2,59
2,58
2,57
2,57
2,56
2,53
2,50
2,49
2,47
2,46
244
2,43
2,42
2,40
2,39
2,38
знаменателя
/j (число степеней свободы
5
230
19,3
9,01
6,26
5,05
4,39
3,97
3.69
3.48
3,33
3,20
3,11
3,03
2,96
2.90
2,85
2,S1
2,77
2,74
2,71
2,68
2.66
2,64
2,62
2,60
2,59
2,57
2,56
2,55
2,53
2,51
2,49
2,48
2,46
2,45
2,44
2,43
2,42
2,41
2,40
2,37
2,35
2,33
2,32
2,31
2,29
2,27
2,26
2,24
2,23
2,22
6
234
19,3
8,94
6,16
4.95
4,28
3,87
3,58
3,37
3,22
3,09
3,00
2,92
2,85
2.79
2.74
2.70
2,66
2,63
2,60
2,57
2,55
2,53
2,51
2,49
2,47
2,46
2,45
2,43
2,42
2,40
2,38
2,36
2,35
2.34
2,32
2,31
2,30
2.29
2,29
2,25
2,23
2,21
2,20
2,19
2,17
2,16
2,14
2,13
2,12
2,11
7
237
19,4
8,89
6,09
4,88
4,21
3,79
3,50
3,29
3.14
3,01
2.91
2Ю
2.76
2,71
2,66
2.61
2,58
2,54
2.51
2,49
2,46
2,44
2,42
2,40
2,39
2,37
2,36
2,35
2,33
2,31
2,29
2,28
2,26
2,25
2,24
2,23
2,22
2,21
2.20
2,17
2 14
2,13
2,11
2.10
2,08
2,07
2,06
2,04
2,03
2,02
8
239
19,4
8,85
6,04
4,82
4,15
3,73
3,44
3,23
9
241
19.4
8,81
6,00
4,77
4.10
3,68
3,39
3,18
3,07 3,02
2,95 2,90
2,85
2.77
2,70
2,64
2.59
2,55
2.80
2.71
2,65
2,59
2.54
2,49
2,51 2,46
2,48
2.42
2.45 2,39
2,42
2,40
2,37
2,34
2,37 2,32
2,36
2,34
2,32
2,31
2,29
2,28
2,27
2,24
2,23
2,21
2,19
2,18
2,17
2,30
2,28
2,27
2,25
2,24
2,22
2,21
2,19
2,17
2.15
2,14
2,12
2,11
2,16 2,10
2,15 2,09
2,14
2,13
2,10
2,08
2,07
2,04
2,07 2,02
2,06
2,04
2,03
2,01
2,00
2,00
1,98
1,97
1,96
1,95
.99
,97
М
,94
.93
.91
,90
.89
числителя)
10
242
19.4
8,79
5,96
4,74
4,06
3,64
3,35
3,14
2,98
2,85
2,75
2,67
2,60
2.54
2.49
2,45
2,41
2,38
2,35
2,32
2.30
2,27
2,25
2,24
2.22
2.20
2,19
2.18
2,16
2,14
2,12
2,11
2,09
2,08
206
2,05
2,04
2,03
2,03
1,99
1,97
1,95
.94
.93
,91
,89
,88
,86
.85
.84
11
12
243 244
19,4
8,76
5,94
19,4
8,74
5,91
4,70 4,68
4,03 , 4,00
3,60 '¦ 3,57
3,31 3.28
3.10
2,94
2.82
2,72
?63
2,57
2,51
2.46
2,41
2,37
2.34
2.31
3,07
2.91
2,79
2,69
2,60
2,53
2.48
2.42
2,38
2,34
2,31
2,28
2,28 2,25
2,26
2,23
2,21
2,20
2,18
2.17
2,15
2,14
2,13
2,23
2,20
2,18
2,16
2,15
2,13
2,12
2,10
2,09
2.10 2,07
2,08
2,07
2,05
2,04
2,03
2,01
2,00
1,99
1,99
1,95
1,93
1.81
1,90
1 89
1,87
1,85
1.84
1,82
1.81
1,80
2,05
2.03
2,02
2,00
,99
,98
,97
,96
,95
,92
,89
88
1,86
1,85
1,83
1,82
1,80
1,78
1,77
,76
13
245
19.4
8,73
5,89
4,66
3,98
3,55
3,26
' 3,05
2,89
1 2,76
2,66
2.58
2,51
2,45
2,40
2,35
2,31
2,28
2,25
2,22
2,20
2,18
2,15
2,14
2,12
2,10
2,09
2.08
2.06
2,04
2,02
2,00
1,99
1,97
1,96
1,95
1,94
1,83
1,92
1,89
1,86
1,84
1,83
1,82
1,80
1.79
1,77
1,75
1,74
1.73
14
245
19,4
8,71
5,87
4,64
' 3,96
3,53
3.24
3,03
2,86
2,74
2.64
2,55
2,48
2,42
2,37
2,33
2,29
2,26
2,22
2,20
2,17
2,15
2,13
2,11
2,09
2,08
2,06
2,05
2,04
2,01
1,99
1.98
1,96
1,95
1,93
1,92
1,91
1,90
1,89
1,86
1,84
1,82
1,80
1,79
1,77
1,76
1,74
1,72
1,71
1,70
15
246
19,4
8,70
5,86
4,62
3,94
3,51
3,22
3.01
2,85
2,72
2,62
2,53
2,46
2,40
2,35
2,31
2,27
2,23
2,20
2,18
2,15
2,13
2,11
2,09
2,07
2,06
2,04
2,03
2,01
1,99
1,97
1,95
1,94
1,92
1,91
1,90
1,89
1,88
1.87
1,84
1,81
1,79
1,78
1,77
1,75
1.73
1,72
1.70
1,69
1,68
Если /2 > 1000, то следует воспользоваться границей, соот-
соответствующей /, = 1000.
412
Таблица SA (продолжение)
Доверительные границы для F = «|/я|| с уровнем значимости 5%;
— число степеней свободы числителя, /2 — число степеней свободы
знаменателя
и
i
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
32
34
36
38
40
42
44
46
48
50
60
70
SO
90
100
125
150
200
300
500
1000
16
246
19.4
8,69
5,84
4,00
3,92
3,49
3.20
2.99
2,83
2,70
2,60
2.51
2,44
2,38
2,33
2,29
2,25
2,21
2,18
2,16
2,13
2,11
2,09
2,07
2,05
2.04
2.02
2,01
1.99
1.97
1,95
1,93
1,92
1,90
1,89
1,88
1,87
1,86
1,85
1,82
1,79
,77
,76
,75
.72
,71
,69
.68
,66
,65
17
247
19.4
8,68
5,83
4,59
3,91
3,48
3.19
2,97
2,81
2,69
2,58
2,50
2.43
2,37
2,32
2,27
2,23
2,20
2,17
2,14
2,11
209
2,07
2,05
2,03
2,02
2,00
1,99
1,98
1,95
,93
,92
,90
.89
,87
.86
,85
,84
,83
,80
,77
,75
.74
1,73
1,70
1,69
,67
1,66
1,64
1,63
18
247
19,4
8,67
5,82
4,58
3,90
3,47
3,17
2,96
2,80
2,67
2,57
2,48
2,41
19
248
19,4
8,67
5,81
4,57
3,88
3.46
3,16
2,95
2,78
2,66
2,56
2.47
2.40
2,35 2,34
2,30 i 2,29
2,26 2,24
2,22
2,18
2,15
2,12
2,10
2,07
2,05
2,04
2,02
2,00
1,39
1,97
1,96
1,94
1,92
190
1,88
1,87
1,86
1,84
1,83
1,82
1.81
1,78
1,75
2,20
2,17
2,14
2,11
2,08
2,06
2,04
2,02
2,00
1,99
.97
,96
,95
,92
,90
,88
1,87
1,85
1,84
1,83
1,82
1,81
1,80
1,76
1.74
1,73
1,72
1,71
1.69
1.67
1,66
1.64 '
1,62
1.61
.72
,70
.69
,67
,66
,64
.62
.61
,60
/i (число степеней свободы
20
248
19.4
8,66
5^0
4,56
3,87
3,44
3,15
2,94
2,77
2,65
2,54
2,46
2,39
2,33
2,28
2,23
2,18
2,16
2.12
2.10
2,07
2,05
2,03
2,01
1,98
1,97
1,96
1,94
1,93
,91
,89
,87
,85
,84
,83
,81
,К0
,79
,78
,75
,72
,70
,69
,68
,65
,64
,62
,61
,59
.58
22
249
19,5
8,65
5,79
4,54
3.86
3,43
3,13
2,92
2,75
2,63
2^2
2,44
2.37
2,31
2.25
2,21
2,17
2,13
2,10
2 07
2.05
2.02
2,00
1,98
1,97
1,95
1,93
1,92
1,91
1,88
1,86
1,85
1,83
.81
,80
,79
,78
,77
,76
1,72
1,70
1.68
1.66
1,65
1,63
1,61
1,60
1.58
1.56
,55
24
249
19,5
8,64
5,77
4,53
3,84
3,41
3,12
2,90
2,74
2,61
2,51
2,42
2.35
2,29
2,24
2.19
2,15
2,11
2,08
2,05
2,03
2.00
1,98
1,96
1,95
1,93
1.91
1.90
1,89
1,86
1,84
1,82
1,81
1,79
1,78
1,77
1,76
1,75
1,74
1,70
1,67
1.65
1,64
1,63
1,60
1,59
1,57
1.55
1.54
1,53
26
249
19,5
8,63
5,76
4,52
3,83
3,40
3,10
2.89
2,72
2,59
2,49
2,41
2,33
2,27
2,22
2,17
2,13
2,10
2,07
204
2,01
1,99
1.97
1,95
1,93
1,91
1,90
1,88
1,87
1,85
1.82
1,81
1,79
1,77
1,76
1,75
1,74
1,73
1,72
1.68
1,65
1.63
1,62
1,61
1,58
1,57
1,55
1,53
1,52
1,51
28
250
19,5
8,62
5,75
4,50
3,82
3,39
3,09
2,87
2,71
2,58
2,48
2 39
2,32
2,26
2,21
2,16
2,12
2,08
2,05
2.02
2.00
1,97
1,95
1,83
1,91
1.90
1,88
1.87
185
1,83
1,80
1,79
1,77
1.76
1.74
1.73
1.72
1,71
1,70
1,66
1,64
,62
.60
,59
,57
,55
,53
,51
,50
,49
числителя)
30
250
19,5
8,62
5,75
4,50
3,81
3,38
3,08
2,86
2,70
2,57
2,47
2,38
2,31
2,25
2,19
2,15
2,11
2,07
2,04
2,01
1,98
1,96
1,94
1,92
1,90
1,88
1.87
1,85
1.84
1,82
1,80
1,78
1,76
1,74
1,73
1,72
1,71
1.70
1,69
1,65
1,62
1,60
1,59
1,57
1,55
1,53
1,52
1,50
1,48
1,47
40
251
19,5
8,59
5,72
4,46
3,77
3,34
3,04
2,83
2,66
2,53
2,43
2.34
2.27
2,20
2,15
2,10
2,06
2,03
1,99
1,96
50
252
19,5
8,58
5,70
4,44
3,75
3,32
3.02
2,80
2,64
2,51
2,40
2,31
2,24
2,18
2,12
2,08
2,04
2,00
1,94
1,91
1,89
187
1,85
1,84
1,82
1,81
1,79
1,77
1,75
1,73
1,71
1,69
1.68
1,67
1,65
.97
.94
.91
,88
,86
,84
1,82
1,81
1,79
1,77
1.76
1,64
163 i
1,59
1.57
,54
.53
,52
,49
,48
,46
.43
.74
,71
,69
,68
.66
,65
,63
,62
,61
,60
,56
,53
.51
,49
,48
.45
1,44
1,41
1.39
,42 1.38
41
.36
60
252
19.5
8.57
5,69
4,43
3,74
3,30
3,01
2,79
2.62
2,49
2,38
2.30
2,22
2,16
2,11
2,06
2,02
1,98
1,95
1,92
1,89
1,86
1.84
1,82
1,80
1,79
1.77
1.75
1,74
1,71
1.69
1,67
1,65
1,64
1,62
1,61
1,60
1,59
1,58
1,53
1,50
1,48
1,46
1,45
1,42
1,41
1,39
1,36
1,34
1,33
80
252
19,5
8,56
5,67
4,41
3,72
3.29
2.99
2.77
2,60
2,47
2,36
2,27
2,20
2.14
2.08
2.03
1,99
1,96
1,92
1,86
1,86
1,84
1,82
1,80
1,78
1,76
.74
1.73
1,71
,69
,66
,64
,В2
,61
1,59
1,58
1,57
1,56
1,54
1,50
1,47
1.45
1,43
1,41
1,39
1,37
1,35
1,32
1.30
1,29
100
253
19,5
8.55
5,66
4,41
3,71
3,27
2.97
2,76
2,59
2,46
2,35
2,26
2,19
2,12
2,07
2,02
1,98
1,94
1.91
1.88
1,85
1,82
1,80
1,78
1,76
1,74
1,73
1,71
1,70
1,67
1,65
1,62
1,61
1,59
1,5?
1,56
1.55
1,54
1,82
1,48
1,45
1,43
1,41
1,39
1,36
1,34
1,32
1,30
1,28
U6
Если /2 > 1000, то следует воспользоваться границей, соот-
соответствующей /2 = 1000.
413
Таблица 8Б
Доверительные границы для F = ef/Sj с уровнем значимости 1%;
/х — число степеней свободы числителя, /2 — число степеней свободы
знаменателя
и
i
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
32
34
36
38
40
42
44
46
48
50
55
60
70
80
90
100
125
150
200
300
500
1000
1
98,5
34,1
21 Я
16,3
13.7
12,2
11.3
10,6
10,0
9.65
9,33
9,07
8,86
8,68
8,53
8,40
8,29
8,18
8,10
8,02
7,95
7,88
7.82
7.77
7,72
7,68
7.64
7.60
7,56
7,50
7,44
7,40
7,35
7,31
7,28
7.25
7,22
7,19
7,17
7,12
7,08
7.01
6,96
6.93
6,90
6,84
6,81
6,76
6.72
6,69
6,66
2
99,0
30,8
18,0
13,3
10,9
9,55
8,65
8,02
7.56
7.21
6,93
6,70
6,51
6,36
6,23
6.11
6,01
5.93
5,85
5,78
5,72
5,66
5,61
5,57
5,53
5,49
5,45
5,42
5,39
5.34
5,29
5,25
5,21
5,18
5.15
5.12
5.10
5.08
5,06
5,01
4,98
4,92
4,88
4,85
4,82
4,78
4,75
4,71
4.68
4,65
4,63
3
99,2
29,5
16,7
12,1
9.78
8,45
7.59
6.99
6,55
6,22
5,95
5.74
5,56
5.42
5,29
5,18
5,09
5,01
4,94
4,37
4,82
4.76
4,72
4,68
-1,64
4,60
4.57
4.54
4.51
4,46
4,42
4,38
4,34
4,31
4.29
4.26
4,24
4,22
4,20
4,16
4.13
4,08
4,04
4.01
3,98
3,94
3.92
388
3,85
3,82
3,80
4
99.2
28,7
16,0
11,4
9,15
7,85
7.01
6.42
5,99
5 67
5,41
5,21
5 04
4.89
4,77
4,67
4,58
4,50
4,43
4,37
4.31
4,26
4,22
4,18
4,14
4,11
4,07
4.04
4,02
3.97
3,93
3,89
3,86
3,83
3.80
3,78
3,76
3,74
3,72
3,68
3.65
3,60
3.56
3,54
3.51
3,47
3,45
3,41
3,38
3,36
3,34
1, (число степеней свободы
S
99,3
28,2
15,5
11,0
8,75
7,46
6,63
6.06
5,64
5.32
5,06
4,86
4,69
4.56
4.44
4.34
4,25
4,17
4.10
4.04
3,99
3,94
3.90
3,86
3,82
3,78
3,75
3,73
3.70
3,65
3.61
3.57
3,54
3,51
2,49
3.47
3,44
3,43
3,41
3.37
3,34
3,29
3,26
3,23
3 21
3,17
3,14
3,11
3,08
3,05
3,04
6
99,3
27,9
15,2
10.7
8,47
7.19
6.37
5.80
5,39
5.07
4,82
4,62
4,46
4,32
4,20
4.10
4,01
3,94
3,87
3.81
3,76
3,71
3.67
3,63
3,59
3,56
3.53
3,50
3,47
3,43
3.39
3,35
3,32
3,29
3.27
3.24
3,22
3,20
3,19
3,15
3,12
3,07
3,04
3,01
2,99
2,95
2,92
2,89
2,86
2,84
2,82
7
99,4
27.7
15,0
10,5
8,26
6,99
6.18
5,61
5.20
4,89
4,64
4,44
4,28
4,14
4,03
3.93
3,84
3,77
3,70
364
3.59
3.54
3,50
3,46
3,42
3,39
3,36
3.33
3,30
3,26
3.22
3,18
3,15
3,12
ЗЛО
3.08
3,06
3.04
3,02
2,98
2 95
2.91
2,87
2,84
2,82
2,79
2,76
2,73
2,70
2,68
2,66
8
99,4
27,5
14,8
10,3
8,10
6,84
6 03
5.47
5,06
4,74
4,50
4,30
4.14
4.00
3,89
3,79
3,71
3,63
3,56
3.51
3,45
3,41
3,36
3,32
3,29
3,26
3,23
3,20
3.17
3,13
3 09
зда
3,02
2,99
2.97
2.95
2,93
2,91
2,89
2,85
2,82
2,78
2,74
2,72
2,69
2,66
2,63
2,60
2.57
2,55
2.53
9
99.4
27.3
14,7
10.2
7,98
6.72
5.91
5,35
4,94
4.63
4,39
4,19
4.03
3.89
3,78
3.68
3,60
3,52
3,46
3,40
3,35
3.30
3,26
3.22
3,18
3,15
3,12
3,09
3.07
3,02
2.9Н
2,93
2,92
289
2,86
2,84
2,82
2,80
2,79
2,75
2,72
2,67
2,64
2,61
2,59
255
2 53
2,50
2,47
2.44
2,43
числителя)
10
99,4
27,2
14,5
10,1
7.87
6,62
5.81
5,26
4,85
4,54
4,30
4,10
3,94
3,80
3,69
3,59
3,51
3,43
3,37
3.31
3,26
3,21
3,17
3,13
3,09
3,06
3,03
3,00
2,98
2,93
2,89
2,86
2,83
2,80
2,78
2,75
2.73
2,72
2.70
2,66
2,63
2.59
2.55
2,52
2,50
2,47
2,44
2,41
2,38
2,36
2,34
II
99,4
27,1
14,4
9,96
7,79
6.54
5.73
5,18
4,77
4,46
4,22
4,02
3.86
3,73
4 62
3,52
3,43
3,36
3,29
3,24
3.18
3,14
3,09
3,06
3,02
2,99
2,96
2,93
2.91
2,86
2.82
2,79
2 75
2,73
2.70
2.68
2.66
2.64
2,63
2,59
2,56
2,51
2,48
2,45
2.43
2 39
2,37
2,34
2,31
2,28
2,27
12
99,4
27,1
14 4
9,89
7,72
6,47
5.67
5,11
4 71
4.40
4,16
3,96
3,80
3,67
3,55
3,46
3,37
3,30
3,23
3,17
3,12
3.07
3,03
2,99
2,96
2,93
2,90
2.87
2.84
2,80
2,76
2,72
2,69
2,66
2,64
2,62
2,60
2,58
2,56
2,53
2,50
2,45
2,42
2,39
2,37
2,33
2,31
2,27
2,24
2,22
220
13
99,4
27,0
14.3
9,82
7,66
6,41
5,61
5,05
4,65
4,34
4,10
3,91
3.75
3.61
3,50
3,40
3,32
3,24
3,18
3,12
3,07
3,02
2,98
2.94
2,90
2,87
2,84
2,81
2,79
2,74
2,70
2,67
2,64
2,61
2,59
2.56
2,54
2,53
2,51
2,47
2,44
2,40
2,36
2,33
2,31
2,28
2,25
222
2,19
2,17
2,15
14
99,4
26,9
14,2
9,77
7,60
6,36
5.56
5,00
4.60
4.29
4,05
3,86
3,70
3,56
3,45
3,35
3,27
3,19
3.13
3.07
3,02
2,97
2,93
2,89
2,86
2,82
2,79
2,77
2,74
2,70
2,66
2.62
2,59
2,56
2.54
2.52
2,50
2,48
2,46
2,42
2,i9
2,35
2.31
2,29
2,26
2.23
2,20
2,17
2,14
2,12
2,10
15
99,4
26,9
142
9,72
7,56
.31
5,52
4,96
4.56
4,25
4,01
3,82
3,66
3,52
3,41
3,31
3,23
3,15
3,09
3,03
2,98
2,93
2.89
2,85
2,82
2,78
2,75
2,73
2,70
2,66
2,62
2.58
2,58
2.52
2.50
2,47
2.45
2,44
2,42
2,38
2,35
2.31
2,27
2,24
2,22
2,19
2,16
2,13
2,10
2,07
2,06
Если /2 = 1, то доверительная граница для F равна квадрату
двусторонней 1%-границы для t с Д степенями свободы (таблица 7).
414
Таблица 8Б (продолжение)
Доверительные границы для F = i
/1 -
.
I
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
32
34
36
38
40
42
44
46
48
50
55
60
70
80
90
100
125
150
200
300
500
1000
число степеней свободы числителя,
1С
99,4
26,8
14,2
9,68
7,52
6,27
5,48
4,92
4.52
4.21
3.97
3,78
3.62
3.49
3,37
3,27
3,19
3,12
3,05
2,99
2,94
2,89
2,85
2.81
2.78
2.75
2,72
2,69
2,66
2,62
2,58
2,54
2,51
2,48
2,46
2,44
2,42
2.40
2,38
2,34
2.31
2.27
2,23
2,21
2,19
2,15
2,12
2,09
2,06
2,04
2,02
17
99,4
26,8
14,1
9,64
7.48
6,24
5,44
4,89
4,49
4,18
3,94
3.75
3,59
3,45
3,34
3,24
3,16
3,08
3.02
2,96
2,91
2,86
2,82
2,78
2,74
2,71
2,68
2,66
2,63
2,58
2,55
2,51
2,48
2,45
2,43
2,40
2,38
2,37
2,35
2,31
2,28
2,23
¦ 2,20
2,17
2,15
2,11
2,09
2,06
, 2,03
2,00
1,98
18
99,4
26,8
14,1
9,61
7,45
6,21
5,41
4.86
4.46
4,15
3,91
3,72
3,56
3,42
3,31
3,21
3,13
3,05
2,99
2,93
2,88
2,83
2,78
2,75
2,72
2,68
2,65
2.63
2,60
2,55
2,51
2,48
2,45
2,42
2,40
2,37
2,35
2,33
. 2,32
2?8
2,25
2.20
: 2.17
2.14
2,12
2,08
2,06
2,02
1.99
1.97
1,95
19
99,4
26,7
14,0
9,58
7,42
6,18
5,38
4,83
4,43
4,12
3,88
3,69
3,53
3,40
3,28
3,18
3,10
3,03
2.96
2,90
2,85
2.80
2.76
2,72
2,69
2,66
2,63
2.60
2.57
2,53
2,49
2,45
2,42
2,39
2,37
2,35
2,33
2,31
2.29
2,25
2,22
2,18
2,14
2,11
2,09
2,05
2,03
2.00
1 97
1,94
1,92
1
знаменателя
с уровнем значимости
/. -
/, (число степеней свободы
20
99,4
26,7
14,0 ,
9,55
7,40
6,16
5,36
4,81
4,41
4,10
3,86
3,66
3,51
3,37
3,26
3,16
3,08
3,00
2,94
2,88
2,83
2,78
2,74
2,70
2.66
2,63
2,60
2,57
2,55
2,50
2,46
2,43
2,40
2,37
2,34
2,32
2,30
2,28
2,27
2,23
2,20
2,15
2,12
2,09
2,07
2,03
2,00
1,97
1,94
1,92
1,90
22
99,5
26,6
14,0
9,51
7,35
6,11
5,32
4,77
4,36
4,06
3,82
3,62
3,46
3,33
3,22
3,12
3,03
2,96
2.90
2.84
2.78
2,74
2,70
2,66
2,62
2,59
2,56
2,53
2,51
2,46
2,42
2.38
2,35
2.33
2,30
2,28
2.26
2,24
2,22
2,18
2,15
2,11
2,07
2.04
2,02
1,98
1,96
1,93
1.89
1,87
1,85
24
99,5
26.6
13 9
9 47
7,31
6,07
5,28
4.73
4,33
4,02
3,78
3,59
3,43
3,29
3,18
3,08
3 00
2,92
2 86
2,80
2,75
2,70
2,66
2,62
2,58
2,55
2.52
2,49
2,47
2,42
2,38
2.35
2,32
2,29
2,26
2,24
2,22
2,20
2.18
?, 15
2,12
2,07
2,03
2,00
1,98
1.94
1,92
1.89
1,85
1,83
1,81
— Ь
99,5
26,6
13.9
9,43
7,28
6,04
5,25
4,70
4,30
3,99
3,75
3,56
3,40
3,26
3,15
3,05
2 97
2,89
2,83
2,77
2,72
2,67
2,63
2,59
2,55
2,52
2.49
2,46
2,44
2,39
2,35
2,32
2,28
2,26
2,23
2.21
2,19
2,17
2.15
2,11
2,08
2,03
2,00
1,97
1,94
1,91
1,88
1,85
1,82
1,79
1,77
28
99,5
26,5
13,9
9,40
7,25
6,02
5,22
4.67
4,27
3,96
3,72
2,53
3,37
3,24
3,12
3,03
2,94
2.87
2,80
2.74
2.69
2,64
2,60
2,56
2,53
2,49
2,46
2.44
2,41
2,36
2,32
2,29
2,26
2,23
2,20
2,18
2,16
2,14
2,12
2,08
2,05
2.01
1,97
1,94
1,92
1.88
1,85
, 1,82
1,79
1,76
1.74
1%;
число степеней свободы
числителя
30
99,5
26,5
13,8
9 38
7,23
5,99
5,20
4 65
4,25
3,94
3,70
3,51
3,35
3,21
3,10
300
2,92
2,84
2 78
2,72
2,67
2,62
2,58
2,54
2,50
2.47
2,44
2,41
2,39
2,34
2,30
2,26
2,23
2,20
2,18
2.15
2,13
3.12
2.10
2,06
2 03
1,98
1 94
1 92
1,89
1,85
1,83
: 1 79
1.76
1.74
1,72
40 :
99.5
26,4
13,7
9,29
7,14
5,91
5,12
4,57
4,17
3,86
3,62
3,43
3,27
3.13
3.02
2,92
2,84
2,76
2,69
2,64
2,58
2.54
2.49
2.45
2.42
2.38
2,35
2,33
2,30
2,25
2.21
2,17
2,14
2.11
2,09
2,06
2,04
2,02
2 01
1,97
1.94
1,89
1,85
1,82
1,80
1,76
1,73
1,69
1,66
1,63
! i.oi
i
50
99,5
26,4
13,7
9,24
7,09
5,86
5,07
4,52
4,12
Я.81
3,57
3,38
3,22
3,08
2,97
2,87
2,78
2.71
2,64
2,58
2,53
2,48
2,44
2,40
2,36
2,33
?30
2,27
2,25
2,20
2,16
2,12
2,09
2,06
2,03
2,01
1,99
1,97
1,95
.91
.88
ДЗ
,79
.76
,73
,69
,66
.63
,59
,56
,54
60
99,5
26,3
13.7
9.20
7,06
5,82
5,03
4,48
4.08
3.78
3.54
3.34
3,18
3,05
2,93
2,83
2.75
2.67
2,61
2,55
2.50
2,45
2,40
2,36
2,33
2,29
2.26
2,23
2,21
2,16
2,12
2,08
2,05
2.02
1.99
1,97
1,95
1.93
1,91
,87
,84
,78
.75
,72
.69
,65
,62
,58
,55
.52
,50
I
80
99,5
26,3
13,6
9,16
7,01
5,78
4,99
4,44
4,04
3.73
3,49
3,30
3,14
3,00
2,89
2,79
2,70
2,63
2,56
2,50
2,45
2.40
2.36
2,32
2,28
2,25
2,22
2,19
2,16
2,11
2,07
2,03
2,00
1,97
1,94
1,92
1,90
1,88
1,86
1.81
1,78
1,73
1,69
1,66
1.63
1.59
1,56
1,52
1,48
1.45
1,43
100 •
99,5
26,2
13,6
9.13
6,99
5,75
4,96
4,42
4-.01
3,71
2,47
3,27
3.11
2,98
2,86
2,76
2,68
2,60
2,54
2,48
2,42
2,37
2,33
2,29
2,25
2,22
2,19
2,16
2,13
2,08
2,04
2,00
1,97
1,94
1,91
1,89
1,86
1,84
1,82
1,78
1,75
1,70
1,66
1,62
1,60
1,55
1.52
1,48
1,44
1,41
1,38
Если /2 > 1000, то следует воспользоваться границей, соответ-
соответствующей /2 = 1000.
415
Таблица &В
Доверительные границы для F = *iM2 c уровнем значимости 0,1%;
f1 — число степеней свободы числителя, /2 — число степеней свободы
и
J.
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
22
24
26
28
30
40
50
60
80
100
200
500
1
998
168
74,1
47,0
35,5
29,2
25,4
22,9
21,0
19,7
18,6
17,8
П.1
16,6
16 1
15,7
15,4
15,1
14,8
14,4
14,0
13,7
13,5
, 13,3
12,6
12,2
12.0
11,7
11.5
11,2
11,0
10.8
2
999
148
61,2
36,6
27,0
21,7
18,5
16.4
14,9
13,8
13,0
12,3
11,8
11.3
п.о
10,7
10.4
10,2
9,95
9,61
9,34
9,12
8,93
8,77
8 25
7,95
7,76
7.54
7.41
7.15
7,01
6.91
3
999
141
56.2
33,2
23,7
18.8
15,8
13,9
12,6
11,6
10.8
10,2
9,73
9,34
9,00
8,73
8.49
8,28
8,10
7,80
7.55
7.36
7.19
7,05
6,60
6.34
6,17
5,97
i 5,85
5,64
5,51
i 5.42
i
1
4
999
137
53,4
31.1
21,9
17.2
14.4
12.6
11.3
10.4
9,63
9,07
8,62
8,25
7.94
7,68
7 46
7,26
7,10
6,81
6,59
6,41
6,25
6.12
5.70
5,46
5,31
! 5,13
! 5,01
' 4,81
4,69
4.62
знаменателя
Fi (число степеней свободы
5
999
135
51.7
29,8
20,8
16,2
13.5
11,7
10.5
9.58
8,89
8,35
7,92
7,57
7,27
7,02
6,81
6,61
6,46
6,19
5,98
5.80
5,fi6
5,53
5,13
4,90
4.76
4,58
4,48
4,29
4,18
4,10
6
999
133
50,5
28,8
20.0
15,5 ¦
12.9
11.1
9,92
9,05
8,38
7,86
7.43
7,09
6.81
6,56
6.35
6.18
6,02
5.76
5.55
5,38
5,24
5.12
4.73
4.51
4.37
. 4,21
4,11
¦ 3.92
' 3,82
3,74
7
999
132
49,7
28,2
19,5
15,0
12.4
10,7
9,52
8,66
8,00
7,49
7,08
6,74
R4fi
6,22
6,02
5,84
5,69
5.44
5,23
5,07
4,93
4,82
4,43
4.22
4,09
3,92
3,83
3,65
3,54
3,47
8
999
131
49,0
27,6
19,0
14.6
12,0
10.4
9,20
8.35
7.71
7.21
6,80
6,47
6.19
5.96
5,76
5,59
5.44
5,19
4.99
4,83
4,69
4,58
4,21
4.00
i 3.87
3,70
3,61
3,43
3,33
3,27
9
999
130
48.5
27.2
18,7
14,3
11,8
10.1
8,96
8,12
7,48
6.98
6.58
6,26
5,98
5.75
5,56
5,39
5,24
4,99
480
4,64
4.50
4.39
4,02
3,82
3,69
3,53
3.44
3,26
3,16
3.10
числителя)
10
999
129
48,0
26.9
18,4
14,1
11,5
9.89
8,75
7,92
7,29
6,80
6.40
6,08
5.81
5.58
5.39
5.22
5.08
4.83
4.64
4,48
4.35
4,24
3 87
3,67
3.54
3,39
3.30
3.12
3.02
2,96
15
999
127
46.8
25.9
17,6
13,3
10.8
9,24
8,13
7,32
6,71
6,23
5,85
5,53
5,27
5,05
4.87
4,70
4,56
4.32
4,14
3,99
3,86
3,75
3.40
3,20
3.08
1 2,93
2,84
2.67
2,58
2,51
20
999
126
46,1
25,4
17,1
12,9
10.5
8.90
7,80
7,01
6,40
5,83
5,56
5,25
4 99
4,78
4,59
4,43
4.29
4,06
3.87
3,72
3,60
3,49
3.15
2,95
2,83
2.68
' 2.59
2.42
2.33
2,27
30
999
125
45.4
24,9
16,7
12,5
10,1
8,55
7,47
6,68
6,09
5,62
5,25
4,95
4,70
4,48
4.30
4,14
4,01
3.77
3.59
3.45
3,32
3.22
2,87
2,68
2,56
2,40
2,32
2,15
2,05
1,99
50
999
125
44.9
24,4
16,3
12,2
9,80
8,26
7,19
6,41
5,83
5.37
5.00
4,70
4,45
4,24
4,06
3,90
¦3,77
3,53
3,35
3.20
3,08
2,98
2.64
2.44
2.31
2.16
2,07
1.90
1,80
1.73
100
999
124
44,5
24,1
16,0
11,9
9.57
8.04
6,98
6.21
5,63
5,17
4,80
4,51
4,26
4,05
3.87
3,71
3,58
3,34
3.16
3.01
2,89
2.79
2,44
2,24
2,11
1,95
1,87
1,68
1,57
1,49
Приближенные доверительные границы, вычисленные с по-
помощью линейной интерполяции табличных значений, получаются
несколько грубыми1. Граница при /2 = 1000 приблизительно
равна арифметическому среднему границ при /2 = 500 и оо.
Таблица 8Л, Б и В заимствованы из сборника: Hald A.,
Statistical Tables and Formulas, John Wiley and Sony, New York,
1952.
1 Если вместо /j и /2 в качестве новых аргументов выбрать ^i = 1/А и
<р2 = ]//2, то результаты линейной интерполяции по <pi и <р2 будут практи-
практически иметь такую же погрешность, какую имеют табличные значения. —
Прим. перев.
416
Таблица 9
Границы критической области для критерия знаков
5
6
7
8
9
10
1!
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
я
2,
0
1
1
1
2
2
2
3
3
3
4
4
5
5
5
6
6
6
7
7
о
О
о
О
8
g
9
10
30
10
11
11
12
12
13
13
13
14
14
15
15
16
Односторонние границы
5%
5
5
6
7
7
8
9
9
10
11
11
12
12
13
14
14
15
16
16
17
17
18
19
19
20
20
21
22
22
23
23
24
24
25
26
26
27
27
28
28
5%
0
0
1
1
1
1
2
2
2
3
3
3
4
4
5
5
5
6
6
6
7
7
8
8
8
9
9
9
10
10
11
11
11
12
12
13
13
14
14
14
2%
5
6
6
7
8
9
9
10
11
11
12
13
13
14
14
15
16
16
17
18
18
19
19
20
21
21
22
23
23
24
24
25
26
26
27
27
28
28
29
30
0,5%
0
0
0
1
1
1
1
2
2
2
3
3
3
4
4
4
5
5
5
6
6
7
7
7
8
8
8
9
9
10
10
10
п
11
12
12
12
13
13
14
1%
Двусторонние границы
5
6
7
7
8
9
10
10
11
12
12
13
14
14
15
16
16
17
18
18
19
19
20
21
21
22
23
23
24
24
25
26
26
27
27
28
29
29
30
30
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
п
2,
16
16
17
17
18
18
19
19
19
20
20
21
21
22
22
22
23
23
24
24
25
25
26
26
26
27
27
28
28
29
29
29
30
30
31
3!
32
32
33
33
5
Односторонние границы
5%
29
30
30
31
31
32
32
33
34
34
35
35
36
36
37
38
38
39
39
40
40
41
41
42
43
43
44
44
45
45
46
47
47
48
48
49
49
50
50
51
%
1 °/
15
15
16
16
16
17
17
18
18
19
19
19
20
20
21
21
21
22
22
23
23
24
24
24
25
25
26
26
27
27
27
28
28
29
29
30
30
31
31
31
2%
э
30
31
31
32
33
33
34
34
35
35
36
37
37
38
38
39
40
40
41
41
42
42
43
44
44
45
45
46
46
47
48
48
49
49
50
50
51
51
52
53
0,5
14
14
15
15
16
16
16
17
17
18
18
18
19
19
20
20
21
21
21
22
22
23
23
23
24
24
25
25
26
26
26
27
27
28
28
29
29
29
30
30
i%
Двусторонние границы
%
31
32
32
33
33
34
35
35
36
36
37
38
38
39
39
40
40
41
42
42
43
43
44
45
45
46
46
47
47
48
49
49
50
50
51
51
52
53
53
54
Таблица 9 (продолжение)
85
86
87
88
89
90
91
92
n
2,
33
34
34
35
35
36
36
37
Односторонние границы
5%
52
52
53
53
54
54
55
55
5%
1%
32
32
33
33
34
34
34
35
2%
53
54
54
55
55
56
57
57
0.5%
31
31
32
33
32
33
33
34
Двусторонние границы
54
55
55
56
57
57
58
58
'о
93
94
95
96
97
98
99
100
п
Односторонние границы
2,5%
37
38
38
38
39
39
40'
40
56
56
Ь/
Ь8
Ь8
59
59
60
i,
1%
35
36
36
37
37
38
38
38
2%
58
58
ЬУ
ЬУ
60
60
61
62
0.5%
34
35
35
ЗЬ
36
36
37
37
59
59
60
61
61
62
62
63
1%
Двусторонние границы
Если наблюденное количество знаков (+) находится вне ука-
указанных границ, то гипотеза Р(+) = Р(—) отвергается.
Таблица 10
Распределение статистики Вилкоксона
Пусть имеются две выборки х1г . . ., xg и ylt. . ., yh объемов д
и Л, и пусть из всех xt и ук составлен общий вариационный ряд.
Статистикой Вилкоксона U называют число инверсий в этом
вариационном ряду, равное сумме инверсий для каждого х (коли-
(количество инверсий для данного xt определяется как число тех ук,
которые удовлетворяют условию ук < xt). В таблице указаны
вероятности р(и) событий U ^и, выраженные в процентах и не
превосходящие 5%. Эти вероятности вычислены в предположении,
что «нулевая гипотеза» верна (согласно нулевой гипотезе, все х,
и ук независимы и подчиняются одинаковому непрерывному распре-
распределению). Если окажется, что p(U)^f3, то нулевую гипотезу
следует отвергнуть. Истинный уровень значимости односторон-
одностороннего критерия не превосходит /?, а истинный уровень значимости
двустороннего критерия не превосходит 2/}. При TJ > q h/2 обоз-
обозначения х и у следует поменять местами.
*
0
1
2
3
4
2; 5
4,76
2; 6
3.57
2; 7
2,78
2; 8
2.22
4,44
2; 9
1.82
3,64
Объемы выборок
2; 10
1,52
3,03
3; 3
3; 4
5,00 i 2,86
Э и Л
3; 5
1,79
3,57
3; 6
1,19
2,38
4,76
3; 7
0,83
1,67
3,33
3; 8
0,61
1.21
2,42
4,24
3; 9
,045
0,91
1,82
3.18
5,00
3; 10
0,35
0,70
1,40
2,45
3,85
27 Б. Л. ван дер Варден - 1002
Таблица 10 (продолжение)
и
1
0
1
2
3
4
5
6
7
8
9
10
11
и
1
0
1
2
3
4
5
6
7
8
9
10
И
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
4; 4
1,43
2,86
6: 7
0,06
0,12
0 23
0,41
0,70
1,11
1,75
2,56
3,67
4; 5
0,79
1,59
3,17
6; 8
0,03
0,07
0,13
0,23
0,40
0,63
1,00
1 47
2,13
2,96
4,06
4; 6
0,48
0 95
1,90
3,33
С; 9
0,02
0,04
0,08
0,14
0,24
0,38
0,60
0,88
1,28
1,80
2,48
3,32
4,40
4; 7
0,30
0,61
1,21
2,12
3,64
6: 10
0,01
0,02
0,05
0,09
0,15
0,24
0,37
0,55
0.80
1,12
1,56
2,10
2,80
3,63
4,67
4; 8
0.20
0,40
0,81
1,41
2,42
3,64
7; 7
0,03
0,08
0,12
0,20
0,35
0,55
0,87
1,31
1,89
2.65
3.64
4,87
Объемы выборок
4; 9 :
0,14
0,28
0,56
0,98
1,68 1
2.52 '
3 78
!
4; 10
0,10
0,20
0,40
0,70
1,20
1,80
2,70
3,80
Объемы вы
7; 8
0,02
0,03
0.06
0 11
0,19
0,30
0,47
0,70
1.03
1,45
2,00
2,70
3,61
4,69
7; 9
0,01
0,02
0,03
0,06
0,10
0,17
0,26
0,39
0,58
0,82
1,15
1,56
2,09
2,74
3,56
4,54
5: 5 '
0,40
0,79
1,59
2.78
4,76
борон
7; 10
0 01
0.01
0,02
0,04
0,06
0,10
0,15
0,23
0,34
048
0,68
0 93
1,25
1,65
2,15
2,77
3 51
4,39
g и Л
5; 6
0,22
0 43
0,87
1,52
2,60
4,11
а и л
8; 8
0,01
0,02
0,03
0,05
0,09
0,15
0,23
0,35
0,52
0,74
1,03
1 41
1,90
2.49
3,25
4,15
5; 7
0,13
0,25
0,51
0.88
1,52
2,40
3,66
8; 9
0,00
0,01
0,02
0,03
1 0 05
0.08
0,12
0,19
0,28
¦ 0,39
0,56
0,76
1,03
1,37
1,80
2,32
2,96
3.72
4,64
5; 8
0.08
0 16
0,31
0,54
0,93
1,48
2,25
3,26
4,66
8; 10
0,00
0,01
0,02
0,03
0,04
0,07
0,10
0,15
0,22
0,31
0,43
0,58
0,78
1,03
1,33
1 71
2,17
2,73
3.38
4.16
5; 9
0,05
0,10
0,20
0,35
0,60
0,95
1,45
2,10
3,00
4,15
9; 9
0,00
0,01
0,01
0,02
0,04
0,06
0,09
0,14
0 20
0,28
0,39
0,53
0,71
0,94
1,22
1,57
2,00
2,52
3,13
3,85
4,70
5; 10
0,03
0,07
0,13
0,23
0,40
0,63
0,97
1,40
200
2,76
3,76
4,96
9; 10
0,00
0,01
0,01
0.02
0,03
0,05
0,07
0,10
0,15
0,21
0,28
0,38
0,51
0,6в
0,86
1,10
1,40
1,75
2,17
2,67
3,26
3,94
4,74
6; 6
0,11
0,22
0,43
0,76
1.30
2,06
3,25
4,65
10,10
0,00
0,01
0,01
0,02
0,02
0,04
0,05
0,08
0,10
0,14
0,18
0,26
0,34
0,45
0.57
0.73
0,93
1,16
1,44
1,77
2.Ш
2,62
3,15
3,76
4,46
Если mm (g, h) в* 4 и g ~ hs= 20, то вероятности р(и) доста-
достаточно точно приближаются формулой
р(и) — Ф
Таблица 10 представляет собой сокращенный вариант таблицы
из отчета; van der Vaart II. R., Gebruiksaanwijzing voor de
toets van Wilcoxon, Mathemaf.isch Centrum Amsterdam, Rapport
S. 32 A952).
419
Границы критической области для критерия X
Таблица 11
Односторонние 2,5%-граннцы
л
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
0 нлн 1
оо
оо
2,40
2,38
2,60
2,72
2,86
2,96
3,11
3,24
3,39
3,49
3,63
3,73
3,86
3,96
4,08
4,18
4,29
4,39
4,50
4,59
4,69
4,78
4,88
4,97
5,07
5,15
5,25
5,33
5,42
5,50
5,59
5,67
5,75
5,83
5,91
5,99
6,06
6,14
6,21
6,29
6,36
6,43
6,50
д— ft=l g—ь=
2 или 3|4 или 5
оо
оо
2,30
2,20
2,49
2,58
2,79
2,91
3,06
3,19
3,36
3,44
3,60
3,69
3,84
3,92
ОО
ОО
оо
оо
2,30
2,40
2,68
2,78
3,00
3,06
3,28
3,36
3,53
3,61
3,78
3,85
4,06 4,01
4,15
4,27
4,36
4,48
4,56
4,68
4,76
4,87
4,95
5,06
5,13
5,24
5,31
5,41
5,48
5,58
5,65
5,74
5,81
5,90
5,97
6,06
6,12
6,21
6,27
6,35
6,42
6,50
4,08
4,23
4,30
4,44
4,51
4,64
4,72
4,84
4,91
5,03
5,10
5,21
5,28
5,38
5,45
5,55
5,62
5,72
5,79
5,88
5,95
6,04
6,10
6,19
6,25
6,34
6,39
6,48
Двусторонние 5%-границы
Односторонние 1 %-границы
п
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
36
27
28
29
30
31
32
33
34
35
36
37 '
38
39
40
41
42
43
44
45
46
47
48
49
50
g-h=
0 или 1
оо
оо
оо
2,80
3,00
3,20
3,29
3,50
3,62
2,74
3,92
4,06
4,23
4,37
5,52
4,66
4,80
4,92
5,06
5,18
5,30
5,42
5,54
5,65
5,77
5,87
5,99
6,09
6,20
6,30
6,40
6,50
6,60
6,70
6,80
6,89
6,99
7,08
7,17
7,26
7,35
7,44
7,53
7,61
7,70
д—Л=
2 или 3
g—h=
4 или 5
оо эо
ОО < ОО
оо
оо
2,90
3,00
3,30
3,36
3,55
3,68
3,90
4,01
4,21
4,32
4,50
4,62
оо
оо
2,80
2,90
3,20
3,18
3,46
3,57
3,80
3,90
4,14
4,23
4,44
4,53
4,78 4,72
4,89 4,81
5,04
5,14
5,29
4,99
5,08
5,24
5,39 5,33
5,52
5,62
5,48
5,57
5,75 5,72
5,85
5,97
6,07
6,19
6,28
6,39
6,48
6,59
6,68
6,79
6,88
6,98
7,07
7,17
7,25
7,35
7,43
7,52
7,60
7,69
5,80
5,94
6,02
6,16
6,24
6,37
6,45
6,57
6,65
6,77
6,85
6,96
7,04
7,14
7,22
7,32
7,40
7,50
7,57
7,68
Двусторонние 2%-граиицы
Односторонние 0,5 %-граиицы
л
6
7
о
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
9-/1=
0 или 1
оо
оо
оо
оо
3,20
3,40
3,60
3,71
3,94
4,07
4,26
4,44
4,60
4,77
4,94
5,10
5,26
5,40
5,55
5,68
5,83
5,95
6,09
6,22
6,35
6,47
6,60
6,71
6,84
6,95
7,06
7,17
7,28
7,39
7,50
7,62
7,72
7,82
7,93
8,02
8,13
8,22
8,32
8,41
8,51
Двустороини<
g-h=
2 или 3
оо
оо
оо
оо
3,10
3,40
3,58
3,68
3,88
4,05
4,25
4,37
4,58
4,71
4,92
5,05
5,24
5,36
5,53
5,65
,81
5,92
6,07
6,19
6,34
6,44
6,58
6,69
6,82
6,92
7,05
7,15
7,27
7,37
7,49
7,60
7,71
7,81
7,92
8,01
8,12
8,21
8,31
8,40
8,50
д— й=
4 нлн 5
оо
ОС
оо
оо
оо
оо
3,40
3,50
3,76
3,88
4,12
4,23
4,50
4,62
4,85
4,96
5,17
5,27
5,48
5,58
5,76
5,85
6,03
6,13
6,30
6,39
6,55
6,64
6,79
6,88
7,02
7,11
7,25
7,33
7,47
7,56
7,69
7,77
7,90
7,98
8,10
8,18
8,29
8,37
8,48
: I %-граннцы
Если случайная величина X находится вне указанных границ,
то «нулевая гипотеза» отвергается.
27*
420
Таблица 12
Вспомогательная таблица для критерия X
Г
Я = ^2
п
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
Q
0,000
0,186
0,303
0,386
0,449
0,497
0,537
0,570
0,598
0,622
0,642
0,661
0,677
0,692
0,705
0,716
0,727
0,737
0,746
0,755
0,763
0,770
0,777
0,783
0,789
0,794
0,799
0,804
0,809
0,813
0,817
0,821
0,825
0,829
0,833
0,836
0,839
0,842
0,845
0,848
0,850
0,853
0,855
0,858
0,860
0,862
0,864
0,866
0,868
0,870
п
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
Q
0,872
0,874
0,876
0,877
0,879
0,880
0,882
0,884
0,885
0,887
0,888
0,889
0,891
0,892
0,893
0,894
0,895
0,897
0,898
0,899
0,900
0,901
0,902
0,903
0,904
0,905
0,906
0,907
0,908
0,908
0,909
0,910
0,911
0,912
0,913
0,913
0,914
0,915
0,916
0,916
0,917
0,918
0,918
0,919
0,920
0,920
0,921
0,922
0,922
0,923
л
101
102
103
104
105
106
107
108
109
ПО
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
Q
0,923
0,924
0.924
0,925
0,926
0,926
0,927
0,927
0,928
0,928
0,929
0,929
0,930
0,930
0,931
0,931
0,932
0,932
0,932
0,933
0,933
0,934
0,934
0,935
0,935
0,935
0,936
0,936
0,937
0,937
0,937
0,938
0,938
0,938
0,939
0,939
0,939
0,940
0,940
0,940
0,941
0,941
0,941
0,942
0,942
0,942
0,943
0,943
0,943
0,944
421
Таблица 13
Доверительные границы для выборочного коэффициента корреляции г
В случае общей корреляции / = п — 2, в случае частной
корреляции f = n—к — 2, где к — количество исключенных
величин.
f
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Т
Двусторонние границы
5%
0,997
0,950
0,878
0,811
0,754
0,707
0,666
0,632
0,602
0,576
0,553
0,532
0,514
0,497
0,482
2.5%
2%
1,000
0,980
0,934
0,882
0,833
0,789
0,750
0,715
0,685
0,658
0,634
0,612
0,592
0,574
0,558
1%
1%
1,000
0,990
0,959
0,917
0,875
0,834
0,798
0,765
0,735
0,708
0,684
0,661
0,641
0,623
0,606
0.5%
0,1 %
1,000
0,999
0,991
0,974
0,951
0,925
0,898
0,872
0,847
0,823
0,801
0,780
0,760
0,742
0,725
0,05%
Односторонние границы
/
16
17
18
19
20
25
30
35
40
45
50
60
70
80
90
100
Т
Двусторонние границ
5%
0,468
0,456
0,444
0,433
0,423
0,381
0,349
0,325
0,304
0,288
0.273
0,250
0,232
0,217
0,205
0,195
2,5%
2%
0,543
0,529
0,516
0,503
0,492
0,445
0,409
0,381
0,358
0,338
0,322
0,295
0,274
0,257
0,242
0,230
1%
1%
0,590
0,575
0,561
0,549
0,537
0,487
0,449
0,418
0.393
0,372
0,354
0,325
0,302
0,283
0,267
0,254
0.5%
0,1%
0,708
0,693
0,679
0,665
0,652
0,597
0,554
0,519
0,490
0,465
0,443
0,408
0,380
0,357
0,338
0,321
0,05%
Односторонние границы
При /> 100 следует вычислить
и применить таблицу 7.
Таблица 13 заимствована из сборника: Pearson E, S. and
Hartley Н. О., Biometrika, Tables for Statisticians v. 1, Cam-
Cambridge Univ. Press A954), Table 13, p. 138.
Примеры, упорядоченные по областям
их применений
Число, стоящее после названия, указывает страницу
Теория вероятностей
1. Вероятности при бросании иг
ральной кости 13
3. Выборка без возвращения 16
21, Оценка вероятности 185
28. Оценка вероятности 202
43. Проверка предполагаемых зна-
значений вероятностей 314
Теория ошибок, нормальное и
родственное ему распределения
4. Среднее значение и квадратич-
квадратичное отклонение гауссовой функ-
функции ошибок 26
5. Суммы нормально распреде-
ленн ых случайных величин 33
13, Округление результатов наб-
наблюдений 105
22. Оценка среднего значения и
дисперсии 186
25. Оценка среднего значения 200
26. Оценка дисперсии 201
27. Метод наименьших квадратов
201
29. Распределение %г с множите-
множителем <х 212
30. Прямоугольное распределение
214
42. Наиболее мощный критерий
для проверки гипотезы х = 0
313
Физика и химия
10. Космическое излучение 65
16. Период колебаний физического
маятника 138
23. Многократные измерения кон-
концентраций 187
24. Оценка положения источника
излучения 191
39. Анализ газов 292
Астрономия, геодезия и
метеорология
12. Осадки в Ротемстеде 100
14. Ошибки округления в сатур-
новых таблицах 131
15. Широта Капштадта 135
18. Обработка повторных наблю-
наблюдений при триангуляции 161
19. Византийские солнечные таб-
таблицы 170
Биология и психология
П. Селекционные опыты по Юхан-
нсену 86
32. Сцепленные наследственные
признаки 226
34. Группы крови, оценка генных
частот 250
35. Группы крови, проверка гипо-
гипотезы Бернштейна 255
36. Реакция кроликов на гельзе-
мицин 262
Примеры упорядоченные по областям их применений
423
37. Отклонения от закона Мен-
Менделя 286
38. Отклонение распределения
размеров бобов от нормального
распределения 289
40. Бактерии в пробах почвы 302
41. Пересаживание имагинальных
дисков 305
44. Облучение яиц мухи-дрозофилы
323
46. Корреляция между размером
цветочной пыльцы и количест-
количеством пор для выхода пыльцевых
трубок 361
Медицина и гигиена
7. Смертность от раздутия брон-
бронхов 48
9. Новая терапия при тромбозах
59
17. Прибавление школьников в весе
154
Статистика народонаселения
и экономическая статистика
6. Рождение девочек и мальчиков
43
8. Выборочный метод 53
20. Выплавка чугуна 179
47. Связь между количеством осад-
осадков и урожаем пшеницы 368
Технические приложения
31. Статистический контроль ка-
качества продукции 215
45. Сокращение времени простоев
357
Статистическая теория стрельбы
2. Стрельба в круг 14
33. Стрельба по точечной цели 228
Теория корреляции и эксперимен-
экспериментальная психология
48. Доверительные границы для ис-
истинного коэффициента корре-
корреляции 381
49. Сравнение двух коэффициен-
коэффициентов корреляции 382
50. Корреляция между экзаменаци-
экзаменационными оценками 393
Краткий англо-русский словарь
статистических терминов, использованных в этой книге
Accept, не отвергать
Analysis of variance, дисперсионный
анализ
Asymptotically efficient, асимптоти-
асимптотически эффективный
— normal, асимптотически нор-
нормальный
Best, наилучший
— asymptotically normal (BAN),
наилучший асимптотически нор-
нормальный (НАН)
Bias, смещение, систематическая
ошибка
Binomial distribution, биномиальное
распределение
Bio-assay, биологические испытания
Central limit theorem, центральная
предельная теорема
Characteristic function, характе-
характеристическая функция
Chi-square, хи-квадрат, х2
Complete set, полная система
Composite, сложный (составной)
Conditional expectation, условное ма-
математическое ожидание
—probability, условная вероятность
Confidence limits, доверительные
пределы
Consistent, состоятельный
Contingency table, таблица сопря-
сопряженности признаков
Continuous, непрерывный
Convergence in probability, сходи-
сходимость по вероятности
Correlation, корреляция
— coefficient, коэффициент кор-
корреляции
Covariance, ковариация
Ciamor—Као inequality, неравенство
Крамера-—Рао (неравенство Фре-
ше)
Critical region, критическая область
— set, критическое множество
— value, критическое значение
Degrees of freedom, степени свободы
Dependent, зависимый
Distribution, распределение
— free, не зависящий от распре-
распределения, непараметрический
— function, функция распределения
Dosis—mortality curve, кривая эф-
эффекта
Effect curve, кривая эффекта
Efficient, эффективный
Error first kind, сшибка первого рода
— probability, вероятность ошибки
Error second kind, ошибка второго
рода
Estimable, допускающий оценку
Estimate, оценка
Event, событие
Excess, эксцесс
Краткий англо-русский словарь статистических терминов 425
Expectation value, математическое
ожидание, среднее значение
Fourfold table, таблица сопряжен-
сопряженности признаков 2x2
Frequency, частота
Frechet inequality, неравенство Фре-
ше (неравенство Крамера — Рао)
<Лепе, ген
Hypergeometric distribution, гипер-
гипергеометрическое распределение
Hypothesis, simple, гипотеза простая
— composite, гипотеза сложная
Independent, независимый
Information, информация
— inequality, неравенство инфор-
информации (неравенство. Фреше—
Крамера—Рао)
Intradass correlation, корреляция
между классами
Lag, запаздывание
Level, уровень
Likely, правдоподобный
Likelihood, правдоподобие
— ratio, отношение правдоподобия
— — test, критерий отношения
правдоподобия
Logistic curve, логистическая кривая
Logit, логит
Loss, проигрыш, убыток
Maximum Likelihood, наибольшее
правдоподобие
Mean of sample, выборочное среднее
значение
— — population, среднее значение,
математическое ожидание
Measurable, измеримый
Median, медиана
Minimum variance estimate, оценка
с наименьшей дисперсией, наилуч-
наилучшая оценка
Moment, момент
Most powerful, наиболее мощный
— — unbiased test, наиболее
мощный несмещенный критерий
Jfonparametiic, непараметрический
— test, непараметрический кри-
критерий
Normal distribution, нормальное
распределение
NuTLhypathesis, нулевая гипотеза,
основная гипотеза
One-sided, односторонний
Order statistics, порядковые статис-
статистики
— test, порядковый критерий
Partial correlation, частная корреля-
корреляция
Poisson distribution, распределение
Пуассона
Population, совокупность
—mean, среднее значение, матема-
математическое ожидание
Power, мощность
Powerful, мощный
Probability, вероятность
—density, плотность вероятности,
плотно сть распределения
Probable error, вероятная ошибка
Probit, пробит
Random sample, случайная выборка
— variable, случайная величина
Range, размах
Hank correlation, ранговая корреля-
корреляция
Rectangular, прямоугольный
Region, область
Regression, регрессия
Regular, регулярный
— best asimptotically normal (RBAN)
estimate, регулярная наилучшая
асимптотически
нормальная (РН АН) оценка
Reject, отвергать
426
Краткий англо-русский словарь статистических терминов
Sample, выборка
— mean, выборочное среднее значе-
значение
— space, выборочное пространство
Sampling, выбор, выборочный метод
Score, взнос, доля
Second limit theorem, вторая пре-
предельная теорема, теорема Мар-
Маркова
Sign, teat, критерий знаков
Significance, значимость
— level, уровень значимости
— test, критерий значимости
Similar to sample space, подобный
пространству выборок (обла-
(обладающий уровнем значимости, в
точности равным р)
Simple hypothesis, простая гипотеза
Skewnesa, асимметрия
Standard deviation, квадратичное
отклонение
— error, средняя ошибка
Step function, ступенчатая функция
Statistic, статистика (функция ре-
результатов наблюдений)
Stochastic, стохастический, веро-
вероятностный
— approximation, стохастическая
аппроксимация
Student's test, критерий Стьюдента
Sufficient estimate, достаточная
оценка
— statistic, достаточная статис-
статистика
Superefficient, сверхэффективный
Tail, хвост, шлейф (часть графика
функции распределения, соот-
соответствующая большим абсолю-
абсолютным величинам аргумента)
Test, критерий, тест
— of significance, критерий значи-
значимости
— statistic, статистика, на основе
которой построен критерий
Testing, проверка
Tie, связь (случайное осуществление
равенства нескольких результа-
результатов наблюдений)
Trend, тренд (уравнение регрессии,
в котором аргументом является
время)
Two-sample problem, задача срав-
сравнения двух выборок
Two-sided, двусторонний
Unbiased, несмещенный
Uniformly most powerful, равномерно
наиболее мощный
Up ajid down, вверх и вниз
Variance, дисперсия
— ratio test, критерий отношения
дисперсий
Within classes, внутри классов
Указатель
Аксиома непрерывности 15
Аксиомы Колмогорова 15
Аномалия истинная 171
— средняя 171
Арифметическое среднее 98
Асимметрия 28S
Асимптотическая дисперсия 221
Асимптотически несмещенный 222
— нррмальный 122
—¦ эквивалентный 249
— эффективный 223, 246
Асимптотическое разложение 22, 64
— распределение 221, 331
— среднее значение 221
Бернштейн С. Н. 41, 52
Бернштейн Ф. 250, 255
Берэнс 259, 266
Бета-функция 75
— неполная 49, 292
Биологические испытания 257
Булевская алгебра 14
Вальд 221, 284, 352
Варден, ван дер 48, 170, 175, 263,
344, 351, 356
Вариационный ряд 93
Варт, ван дер 337, 418
Вектор 79
Вероятная ошибка 101
Вероятное отклонение 108
Вероятностная бумага 264
Вероятность 13
— полная 17
— условная 16
Верхний вектор 79
Вес 136
Вилкоксона критерий 328
Вольфовитц 195, 221, 352
Выборка 11, 84, 98
Выборочный метод 51, 53
Гальтон 86
Гамма-функция 71
Гамма-функция неполная 71,
143
Гармонический анализ 174
Гаусс 12, 134, 155, 166
Гауссова теория ошибок 134
— функция ошибок 20
Гипергеометрическое распределение
52
Гиперплоскость 241
Гипотеза простая 315
— сложная 315
Гиппарх 174
Гнеденко Б. В. 97, 123
Границы двусторонние 43
— для F 292, 411
Л 388
г 367, 421
s2 144
t 148, 410
U 328, 417
X 349, 419
X2 I44. 406. 409
— односторонние 43
Графическая оценка кривой эффекта
263
Группировка 84, 283
Дантциг, ван 338
Диксон 267
Дисперсионное отношение 290
Дисперсионный анализ 296
Дисперсия 26
— внутри классов 296
— выборочная 98
— между классами 296
Доверительные границы 44, 65
— —• для медианы 325
— — точные 48
Доверительный уровень 44
Дуб 221
Дюге 122
Задача двух выборок 325
Закон больших чисел 37, 122
— — — усиленный 123
42S
Указатель
Знаков критерий 321, 416
— — двусторонний 322
— — односторонний 322
Измеримая функция 18
Измеримое множество 18, 29
Инварианты 80
Инверсия 328
Интеграл Лебега 24
— несобственный 70
— Римана 30
— Стильтьеса 24
— Фурье 111
Интегральное среднее 103
—• уравнение 211
Интерполяция квадратичная 132
— линейная 131
Информация 190, 222
Истинная точка 165
Каратеодори 14, 18, 25
Качественные признаки 383
Квадратичное отклонение 26, 98
133
Квартиль 94, 107
Кендалл М. Дж. 154, 380, 384, 394
Кетле 84
Клоппер 49, 315
Ковариация 358
— выборочная 360
Колмогоров А. Н. 15, 25, 86, 93,
123, 125, 191, 205, 209, 217
Колмогорова критерий 92
Контрагредиентный 79
Корреляция 358
— внутри классов 304
Кочрен 284, 286
Коши 106
Коэффициент корреляции 358, 362
— — выборочный 360
— — истинный 358
— — частный 369
— регрессии 177, 358
— — выборочный 177, 361
Крайние значения 93
Крамер 74, 103, 114, 120, 126, 195,
234, 242, 250, 281, 289, 316', 320
Кривая Кетле 84
— эффекта 257
— • — логарифмическая 257
— — логистическая 267
— — нормальная 258
Критерий Вилкоксона 328
— знаков 321, 416
— — двусторонний 322
Критерий Вилкоксона односторон-
односторонний 322
— Колмогорова 92
— отношения правдоподобия 311
— симметрии 325
— Смирнова 327
— Стьюдента 145, 154
— F 299
— X 346
— — двусторонний 349
— — односторонний 349
— Л 92
— х2 55, 67, 252, 272
Критическая область 308
Лаплас 39, 124
Леви 114, 120, 124
Лежандр 155
Лё Кам 223
Леманн 195, 203, 215, 218, 332
Линдеберг 125
Линия регрессии 138, 175
— — эмпирическая 177, 360
Логистическая кривая 267
Логит 267
Ляпунов А. М. 124
Марков А. А. 39, 124, 127
Математическое ожидание 24, 98,
ПО
— — условное 203
Матрица обратная 80
Медиана выборочная 93, 105
— истинная 93, 105, 325
Менделя закон 226, 286
Мера 18, 29
Метод двух точек 266
— моментов 281, 332
— наибольшего правдоподобия
184, 224
—¦ наименьших квадратов 155, 175
— Ньютона 189
— одной точки 266
— площадей 259
— повторных наблюдений 161
— последовательных приближений
189
— пробитов 259
— X2 282
Метрика 234
Минимум х2 233
— xl 234
— х\ 236
Момент 112
Указатель
429
Момент центральный 281
Мощность 308
Муавр 39
Наблюденная точка 164, 234
Наиболее мощный 307
— — несмещенный критерий 316
Наибольшее правдоподобие 184, 224
Наилучшая оценка 194, 210
Наименьшие квадраты 155
Независимость 17, 25, ПО, 143
Нейман 229, 250, 272, 278, 307,
316, 317
Непараметрический критерий 321
Непрерывность характеристической
функции 111
Неравенство Буняковского 195
— информации 195
— Крамера—Рао 195
— Фреше 195
— Чебышева 27
— Шварца 195
Несмещенный критерий 163
— наиболее мощный критерий 316
Несобственный интеграл 70
Нижний вектор 79
Никодим 205
Нормальное распределение 23, 116
— — двумерное 375
Нормальные уравнения 157
Нулевая гипотеза 326, 337
Ньютона метод 189
Область 68
— критическая 308
Обработка результатов биологи-
биологических испытаний 257
Обратная матрица 80
— функция 23, 403
Объем выборки 224
Ограниченно-полная система 317
Округление 100, 105
Опыт 17
Ортогонализация 176
Отношение правдоподобия 311
Оценка 41, 162, 183, 197, 225
— вероятности 185, 202
— дисперсии 168, 186, 201, 218
— достаточная 197
— квадратичного отклонения 41
— несмещенная 43, 163, 194
— параметров по наблюденным
частотам 224
— регулярная 223, 248
— сверхэффективная 223
— состоятельная 122, 221
Оценка среднего значения 200
— функции распределения 86
Оценки поправок 160
Ошибка второго рода 308
— округления 129
— первого рода 308
— систематическая 43, 134
— случайная 21, 134
— средняя 134
— элементарная 138
Пирсон Е. 12,49, 278, 307, 316,408,
421
Пирсон К. 86, 118, 242, 277, 393
Плотность распределения вероят-
вероятностей 20
— — — двумерная 30
Площадь поверхности многомерной
сферы 73
Полная система функций 212
Полярные координаты 69
Поправки Шеппарда 101
Порядковые статистики 93
Порядковый критерий 321
Порядок величины 38, 340
Последовательное интегрирование
68
— приближение 189
Правдоподобия метод 184, 224
— отношение 311
— уравнение 188, 225
— функция 184, 225
Правдоподобное значение 184
Предельная теорема 120
— — вторая 127
— — Крамера—Леви 120
— — центральная 124
— — элементарная 127
Преобразование ортогональное 77
— Рао 42
— Фишера 380
Приемочный контроль 215
Пробит 264
— метод 259
Проверка гипотез 272
— независимости 276
— нормальности 281, 284
Пуассона распределение 117
— формула 62
Равновозможные последовательно-
последовательности 329
— сочетания 349
Равномерно наиболее мощный 314,
315
430
Указатель
Равномерно распределенный 129
Размах 97
Ранговая корреляция 383, 394
Рао 12, 42, 158, 195, 203, 212
Распределение биномиальное 35, 115
— Вилкоксона 336, 417
— гипергеометрическое 52
— Кош и 106, 192
— нормальное 23
— прямоугольное 88, 129
— Пуассона 117
— равномерное 129
— треугольное 131
— эмпирическое 86
— Л 384
— г 363, 375
— гху;г 370
— s2 139
— Г 395
— t 148
— U 331
— X 352
— X2 118, 126, 139, 239
Регрессия 175, 358
Регулярная оценка 223, 248
Редкие события 62, 279
Рекомбинационное отношение 227
Сверхэффективный 223
Связи 323
Секстиль 94
Середина класса 101
Сираждинон С. X. 217
Систематическая ошибка 43, 134,
194
Скалярное произведение 80
Слуцкий Е. Е. 144
Случайная выборка 11, 51
— ошибка 134
Случайные величины 18
¦— — независимые 25
Смещение 43, 194, 198
Смирнов Н. В. 50, 54, 91, 93, 97,
154, 217, 327, 362, 406
Смирнова критерий 327
Событие 13
— редкое 62
Солнечные таблицы 170
Состоятельный 122, 221
Спирмен 383
Сравнение вероятностей 54, 275
— двух выборок 325
— — средних 148
— частот 65
Среднее значение 24, 98
— — вектора 110
Средне значение комплексной слу-
случайной величины 110
— отклонение 108
Средняя ошибка 134
Статистика 206
— достаточная 198, 206
— порядковая 93
Статистики 93, 198, 206
Статистическое понятие вероят-
вероятности 13
Степени свободы 118, 254
Стирлинга формула 39, 74
Стохастическая аппроксимация 269
Ступенчатая линия 87
—• функция 20, 40
Стьюдент 148
Стьюдента критерий 145, 148
— распределение 148
Сфера многомерная 73
Сходимость по вероятности 122
Таблица сопряженности признаков
61, 276
Тело множеств 14
Тензор 79
Теорема Пифагора 166
— полной аддитивности 18
—¦ сложения 15, 18
Теория ошибок 134
Точки решетки 241
Точные доверительные границы 48
Тренд 179
Улучшение оценок 210
Уравнивание центра 172
Уровень доверительный 44
— значимости 313
Условная вероятность 16
Условное математическое ожидание
203
Феллер 39, 93, 124, 125
Финней 265
Фишер 12, 61, 97, 100, 118, 126,
150, 184, 190, 226, 287, 302, 307,
368, 380
Формула асимптотическая 96
— Бернулли 35
— обращения Крамера 114
Леви 114
— полной вероятности 17
— Пуассона 62
— Стирлинга 39, 74
Фреше 24, 97, 127, 194
Указатель
431
Функциональное уравнение 72
Функция измеримая 18
— мощности 339
— нормального распределения 23
— ошибок 20, 21
— правдоподобия 184, 225
— распределения 19
— — эмпирическая 86
— характеристическая 111
Хальд 54, 295, 408, 415
Характеристическая функция
Хартли 408, 421
Хельмерт 118, 161
Хинчин А. Я. 122
Ходжес 195, 223, 268
Хотеллинг 221
11
Частная корреляция 369
Частота 13, 38, 224
Чебышева неравенство 27
Чжун 270
Шеппарда поправка 101
Эйлерова бета-функция 75
— гамма-функция 71
Эксцентрик 171
Эксцесс 281
Эллипс 45
Эмпирическая линия регр'ессии 360
Эмпирическое распределение 86
Эффективность 246
— асимптотическая 246
ОГЛАВЛЕНИЕ
Предисловие к русскому переводу &
Предисловие 7
Введен ие 11
Глава!. Общие основы Ш
§ 1. Основные понятия теории вероятностей 13-
§ 2. Случайные величины. Функции распределения 18
§ 3. Среднее значение и квадратичное отклонение 24
§ 4. Интегральные представления средних значений и вероят-
вероятностей 28.
Глава II, Вероятности и частоты 35
| 5. Биномиальное распределение 35
§ 6. Как велико может быть отклонение частоты йот вероятности
р? 3»
| 7, Доверительные границы для неизвестной вероятности ... 44
§ 8. Проблема случайного отбора. Выборочный метод •. 51
§ 9.'Сравнение двух вероятностей 54
§ 10. Частота редких событий 62
Глава III. Математические вспомогательные средства 68
§11. Кратные интегралы. Переход к полярным координатам ... 68
§ 12, Бета- и гамма-функции 71
§ 13. Ортогональные преобразования 77
§ 14. Квадратичные формы и их инварианты 79
Глава IV. Оценки функций распределения, средних значений и дис-
дисперсий 84
§ 15. Кривая Кетле 84
§ 16. Оценки функций распределения 86
§ 17. Порядковые статистики ?8
Оглавление 433
§ 18. Выборочное среднее значение и выборочная дисперсия 98
§ 19. Поправки Шеппарда 101
§ 20. Другие числовые характеристики распределения 105
Глава V. Интегралы Фурье и предельные теоремы 110
§21. Характеристические функции 110
§ 22. Примеры 116
§ 23. Распределение ха • 118
§ 24. Предельные теоремы 120
§ 25. Прямоугольное распределение. Ошибки округления 129
Глава VI. Гауссова теория ошибок и критерий Стьюдента 134
§ 26. Гауссова теория ошибок 134
§ 27. Распределение s2 139
§ 28. Критерий Стьюдента 14&
§ 29. Сравнение двух средних значений 148
Глава VII. Метод наименьших квадратов 165
§ 30. Выравнивание ошибок наблюдений 155
§ 31. Средние значения и дисперсии оценок # 162
§ 32. Оценка дисперсии <г2 168
§ 33. Линии регрессии 175
§ 34. Выяснение причин изменения экономических показателей .. 180
Глава VIII. Оценки неизвестных параметров 18S
§ 35. Метод наибольшего правдоподобия Р. А. Фишера 184
§ 36. Вычисление максимума 188
§ 37. Неравенство Фреше 194
§ 38. Достаточные оценки и наилучшие оценки 197
§ 39. Примеры 200
§40. Условные математические ожидания 203
§ 41. Достаточные статистики 206
§ 42. Применение теории условных математических ожиданий к
задаче отыскания наилучших несмещенных оценок 210
§ 43. Приложения 212
§ 44. Оценка дисперсии нормального распределения 218
§ 45. Асимптотические свойства 221
Глава IX, Оценка параметров по наблюденным частотам 224
§46. Метод наибольшего правдоподобия 224
§ 47. Состоятельность оценок наибольшего правдоподобия 229
28 Б, Л. ван дер Верден - 1062
434 Оглавление
§ 48. Наибольшее правдоподобие, минимум хг и наименьшие
квадраты 23S
§ 49. Асимптотическое распределение х2 и # ПРИ п~* °° 239
§ 50. Асимптотическая эффективность 246
§ 51. Критерий х2 262
Глава X. Обработка результатов биологических испытаний 257
§ 52. Кривая эффекта и логарифмическая кривая эффекта 257
§ 53. Метод площадей Берэнса и Кербера 259
§ 54. Методы, основанные на предположении нормальности кривой
эффекта 263
§ 55. Методы «вверх и вниз» 267
Глава XI. Проверка гипотез с помощью статистических критериев 272
§ 56. Применения критерия /2 272
§ 57. Критерий, основанный на дисперсионном отношении (кри-
(критерий F) 290
§ 58. Дисперсионный анализ 296
§ 59. Общие принципы. Наиболее мощные критерии 307
§ 60. Сложные гипотезы 316
Глава XII. Порядковые критерии 321
§ 61. Критерий знаков 321
§ 62. Задача двух выборок 326
§ 63. Критерий Вилкоксона 328
§ 64. Мощность критерия Вилкоксона 337
§ 65. Критерий X 346
Глава XIII. Корреляция 358
§ 66. Ковариация и коэффициент корреляции 358
§ 67. Коэффициент корреляции как признак зависимости 362
§ 68. Частные коэффициенты корреляции 369
§ 69. Распределение выборочного коэффициента корреляции зави-
зависимых случайных величин 376
§ 70. Коэффициент ранговой корреляции R, по Спирмену 383
§ 71. Коэффициент ранговой корреляции Т, по Кендаллу 394
Таблицы 401
Примеры, упорядоченные по областям их применений 422
Краткий англо-русский словарь статистических терминов, исполь-
использованных в этой книге 424
Указатель 427
Б. Л. Ван дер Варден
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
Редактор В. И. Битюцков
Художник И. В. Вогдашевский
Художественный редактор А. В. Вилленева
Технический редактор А. Г. Резоухова
А. II. Иванова
Сдано в производство 11/II 1959 г.
Подписано к печати 11/Ц 1960 г.
Бумага 60 X 92 '/„ = 13,6 бум. л.
27,2 печ. л.
Уч.-изд. л. 25,3. Изд. №1/4463
Цена 19 р. 20 к. Зак. 1062
ИЗДАТЕЛЬСТВО
ИНОСТРАННОЙ ЛИТЕРАТУРЫ
Москва, Ново-Алексеевская, 52.
Едьетеми Нйомда, Будапешт.