/
Tags: теория вероятностей и математическая статистика здравоохранение медицинские науки
ISBN: 5-86225-662-8
Text
Ю.Н.ТЮРИН, А.А.МАКАРОВ
СТАТИСТИЧЕСКИЙ
АНАЛИЗ ДАННЫХ
НА КОМПЬЮТЕРЕ
Лод редакцией {В.Э-Фигурнова
ББК 517.8, 32.973
Т98
УДК 519.2, 681.3
Тюрин Ю.Н., Макаров А.А.
тоя Статистически»! анализ данных на компьютере /Под ред
В.Э.Фигурнова - М.: ИНФРА-М. 1998. - 528 с. ил.
ISBN 5-86225-662-8
Книга является учебным пособием по анализу данных и статистике,
рассчитанным на прикладных специалистов, менеджеров и студентов
Излагаются основные сведения, необходимые на практике для анализ,!
данных, на наглядных примерах рассматриваются основные постановки
задач, а затем эти же примеры решаются с использованием популярных
статистических пакетов STADIA, STATGRAPHICS. SPSS и Эирнста В
приложении дается обзор других программных средств для анализа дан-
данных. Большое внимание в книге уделено средствам анализа временных
рядов и других методам, часто используемым в прикладных задачах
ББК 517.8, 32.973
ISBN 5-86225-662-8
© Ю.Н.Тюрни. А.А.Макарон. 1997
Тюрин Юрии Николаевич
Макаров Алексеи Алексеевич
Статистический анализ данных на компьютере
Оригинал-макет подготовлен В.?.Фигурновым
с помощью Т[тХ (emTj:X 3 1115 и dvip's 5.5-I)
Подписано в печать 21.10.97. Формат G0X9O1/,., Гарнитура аЛнгиьна»
Печать офсетная Усл. и л 33 Тираж 11 ШМ> >KJ JaKa.« 7S.X
ЛР Afe и7П«2Ц ит 21 01 1993 г.
Издательство «ППФРА-М»
127247. Москва. Дмитровское шоссе. 107
Тел @95L85-71-77 @95L85 7fi ix
@95L85-70-63. @95М85 74-00 м ,Г ^ №HTa-
Факс @95L85 5Я; я г -, ~ ЗЛк-1ю'|ен1к' Л"говор„и
IUJDL8.>.-,3I8 E-mail - contract mfram msk ri,
Мелкооптовый склад - Скорняжный пор., л 7 м«. I
«еж-Уст j, .Суха,к.иск.я. и-KpacL ^1 '
за ми, -Поенная книга,, тел @05J08-32-59
авль, у.,. Стволы 97
Об этой книге
На протяжении более десятка лет авторы читали курсы лекций
и проводили практические занятия по анализу данных и прикладной
статистике в МГУ им. М.В.Ломоносова, в других учебных заведениях
России и иных стран. Материалы наших лекций и опыт общения со
слушателями и легли в основу этой книги. Нашими слушателями были
самые разные люди: психологи и экономисты, бизнесмены и инжене-
инженеры, медики, социологи и т.д. Мы стремились как можно более просто
и понятно передать им дух статистической науки, научить их самым
необходимым и употребительным методам обработки данных, т.е. спо-
способам извлечения из них обоснованных выводов. Мы также стремились
показать, как это делается с помощью персональных компьютеров и
пакетов прикладных программ.
В 1994 г. авторы написали книгу «Анализ данных на компьютере»,
которая была выпушена издательством «ИНФРА-М». Эта книга быстро
разошлась среди читателей, а во многих вузах была положена в основу
преподавания курсов статистики. Однако за время, прошедшее с мо-
момента издания этой книги, заметно расширилось использование стати-
статистических методов анализа данных на практике, появилось много новых
статистических компьютерных программ, а существующие программы
значительно обновились. Поэтому, по многочисленным просьбам чита-
читателей, в книгу были включены главы, посвященные анализу временных
рядов и описаны бо.псе новые версии статистических компьютерных
программ, в том числе версии для Windows.
Материал, помещенный в книгу, значительно увеличился, и мы даже
решили дать книге новое название «Статистический анализ данных па
компьютере». Это название, на наш взгляд, более точно отражает
содержание книги.
О ро.пи прикладной статистики в современной жизни и о некоторых
особенностях развития этой науки в нашей стране вы можете прочесть
в предисловии редактора книги. А далее находится раздел «Как читать
эту книгу», в котором описан порядок размещения материала в книге.
Мы надеемся, что эта книга будет полезна всем, кто хочет осво-
освоить методы статистического анализа данных и применять их п своей
деятельности.
Предисловие редактора
п» ппистегнуть ремни, как самолет уже катил по
Кю Ее-п?езнле.«т выступил первым.
Нас не удовлетворяют результаты этого месяца по
гпп^п Востоку Цифр" вам известны, как и мне. Я хочу
£шьР почему этопроисходит. И хочу, чтобы мне сказали,
какие приняты меры.
Самолет к этому времени уже поднялся п поздух
А.Хейли «Колеса»
— Законы статистики везде одинаковы. — продолжал
Николай Петрович солидно. Утром, например, гостей
бывает меньше, потому что публика еще исправна; но чем
больше солнце поднимается к зениту, тем наплыв делается
сильнее. И. наконец, ночью, по выходе из театров — это
почти целая оргия!
— И заметьте. — пояснил Семен Иванович. — каждым
день, в один и те же промежутки времени, цифры всегда
одинаковые. Колебаний — никаких! Такова незыблемость
законов статистики!
М.Е.Салтыков-Щедрин «Зд рубежом*
В нашей повседневной жизни, бизнесе, иной профессиональной де-
деятельности, а также в научных исследованиях мы постоянно сталкива-
сталкиваемся с событиями и явлениями с неопределенным исходом. Например,
торговец не знает, сколько посетителей придет к нему в магазин, ра-
рабочий — сколько времени ему придется сегодня добираться до работы,
бизнесмен — какой будет завтра или через месяц курс доллара, бан-
банкир — вернут или нет взятый у него заем, страховщик — когда и
какое ему придется выплачивать страховое вознаграждение и т.д. При
этом нам постоянно приходится принимать в подобных неопределенных.
связанных со многими случайностями ситуациях свои решения, иногда
очень важные в быту или в несложном бизнесе мы M^eM имать
т ЗдесГмиТ ^ °СН0Ве ЗДРа°ð СМЫСЛа' ИтУ«™»' предыдущего опы-
Г Г ^ СЮЛЯ1Ъ Н6К"Й <3аПас прочности, на действие
XTS^i^жссткой конкурен-
информации быть об тщательного анализа име-
вряя ли банк или совет директоопТГ11'1^ " доказУсм"ми. Например.
Директоров крупной корпорации примет решение
о вложении денег в некоторый проект только потому, что он кому-то
«представляется выгодным». Здесь потребуется тщательный расчет,
связанный с прогнозами состояния рынка и рентабельности вложений,
оценками возможных рисков и их последствий и т.д. При этом уже вряд
ли возможно делать большой запас прочности «на всякий случай», ибо
тогда Вас опередят конкуренты, умеющие считать лучше и, тем самым,
принимать более правильные решения.
Для решения задач, связанных с анализом данных при наличии
случайных и непредсказуемых воздействий, математиками и другими
исследователями (биологами, психологами, экономистами и т.д.) за
последние двести лет был выработан мощный и гибкий арсенал мето-
методов, называемых в совокупности математической статистикой (а также
прикладной статистикой или анализом данных). Эти методы позволяют
выявлять закономерности на фоне случайностей, делать обоснованные
выводы и прогнозы, давать оценки вероятностей их выполнения или
невыполнения. Введению в эти методы и посвящена данная книга.
Средства анализа данных на компьютерах. Широкому внедре-
внедрению методов анализа данных в 60-х и 70-х годах нашего века немало
способствовало появление компьютеров, а начиная с 80-х годов — пер-
персональных компьютеров. Статистические программные пакеты сделали
методы анализа данных более доступными и наглядными: теперь уже
не требовалось вручную выполнять трудоемкие расчеты по сложным
формулам, строить таблицы и графики — всю эту черновую работу взял
на себя компьютер, а человеку осталась главным образом творческая
работа: постановка задач, выбор методов их решения и интерпретация
результатов.
Результатом появления мощных и удобных пакетов для анализа
данных на персональных компьютерах стало резкое расширение и из-
изменение круга потребителей методов анализа данных Если раньше
эти методы рассматривались главным образом как инструмент научных
исследований, то начиная с середины 80-х годов основными покупате-
покупателями статистических пакетов (которые продаются в сотнях тысяч ко-
копий ежегодно) стали уже не научные, а коммерческие организации, а
также правительственные и медицинские учреждения. Таким образом,
методы анализа данных и статистические пакеты для компьютеров и
других видов ЭВМ стали на Западе типичным и общеупотребительным
инструментом плановых, аналитических, маркетинговых отделов про-
производственных и торговых корпораций, банков и страховых компаний,
правительственных и медицинских учреждений. И даже представители
мелкого бизнеса часто употребляют методы анализа данных либо само-
самостоятельно, либо обращаясь к услугам консультационных компаний.
Примеры.
статистического анализа
применения методов
задачах.
но часто встречающуюся задачу.
Предположим, что ьы вьеГп ой продукции, использовали новую
оплаты труда, перешли на вы у ^ ^ ^ положительный эффект, но
технологию и т.п. Вам каже ^ ^^ ^ кажущнисп эффект опре-
действительно ли это так. естественной случайностью, и
2НВОВСХ^т"и":: противоположенный, но столь
{е завтра Вы можете ^ надо сформировать два
же елейный эффект? Для реше^ ^^ интсрссующего
£%^££^»> " "о- нововведения. Статистиче-
скиекрТерии сравнения двух выборок покажут Вам, случайны или
неслучайны различия этих двух рядов чисел.
2. Другая важная за-
задача — прогнозирование
будущего поведения не-
некоторого временного ря-
ряда: изменения курса дол-
доллара, цен и спроса на
продукцию или сырье и
т.д. Для такого времен-
временного ряда с помощью ста-
статистического пакета про-
программ подбирают неКОТО- Рис. 1. График изменения объема
рое аналитическое урав- транспортных перевозок и его прогноз
нение — строят регрессионную модель. Если мы предполагаем, что на
интересующий нас показатель влияют некоторые другие факторы, их
тоже можно включить в модель, предварительно (с помощью того же
статистического пакета) проверив существенность (значимость) этого
влияния. Затем на основе построенной модели можно сделать прогноз
и указать его точность (см. рис. 1, а также гл. 11-14).
процессах необходимо систематиче-
пткппнрт,а.. п ' аесса- чтобы вовремя вмешаться при
"с" —Т НОРМаЛЬН0Г° "еЖИМа " предотвратить тсМ самым
иеТ У
Укосиительное примененГкот"^0^ КаЧеСТВа' повсем«:тное и не-
ные успехи японской прОЬШШ;1еРн^° ™°Г0М опРелелило поразитель-
тельныи пример внедрения стат МЫ набл|°Даем замеча-
тистическнх методов в широкую прак-
тику. Японскими специ-
специалистами были отобраны
наиболее простые прави-
правила для оценивания дина-
динамики изменения качества
продукции и его нагляд-
наглядного представления. Эти
правила выражены сами-
самими простейшими слова-
словами, и японские рабочие
ВЫуЧИВаЮТ ИХ наизусть. Рис. 2. Контрольная карта изменения показателя
Как МОЛИТВу, после ЧСГО качества с зоной допустимых пределом изменения
каждый простой рабочий знает, при каких обстоятельствах производ-
производственный процесс в порядке, когда надо быть настороже, а когда срочно
вызывать бригаду наладчиков (рис. 2).
so
/
/
in
0
0
\
\ ,
1
.
IB
■ ■■■••
-
^-x Л'
V
IS 28
4 Еще одна инте-
интересная и часто встреча-
встречающаяся задача связана
с классификацией объ-
объектов. Пусть, напри-
например. Вы являетесь на-
начальником кредитного от-
отдела банка Столкнув-
Столкнув<е
I1
\
luncb с невозвратом кре- |в
ij_
Рис Л С помощью кластерного аналта имеющаяся
совокупность ofn.i'KTon разбита на три группы
со схожими сиопстпамн
дитов. Вы решаете впредь
выдавать кредиты лишь
фирмам, которые <■ схо-
схожи» с теми, которые се-
себя хорошо зарекомендовали, и не выдавать тем. которые «схожи» с
неплательщиками или мошенниками Для классификации фирм можно
собрать показатели их деятельности (например, размер основных фон-
фондов, валюту баланса, вид деятельности, объем реализации и т.д.). и
пронести кластерный анализ (в более сложных случаях — многомерное
шкалирование, см гл 15) этих данных Во многих случаях имеющи-
имеющиеся обьекты удается сгруппировать в несколько групп (кластеров), и
Вы сможете увидеть, но принадлежит ли запрашивающая кредит фир-
фирма к группе неплательщиков (рис. 3). Аналогичный пример: пусть
у Вас имеются данные о различных сортах пива, каждый из которых
характеризуется множеством переменных: цвет, содержание алкоголя,
других веществ, калорийность и т.п. Вы хотите закупать и продавать
наиболее дешевое пиво, по близкое но совокупности свойств к очень
„mv сорту С помощью тех же методов Вы сможете
престижному и дорогому сорту.
решить и эту за^ еще множество других интересных при-
Можно было бы пРнвес анных в самых разных областях:
что методы статистическ областях человеческой деятельности.
£аГ^:^^ГЙГ" ПРО- спроса на автомобили
делаются с помощью одних и тех же процедур. Поэтому требования
неискушенных пользователей, чтобы им предоставили инструмент для
анализа данных именно в банковском деле или именно в медицине,
редко бывают обоснованными. Такой инструмент мог бы быть создан,
если бы решаемые этими пользователями задачи были исключительно
специфичны и не встречались ни в какой другой области. Как правило,
это не так, и все нужные этим пользователям задачи могут быть реше-
решены с помощью универсальных пакетов (подобно тому, как практически
для всех пользователей нужные им средства подготовки документов
обеспечиваются универсальными редакторами документов типа Word
или WordPerfect).
Разумеется, нет правил без исключений. Например, в Word или
WordPerfect трудно на надлежащем уровне подготавливать документы с
большим количеством формул (типа этой книги), и невозможно печатать
ноты, поэтому в таких случаях используются специальные средства.
Точно так же существуют и области человеческой деятельности, для
которых требуются специфические статистические средства. Однако
таких областей очень мало. По-видимому, наиболее важная из них —
это страховые (актуарные) расчеты, используемые в своей деятельности
страховыми компаниями.
Методы визуализации данных. Чтобы решать, какие методы ана-
т«LI Z ПР"МеНИТЬ " Имеющимся мниым „ насколько удовлетвори-
ГГГ^ РСЗУЛЬТа™ ста™"™ских процедур, нужно иметь
и
набор средств визуализации дан",! Z о6еспсч"вают широкий
«рных днаграмм, а часто „Гзлнш П°СТрОеННе гРаФнков' ™УХ" » Ф
это помогает лучше „Z раЗЛ11™ые сР^тва деловой графики. Все
Шее представление ^оХш^™1™ """""• ПШ1уЧ"ТЬ 6
применения статистических^6"0™* " зак0иомеР11°стях. Результаты
наглядном графическом виде вР°ЦеДур1 как пРави-по, представляются в
8
О предварительной подготовке для анализа данных. Хотя ста-
статистические пакеты для персональных компьютеров резко упростили
применение методов статистического анализа данных, все же для осмы-
осмысленного их употребления пользователи должны обладать определенной
подготовкой: понимать, в каких ситуациях применимы различные стати-
статистические методы, знать, каковы их свойства, уметь интерпретировать
результаты. На Западе такая подготовка обеспечивается обучением
основам анализа данных практически всех студентов и менеджеров: в
программы университетов, школ бизнеса, технических и других кол-
колледжей входят систематические курсы прикладной статистики. Раз-
Разработаны и широко используются курсы основ теории вероятностей и
статистики и для старших классов средней школы. В достатке имеется
специальная и популярная литература по анализу данных, ее всегда
можно найти в книжных магазинах, торгующих научно-технической
литературой А при затруднениях можно лично или по телефону обра-
обратиться в одну из сотен консультационных фирм и получить там ква-
квалифицированную консультацию по постановкам задач, использованию
статистических пакетов и т.д.
К сожалению, в пашей стране ситуация совершенно другая. В сред-
средней школе методы статистического анализа данных (хотя многие из них
очень просты и весьма полезны) не упоминаются вовсе, а в высшей
школе, даже в тех пузах и университетах, программы которых были
просто перегружены математикой, методам анализа данных отводилось
очень небольшое место. При этом обычно предметом изучения являются
не столько эти методы, сколько формальные конструкции теории мно-
множеств, теории меры, функционального анализа и теории вероятностей,
которые, может быть, нужны для строгих доказательств, по абсолютно
не способствуют освоению и бесполезны при применении этих методов.
А в гуманитарных и медицинских пузах курсы анализа данных чаще все-
всего просто отсутствовали 13 результате даже самые простейшие метоаы
статистического анализа данных почти для всех отечественных руко-
руководителей и менеджеров остаются terra incognita1 Для исправления
положения (что абсолютно необходимо для конкуренции с западным
бизнесом), по-видимому, потребуется значительное время.
Таким образом, российские специалисты и менеджеры, исследова-
исследователи и студенты, желающие применять методы анализа данных, пахо-
1 Причины cto.il. бедственного положения разнообразны, но одна из них иполне
понятна В стране, гле важнейшие статистические лунные, касающиеся экономики и сель-
сельского хозннстна. мел кии ш j и лемографин. чкологнм и С0ШЮ.П01НИ тшатслыю скрывались
с помощью режнмсш секретности, «форм доступа» и тд (лаже от занимающихся этими
иопрос.чмн специалистом). а зачастую и фальспфнцнропа.шсь. были вполне естественно
слелап. как можно менее распространенными и мсточы анализа данных.
* прР затруднительном положении по сравнению со
дятся в гораздо более затруд приходИТСЯ изучать многие аспек-
своими западными ко™^самостоятельно, при этом часто по книгам,
ты прикладной статистик и ^ специалистов, а на профессиональных
рассчитанным не на приклад ^ ^ осноВНом именно такие книги име-
математиков (просто потому, ^ ^ западным статистическим
ются в наличии). Кроме того VJ не всегда попятно _
пакетом им приходится ^ ^ нглийском языке. Получить
санную программную яокументацию ^ ^
^^ -e все, под силу.
Советы читателям. Что же можно посоветовать тем. кто собира-
собирается изучать методы анализа данных или применять в своей деятельно-
деятельности? Вот некоторые рекомендации.
1 Читать популярные (рассчитанные на прикладных специалистов,
а не профессиональных математиков) книги по анализу данных. Кроме
дайной книги, из книг на русском языке стоит отметить книги [68],
[8]. [14]. [30], [85].
2. Использовать (если нет очень веских причин поступать иначе)
отечественные, а не западные статистические пакеты — они, как пра-
правило, гораздо проще в использовании, снабжены понятной документа-
документацией и средствами интерпретации результатов. Особенно стоит поре-
порекомендовать пакеты STADIA (универсальный статистический пакет) и
ЭВРИСТА (специализированный пакет для анализа временных рядов и
регрессионного анализа).
3. Для статистических пакетов с хорошей документацией — читать
эту документацию. Очень часто она фактически является популярным
учебником, наглядно и неформально объясняющим применение средств
анализа данных, в том числе и самых мощных многомерных методов.
стОлбп1НАНО^пТ0^ СВЯЗИ М0ЖН° Рекоме"Д°вать документации пакетов
STADIA, ЭВРИСТА и SPSS.
4^ Практически применять в ходе изучения анализа данных стати-
Лго свп1ПаКеТЫ- Ь ЧаСТ° ЭТ° П°М0ГаеТ П0"ять назначение метода
и его свойства лучше и быстрее, чем что-либо другое
на мой взгляд.
™лим ^'Х в
., / •чип n yi_iie
методы и научиться применять эти и
своей практической деятельности.
Виктор Фигурнов
10
Как читать эту книгу
Структура книги. Материал, включенный в эту книгу, можно услов-
условно разбить на три части. Первую из них составляют главы с первой
по четвертую, а также частично пятая и десятая главы. Здесь изло-
изложены основные понятия теоретической и прикладной статистики,
владение которыми необходимо для осмысленного применения методов
статистического анализа данных. Мы обсуждаем понятия случайной
изменчивости, основные характеристики случайных величин, наиболее
распространенные статистические распределения, а также основы про-
проверки статистических гипотез и оценивания параметров. Все изложение
ведется не в строго формальном математическом ключе (который при-
привлекателен только для математиков), а на общсионятийном уровне, с
привлечением многочисленных примеров.
Вторая часть книги (главы 5—15) описывает статистические мо-
Оели, наиболее часто используемые на практике для анализа данных.
Сюда вошли анализ нормальных выборок, регрессионный и факторный
(или дисперсионный) анализ, исследование связи признаков и таблицы
сопряженности, методы проверки согласия статистической модели с
данными опыта, анализ временных рядов, а также краткий обзор дру-
других методов статистического анализа. При этом особое внимание мы
уделили пепарамстрическим (свободным от распределения) методам,
поскольку они имеют гораздо более широкие границы применимости
(по сравнению с классическими гауссоискимн). более устойчивы по от-
отношению к отклонениям от миделей и лишь немного уступают в эффек-
эффективности наилучшим параметрическим методам, когда эти последние
можно применять.
Примерно треть книги (ее составляют последние параграфы каждой
главы и три приложения) посвящена современным статистическим па-
пакетам и их использованию па персональных компьютерах. В этой части,
во-первых, показано, как рассмотренные в книге задачи можно решать
с помощью компьютера. В большей части книги для этого использу-
используются популярные н России статистические пакеты, отечественный —
STADIA и американский — STATGRAPHICS. А решение задач анализа
временных рядов показывается с помощью отечественного пакета Эври-
ста и американского пакета SPSS. Мы полагаем, что эти примеры будут
полезны всем читателям, в том числе и пользователям других стати-
11
ппные данные и результаты статистической
стических пакетов. Ведь вх дзавнсят от конкретного пакета, поскольку
обработки, как^2t™™ традициями.
определяются обшепрнн состОЯНия и основных характери-
В приложении 1 и б ^ечественных и зарубежных статистических
стик наиболее известных ^ распространяюших.
методов-так и их па-
Это позволи'°нам провести
ZIcp*™™* р методов с:очки зрения их примени-
ГсТустойчивости и т.п. Кроме того, чтобы помочь читателю лучше
понять алгоритмы обработки, мы разбирали применение статистических
методов для одних и тех же данных как при ручных расчетах, так и
при использовании компьютера. Данные для примеров взяты из из-
известных монографий А.Хальда (83), Р.Готсданкера 126], М.Холлендера
и Д.А.Вулфа [91] и др., а также из практической работы авторов.
Одной из особенностей этих примеров является сравнительно малый
объем исходных данных. Это сделано не только из соображений облегче-
облегчения демонстрации расчетов вручную. Другая причина состоит в том. что
для большинства прикладных исследований, особенно в гуманитарных
областях, характерны именно небольшие объемы данных (исключение
здесь составляют, пожалуй, только демография и отдельные области
медицинской статистики). А поскольку на подобных объемах выборок
практически невозможна эффективная проверка гипотез об их распре-
распределении, а процедуры отбраковки грубых наблюдений бесполезны или
малоэффективны, мы рассматривали в первую очередь непараметриче-
непараметрические статистические методы, т.е. методы, свободные от предположений
о распределении и потому более универсальные.
Порядок чтения книги. Читать эту книгу можно в различном по-
порядке. 1ем, кто только начинает знакомиться с теорией статистики,
о ZT ПР0Ч1Ш1ТЬ СНЗЧаЛа ГЛЗВЫ L 3 и 4. Они содержат базовые
" ТТДН0И СТЗТИСТНКИ К ГЛЗВе 2' содержащей сведения об
-жноРобРаи,ться по мере
ная величина Darn™ c такими понятиями, как случаи-
оценки, СсгГескиГГ5 Вер°ЯТН0СТей' статистические гипотезы и
интервалы и тп могу РИИ| уровни значимости, доверительные
и* глав. Знакомство с рабо'тоГ^ ^^ С ЛЮб°Й И3 ""тс-РесУЮШИХ
персональном компьютрп« ТИпичнь1х статистических процедур на
пьютере полезно начинать с приложений 1 и 2. где
12
описываются общая архитектура пакетов, их интерфейсы, возможности
работы с данными и пр.
Предварительные сведения. От читателя этой книги мы стара-
старались не требовать особой математической подготовки — сведений из
программы первого курса вуза более чем достаточно. Для использо-
использования компьютерных разделов книги вполне достаточно знакомства с
частями 3 и 7 книги В.Э.Фигурнова [81].
Обозначения. При записи чисел мы придерживались американской
системы записи, т.е. целая часть от дробной отделяется не запятой, а
точкой (скажем, два с половиной — это 2.5, а не 2,5). Дело в том, что
именно такая форма записи чисел принята и статистических пакетах,
d кроме того, при этом списки чисел, которые нам иногда приходится
использовать в книге, становятся проще для восприятии.
Числами в квадратных скобках обозначаются книги или статьи
из списка литературы (так, |3] — ссылка на третью книгу в списке
литературы).
Сведения об авторах
Тюрин Юрий Николаевич — д.ф.-м п.. профессор кафедры
теории вероятностей мехаиико-математиче-ского факультета Ml У
им М.В.Ломоносова. Много лет читал курсы теоретической и при-
прикладной статистики на различных факультетах МГУ. в других учеб-
учебных заведениях России и иных стран Область научных интересов —
многомерный пепарамстрическнй анализ, методы анализа нечисловой
информации
Макаров Алексей Алексеевич — к.ф -м.н.. ведущий научный со-
сотрудник НИИ Механики МГУ. Область научных интересов — иеиараме-
трические метилы анализа данных, статистические пакеты, прикладные
залами и бизнесе, марко тише, экономике и т.д.
Предложения и замечания пи данной книге просьба посылать по
адресу: 1 17899. Москва. Воробьевы горы. МГУ. УИИР ректората МГУ.
Макарову Л.А.
16
Благодарности
т ем дань признательности и восхищения
В первую очередь, мы о а ^ Б.В.Гнеденко. Вместе с другими
нашим учителям АЯКо™°^и оснОвателями школы математической
выдающимися^учеными о ^^ исследователей, внесших вклад
статистики в ил,г уч „татигТики Всех этих исследователей на-
в развитие отечественной с^те^ ^ некоторых> Ста,ювле.
звать невозможно так что бствовали регулярные семииа-
ГиТк^ПГ"^ был С.А.Аивазяп (тоже ученик
Гп КолГ рова). Выдающуюся роль в развитии в СССР планирования
эксперимента сыграл В.В.Налимов (который в свое время был сотрудни-
сотрудником АН Колмогорова). Кроме того, в распространении статистических
знаний важную роль сыграли многочисленные полезные книги, как оте-
отечественные, так и переводные, выпушенные издательствами «Финансы
и статистика», «Миро и др. Всем им мы приносим свою глубокую
благодарность.
Мы глубоко признательны Д.С.Шмерлингу, явившимся инициато-
инициатором и вдохновителем создания этой книги, за постоянное внимание и
поддержку, которую он оказывал авторам.
Мы благодарны нашему редактору В.Э.Фигурнову, который внес в
текст много улучшений. Он также провел литературное и техническое
редактирование, выполнил компьютерную верстку. Мы благодарны
нашим рецензентам В.Н.Тутубалину и М.В.Болдину, а также многим
другим нашим коллегам, внесшим ряд полезных замечаний и поправок.
Мы выражаем глубокую признательность фирмам НПО «Инфор-
«Информатика^ компьютеры», «ИнфоСтрой», «Центр Статистических Иссле-
Т/нпрГ™*' сСтатистическне системы и сервис», «СтатДиалог».
*1АНДЬМ> за предоставленные для ознакомления последние версии
пакетов. STADIA, STATGRAPHICS, ЭВРИСТА, SPSS, SYSTAT, МЕЗО-
JABF Статистик-Консультант
14
Глава 1
Основные понятия
прикладной статистики
Цель этой главы — познакомить читателя с основными понятия-
понятиями теории вероятностей и статистики, на которые опирается анализ
данных изменчивой (случайной) природы. Не стремясь к строгому фор-
формальному изложению, мы расскажем о случайных событиях и случай-
случайных величинах, об их характеристиках: распределении вероятностей,
математическом ожидании, дисперсии и т.д. Будут введены наиболее
распространенные понятия описательной статистики, используемые при
обработке данных, такие как генеральная совокупность, выборка, вы-
выборочная функция распределения, медиана, квантили, гистограмма и
др. В конце главы мы опишем, как можно вычислить соответствующие
характеристики на компьютере.
1.1. Случайная изменчивость
Статистика изучает числа, чтобы обнаружить в них закономерности.
Все мы хорошо знакомы с закономерными явлениями и закономерными
изменениями, они составляют главный объект научных исследований.
Например, исслелователя могут интересовать вопросы тина- как изме-
изменяется давление в жидкости с изменением глубины? С какой скоростью
движутся падающие тела? Как будет проходить химическая реакция,
если мы определенным образом изменим температуру, давление и кон-
концентрации участвующих в реакции веществ и т.и Знание законов
природы позволяют нам ответить на подобные вопросы, не производя
реальных опытов, те заранее. Например, мы можем точно вычислить,
какие вещества и в какой пропорции образуются при тон или иной хими-
химической реакции, или предсказать, когда в данной местности произойдет
следующее солнечное затмение.
Но отнюдь пе во всех ситуациях интересующий пас результат полно-
полностью и жестко определяется влияющими на него факторами Например,
мы не можем указать, сколько часои будет светить электрическая лам-
лампочка или как долго будет служить телевизионный приемник. Невоз-
Невозможно предвидеть число посетителей магазина и количество товаров,
которое они купят, каков бучет результат бросания игральных костей
и т.д. Отпеты на подобные вопросы можно получить, только проведя
15
тяния Часто явления (ситуации), в которых ре.
соответствующие испыт- -^ влияющими на него факторами, назы-
зультат полностью опр• д^ ^номерными, а те, в которых это
ваютсядетерминиров' р0ВпННЫМи или стохастическими.
нр выполняется — неоетен
юности Д^ описания явлении с неопределенным
W\ Тповс'дневнон жизни, так и в науке) используется идея
„сходом (как в> пс» д ^ ^ результат явлеНия с неопределенным
^^аГбы определяется неким случайным испытанием, случайным
как б" опрд выбором. Иначе говоря, считается, что для
S3S в неопределенной ситуации природа словно бы бросает
косГ Вопрос о том, насколько применим такой подход к явлениям
окружающего мира, решается не путем его логического обоснования, а
по результатам практического применения.
Замечание Вопросы о том, существует ли случайность «па самом де-
деле» о происхождении случайного и соотношении закономерного и случайного
являются дискуссионными философскими темами. Действительно, закономер-
закономерные изменения, как подчеркивает само их название, порождены определенными
причинами, которые могут быть названы, указаны и изучены. Отыскивая эти
причины, мы исходим нз убеждения, что если нечто изменилось, так это потому,
что изменилось что-то другое, и это другое служит причиной первому. Когда же
изменения происходят при полной неизменности условий, в которых протекает
явление, мы объясняем это случайностью. Но поскольку полной неизменности
условий на практике достичь невозможно, сохраняется логическая возможность
отрицать наличие в природе случайности и объяснять неопределенность резуль-
результатов эксперимента воздействием неизвестных нам и неучтенных факторов. Мы
не будем входить в эти философские споры и будем рассматривать проблемы
случайности чисто технически, принимая этот подход лишь как модель для
описания непредсказуемой изменчивости, дабы на его оспонс получать количе-
количественные выводы и рекомендации для практики.
Случайная изменчивость. Мы все хорошо знаем, что такое зако-
закономерность. Например, при формулировке законов природы мы гово-
говорим, что если одна величина принимает такое-то значение то другая
примет такое-то. Случайная изменчивость нам знакома в меньшей сте-
!1 еЙ НЗД0 П0Г0В°Рить подробнее. Для начала лучше
^ Действует отдельно от
из книги А.Хальда. В таблице
^JZ:TZ:Z7T —,х станком
Работал станок остава контролируемые условия, в которых
головок раз от'разу J^ Неизменными- В то же время диаметры
чайных колебаний I ЭТ„ЬК° ИЗМеня™сь. Характерная черта слу
ными. Действительно ИЗ*'еНения выглядят бессистемными, хаотич-
1 ™ бы в этих изменениях мы смогли обнару
16
жить какую-либо закономерность, у нас появились бы основания чтобы
искать ответственную за эту закономерность причину, тем самым из-
изменчивость не была бы чисто случайной. Если бы, скажем, с течением
времени размер головки заклепки проявил тенденцию к увеличению, мы
могли бы попытаться связать это, например, с износом инструмента.
Таблица 1.1
13
39
13.28
13
13
13
13
13
13
13
13
13
13
13
13
13
13
13
53
57
40
29
43
41
55
43
34
23
43
38
34
28
33
13.43
13.52
13.53
13.33
1334
13.58
13.36
13.39
13 33
13.51
13 49
13.44
13 2G
13 14
1337
13.58
13 33
13.54
13.46
13.39
13.51
13.23
13 44
13 56
13.50
13.32
1343
13 50
13.38
13 50
13 42
13.50
13 58
1331
Диаметры
13.64
13.63
13.57
13.40
13 37
13 56
13.51
13.48
13 69
13.38
13.38
13.27
13 38
13 52
13.61
1338
1345
13
13
13
13
13
13
13
13
13
13
13
13
13
13
13
13
13
40
38
51
30
48
28
47
53
46
24
48
66
43
38
42
26
39
200 головок заклепок
13.55
13.44
13.34
13.48
13.48
13.59
13.40
13.34
13 32
13.28
13 43
13.26
13 34
13 54
13.32
13.37
1345
13.40
13.52
13.39
13.40
13.62
13 47
13 29
13.45
13.32
13.58
13.37
13 40
13.41
13.30
13 35
13.28
13.41
13.26
13.53
13 47
13 57
13.35
13 46
13.20
13.42
13.48
13.31
13.29
13 52
13 24
13.18
13.40
13 39
13.45
мм
13.42
13.37
1351
1351
13 40
13 62
J3 46
13.29
1329
13 31
13.54
13.59
13 42
13 32
13 57
13.32
13.50
13.33
13.48
13.40
1336
13.54
13.44
13.38
13.25
13.45
13 33
13 48
13.55
13.46
13.31
13 20
13
13
13
13
13
13
13
13
13
13
13
13
13
13
13
13
32
24
62
52
45
20
42
45
44
43
36
46
37
.39
40
43
13.31
13.13
13.58
14.56
13 48
13.38
13.29
13.50
13.60
13.44
13 46
13.40
13.41
13 35
13.36
13.34
Обсуждение случайной изменчивости не обязательно начинать с
такого специального примера Каждому известны более простые опыты,
в которых результат определяется случаем: раздача игральных карт
или костей домино, бросание игральных кистей, монет и т.д. У всех
этих примеров есть общая черта — непредсказуемость результатов для
действий, проводящихся в неизменных условиях.
Закономерность и случайность. В большинстве явлений присут-
присутствуют оба вида изменчивости — и закономерная, и случайная, и для
нахождения закономерностей нам приходится оотсенвать» мешающие
случайные факторы. Например, при внесении удобрений на пшеничное
поле мы не можем точно предсказать, какова будет урожайность на этом
поле, поскольку она зависит от множества причин, которые мы считаем
случайными (от погодных условий, нашествий вредителей, болезней
растений и т.д.). Однако с помощью методов статистического анализа
мы все же можем определить степень влияния на урожайность внесения
удобрений и применения других агротехнических приемов. Для этого
могут потребоваться многолетние тщательно спланированные экспери-
эксперименты, с помощью которых влияние агротехнических приемов оценива-
оценивается на фоне мешающих факторов.
17
изучению явлений природы состоит
Итак, статистический ^аемой изменчивости на две части -
в мысленном Раз*еленИ" ",° и случайными причинами, и выявлению
обусловленные закономерными >лучайной. Например в табл. 1.2 и
закономерной изменчивости v аин0СТи зерновых (в центнерах
на рис. 1.1 OTo6Pf еН° ет с 1945 по 1989 год. Данные предоставлены
с гектара) в cCC?3aJ ' ы выражают глубокую признательность.
А.И.Манелля, которому авторы Р Таблица 1.2
_ллп %г\лс 1 ПОП ,*„
_Год_
1945
1946
1947
1948
1949
1950
1951
1952
1953
1954
1955
1956
1957
1958
1959
Урожаиность
5.6
4.6
7.3
6.7
6.9
7.9
7.4
8.6
7.8
7.7
8.4
9.9
8.4
11.1
10.4
юд
1960
1961
1962
1963
1964
1965
1966
1967
1968
1969
1970
1971
1972
1973
1974
Урожайность
10.9
10.7
10.9
8.3
11.4
9.5
13.7
12.1
14.0
13.2
15.6
15.4
14.0
17.6
15.4
Год
1975
1976
1977
1978
1979
1980
1981
1982
1983
1984
1985
1986
1987
1988
1989
Урожайность
10.9
17.5
15.0
18.5
14.2
14.9
12.6
15.2
15.9
14.4
16.2
18.0
18.3
17.0
18.8
ZL ь всех зерновых культур в ссср <i94s «о ^ ••••■ («/«'
лорошо видно, что урожайногтц „ „л
счет улучшения агоотехникн и ' В03Раста;1а (по-видимому.
Ее рост и составляет зякп»пх внесения минеральных удобрений),
закономерную часть картины. В то же время видны
18
и значительные колебания урожайности в разные годы, по-видимому, за
счет погодных условий и иных факторов, изменения которых мы счи-
считаем случайными. Методы математической статистики позволяют
в подобных ситуациях оценивать параметры имеющихся закономерно-
закономерностей, проверять те или иные гипотезы об этих закономерностях и т.д. В
последующих главах этой книги мы рассмотрим, как решаются многие
из подобных задач.
Однако случайности могут не только мешать нам постигать законо-
закономерности — они способны и сами порождать их. Рассмотрим, например,
газ в некотором сосуде (скажем, воздух в комнате). Поведение каждой
молекулы газа носит случайный характер, но вся совокупность этих
молекул ведет себя вполне закономерно, подчиняясь хорошо известным
законам физики. Так. давление газа на каждую единицу площади по-
поверхности сосуда строго постоянно (колебания проявляются только для
очень сильно разреженных газов), а объем газа, его давление и тем-
температура связаны друг с другом уравнением Менделеева-Клапейрона.
Аналогично, выбор времени для телефонных звонков каждый человек
осуществляет сам, но нагрузка на телефонную станцию (АТС), распре-
распределение интервалов между звонками различных абонентов и т.д. под-
подчиняются вполне определенным закономерностям. Изучением законо-
закономерностей, которые порождаются случайными событиями, занимается
паука теория вероятностей.
1.2. События и их вероятности
Хотя результаты эксперимента (наблюдений, опыта), зависящего от
случайных факторов, нельзя предсказать, все же разные возможные его
исходы и связанные с ними события имеют неодинаковые шансы па
появление. Количественное описание правдоподобия отдельных исхо-
исходов и событий основывается па понятии вероятности. Предполагается,
что каждому событию, возможному в данном случайном испытании,
может быть приписана числовая мера его правдоподобия, называемая
его вероятностью. Если, скажем, А есть случайное событие, то его
вероятность обычно обозначается через Р{А). (Буква Р — начальная в
латинском слове «вероятность».) Вероятность невозможного события
(которое никогда не происходит) принимается равной 0. а вероятность
достоверного события (которое происходит всегда) принимается рав-
равной I. Поэтому для любого события Л: 0 ^ Р(А) ^ 1.
Свойства вероятности просты, естественны и. в общем, известны
каждому. Однако перед тем. как рассказывать о них. необходимо дать
некоторые определения, касающиеся случайных событий.
19
Случайные со ы ■ ^^ ^ ^ ^ называют событие с
Объединением,» ^ происХОДит хотя бы одно из событий А „'
которое СОСТх°"ТитВтогд; и только тогда, когда происходит либо Л. ЛИб0
* £?Е вместе.) Обозначение:
С = Ли5, или С=Л + В.
Пересечением, или произведением событий Ли В называют со-
событиеС, которое состоит в том. что происходят оба события Л и В.
Обозначение: _
С = ЛПЯ, или С7 = У1^.
Отрицанием события Л называют такое событие, которое состоит
в том. что А не происходит. Обозначение для него Л.
Событие, которое при нашем случайном испытании обязательно
происходит, называют достоверным; которое не может произойти-
невозможным. Вероятность достоверного события равна 1; вероятность
невозможного события равна 0.
Если события А и В не могут произойти одновременно (т.е. если
АВ — невозможное событие), их называют несовместимыми. Несо-
Несовместимы, например, события Л и Л. В то же время -4 + Л — событие
достоверное.
Например, при бросании игральной кости:
• событие, состоящее в том, что в результате бросания кости
выпадет 1, 2, 3, 4, 5 или 6 очков, является достоверным;
• событие, состоящее в том. что результате бросания кости выпа-
выпадет 7 очков, является невозможным;
• объединением события Л. состоящего в том. что в результате
бросания кости выпадет меньше 4 очков, и события В, состоя-
состоящего в том, что в результате бросания кости выпадет 3 или 6
очков будет событие Л + В, состоящее в том. что в результате
бросания-кос™ выпадет 1.2.3 или 6 очков;
в
что
свойства вероятности т
просто: "■ 1еПеРь свойства вероятности перечислить
2- ^ц:;(д;;*»*™-л
в общем случае Р{А j д\' ^^ытия л и В несовместимы,
20
3. Вероятность достоверного события равна 1, а невозможного
события — нулю.
Для полного описания случайного эксперимента нужно указать все
его возможные исходы и их вероятности. Например, бросание играль-
игральной кости, имеющей форму куба, приводит к выпадению одной из ее
шести граней. Это шесть элементарных исходов, т.е. неразложимых
на более простые. Если кость, как говорят, правильная, то эти шесть
исходов равноправны и поэтому должны иметь равные вероятности.
Следовательно, вероятность каждого из них равна 1/G. Вероятности
остальных (составных) событий может быть вычислена из приведенных
выше свойств вероятности. Например, вероятность Г{В) события В,
состоящего в том, что в результате бросания кости выпадет 3 или 6
очков, равна 1/3. Действительно, это событие является обьединением
двух несовместимых событий: «выпало 3 очка» и «выпало G очков»,
вероятность каждого из которых равна 1/6. Аналогично, вероятность
Р(Л) события А. состоящего в том, что в результате бросании кости
выпадет меньше Л очков, равна 1/2.
Не будем далее развивать эту тему, оставив ее теории вероятно-
вероятностей Но все же нам придется ввести еще два важных понятии —
независимости событий и условной вероятности
Независимость событий.
Определение 1. События А и В называются независимыми, если
Р(АВ) = Р(А)Г{Н).
На практике независимость событий обычно устанавливается не с
помощью проверки этого равенства, а из условий опыта и других со-
содержательных соображений При этом указанное соотношение можно
использовать для вычисления вероятности событий АН через вероятно-
вероятности событий Л и В Понятие независимости очень существенно для ге-
ории вероятностей То. насколько в своей математической форме поня-
понятие независимости соответствует нашим интуитивным представлениям,
лучше всего разобрать с помощью понятия условной вероятности.
Условная вероятность. Для простоты мы рассмотрим, как можно
определить понятие услиьпой вероятности в случайном испытании с
конечным числом исходов. Пусть П — совокупность всех таких ис-
холов. и> обозначает произвольный элементарный исход, /'(и,-) — его
вероятность. Любые события А и В в этом опыте представляют собой
некоторые подмножества И, поскольку они состоят из элементарных
исходов. Обозначим через Р{А\В) условную вероятность события А
21
Случайные события.
»«ч—•
в том. что
Д либо оба вместе.) Обозначение:
С = АиВ, или С = А + В.
Пересечением, или произведением событий А и 5 называют со-
событие С, которое состоит в том, что происходят оба события А и В.
Обозначение:
С = А П £, или С = Л#.
Отрицанием события Л называют такое событие, которое состоит
ом. что А не происходит. Обозначение для него А.
Событие, которое при нашем случайном испытании обязательно
происходит, называют достоверным; которое не может произойти —
невозможным. Вероятность достоверного события равна 1; вероятность
невозможного события равна 0.
Если события А и В не могут произойти одновременно (т.е. если
АВ — невозможное событие), их называют несовместимыми. Несо-
Несовместимы, например, события Л и Л. В то же время А + А — событие
достоверное.
Например, при бросании игральной кости:
• событие, состоящее в том, что в результате бросания кости
выпадет 1, 2, 3, 4. 5 или 6 очков, является достоверным;
• событие, состоящее в том, что результате бросания кости выпа-
выпадет 7 очков, янляется невозможным;
• объединением события Л, состоящего в том. что в результате
бросания кости выпадет меньше 4 очков, и события В. состоя-
состоящего в том, что в результате бросания кости выпадет'з ипи б
очков, будет событие А + В, состоящее в том. что в результате
бросания кости выпадет 1. 2. 3 или 6 очков-
• пересечение АВ событий А и В состоит в том. что в результате
бросания кости выпадет 3 очка-
• • отрицание события А, обозначаемое А, состоит в том что в
результате бросания кости выпадет 4. 5 или 6 очков
ВеР°ЯТН0СТИ- ^перь свойства вероятности перечислить
о' пЛ К ' % лля Л1°бого события А-
2- Р{А + В) = Р(А) + Р(т о,п,.^.'
20
3. Вероятность достоверного события равна 1, а невозможного
события — нулю.
Для полного описания случайного эксперимента нужно указать все
его возможные исходы и их вероятности. Например, бросание играль-
игральной кости, имеющей форму куба, приводит к выпадению одной нз ее
шести граней. Это шесть элементарных исходов, т.е. неразложимых
на более простые. Если кость, как говорят, правильная, то эти шесть
исходов равноправны и поэтому должны иметь равные вероятности.
Следовательно, вероятность каждого из них равна I/O. Вероятности
остальных (составных) событий может быть вычислена нз приведенных
выше свойств вероятности Например, вероятность Р{В) события В,
состоящего в том. что в результате бросания кости выпадет 3 или 6
очков, равна 1/3. Действительно, это событие является объединением
двух несовместимых событий: «выпало 3 очка* и «выпало С очков»,
вероятность каждого из которых равна 1/6. Аналогично, вероятность
Р[Л) события А, состоящего н том, что в результате бросания кости
выпадет меньше 4 очков, равна 1/2.
Не будем далее развивать эту тему, оставив се теории вероятно-
вероятностен. Но все же нам придется ввести еще два важных понятия —
независимости событий и условной вероятности.
Независимость событий.
Определение 1. События А и В называются независимыми, если
Р{АВ) = Р[А)Р{В).
На практике независимость событий обычно устанавливается не с
помощью проверки этого равенства, а из условий опыта и других со-
содержательных соображении. При этом указанное соотношение можно
использовать для вычисления вероятности событий ЛИ через вероятно-
вероятности событий А и В Понятие независимости очень существенно для те-
теории вероятностей То, насколько в своей математической форме поня-
понятие независимости соответствует нашим интуитивным представлениям,
лучше всего разобрать с помощью понятия условной вероятности.
Условная вероятность. Для простоты мы рассмотрим, как можно
определить понятие условной вероятности в случайном испытании с
конечным числом исходов. Пусть п — совокупность всех таких ис-
исходов, uj обозначает произвольный элементарный исход. P(J) — его
вероятность. Любые события Л н В в этом опыте представляют собой
некоторые подмножества п. поскольку они состоят из элементарных
исходов. Обозначим через Р{А \ В) условную вероятность события А
21
при условии, что произошло событие В. Достаточно определить услов-
условную вероятность для элементарных исходов ш. Те исходы со, которые не
входят в В, невозможны при наступлении события В, поэтому для них
следует положить условную вероятность равной нулю:
Р(и>\В)=0, если и$В.
Для исходов и, входящих в В, сумма их вероятностей £ые# -^M
равна Р(В), а сумма их условных вероятностен должна быть равна
единице. Действительно, EwGDP(co\B) равна Р{В\В). Но при насту-
наступления В событие В является достоверным, поэтому согласно свойству
3 вероятностей Р{В\В) равно 1. Чтобы это условие выполнялось,
естественно положить для и> е В:
Теперь мы можем определить условную вероятность для любого
СООЫТИЯ J\,
В
верОЯтность с<*»™* А при условии
Из этого определения легко
вывести, что:
М
г
оеро„т„ое„, Из „его , гко е«Гт „? Утной
вероятностей: еДУ" изве"ная формула умножения
;г ~-
22 ' что
от В, то и В не зависит от А. Единственная оговорка, которую надо
добавить к сказанному, — что условную вероятность можно определять
таким образом, лишь если Р(В) > 0.
1.3. Измерения вероятности
Раз мы ввели понятие вероятности как количественное выражение
для правдоподобия случайного события, нам необходим метод ее чи-
численного выражения. Здесь возможны два пути — умозрения и прямого
измерения.
Умозрительный способ определения численного значения вероятно-
вероятности зиждется, в основном, на понятии равновозможности тех или иных
исходов эксперимента. Мы уже прибегали к помощи этого соображения
при обсуждении бросания игральной кости. Основная область прило-
приложения этого принципа — случайный выбор и азартные игры. Поэтому
принцип равновозможности исходов эксперимента имеет ограниченное
применение. Кроме того, выводы из этого принципа всегда относятся к
некому идеальному случайному опыту, и то. насколько им подчиняется
реальный эксперимент, само зачастую нуждается в проверке.
Измерение вероятности события отличается от измерения других
физических неличин. Для массы, скорости, температуры и большинства
других физических неличин есть специальные приборы, позволяющие
выразить их числом (что и означает измерить). К сожалению, для
вероятности такого прибора пет Все же прямое измерение вероятно-
вероятности возможно, оно основано па независимых повторениях случайного
эксперимента
Пусть в определенном случайном эксперименте пас интересует ве-
вероятность некоторого события Л Допустим, что мы можем многократно
осуществлять этот эксперимент в неизменных условиях, гак что от опы-
опыта к опыту /'(-1) не меняется. Проведем V таких повторений (иногда
гопирят — реализаций) этого опыта Число Л' не должно зависеть
от исходов отдельных опытов, например, оно может быть назначено
заранее. Подсчитаем число тех опытов из Л\ в которых событие А
произошло. Обозначим это число через N(A). Рассмотрим отношение
Л'(.-1)/Л" — частоту события Л в А' повторениях опыта. Оказывается,
частота .\'(-1)/Д" приблизительна равна Р(А). если числи повто-
повторений Л велико.
Указанная связь между частотой события и его вероятностью соста-
составляет содержание теоремы Бсрнулли. о которой подробнее мы будем го-
говорить в главе -1. Там будет дана ее точная формулировка и доказатель-
доказательство. Кроме того, важен и вопрос о достигаемой точности приближения
23
этом речь пойдет в главе 5.
Итак задав вопрос об измерении вероятностей, мы столкнулись с
—ной неожиданностью - это измерение оказалось, во-первых,
непростым с чисто физической точки зрения (многократное повторение
опыта), а во-вторых, сопряженным с довольно сложными и новыми
понятиями.
Особо надо подчеркнуть, что описанные выше опыты должны проис-
происходить независимо друг от друга в неизменных условиях, чтобы вероят-
вероятность события сохранялась постоянной. При большом числе повторении
опытов соблюсти это требование зачастую оказывается нелегко. Даже
небольшие отклонения от статистической устойчивости могут оказать
воздействие на результаты, особенно при высоких требованиях к точ-
точности выводов. Не говоря уже о том. что повторения опытов, да еще
многократные, далеко не всегда возможны.
1.4. Случайные величины.
Функции распределения
В случайных экспериментах нас часто интересуют такие величины,
которые имеют числовое выражение. Например, у каждого человека
имеется много числовых характеристик: рост, возраст, вес и т.д. Если
мы выбираем человека случайно (например, из группы или из толпы),
то случайными будут и значения указанных характеристик. Чтобы под-
подчеркнуть то обстоятельство, что измеряемая по ходу опыта численная
характеристика зависит от его случайного исхода и потому сама явая-
ется случайной, ее называют случайной величиной.
Случайной величиной, в частности, является упомянутое выше чн-
значения'которые
опыта.
. 1.1
24
Каждая случайная величина задает распределение вероятностей
на множестве своих значений. Если £ — случайная величина, принима-
принимающая значения из X, то мы можем задать распределение вероятностей
Р^ на X следующим образом:
е Л).
Чтобы дать полное математическое описание случайной величины,
надо указать множество ее значений и соответствующее случайной
величине распределение вероятностей на этом множестве.
Виды случайных величин. В практических задачах обычно ис-
используются два вида случайных величин — дискретные и непрерыв-
непрерывные, хотя бывают и такие случайные величины, которые не являются
ни дискретными, ни непрерывными. Рассмотрим сначала дискретные
случайные величины.
Дискретные случайные величины обладают тем свойством, что
мы можем перечислить (перенумеровать) все их возможные значения.
Таким образом, для задания распределения вероятностей, порожденных
дискретными случайными величинами, надо только указать вероятности
каждого возможного значения этой случайной величины. Например, чи-
число очков, выпавших при бросании игральной кости, — это дискретная
случайная величина, так как она может принимать только 6 значений: 1.
2, 3, 4, 5 или 6. Для определения вероятностей любых событий, связан-
связанных с этой случайной величиной, нам надо только указать вероятности
каждого из этих значений.
Определение. Случайную величину называют дискретной, если
множество ее возможных, значений конечно, либо счетно.
Напомним, что множество называется счетным, если его элементы
можно перенумеровать натуральными числами.
Каждое возможное значение дискретной случайной величины имеет
положительную иероятность (иногда, впрочем, допускают, что некото-
некоторые значения могут иметь нулевые вероятности, особенно когда рассма-
рассматривают не одно, а несколько дискретных распределений одновремен-
одновременно) Чтобы полностью описать дискретное распределение вероятностей,
надо указать псе значения, вероятности которых положительны (точнее,
могут быть положительны), и вероятности этих значений.
Пример. При бросании двух игральных костей сумма пыпавших очков
может принимать значения от 2 до 12 При этом для правильных костей,
бросаемых независимо, вероятность получить в сумме 2 очка равна 1/6 х 1/6 =
1/36. получить 3 очка — равна 2/36 и так далее. Распределение вероятностей
суммы выпавших очков определяется следующей таблицей 1.3.
25
Таблица 1.3
значения
ероятност»
Однако не все случайные величины могут быть описаны так про-
про^ Тис ретные случайные величины. Например, время службы
^иципе принимать любое значе-
значесто ^а Тис ретные случай
I]^ ктриче^кой лампочки может, в принципе, принимать любое значе-
значение от нуля до бесконечности (как хорошо известно, это множество
не является счетным). И если предполагается, что лампочка была в
начале исправна, то вероятность того, что время ее службы будет в
точности равно некоторому значению, будет равна нулю. Ненулевы-
Ненулевыми будут вероятности только сложных событий: например, что время
службы лампочки — от одного до двух месяцев. Для подобных (так
называемых непрерывных) случайных величин мы не можем задать их
распределение путем указания вероятностей каждого возможного зна-
значения, так как все эти вероятности равны нулю. При описании таких
случайных величин используются другие средства. В частности, если
значениями случайной величины являются вещественные числа, то рас-
распределение случайной величины полностью определяется ее функцией
распределения.
Функция распределения. Пусть f обозначает случайную величи-
величину, принимающую вещественные значения, х — вещественное число.
Определение. Функцией распределения F(x) случайной величи-
величины £ называют F(x) = Р(£ ^ х).
Ясно, что функция F(x) монотонно возрастает с ростом .г (точнее
сказать, не убывает, потому что могут существовать участки, на которых
она постоянна). У дискретной случайной величины функция распреде-
распределения ступенчатая, она возрастает скачком в тех точках, вероятности
которых положительны. Это точки разрыва F(x). На рис. 1.2 приведен
график функции распределения для описанной выше случайной величи-
иы - суммы очков, выпавшей при бросании двух игральных костей
Непрерывные случайные величины. Для случайной
Гбн::гг:веществен11ые зиачепия- т°
, может
Определение.
2G
1 -
fF(x)
0
8
10 11 12
Рис 1.2 График функции распределения суммы
очков, выпавших на двух игральных костях
каждого отдельного значения случайной величины равна нулю. На этом
и основано противопоставление непрерывных и дискретных распреде-
распределений — ведь для последних вся единичная вероятность распределена
конечными положительными порциями. Для непрерывных же она как
бы «разлита» но области определения случайной величины (в данном
случае — по прямой).
Плотность вероятности. Нагляднее всего непрерывную случай-
случайную величину можно представить тогда, когда ее функция распределе-
распределения не только непрерывна, но и дифференцируема (за исключением,
может быть, конечного числа точек). В этом случае вероятности свя-
связанных с данной случайной величиной событий можно выразить через
посредство так называемой функции плотности вероятности. Есть
две эквивалентных формы определения плотности интегральная и диф-
дифференциальная. Определение плотности вероятности а интегральной
форме таково.
Определение. Функция p{t) называется плотностью вероятно-
вероятности в точке / (иногда — плотностью случайной величины £), если
для любых чисел а,Ь (пусть а < Ь)
гЬ
Р{а <£<Ь)= / р(х) (h.
Jи
В дифференциальной форме определения плотности данное усло-
условие заменяется на следующее: для любого Д > 0 и любого1 деистви-
1 Если говорить томно — любого, за исключением множества меры пуль Предыдущее
(интегральное) определение показывает, что функцнп плотности может быть произвольно
изменена на любом множестве нулевой меры, псе ранно удовлетвори определению.
27
тельного t
(
где о(Д) - малая (точнее, бесконечно малая) по сравнению с Д ве-
"Тамядное содержание второго из этих определений состоит в том.
что вероятность, приходящаяся на малый отрезок, оказывается прибли-
приблизительно пропорциональной длине этого отрезка, причем коэффициент
пропорциональности равен значению функции плотности вероятности
в некоторой точке этого отрезка.
Функция распределения и плотность связаны соотношениями:
F(x)= Г p(t)dt, p(x) = F'(x).
J—оо
(для почти всех х — с теми же оговорками, что были сделаны выше).
Как правило, для приложений достаточно двух вышеописанных ти-
типов распределений — дискретного и непрерывного, точнее, имеющего
плотность. Хотя можно встретиться с распределениями, представляю-
представляющими собой смесь двух этих типов, и даже с более сложными. В главе
2 мы подробнее познакомимся с некоторыми важными для приложений
законами вероятностей на числовой прямой.
Примеры. Покажем на примерах различные типы функций распределения
и их свойства. Пусть случайная величина £ может принимать только значения
О и 1 с вероятностями, соответственно, р и 1 - р (причем 0 ^ р ^ 1). В этом
случае функция распределения имеет вид:
{О, если х < 0;
Р, если (Kz<];
1, если х ^ 1.
График этой функции изображен на рис. 1.3.
Рассмотрим функцию распределения случайной величины более общего ви-
«ро„т„ос™, Пусть
n
' если /. < о-
P(t)= J6«(l-t). если 0</<i;
°> если / ^ 1.
. пр„стую „з вгамоЖ11ых
28
i
1 ■
p
w
W
0
^F(x)
W
1 X
Рис. 1.3 График функции распределения, сосредоточенного п лпух точках.
3A) <*I2)
к
1
0
Pi
«Wi, a(n)
Рис I 4 График функции дискретного распределения
(Легко пропернть. что и данном случае f'^p{i)dt = 1. /)(/) ^ П. так что функ-
функция /;(/) может быть плотностью случайной ие.тчнны) Функция распределения
в этом примере раина
Fix) =
0,
—
1.
г, Л ... 2
дли
для
для
.г
0
.г
I);
1.
График этой функции приведен па рис 1.5
В приведенных примерах можно заметить, что F(.r) — 0 при j- --
-оо и F{x) — 1. при т - • +оо . и что /г(.г) — неубывающая функция.
Это общие свойства всех функций распределения.
Если в точке х функция распределения у = F[x) имеет скачок, то
величина этого скачка равна вероятности, сосредоточенной в точке х.
т.е. вероятности события £ = х. Если же точка х — точка непрерывности
функции у = F{x). и более того, F[x) имеет производную в этой точке,
то график F{x) в точке х имеет касательную, тангенс угла наклона
которой равен плотности р(х) в этой точке.
29
о
Рис. 1.5. Пример непрерывной функции распределения
1.5. Числовые характеристики
распределения вероятностей
Числовые характеристики распределения вероятностей полезны
тем, что помогают составить наглядное представление об этом рас-
распределении. Наиболее часто употребляемыми характеристиками слу-
случайной величины (и соответствующего распределения вероятностей)
служат моменты и квантили. Ниже мы их определим, но надо сделать
оговорку: универсальные (пригодные для любых случайных величин)
определения этих характеристик требуют весьма сложного математи-
математического аппарата (они основаны на теории меры, интеграла Лебега-
Стилтьеса и т.д.), поэтому мы приводить их не будем. Вместо этого мы
дадим более простые определения для дискретных и для непрерывных
случайных величин.
Начнем с так называемого первого момента случайной величины £.
называемого также математическим ожиданием, или средним значе-
значением £. Его обозначают через М£ или
Определение. Для дискретной случайной величины £ со значе-
значениями жь х2,..., имеющих вероятности pi, р2,...
Если число возможных значений i конечно, то М(, всегда сушеству-
л" '.Г„сГС"Т °Т СП0С°6а "УМераЦИИ ЭТИХ 3™' В ™ случае
Г ГЛТ" 3"аЧС"ИЙ « СЧеТ"°' »«*"«имо. чтобы сумма
J ::гй •то есть'чтобы этот
30
Определение. Для непрерывной случайной величины £ с плот-
плотностью ])(х),
/•со
Л/£= / xp(x)dx,
J — со
причем интеграл должен сходиться абсолютно
Как говорилось выше, приведенные определения М£ не являются
исчерпывающими, поскольку пригодны не для всех видов случайных
величин. Общее определение математического ожидания выглядит
следующим образом.
где I\{j) — распределение вероятностей, порожденное случайной вет-
ветчиной £. Приведенные выше формулы для дискретного и непрерывного
распределений являются частными случаями этого выражения. Мы не
будем пользоваться общим определением, так как что потребует множе-
множества математических знаний (о том, что такое dP(r), в каком смысле
понимается интеграл и т.д.)
Заметим, что существуют распределения вероятностей без матема-
математического ожидания п с такими случайными величинами иногда прихо-
приходится сталкиваться на практике. Простой пример: пусть случайная вели-
величина £ принимает значения 1',2". •••,"",-•• с вероятностями 2""', 2 Jn
т.д. Тогда эта случайная величина не имеет математического ожидания
Свойства математического ожидания. Перечислим без доказа-
доказательства основные свойства математического ожидания
1 Математическое ожидание постоянной равно этой постоянной
2 Математическое ожидание суммы случайных величин равно сум-
сумме их математических ожиданий, т.е.
/1/7/.
3 Математическое ожичаиие произведения случайной величины
на константу равно произведению этой константы на математи-
математическое ожидание случайной величины, т е.
(другими словами, постоянный множитель можно выносить за
знак математического ожидания)
Полезно иметь ввиду следующее геометрическое толкование мате-
математического ожидания Пусть F{x) ■— функция распределения случай-
случайной величины £. Тогда Л/£ равно разности площадей, заключенных ме-
31
- = 1 и кривой у = F{x) в интервале @, +оо)
жду осью ординат, прямой у ^ ^ ординат в промежут-
и между осью абсцисс кривой ,, = FW *„ многИХ случайХ
Z&VZ^'££ почги без вычислений, используя
различные свойства функции распределения.
О X
Рнс. 1.6. Геометрическая интерпретация математического ожидания
Кроме среднего значения случайной величины, которое в опреде-
определенном смысле характеризует центр распределения вероятностей, пред-
представляет интерес и разброс случайной величины относительно этого
центра. Для характеристики (количественного описания) данного раз-
разброса в теории вероятностей используют второй центральный мо-
момент случайной величины. В русскоязычной литературе его называют
дисперсией и обычно обозначают через
Определение. Дисперсией D£ случайной величины £ называется
величина
D£ = МЦ - Л'/О2, или
Дисперсия, так же как и математическое ожидание, существует не
для всех случайных величин (не для всех распределений вероятностей).
Если необходимо, чтобы показатель разброса случайной величины
выражался в тех же единицах, что и значение этой случайной вели-
величины, т0 вместо щ испш|ьзуют величину ^щ я называстся
Clf™udpamillieCKlW от^нением, „ли стандартным отклонит-
величины £.
Свойства дисперсии. Из свойств дисперсии отметим следующие:
I- Дисперсия постоянной равна нулю.
32
2. Для любой неслучайной постоянной а
Моменты. Кроме первого и второго моментов, при описании слу-
случайных величин иногда используются и другие моменты: третий, че-
четвертый и т.д. Мы дадим их определения отдельно для дискретных и
для непрерывных случайных величин.
Определение. Для дискретной случайной величины £ со значе-
значениями .ть.г2 имеющих вероятности р,,7J k-ым моментом
Mik называется величина М£к = ^-гкр» а к-ым центральным
моментом называется величина £,(*, - A/£)V Для непрерывной
случайной величины с плотностью р{:г), к-ым моментом называется
величина j_!X}J''p{j')d.r, а к-ым центральным моментом называется
величина Л
Чтобы приведенные формулы имели смысл, требуется, чтобы суммы
и интегралы сходились абсолютно. Так же. как математическое ожида-
ожидание и дисперсия, моменты существуют не для всех случайных величин.
Асимметрия и эксцесс. В отличие от обычных моментов, ней-
нейтральные моменты не меняются при прибавлении к случайной величине
постоянного слагаемого, то есть они не зависят от выбора начала отсче-
отсчета в шкале измерения случайной величины. По от выбранной единицы
измерения зависимость остается' если, скажем, случайную величину
начать измерять не в метрах, а в сантиметрах, то значения центральных
моментов также изменятся Иногда это бывает неудобно. В таких
случаях, чтобы устранить подобное влияние, моменты тем или иным
способом нормируют, например, деля их на соответствующую степень
среднего квадратического отклонения В результате получается без-
безразмерная величина, не зависящая от выбора начала отсчета и единиц
измерения исходной случайной величины
Чаще всего из нормированных моментов используются асимметрия
и эксцесс — соответственно третий и четвертым нормированные цен-
центральные моменты. Для случайной величины £
асимметрия =
—. чкеиесс
Принято считать, что асимметрия и какои-го степени характеризует несим-
несимметричность paciipe.'ic.'ieiiiui случ.чшюи величины, а эксцесс — степень iu.i|><i#kcii-
ипстн «хвостов* распределения, т с частоту появлении удаленных от среднего
значений Иногда .ш.ткчти асимметрии и -.кснесса используют дли проверки
гипотезы о том. что паГ),1юдеппыс данные (выПорка) мриплдлежат жданному
семейству распределении, например нормальному (см. и. 2 1) 1лк. -ии люоого
нормального распределении асимметрия раина нулю, а -женесс — трем.
величину хр часто называется р-квантилыо или квантилыо уровня
р распределений F(x). Среди квантилей чаще всего используются
медиана и квартили распределения.
Медианой называется квантиль, соответствующая значению р =
0 5 Верхней квартилью называется квантиль, соответствующая зна-
значению р = 0-75. Нижней квартилью называется квантиль, соответ-
соответствующая значению р = 0.25.
В описательной статистике (см. ниже) нередко используют деци-
ли, т.е. квантили уровней 0.1,0.2,... ,0.9. Знание децилей позволяет
неплохо представлять поведение графика у = F(x) в целом.
Отметим, что уравнение F(x) = р, определяющее р-квантили, для
некоторых значений р, 0 < р < 1, может не иметь решений либо иметь
неединственное решение. Для соответствующей случайной величины
£ это означает, что некоторые р-квантили не существуют, а некоторые
определены неоднозначно.
1.6. Независимые и зависимые
случайные величины
Внедем очень важное понятие независимости случайных величин.
Это понятие не менее важно, чем понятие независимости событий, и
тесно с ним связано. Говоря описательно, случайные величины £ и //
независимы, если независимы любые два события, которые выражаются
по отдельности через £ и 7/.
Для случайных величин, принимающих вещественные значения мы
можем дать следующее определение.
Определение. Случайные величины £ и „ независимы, если
- »■ < - < "■>■
34
им пользоваться приходится редко. Дело в том, что независимость
случайных величин обеспечивается скорее схемой постановки опытов,
нежели проверкой математических соотношений. В этом вновь прогля-
проглядывает аналогия с независимостью событий.
Для независимых случайных величин можно пополнить список
свойств математического ожидания и дисперсии:
= Л/£ Л/7/.
г,) =
если случайные величины £ и 77 независимы и указанные моменты
существуют.
Ковариация. Для зависимых случайных величин часто желательно
знать степень их зависимости, связи друг с другом. Таких характе-
характеристик можно придумать много, но наиболее употребительны из них
кивариация и корреляция.
Определение. Ковариацией cov(£, 7/) случайных величин £ и ;/
называют
если указанное математическое ожидание существует.
Легко видеть, что верна и другая формула-
Поэтому для независимых случайных величин коварпация раты пулю.
Обратное, естественно, неверно: равенство нулю ковариапин не озна-
означает независимости случайных величин (придумайте пример!). Кроме
того, ковариация вообще может не существовать (так же как и матема-
математические ожиаапия) Так что обращение в нуль коварнании признаков
не является достаточным для их независимости, а только необходимым
(и то лишь если ковариация существует).
Из других свойств ковариаиии отметим, что
со\(Л£ + a. /iz/ Ч b) = A13со\'{(., //),
если А. В, (I, I) — постоянные (неслучайные) величины.
Корреляция. Использование коварнацни в качестве меры связи
случайных переменных неудобно, так как величина ковариаиии зави-
зависит от единиц измерения, в которых изморены случайные величины.
При переходе к другим единицам измерения (например, от метров к
сантиметрам) ковариация тоже изменяется, хотя степень связи случай-
случайных переменных, естественно, остается прежней. Поэтому в качестве
2* 35
связи признаков обычно использую, другу» число.»» величину.
ффициентом корреляции-
и г] (обозначение
Заметим, что для суЩествования"коэффициента корреляции необхо-
необходимо (и достаточно) существование дисперсии D£ > 0, Цц > и.
Отметим следующие свойства коэффициента корреляции:
1 Модуль коэффициента корреляции не меняется при линейных
преобразованиях случайных переменных: | р (£, ту) | - | р U .»/ Л-
Где €i = ftl + Ы, 7/' = ft2 + М, о!, 6i, 02, Ь2 - произвольные
числа.
2. |р(£,7/I $ 1 ..
3- \p[S,rj) I = 1 тогда и только тогда- когла случайные величины ^
и г) линейно связаны, т.е. существуют такие числа о, ft, что
4. Если £ и 7/ статистически независимы, то р (£,?/) = 0. Уже
отмечалось, что обратное заключение, вообще говоря, неверно.
Об этом мы еще будем говорить.
Свойства 1 и 4 проверяются непосредственно. Докажем снойстна 2 и Л (при
желании читатель может эти доказательства пропустить)- Пусть / — перемен-
переменная величина в смысле математического анализа. Рассмотрим дисперсию слу-
случайной величины D[i]-t£) как функцию переменной /. По снойстнам дисперсии
Щ71~Ю = t2D£-2( cov(£, r/) + Dtj, т.е. она представляется кналратным трех-
трехчленом от t. Этот квадратный трехчлен неотрицателен, поскольку дисперсия
всегда неотрицательна. Поэтому его дискриминант (n>v(£,r/)]2 - /J£ /);/ ^ 0. л
это и означает, что Ы£,т/)| ^ 1 (свойство 2).
Для доказательства свойства 3 заметим, что при |р(£.7/)| = 1 дискрими-
дискриминант приведенного выше квадратного трехчлена обращается в 0 а поэтому при
некотором /0 значение D(ij- /„О равно нулю. Равенство нулю дисперсии ознл-
чает. что эта случайная величина постоянна, т.е. для некоторого г вероятность
' \Я - 'о^ = с) равна единице, что и требовалось доказать
Итак, корреляция случайных неличин принимает значения от -1 -ю
1 и может быть равна ±1, только если эти величины линейно зависят
Друг от друга. Значения корреляции, близкие к -1 или 1. указывают, что
3G
1.7. Случайный выбор
Значительная часть статистики связана с описанием больших со-
совокупностей объектов. Если интересующая нас совокупность слишком
многочисленна, либо ее элементы малодоступны, либо имеются другие
причины, не позволяющие изучать сразу все ее элементы, прибегают к
изучению какой-то части этой совокупности. Эта выбранная для полного
исследования группа элементов называется выборкой или выборочной
совокупностью, а все множество изучаемых элементов — генеральной
совокупностью. Естественно стремиться сделать пыборку так, чтобы
она наилучшим образом представляла всю генеральную совокупность,
то есть была бы. как говорят, репрезентативной. Как этого добиться?
Если генеральная совокупность нам мало известна или совсем неизвест-
неизвестна, не удается предложить ничего лучшего, чем чисто случайный выбор.
Дадим его определение, начав со случайного выбора одного объекта.
Определение. Выбор одного объекта называют чисто случай-
случайным, если все объекты имеют равные вероятности оказаться вы-
выбранными.
Если речь идет о выборе одного объекта из N. это означает, что гпи
каждого элемента вероятность выбора раина 1/Л'
Определение. Выбор п объектов из Л' называют чисто случай-
случайным, если все наборы из и объектов имеют одинаконые вероятно-
вероятности быть выбранными
Чисто случайный выбор п объектов (иногда говорят — случайную
выборку объема и можно получить, извлекая \\.\ генеральной совокуп-
совокупности по одному объекту последовательно и чисто случайно.
Нарушение иришишпн случайного выбора норой нршшлнло к серьезным
ошибкам Стал знаменитым сноси неудачен опрос, пропиленный американским
журналом ©Литературное обозрение--' отпоенте.п.пп исхода npi-зичептских »ы-
Гюрон н ('ЛИЛ и 1030 i«i;iy
Кандидатами на -гпи выборах были Ф Л Рузвельт и Л М Ллпдоп В качестне
генеральной сонокунностм редакция журнала нсиолионала телефонные книги
Отобран случайно А миллиона алресон. они разослала по неси стране открытки с
вопросом об отношении к кандидатам и пре шдепты Затрат» большую сумму па
рассылку и обработку открыток, журнал ибъяинл. что па предстоящих шпорах
ире.шлептом США с большим перевесом булет избран Ландон Результат
ныбороп оказался противоположным mdmv прогнозу
i.icci» были соисршены сразу дне ошибки — но-гк-рных. телефонные книги
сами но себе дают не репрезептатниную ныборку н.1 населения страны, чоти
бы потому, что абинепты — н основном зажиточные сланы семенстн 15о-
пторых, прислали отпеты не пес. а люди, не только достаточно умеренные и
своем мнении, по и ирпныкшне отвечать па письма, т.с и значительном части
которые и поддерживали Ландона. Если бы
к своей работе, она поняла бы. что методика
что описанному, когда выборка представляет не
ч а лишь какой-то ее слой, какую-то ее часть,
„сю генеральную ^'""^ ™2cL - олин из основных «сто ко„
ошибок при использовании выборочного метода.
Однако для тех же самых президентских выборов социологи Дж.1 эллап и
Э Роупер правильно предсказали победу Рузвельта, основываясь только .и. 4
тысячах анкет. Причиной этого успеха, прославившего его авторов, было не
только правильное составление выборки. Они учли, что общество раснадает-
ся на социальные группы, которые более однородны, в том числе но споим
политическим взглядам. Поэтому выборка из слоя может быть относительно
малочисленной с тем же результатом точности. Имея результаты обследования
по слоям, можно характеризовать общество и целом. Сейчас такая методика
является общепринятой.
Мы не станем обсуждать, как следует организовывать случайный
выбор на практике, если генеральная совокупность — это реальные
объекты. Но отметим, что при этом возникают свои проблемы и,
соответственно, средства их разрешения. Подробно с этим кругом
вопросов можно познакомиться в DJ).
1.8. Выборки и их описание
1.8.1. Что такое выборка
В предыдущем параграфе мы использовали слово «выборка» для опи-
описания результата случайного выбора нескольких объектов из некотором
заданной генеральной совокупности. В этом смысле слово «выборка*
используется, когда мы говорим «социологический опрос произведен на
выборке из 2000 человек (респондентов).. По в математической лите-
литературе слово .выборка, гораздо чаще используется в другом смысле
Дадим его определение. "
Далее в этой книге"8О31И"ИЯ и" "°" зиачс.ин оно будет встречаться
«т0™™sscг Hz™-="™™"---° слу"й|'"'-ш (ю|1ом
38
нее не являются независимыми, поскольку каждое изъятие элемента из сово-
совокупности изменяет эту совокупность. Конечно, для обширных совокупностей
извлечение одного или нескольких элементов мало изменяет вероятности вы-
выбора, но все же опм не остаются постоянными в процессе выбора. В связи с
этим иногда говорят о бесконечных генеральных совокупностях (популяциях)
и о случайном выборе из них. Это образное выражение может сделать более
наглядным представление о независимых случайных величинах.
1.8.2. Выборочные характеристики
Перечисленные и параграфе 1.4 характеристики случайной величи-
величины существенно опираются на знание закона се распределения F{x).
Для практических задач такое знание — редкость. Здесь закон рас-
распределения оо1,|Ч1Ю неизвестен, в лучшем случае он известен с точно-
точностью до некоторых неизвестных параметров. Как же тогда получить
сведения о распределении случайной величины п его характеристиках?
Это становится возможным, когда имеются независимые многократные
повторения опыта, в котором мы измеряем значения интересующей пас
случайной величины
Предположим, что наблюдения над случайной величиной £ можно
повторять независимо и в неизменных условиях, получая ее независи-
независимые реализации .г,../о.. ..г„ Тогда s\ ..rj. г„ будут независимыми
одинаково распределенными случайными величинами, то есть выбор-
выборкой Зная величины .i\..r> г„. мы можем построить приблизитель-
приблизительные значения для функции распределения и других характеристик слу-
случайной величины £. ?>то и позволяет нам изучать свойства случайных
величин, не зная их законов распределения.
Замечание. Мы ужо встречались с и;юен (им.чвиснмых повторении случай-
случайного шиита в нетменны.ч условиях, копа обсуждали намерении вероятностен
событии Возвращение к »тпн ичее не удивительно, поскольку :ын описании
распределения случайной величины £ мы k.ik pd.i и должны уметь укалывать
вероятности всех событий, выражаемых через £
Расскажем о том, как нп имеющейся ныгтрке можно получить
приближенные значения для характеристик случайных величин I (ачпем
с функции распределения случаппоп величины
Эмпирическая функции распределения.
Определение. Выморочной (эмпирической) функцией распреде-
распределения случайной величины £. построенной по выборке г^.г-* ''„.
называется функция 7-»(-г). равная доле таких значений .г,, что
-Г, ^ .Г. 1 — 1, ... .71.
ЗУ
Иначе гсворя. «.(*) есть частота события * < * в ряду
" Для' построения выборочной функции распределения удобно от вы-
для поен й к вариационному ряду .ТA),---.-г(..)-
х^д
нумерованную в порядке возрастания.
Так sm обозначает наименьшее из чисел *,,...,*„. *B) наи-
п. и
бается постоянной до значения ад. и т.д. Таким образом, выбороч-
выборочная функция распределения является ступенчатой с точками скачков
1A),...,г(п), причем величина каждого скачка равна 1/и (рис. \.п.
i
1 •
-►
X/^i ^2)
i ^
-1) Х(П) X
Pmc. 1.7. Обишй вид эмпирической функции распрелеленни
Видно, что график эмпирической функции распределения напоми-
напоминает график дискретного распределения вероятностен. Это не слу-
случайно: эмпирическую функцию выборки х\ с„ можно рассматри-
рассматривать как функцию распределения вероятностей, где каждому значению
xit i = 1,...,7г. приписана вероятность 1/п. Иногда поэтому вместо
эмпирической (или выборочной) функции распределения употребляют
название «функция распределения выборки».
Связь между эмпирической функцией распределения и функцией
распределения (иногда, чтобы подчеркнуть разннцу, говорят о теорети-
теоретической функции распределения, что не вполне правильно, ибо никакой
теории здесь нет) основана на уже упомянутой теореме Бсрнуллн Она
такая же, как связь между частотой событии и его вероятностью. Дл»,
любого числа х значение Fn[x) представляет собой частоту события
it ^h ряду из 77 независимых повторений. Поэтому Fn(x) - F(.r)
что выборочная функция распределения с ростом
п равномерно по х аппроксимирует теоретическую
40
функцию распределения F(x) случайной величины £, т.е. величина
supx \F7l(x) - F(x)\ стремится к нулю при п-»оос вероятностью 1.
Выборочные характеристики. На указанном выше свойстве вы-
выборочной функции распределения основаны многие методы математиче-
математической статистики. Замена функции распределения F(x) на ее выбороч-
выборочный аналог FT1(x) в определении математического ожидания, дисперсии,
медианы и т.п. приводят к выборочному среднему, выборочной диспе-
дисперсии, выборочной медиане и т.д. Покажем, как действует это правило
и чему равны соответствующие выборочные характеристики.
В случае математического ожидания, используя в качестве функции
распределения случайной величины £ выборочную функцию F,,(.t) мы
подразумеваем, что некая случайная величина может принять значения
Х(!),... ,:!■(„), каждое с вероятностью 1/7». Воспользовавшись формулой
для определения математического ожидания для дискретной случайной
величины приходим к следующему определению.
Средним значением выборки (выборочным средним), или вы-
выборочным аналогом математического ожидания, называется вели-
величина
1
Аналогично.
Дисперсией выборки (выборочной дисперсией), или выбороч-
выборочным аналогом дисперсии, называется величина
1
Однако в статистике чаше в качестве выборочном дисперсии ис-
используют
я" = г 2_>. - •')
71 — 1 С—'
i = 1
поскольку математические ожидание величины «2 равно дисперсии £.
т.е. Ms2' = 1)£.
Выборочной квантилью называется решение уравнения
В частности, выборочная меОиана есть решение уравнения
41
_ ri (~\ — о 5 гшн четном 7i = 2 A-
Замечание. Решение Yj"™^™*^ 1<аждОго х из промежутка
определено не ^™%™™™£ условились определить выбором-
* ""I? ик 3a±3S±H При нечетном n = 2fc + 1 решение уравнения
б функция распределении при-
при„I? ик 3a±3 При н
Т(х) = С> 5не существует, так как выборочная функция распределении при-
принимает только значения из множества {^, г = 0,1... ■ ,2fe + l) • В связи
с этим выборочную медиану определяют как х{,-+1). ибо в этой точке /.„(*)
пеоеТодит через 1/2. Выборочная медиана разбивает выборку пополам: слева и
справа от нееРОказывается одинаковое число^ементов выборки. Заметим, что
при больших значениях п: Fn {x{k+i)) = 2fc+i ~* г"
Важным свойством выборочных характеристик является то, что все
они сходятся к соответствующим теоретическим характеристикам при
растущих объемах выборки п. Характер этой сходимости будет рассмо-
рассмотрен в главах 4 и 5, когда речь пойдет о законе больших чисел и о по-
построении статистических оценок различных параметров распределения.
Выборочные ковариация и корреляция. Если в каждом наблюде-
наблюдении мы регистрируем значения не одной, а двух (или нескольких) слу-
случайных величин одновременно, мы получаем в результате двумерную
(или многомерную) выборку. Для таких выборок тоже можно говорить
о числовых характеристиках, например, о ковариации или корреляции
компонент этой выборки.
Коэффициентом корреляции двумерной выборки (.Г|, у{)
(ж„, Ун), или выборочным коэффициентом корреляции называют ие-
личину
r=
(Иногда ее называют коэффициентом корреляции К.Пирсопа.) Анало-
Аналогично определяется выборочная ковариация она равна -1
ЩУ-у) "
1.8.3. Ранги и ранжирование
»ниых требует особоГо то Р°"'С "* **"** " TJL
"'«»'
42
для них не выполняются. Твердую основу для выводов здесь дают только
соотношения между наблюдениями типа «больше-меньше», так как они
не меняются при изменении шкалы измерений. Например, при анализе
анкет с данными о симпатиях избирателей к политическим деятелям
мы можем сказать, что политик, получивший больший балл в анкете,
более симпатичен отвечавшему на вопросы человеку (респонденту), чем
политик, получивший меньший балл. Но па сколько (или во сколько
раз) он более симпатичен, сказать нельзя, так как для предпочтений
нет объективной единицы измерения.
В подобных случаях (которые мы будем более подробно рассматри-
рассматривать в последующих главах), имеет смысл вообще отказаться от анализа
конкретных значений данных, а исследовать только информацию об из
взаимной упорядоченности. Для этого от исходных числовых данных
осуществляют переход к их рангам.
Определение. Рангом наблюдения называют тот номер, кото-
который получит это наблюдение в упорядоченной совокупности всех
данных — после их упорядочения по определенному правилу (напри-
(например, от меньших значений к Сюгыиим или наоборот).
Чаше всего упорядочение чисел (набор которых составляют упомя-
упомянутые выше данные) производят по величине — от меньших к большим.
Именно такое упорядочение и снизанное с ним ранжирование (присво-
(присвоение рингов) мы будем иметь а ииду » дальнейшем
Пример. Пусть выборка состоит из чисел ('.. 17. 11. "». \'2 Тогда рангом
числа С) пкашиаотсн . р;пном 17 Г>у;к1т Г> и т.д.
Определение. Процедура перехода от совокупности наблюде-
наблюдений к пис хедовательносгпи их рангов называется ранжированием.
Результат ранжирования называется ранжировкой
Статистические метолы. в которых мы делаем выводы о данных на
основании их рангов, называются ранговыми Они получили широкие
распространение, так к.чк надежно работают при очень слабых пречпо-
ложениих об ИСХО1НЫХ данных (не требуя, например, чтобы ->ти данные
имели какой-либо конкретный чакон распределения) В последующих
главах :^той киши мы рассмотрим применение ранговых методов п наи-
наиболее распространенных практических задачах.
Средние ранги. Трудности и назначении рангов возникают, если
среди элементов выборки встречаются сонначающие. ( 1ак часто оын<и?т.
когда данные регистрируются с округлением.) 13 *том случае обыкни-
пеино использую г средние ранги.
ие ранги
вводятся так. Предположим, что наблюдение
хг
наблюдении. у ^ количество таких одинаковых наблюдении
в данноГсвязке называют ее размером.) Средний ранг * в ранжировке
наблюдений *,...,*. есть среднее арифметическое тех рангов, которые
были бы назначены *,- и всем остальным элементам связки, если бы
одинаковые наблюдения оказались различны.
В качестве примера рассмотрим выборку б, 17, 12, б, 12. Ее ранжи-
ранжировка равна 1|, 5, 3|, 1$. %■
1.8.4. Методы описательной статистики
В практических задачах мы обычно имеем совокупность наблюде-
наблюдений xi,x2,..-,xn, на основе которых требуется сделать те или иные
выводы. Часто этих наблюдений много — несколько десятков, сотен
или тысяч, так что возникает задача компактного описания имеющихся
наблюдений. В идеале таким описанием могло бы быть утверждение,
что £i,ar2,. • • ,£„ являются выборкой, то есть независимыми реализаци-
реализациями случайной величины £ с известным законом распределения F{.r).
Это позволило бы теоретически провести расчеты всех необходимых
исследователю характеристик наблюдаемого явления.
Однако далеко не всегда мы можем утверждать, что т\,х-> гГ|
являются независимыми и одинаково распределенными случайными ве-
величинами. Во-первых, это не так-то просто проверить (для подтвер-
подтверждения этого требуются значительные объемы наблюдений и специ-
специальные, порой многочисленные, тесты). А во-вторых, часто заведомо
известно, что это не так. Поэтому для компактного описания совокуп-
совокупности наблюдений Xl,x3,...,*„ используют другие методы - методы
описательной статистики.
Ме""")ам" ™«**елы,ой статистики принято
TuZTnnT °'ШСатЯ Шб01ЮК Т"* г" с «™°
личных показателей и графиков.
шчений оЫ6о,ж„ " "аС °Т "P0CM0T"a со™'- а порой и тысяч.
Показатели описательной статистики О,,
показатели „ожпо разбить ,„ „сско.,~„„ °1111СЫМ10Щ™ °ыб'ку
1 Показатели положения описывают положение данных на чи-
числовой оси. Примеры таких показателей — минимальный и
максимальный элементы выборки (первый и последний член ва-
вариационного ряда), верхний и нижний квартили (они ограни-
ограничивают зону, и которую попадают 50% центральных элементов
выборки). Наконец, сведения о середине совокупности могут
дать выборочное среднее значение, выборочная медиана и дру-
другие аналогичные характеристик
2 Показатели разброса описывают степень разброса данных от-
относительно своего центра. К ним в первую очередь относятся:
дисперсия выборки, стандартное отклонение, размах выборки
(разность между максимальным и минимальным элементами),
межквартнльный размах (разность между верхней и нижней
квартнлыо), коэффициент эксцесса и т п. По сути дела, эти
показатели говорят, насколько кучно основная масса данных
группируется около центра
3 Показатели асимметрии. Третья группа показателей отвеча-
отвечает па вопрос о симметрии распределения данных около своего
центра. К пей можно отнести, коэффициент асимметрии, поло-
положение выборочной медианы относительни выборочного среднего
и относительно выборочных квартилей, гистограмму " т.д.
■1 Показатели, описывающие закон распределения Наконец,
четвертая группа показателей описательной статистики дает
представление собственно о законе рлсиречеленпя данных Сю-
Сюда относятся графики гистограммы и эмпирической функции
распределения, таблицы частот
Применение показателей описательной статистики. Из пере-
перечисленных выше характеристик па практике по традиции чаше исего
используются выборочное среднее, медиана и дисперсия (или стандарт-
стандартное отклонение) Однако для получения более точных и достоверных
выводов мы настоятельно рекомендуем внимательно изучать п чругне
из перечисленных выше характеристик, а так же ибрашать внимание па
условия получения выборочных совокупностей
Особое внимание следует обратить на наличие в выборке выбро-
выбросов — грубых (ошибочных), сильно отличающихся от основной мас-
массы, наблюдении Дело в том. что даже одно или несколько груоых
наблюдении способны сильно исказить такие выбирочные характери-
характеристики, как среднее, дисперсия, стандартное отклонение, коэффишк-пты
асимметрии и эксцесса Проще всего обнаружить такие наблюдении с
помощью перехоли от выборки к i-e вариационному ряду пли гистограм-
гистограммы с достаточно большим числом интервалов группировки (см. ниже)
Подозрение о присутствии таких наблюдений может возникнуть, если
выборов я Мед1а заметно отличается от выборочного среднего, хотя
в целом совокупность симметрична; если положение медианы сильно
несимметрично относительно минимального и максимального элемен-
элементов выборки, и т.д.
Замечание. Наличие выбросов, то есть грубых (ошибочных) наблюде-
■ нин может не только сильно исказить значения выборочных показателен ~
выборочного среднего, дисперсии, стандартного отклонения и т.д.. — но и при-
привести к многим другим ошибочным выводам. Дело в том. что большинство
традиционных статистических методов весьма чувствительно к отклонениям от
условии применимости метода. К сожалению, интенсивно развивающиеся в
последние два десятилетня статистические методы, устойчивые к ныбросам и
другим отклонениям, еще не получили широкого распространения на практике,
за исключением ранговых процедур для наиболее стандартных задач. Отчасти
причиной здесь является значительная вычислительная сложность этих мето-
методов, из-за чего их применение невозможно без использования специальных
компьютерных программ.
1.8.5. Наглядные методы
описательной статистики
Рассмотренные выше вопросы и понятия дают первое представление
о теоретических и выборочных характеристиках случайных величин. С
различной степенью подробности и строгости этот материал изложен по
многих учебниках по теории вероятностен и математической статисти-
статистике, выбор которых должен определяться направленностью интересов и
уровнем математической подготовки читателя.
Группировки. Нередко (для облегчения регистрации или при не-
невысокой точности измерений) данные группируют, т.е. числовую ось
разбивают на промежутки и для каждого промежутка указывают число
а в качестве выборочной дисперсии .s2
40
Приведем ниже еще несколько полезных приемов описательной
статистики для работы с выборкой. В качестве примера рассмотрим
данные из таблицы 1.1, в которой приведены результаты измерения
диаметров 200 головок заклепок. Здесь случайная величина — диаметр
изготовляемой заклепки, приведенные 200 значений — ее независимые
реализации.
Точечная диаграмма. Данные, собранные в таблицу, трудно обо-
обозреть. Они нуждаются в наглядном представлении. Одной из форм тако-
такого наглядного представления служит точечная диаграмма: табличные
данные отмечаются точками на числовой шкале Если некоторое число
встречается в таблице несколько раз, его представляют соответствую-
соответствующим количеством точек. Точечная диаграмма для данных таблицы 1.1
приведена на рис. 1.8.
14
* 12
о
Sw
5
16
s
4
Н 1 1 1 1 1 1 1 1 1 1 1 1 (-
13.10 13.20 13.30 13.40 13.50 13.60 13.70
Рис. I 8 Гочечнли лиягр<!мма Расприделен ik
лиамел рои '.JUi ro.mooh j<ik.'iciiok. пырлжсинмх м мм
Эта диаграмма удобна в том случае, копа огшо и то же значение
случайной величины повторяется в выборке несколько р<кч В противном
случае точечная диаграмма сводится к последовательности точек на оси
абсцисс. Во всех случаях точечная диаграмма помогает построить
график выборочной функции распределения
Гистограмма. Более наглядное описание данных достигается путем
группировки наблюдении в классы Пол группировкой, пли классифика-
классификацией, мы будем понимать некоторое разбиение интервала, содержащего
все // наблюденных результатов .г{ г„ на ш интервалов, которые
будем называть интервалами группировки. Длины шпервллои обо-
.чначим через Д, А,,,, а середины интервалов группировки — через
47
. . гм интервал группировки равно
Число наблюденаJ^o" x ^равенству
кояичс
ству ж(,
, _ „.;„ которая означает частоту попаяа-
Определим величину Л,-'Ъ/'г.^овки д»я ТОго. чтобы из-
7Л:;ТГ1 Группировки „а ,, —с,
^
р„суш<" является число заклепок в каждом интервале группировки.
1110 1320 1330 1340 13» 13М U ТО
Рис. 1.9. Гистограмма. Длима интервала
группировки равна 0.01 мм
-О:
J
ittb._
13H 1ЭМ 1330 1340 1ЭЫ> 1300 13 ТО
Рис I I0. Гистограмма Длина интервала
группировки равна U.O.'J мм
со
40
30
20
10
0
13 ID 1330
13 30 13 40
1350
13 СО 13 ТО
120'
100
8 ео
1 М
* го
13 10 13 20 13 30 13 40 13 SO 13 СО 13 ТО
Рис. I И. Гистограмма. Длина интервала Рис. I 12. Гистограмма Длина интернл.ча
группировки равна 0.07 мм группировки раина 0.11 мм
Отметим, что согласно определению площадь каждого столбца ги-
гистограммы равна (точнее, пропорциональна) частоте попадания наблю-
наблюдений в данный интервал группировки.
Ясно, что величина интервала группировки существенно влияет на
общин вид гистограммы. Если длина интервала группировки мала, то
48
влияние случайных колебаний начинает преобладать, так как каждый
интервал содержит при этом лишь небольшое число наблюдений. Этот
эффект хорошо виден па рис. 1.9. На рис. 1.10—1.12 приведены
гистограммы выборки при длине интервала группировки, равной 0.03,
0.07 и 0.11 мм соответственно. Из приведенных рисунков видно, что
чем больше величина интервала группировки, тем более скрадываются
характерные черты распределения.
Если группированное распределение должно являться основой для
последующих вычислений, то, как правило, все интервалы группировки
должны быть небольшими и иметь одну и ту же длину.
Пример. О пользе наглядных приемов описательной статистики красно-
красноречиво гонорит следующий пример, относящийся еше к началу нашего пека.
Мы изложим его. следуя Р.Фишеру (одному из создателей современной мате-
математической статистики).
.. Иоханес Шмидт из Кар.чсберговской лаборатории в Копенгагене был
не только ихтиологом, но и неутомимым биостатистиком Он развивал идею,
что рыбы одного пила распадаются на относительно изолированные сообще-
сообщества. Между чти ми группами ип находил статистические различия по числу
позвонков или лучен плавников. Для доказательства этого он строил гистограм-
гистограммы распределений числа позвонков (лучей плавников) для каждой ил групп и
сравнивал их между собой. Причиной различий сообществ рыб служит то. что
эти сообщества не смешиваются при размножении каждая группа мечет икру
в своем месте. Часто такие различия были заметны даже меж чу стаями рыб
одного вида, обитавшими в одном фьорде.
Однако для угрей Шмидт не смог найти никаких статистических различий
между выборками, выловленными чаже в очень далеких друг от друга местах —
будь то различные части Квроиейского материка, Азорские острона. Пил или
Исландия. Шмидт решил, что угри всех различных речных систем составляют
одно сообщество, а значит, они должны иметь обшее место размножения
Через некоторое время что предположение иидтиертн.'юсьв ходе экспедиции
исс.к'човательекого судна «Лиана- Одним из главных yciu-xou ->того плавания
была поимка личинок угря и некотором ограниченном районе Западной Атланти-
Атлантики — Саргассовом море Выяснилось, что псе угри, независимо от cm к-го «места
жительства», отправляются выводим, потомство только в Саргассово море.
1.9. Методы описательной статистики
в пакетах STADIA и STATGRAPHICS
1.9.1. Пакет STADIA
В пакете STADIA довольно полно представлены методы описатель-
описательной статистики, все они собраны воедино н разделе пакета «Параме-
«Параметрические тесты» меню Статистические методы (смотри описание структуры
пакета в приложении 2). Проиллюстрируем их работу на рассмотренных
•19
примера, При этом
- -«-Л».
процедур.
Пример 1.1к. Для выборки диаметров головок заклепок (табл. 1.1)
вычислим среднее значение, медиану, дисперсию, нижнюю и верхнюю
квартили, а также минимальный и максимальный элементы.
Подготовка данных. Находясь в электронной таблице пакета,
следует либо ввести данные таблицы 1.1с клавиатуры, либо загрузить
их из уже созданного файла. Пусть данные таблицы 1.1 находятся
в текстовом (ASCII) файле D1AMZ.TXT в виде столбца с именем d. Дли
загрузки файла данных в пакет STADIA в пункте меню Файл выберите
подпункт Ввести, как это показано на рис. 1.13.
Q " STADIA 6.0/dcmo ~~ Вб1
Графнк=Р6 Вычнся=Р7 Прсо6р=ГВ Статнст=Р9 Окна Понощь=Р1
Фанп
Ввести.,
Сохранить F4
Очистить F5
Печать
Пршпер
F2
Выход F10
Рис. 1.13. Пакет STADIA. Вызов процедуры загрузки флпла ланнмх
В открывающемся прн этом диалоговом окне Чтение файла (рис. 1 1-1)
укажите необходимый тип файла данных, каталог и имя файла. Для
выбора файла достаточно подвести указатель мыши к имени файла и
дважды нажать левую кнопку мыши.
Результаты ввода (загрузки) данных в электронную таблицу прсч-
ставлены на рис. 1.16.
Выбор процедуры. После выбора пункта меню Статист и in нажа-
нажатия клавиши © (см. рис. 1.13) программа выведет па экран м,„ю
Статистические методы (рис. 117).
С помощью миши выберите в меню пункт 1 = Описательная статисто
(рис 1.15). В
. На
50
1-
D cx2
k diamz
Чтение файла
Тип файлов:
:| Текстовые (".Ы)
Текущий файл
| c:\siudia\dat
Cisg
-Cbslgn
-Qspluswln
CdsIb
i
Ostadlnl
Odcmo
-DsledlBwo
-Gslal
a
=" Анализ перенепных
Переменные Для анализа |
Все
X Отменить)
Выберите переменные
для анализа н нажмнтс <Enter>
Рис I 14 Пакет STADIA
Окно чтения флн.ча ланиых
Рис I !Г) Пакет STADIA Окно
ниОора переменных для .шплиза
|Н
Фонл Грпфик-ГБ
STADIA 6.0/basc
иычнсл-Г7 ПреоБ(>-Г0 Cioihci Г 9 Окне Понощь=П
^1 I Zl
Таблица данных: diamz.M
■••к
,■:- >.
s^
9
, 10.
13-39
13 <,■
J3 30
!3 S3
!3 Si
13 30
13 40
!Э 4
I Л ?Р
13 О
13 4
13 S3
етт
Рис I l(i ll.iKi-т STADIA ^-юктрошым таблица г мгруженнынн л.iиными
системы Выдать дополнительную статистику В отпет па j.'inpoc можно на-
нажать []\а] (или [y.'sj). и тогла программа нынелег остальные описатель-
описательные статистики (рис I IS) Заметим, что но нстроенпом справочнике
программы имеются определения и снеденпя и назначениях исеч "пих
описательных статистик. Jlfln «ынола данной информации па экран
следует нажать [м).
51
Н^щр^нсти<чсс»!е_гесты
■Р=ШНП/П~РЙП*СН*{Я
•п5Пр7н^пльдр?И1МГПНЯтив -
Регрессионный анопнз
; fcrCpjiOHCHHc 2-х регрессий
L-Простая рсгрсссия/трсни-
. М=МнржсстРЕ~ннву линейная
I, ^Пошаговая_регрессия
I 0%0£шая/нслннснНРя модель^
Многонсриыс нетопы
< Н=Фвкт6рнын
*isKf?TCTv/wu'<a
\!=ГпгЯ«ЩГ. ЧПСТРТ =""
W=riDchciioBOTcnbHbiH анализ
Кпнтроль качество
Анализ вренеиных рядов
Сгл"вжнваннс/сЬнльтрвцня
=AR|Mft-HQflenH
<Ебс>=Отнсиить
=срупье-иопепн
Рнс. 1.17. Пакет STADIA. Меню статистических мсточон
[Р STADIA 6.0/basc
Файл Графнк=РС Ru4Hcn=F7 npeo6p=F0 Ctbihct=F9 Окна Понощь-FI
ОПНСЛТЕПЬНЛЯ СТАТИСТИКА 9вйл dien: ixt
Переиетюя Размер < Инапаэон ) Среянее ОинЬка Пнспскс Ст
d 200 13 13 U 56 !3 <. 0 00950b^ 0 010076 0 13-S-SS
Нсрепошая Кслиапа
d 13 41
<—Kixip-nrim—> ПопНпт*;^ t -ПооНптЛнсп > Oa CtOtvb
13 3< 13 S 0 010<99 0 017239 l* o? 0 030092
Псренеппая Асмпкетр Зиоччн Эксиссс
d 2 9764 0 21 00
Значим
0
в статист i4KKiotm.-iim
Рис. 1 15. Пакет STADIA Oi:iio (л.м\льтатон нроис.пры oiinc.ne.iMK.ii аашешкн
Требуемые в примере максимальное и минимальное значеши-
борки находятся и графе <-Диапазом->. верхняя и нижняя квартили
п графе <-Квартили->. Назиаиия остальных необходимых в
характеристик прнсутстнуют на скрапе » пином ннле.
Комментарии. I Часть описательных статистик, иычнслясмыч -)
процедурой, относится только к иыборкам ил 11()|)м;!.-ц>||A(|> распределения г)л)
касается размера донернте.п.ниго иптериялн ляп сре.чпего и значении k<hhk»i
доверительного иптериа.ча для дисперсии
2. Пели и окне иыГюра переменных лм анализ ныОрано несколько пг
ременных, то будут иычис.чены описательные статистики для кажлой n.i /ui\
переменных.
Пример 1.2к. Сгруппировать данные примера 1.1 к в диапазоне от
13 мм до 14.8 мм с шагом группировки 0.15 мм, и вычислить частоты
попадания в полученные интервалы группировки.
Подготовка данных осуществляется так же, как в примере 1.1 к.
Выбор процедуры. В меню статистических методов (рис. 1.17)
следует выбрать процедуру 2=Гистограмма/нормальность, нажав на экране
соответствующую кнопку мышью или нажав клавишу (У).
Заполнение полей ввода данных. На экране появится окно
Анализ переменной (рис. 1.15). в котором следует выбрать переменную d
для анализа. Далее последует запрос пакета о параметрах группировки
данных (рис. 1.19) Введем число интервалов группировки равным 12,
левую границу группировки данных — 13 и правую границу — 14.8, как
это показано на рис. 1.1 У. Затем нажмите кнопку 1 Утвердить].
Гнстогранма —
Число нитприалов:
Левая граннца=
Правая(рапнца-
14.8
Утвсрднть |
I'lIC 1 19 Jt.ljMIIIIL- 11)ПС|Ж«1ЛОВ r
Результаты. 1 hi -жрапе появятся результаты расчетов, включаю-
включающие таблицу табуляции частот (рис I 20). значения статистик Колмого-
Колмогорова, имега-квалрат и хи-квадрат. а глкже заключение системы Гипотеза
1. Распределение отличается от нормальною
В первом столбце таблицы указан пр.жыи копен интервала группи-
группировки, во втором значения первого столбца трансформированы следую-
следующим образом, из кажчого элемента первого столбца вычитается среднее
значение выборки и полученная р.ипоеть делится па стандартное откло-
отклонение выборки Слелуюшпе четыре столбии содержат частоту, относи-
относительную частоту, накопленную частоту и относительную накопленную
частоту соответственни
После нажатия (i- мт] появится запрос системы Вывести график? При
ответе (,;.i] (или [Yr-s]) программ.! кынолпг гистограмму и подобранную
lid выборке кривую плотности нормального распределения в специаль-
специальна- графическое окно Полученные графики показаны на рис 1 21
слева
Комментарии. I N.ivu-nin: глПлицы таПулшш" частот покрывает, что
и uufn.|iKi" нахилнтси олнч ciui.no тололигоничтя «иблю.-к-шк-. которое, по-
bmh.momv н пк.13алп нлниппс на (нму.чьтат проы-|»кн пормалышетн. I3:iiihiiho
100
100
Колиогоров-0 07175. Значимость-^ 016229. степ своО - 200
Гипотеза 1" <Распределение отличается от норнального
Оиега-квадрат-0 28287. Значниость-0 00036904. степ своб -
Гипотеза 1 (Распределение отличается от нормального
Хн-кмярат13 82. Значиность-0. степ своб ■ 10
Гипотеза 1 <Распределение отличается от норнального>|
200
3XZ
Рнс. 1.20. Пакет STADIA Экран результатов процедуры «I нстогрнмма н
У
а
б
" ° ] П* Ut 1I ,« 1( j, |t f
г ?
I'nc. I 21 Гистограмма с umi ш Г|иф„ком
.,СХО.„„с Ш„„ЫС. Г, _ 6СЗ „„.
,io|,m;i.ii.,ii,,!
(а _
с„ль„с,
стат"ст"ки
,с0 "|>о"с"ко
■;
13.75 м« (Т.с. з у
"-075
?1 л"амстров iu
д,.-,шоп,е1Ося наблюдшими).
13
54
Подготовка данных осуществляется так же. как в примере 1.1 к
для пакета STADIA.
Выбор процедуры. В блоке статистических методов нажатием
клавиши © следует выбрать процедуру 2=Гистограмма и нормальность.
Заполнение полей ввода данных. На запрос системы Укажите число
интервалов и диапазон гистограммы (Еп1ег=вычисл) следует ввести скорректиро-
скорректированные значения- И). 1.4. 1.4.7.5. ц затем нажать ГЁппГГ).
Результаты. На экране (рис I 22) появится результаты расчетов,
включающие таблицу табуляции частот, значения статистик Колмого-
Колмогорова, омега-квадрат и хи-киадрат, а также заключение системы Гипотеза
0: Распределение не отличается от нормального Выводимып ;ыя этого случая
график показан па рис. 1 21 справа.
IS STADIA C.O/basc
«!• имя График-^С Нычнся Г/ ПреоБр ГВ Статист f9 Окна Понощь М
Н
ГИСТОГРАММ/
Х- лев
13
13 07S
13 IS
:з :-.ч
13 3
7ч [raj If
1! ТИТ
Х-ствнп
3 13S1
-2 Ь??.
."' 01"' 4
-1 <t:s
-0 9037
13 37S -0 3458Ь
13 4Г
!3 5>?S
1 * t,
13 Ь75
13 7S
F эчногороп-
! ипстеза
'.'КС!) УПЯП;
1 1 тютс-з-я
X;i-Kr.5Ji|viT-
r«:u-TT-i"
[.Г.!1 . ■
0 ?!1Ч6
0 7ь**В."
i i ? 7 7
1 S6SS
. «33
0 0717?
1 Pec
■»т-0 .'P."
: Pot
4 i <.< 7
0 Pa.
Ял]
ИОРИЛЛЬИ!
Чвстотв
0
t"
.M
36
61
34
• I)
1
Jlin-lilKi.
Результаты
■_TH 1'опл dienz ixt
Hevonn
0 0
i :
Г I
!.'" iV
j • '>6
30 5 l.'-9
|H c. ; t__ t.
1. ^ 1^1
3 S l'tfi
OS 1 Q *i
ti 011.Г crcn iw-
e OTnici"'-i :я от ип;'т
f Ч1вч1н«хть-О ClO^t^iM err
пр^"слтч
1С ОТ111ЧЛСТСЯ Т II- I»l-
■"нвчикехть-и 77 III .-те-:) г t- ~
• ■
f II'" ИТПИЧЛ'-Т» ■> 'Т 11.
-
1
.
0
1
3
1е
3-1
(■! S
03
•S Ь
чч
j . ц
ПМ1-ГО4
i: г..-. - :оо
>: 1» го
В
;.h.i-:mi. г |
I'm I J'J ll.iKi-т МЛ1IЛ ,-»крлн |I-чу.1 i.T.iin» iipi>iii';i\[)bi -I :u Turp.'.v.v... и
Прочие возможности IIj ;ipyni.\ гр^фи'кчких мпию»
статистки !i пакете STADIA прс-.'ктли.к-н гак>1м- магричный грлфик. в kot(i|him
шаченпи клж.тнй ;ii'pt-'Minn(>H. ii<i\(»;i«iiiihih к п-кушми mumi-iit и Гип'кс рил;1к
манных, ci pyi!iiHp(inaiihi и итлслыю.м ciu.iCmh.- i рафика с vK.nainsi-м
cpiviiitTu jii;i4i-!ihh и Hirii-puri.ia ст.'шлартного iitk.idik-иии
1.9.2. Пакет STATGRAPIIICS
В пакете STATGRAP1 IKI.S широко представлены мпск-ппьк- и гра-
графические меточы описательной статистики. Полынипстно из них сгруп-
DESCRIPTIVE METHODS
1 summary Statistics
2 Frequency Tabulation
3. Frequency Histogram
4. Weighted Averages
5 Percentiles
6 Codebook Procedure
7* Three-Dimensional Histogram
Рис 1.23. Пакет STATGRAPHfCS. Меню описательных методов статистики
пированы в пункте F. Descriptive Methods (описательные методы) головного
меню пакета (рис. 1.23).
Рассмотрим меню рис. I.23, кратко опишем назначения входящих
в него процедур и разберем на примерах наиболее употребительные
из них.
1. Summary Statistics (описание данных) — позволяет получить широкий набор
числовых характеристик, включая среднее, дисперсию, стандартное отклонение,
медиану, квартили, для одной или нескольких выборок. Работа этой процедуры
разобрана в примере 1.1 к.
2. Frequency Tabulation (табуляция частот) — выдает таблицу частот и накоплен-
накопленных частот после группирования данных в заданное число классов (интервалов
группировки). В отдельных режимах эта процедура может выдавать диаграмму
частот и эмпирическую функцию распределения. Ей посвящен пример 1.2к
3. Frequency Histogram (гистограмма частот) — в графическом пиле представляет
таблицу частот после группирования данных и заданное число классов. Эта
процедура подробно разбирается в примере 1.3к.
4. Wfeighted Averages (взвешенные средние) — вычисляет средине значения
для сгруппированных данных или для данных, отношение к которым с точки
зрения их точности или важности не равнозначно. Не разбирая этой мроиелуры
подробно, мы ограничимся только Замечаниями но вводу данных в процедуру
для разных случаев.
5. Percentiles (нроиентилн) — вычисляет выборочные ироиентили для указан-
указанных пользователем процентов, а так же находит процент наблюдений лежащих
левее указанного числа.
6. Codebook Procedure (описание группированных данных) - вычисляет те
11ТиТТСШШС стагнстнк11- мто " "Роисдура 1. Summary Statistics, но только
вполз ZT* "ОЙМ1Ю>КГССТ11 вскт°Ра Данных. Замечания по заполнению полей
ввода этон процедуры будут даны ниже
^^ (тРС™сР''а" гистограмма) - строит трехмерп.-ю
для двумерных наблюдений, т.е. для двумерной выборки.'
" "Р1""»»* «етодов описательной
56
Собственно, именно так и выглядят графики, которые строятся в этих
процедурах. Описание этих процедур можно найти в [761. Специфи-
Специфические описательные методы, возникающие в модельных задачах будут
рассмотрены в следующих главах
Рассмотрим несколько примеров.
Пример 1.1к. Для выборки диаметров головок заклепок (табл. 1.1)
вычислить среднее значение, медиану, дисперсию, нижнюю и верхнюю
квартили, а так же минимальный и максимальный элементы.
Подготовка данных. В редакторе базы данных пакета (процедура
File Operations) следует создать файл с именем DIAMZ. в этом файле в режиме
редактирования создать числовую переменную с именем d и ввести в нее
(для определенности, по столбцам) значения из табл. 1.1. Подробное
описание процедуры File Operations смотри в п. П2.6
Выбор процедуры. В меню пункта F. Descriptive Methods клавиша-
клавишами управления курсором надо установить активное ноле па 1. Summary
Statistics и нажать [fg]. (Это стандартный способ порядка выбора любой
процедуры пакета.) При этом осуществится переход к экрану ввода
данных к процедуру (рис 1.24)
Summary Statistics
Da I и voctoi s »IAMZ.d~ "~ * * .=»• ~ :|. .
Statistics JfkBEHIK
(£i) Avi-rncje A) Sid c!Pv (к) io...fi qunttlli- (|>) Kui'OSls
(b) Mcoian (o) S1O error A) Unp«-r riunrtilr- (r.)) S*o
(c) Mooi- (n) Minimum (m) Inti-inii.n ' ги">до
(f 1) G'-otr ni^rin (i) M.ivimuni (n) Sf-'-rt'Oss
(o; Vai mncc (j) Hancji- (o) Sin sk^w'^-ss
Рис 121 ll.ihfT STATGUAPIIK'.S .-Jk|><iii иннла л.шных и
ypy oinifan-.'ii.iKin (
Заполнение полей ввода данных. В любое место поля Data vec-
vectors надо внести имя файла и переменной DIAMZ.d. содержащей данные
примера С помощью клаппшн (W) следует перейти в ноле Statistics.
Используя клавиши управления курсором и клавишу (Щ]. в этом поле
надо оставить буквы, означающие требуемые характеристики (таСЫипа
соответствия приведена в нижней части экрана ввода) Названия не-
некоторых статистических характеристик этой таблицы приведены нами
в сокращении. Приведем их наименование в том виде, как они указы-
указываются и пакете, и их русский перевод:
57
Average — среднее значение
Median — медиана
Mode — мода
Geometric mean — геометрическое среднее
Variance — дисперсия
Std. deviation — стандартное отклонение
Std. error — стандартная ошибка
Minimum — минимум
Maximum — максимум
Range — размах
Lower quartile — нижняя квартиль
Upper quartile — верхняя квартиль
Inlerquar. range — межквартльнын размах
Skewness — коэффициент асимметрии
Std. skewness — нормированный коэффициент асимметрии
Kurtosis — коэффициент эксцесса
Std. kurtosis — нормированный коэффициент эксцесса
Завершив выбор требуемых характеристик, надо нажать клавишу
Результаты. На экране появится таблица результатов вычислений
(рис. 1.25).
Variable:
Sample size
Average
Median
Variance
Minimum
Maximum
Lower quartile
Upper quartile
DIAMZ.ci
200
13.4215
13 41
0 0180761
13. 13
14.56
13.34
13 5
Рис. 1.25. Пакет STAT GRAPHICS. Экран выдачи результлтон процедуры
описательной статистики
После нажатия ftisc] или [по] произойдет возврат в экран ввода дан-
данных процедуры, па котором появится всплывающее меню (рис. 1.26). С
его помощью Вы можете, в частности, сохранить полученные результа-
результаты в базе данных пакета (пункт меню Save statistics)
Rcoispla res ltr
Save•statistics
Save labels
повторить оыиол ил экран
сохранить результаты
сохранить метк-м
Рис 1.26. Пакет STATGRAPHICS. Всплыпаюшсс меню дополнительных
возможностей процедуры описательной статистики
Комментарии. I. Если н иоле ввода процедуры Data vectors указать только
имя файла без имени переменной, то выборочные статистики будут вычислены
для всех числовых переменных, находящихся в файле Символьные переменные
будут проигнорированы.
2. Числовые данные небольших объемов можно внести в поле Data vectors
непосредственно с клавиатуры. В этом случае они будут обрабатываться по-
построчно, как разные переменные.
Пример 1.2к. Сгруппировать данные примера 1.1 к в диапазоне от
13 мм до И.8 мм с шагом группировки 0.15 мм, и вычислить частоты
попадания в полученные интервалы группировки.
Выбор процедуры. В меню пункта F. Descriptive Methods надо выбрать
процедуру 2. Frequency Tabulation и нажать (Тб). Появится экран ввода
данных в процедуру (рис. 1 27)
Troquency Tabulation
Data DIAMZ.d. .' , ~. ,.,
Рис. 1.27. Пакет STATGRANUCS Экран пполл данных о процедуру табуляции частот
Заполнение полей ввода данных. В ноле Data надо ввести имя
файла и имя переменной DIAMZ.d. содержащей данные примера. После
нажатия клавиши Qjf) появится запрос и иода параметров процедуры
(рис. 1.28). заполненный пакетом по умолчанию
Tabula'ion Iпоиi Panel
Primary Variaftle Second м> V
Type Continuous "Iyer-
Lower lirr.ij |13 • Lower ijmiT
Upper limiT П4.8 Upper limir
tlo oi classes 'Jo W, clas
I onylh = 200 l.-ncjin =
Minimum = 13 13 Minimum
Maximum = 1-1 06 Ma-lтип =
Рис I 2b Пакет STATGRAM IICS Экран «пода насмотрим
табуляции частот
R столбце ввода параметров Primary Variable (нерпам переменная) в
поле Туре (тип данных), последовательно нажимая клавишу (Пробел), на-
надо установить значение Continuous (непрерывный) Возможности других
режимов зипо.шения этого поля смотри в комментариях. При иеоо-
ходимости следует скорректировать поля Lower limit (нижний предел) и
Upper limit (верхний предел) Разделив величину диапазона группиров-
группировки l.cS на заданный шаг группировки 0.15. получим число интервалов
группировки 12. которое и надо ввести в поле No. of classes (число клас-
классов группировки) Выбору параметров группировки помогает справоч-
справочная информация о выпорке, указывающая размер выборки (Length), ее
П!)
•минимальный
относящийся и
Столбец ввода параметров,
р) в данной процедуре
полей ввода н нажатия клавиши
меню форм вддачи результатов
S££^M (Напгив ™ процедуры этого мепю пами
приведен перевод на русским язык.)
Display table
Plot frequency polygon
Plot rel. freq. polygon
Plot cumulative freqs.
Plot cumulative rel. freqs.
таблица
диаграмма частот
диаграмма относительных частот
график накопленных частот
график накопленных
относительных частот
Рис. 1.29. Пакет STATGRAPHICS. Меню форм выпода результатов процедуры
табуляции частот
Клавишами перемещения курсора установим активное поле на пункт
Display table и нажмем клавишу (Тб)-
Результаты. На экран будет выведена таблица, представленная
на рис. 1.30.
Frequency Tabulation
Lower Upper Relative Cumulative Curn Rcl
Class Limit Limit Midpoint Frequency Frequency Frequency Frequcn.
at or
1
2
3
4
5
6
7
8
9
10
11
12
above
below
13.00
13. 15
13.30
13.45
13.60
13.75
13 90
14 05
14 20
14 35
14 50
14 65
14 80
13 00
13.15
13.30
13.45
13.60
1375
13.90
14.05
14 20
14.35
14.50
14 65
14 80
13.08
13 23
13.38
13.52
13 68
13 83
13.98
14 13
14 ?8
14.43
14 58
14 73
0
2
28
99
62
8
0
0
0
0
0
1
0
0
00000
01000
14000
49500
31000
04000
OOOOO
00000
00000
OOOOO
00000
00500
OOOOO
OOOOO
0
2
30
129
191
199
(99
199
199
199
199
200
200
200
0000
OIOO
1500
64 50
9550
9950
9950
9950
9950
9950
9950
1 0000
1 0000
1 0000
Mean = 13.4215 Standard Deviation = 0 134448 Modinn - 13 4 1
Рис. 1.30. Пакет STATGRAPHICS Экран вынола результлтоп процедуры
табуляции частот и форме таблицы
чсиня
СО
точечной диаграммы (и
соответствующей ей таблицы) и посмотреть их эмпирическую фуикцию распре-
распределения. В противном случае в ноле Туре надо указать значение Continuous для
данных действительного типа и значение Discrel — дли целочисленных данных.
Пример 1.3к. Для выборки диаметров головок заклепок построить
гистограмму частот с шагом группировки ().(O!i мм.
Подготовка данных выполняется так же. как и примере 1.1 к.
Выбор процедуры. В меню пункта F. Descriptive Methods следует
выбрать процедуру 3. Frequency Histogram и нажать (IT). При этом появится
экран ввода данных, аналогичный приведенному па рис. 1.27
Заполнение полей ввода данных. Ввод данных на нервом эта-
этапе — такой же. как в процедуре 2. Frequency Tabulation. On разобран в
примере I 2к Затем появляется чкран ввода параметров процедуры
(рис. 1.31).
Tribulation Input Panel
Primary ViiriTljli- Socomlar v v.-
Type Continuous Тур»-
Lower I lmi! 13 Low»-i llinil
Uprn-r limit 14.6 UwlK'i llinil
I)O OS cl,i',-.f"\ 24 Ho of rltj'.
I cruit ti /00 I "ncit ii
Иl r 11mum - 13 13 Mlnlшип =
M.i-imun, к «,i. i-'a
р I ,i;iI- Frequency Histogram
(? llllf-S) 1
■ .i-i4 > it 1" DIAHZ.d
с .-. - ; i i r l с requency .' . ■ .. '
СычиЬм ivc No n.-biiiv" Ho
I'm I Л\ ll.ihil
пи ini p.iMMM частот
Лаполиеине полги Type. Lnvwr limit. Upper limil, No. of classes аналогично
проце/iypc- 2 Frequency Tabulation (см пример 1 2к) При требуемчм inaie
груиииронке I».(l7-ri п выбранных верхнем и нижнем пределах число
классов группировки равно 2 1 \ 1оля Top Title. B lines) (чнголоиок графика),
X-axis title (пн.иыиие m и X). Y-axis title (на н.апие оси ^ ) ирелиа шачепы для
оформлении иалииоч! па цмфике Их чаио.шпиа- in- мс'ниателыю Мы
оставили -ггнх полях шлчечти. П|)с;1лож<ч1иые пакетом по умолчанию
Наконец, поля Cumulative (накопление) и Relative (опккнтельпып) задают
типы графиков, выволнмых па iKpan И лих полях могут фигурировать
11ычс((ии Yes и No в ирои.-тплиюи комГ.нпаинп Ii чавнеимостп от их
комбинации па i рафик будут выводиться данные одного из последних
четырех сголбцов таблицы, вылаваемоп в результате работы процедуры
2. Frequency Tabulation (см. приме]) I ^) П<>^' ^п.олиеиия необходимых
(И
ев
68
40
ZB
13 13.3 13.6 13.9 14.Z 14.5 14.8
Рис. 1.32. Гистограмма. Длина интервала группировки раина 0.075 мм
полей ввода параметров надо нажать клавишу (W), и на экране появится
график, приведенный на рис. 1.32.
Комментарии. I. При выводе графика на экран подсказка со лначс-ииими
функциональных клавиш исчезает, однако функциональные клавиши работают
в обычном режиме.
2. Длявывода на печать изображенного па экране графика надо нажать
клавишу СШ- Печать может быть произведена как па принтер, так и й фан ч
6 Для изменения оформления графика можно .юспользоваться клавишей
СЕЮ или режимом интерактивного редактирования графика. Часть возм ж ,о
стеи этих режимов разобрана в п. П2.7. нозмпжпо-
Другие возможности. Кратко остановимся на особенностях
Данных и работы других процедур блока DESCRIPTIVE METHODS
^ В ">■■* c-
{ВСКТ°') 11-Г Р
и. а в активное поле
K°JOpor° Jm^l(JT^' '"'"a
рурованных данных В поГ^ГГ (" '<Х "аСТ°Ты) Л"'Ы
тор. отражающий степень Достонери^тиТ, 1СОвхол11мо >'к«ат|' числоно»! нск-
-ектора данных. При этом учнты J^о см 1 Т ВаЖ"°СТ" Кажлого »3
« только их отношения дру к дZ абсол'^'">'е зна
Данных) следует ш*с сор аиньж1^
Weigh, vector (вектор весов ZZ7
"опаданий наблюдений в со
'^группированных данных В
тор отражающий
. ТаК
1
т«я
П0лУения значении
и
62
п графе
медианы.
ни-
пей квартили в поле Percentages необходимо ввести столбиком значения 50. 25
п 75. что соответствует уровням квантилей 0.5. 0.25 и 0.75. Предварительно
пажа» клавишу СЕЮ и выбрав п появившемся подменю пункт Switch input fields
(переключение поля ввода), можно решить обратную задачу, то есть вычислить
процент наблюдении, лежащих счена от введенного нами числа в актнииое поле
Percenliles. Заметим, что вводимое при этом число не обязано быть элементом
рассматриваемой иыборки.
6. Codebook Procedure (описание группированных данных). Задание разбиения
вектора данных па подмножества п этой процедуре осуществляется с иомошыо
задания лектора классификации к активном поле Level codes (коды уровня) Его
координаты могут быть как числовыми, так и символьными, а длина должна
совпадать с длиной вектора данных. При этом дли включения элементов вектора
данных и одно подмножество необходимо в векторе классификации присвоить
соответствующим координатам одно и то же значение.
Отметим, что подобная процедура очень удобна дли работы с данными, хра-
хранение которых организовано но общим принципам баз данных и где возможные
вектора классификации, как правило, является элементами самой базы данных.
Заполнение активною ноля экрана Labels (метки) не обязательно Работа
с полем Statistics аналогична работе с ->тим нолем в процедуре 1. Summary Statistics
(см пример I 1к).
Активные поля Confidence level (доверительный уровень) и Point symbols (символы
точек) определяют соответствующие параметры сопутствующих -mm процедуре
графиков, доступ к которым дает нажатие клавиши 0 ь) после того, как получены
шачения описательных статистик и осуществлен возврат к экрану ввода .данных
нажатием Aг.г) Один из сопутствующих этой процедуре графиков Plot standard
errors (график стандартных ошибок) выводит значении среднего и стандартной
ошибки для каждого полмпожества. а также значении тех точек каждого
иолмпожеегиа. если в поле Point symbols (символы точек) укачан ответ Yes Другой
график Plot conlidence intervals (график доверительных интервалов), в отличие от
предыдущего, имеет о стандартных ошибок строит доверительные интервалы лля
средних с указанным Нами -твернтельпым уровнем
7 Three-Dimensional Histogram (трехмерная гистограмма) Экран ввода лянпы.х в
эту upone'iypN требует заполнении двух активных полей Sample 1 (выборка 1) н
Sample 2 (выборка 2) После нажатия клавиши pfij появляется jKpaii виоча пара-
параметров табуляции, работа с которым была описана при рассмотрении процедур
2 Frequency Tabulation иЗ Frequency Histogiam После коррекции параметров табуляции
и нажатии клавиши СкО на экране появится требуемым ре «ч-льтаг Отмстим,
что графический редактор пакета предусматривав возможность пространствен-
пространственного вращения трехмерного графика (изменения точки обзора), что позволяет
выбрать наиболее наглядный вид графика
G3
Г л а в а 2 ^
Важные законы
распределения вероятностей
Подчиняются ли каким-то законам явления, носящие случайный ха-
характер Да но эти законы отличаются от привычных нам физических
законов Значения случайных величин невозможно предугадать лаже
при полиостью известных условиях эксперимента, в котором о.ш изме-
измеряются Мы можем лишь указать вероятности того, что случайная
величина принимает то или иное значение или попадает а то или иное
множество. Зато зная распределения вероятностей интересующих пас
случайных величин, мы можем делать выводы об событиях, и которых
участвуют эти случайные величины. Правда, эти выводы будут также
носить вероятностный характер. В последующих главах этой киши мы
расскажем о том, как при знании распределений вероятностей или при
некоторых предположениях относительно этих распределений делаются
статистические выводы: как проверяются гипотезы, оцениваются пара-
параметры, определяются допустимые отклонения или вероятности ошибок
этих оценок и т.д.
Но среди всех вероятностных распределений есть такие, которые
используются на практике особенно часто. Эти распределения четальпо
изучены и свойства их хорошо известны. Многие из этих распределении
лежат в основе целых областей знания — таких, как теория массового
обслуживания, теория надежности, контроль качества, теория и.чмерс-
||ии, теория игр и т.п. В этой главе мы расскажем о некоторых »п таких
распределений, покажем типичные ситуации, в которых они необходи-
необходимы, дадим описания наиболее распространенных таблиц раенре.'к-лччени
и правил их использования. Материал главы имеет справочный харак-
характер и посгошию используется в дальнейшем тексте. При мерном и.а-
коыстве его достаточно лишь бегло просмотреть, нознращаясь к ik-my в
дальнейшем по необходимости.
|Б„0^,' СТ"° »'™">™ш "-'I практике распределит,,-, ш,л„и.тс»
! 11Л" WII'* С
Л„С|„^,рр
! 11Л" WII'*»IJ""'JH" Сред.. д„скр,т,„„х распредс-.к «у
' " "уас™"'"™'". С|*ДИ .«.- ,р,р„„ш,„.ч -
" ""*■""■«■ <■ ■"■« Ра
зУ мри „опросит, ,ю„ер„телышх
„ „р„„с-,же
Более подробное изложение свойств этих и многих других распре-
распределений можно найти в 116], 1501. |60|. 1681 и |87l.
2.1. Биномиальное распределение
Область применения. Биномиальное распределение — это одно
из самых распространенных дискретных распределений, оно служит
вероятностной моделью для многих явлений. Оно возникает в тех слу-
случаях, когда нас интересует, сколько раз происходит некоторое событие
в серии из определенного числа независимых наблюдений (опытов),
выполняемых » одинаковых условиях. Поясним сказанное па примере.
Рассмотрим какое-либо массовое производство. Даже во время его
нормальной работы иногда изготавливаются изделия, не соответствую-
соответствующие стандарту, т.е. дефектные. Обозначим долю дефектных изделий
через ]>. ()<]><{ Какое именно произведенное изделие окажется
негодным, сказать заранее (до его изготовления) пгвозможпи. Для
описания подобной ситуации обычно используется следующая матема-
математическая модель:
а) каждое изделие с вероятностью ;» может оказаться дефектным
(с вероятностью ц = 1 — /> оно соответствует стандарту), ->та
вероятность для всех изделий одинакова.
б) появление как дефектных, так и стандартных изделии происхо-
происходи! независимо друг от друга Jto значит, что в нормальном
процессе производства появление бракованного изделия не вли-
влияет па возможность появления брака в дальнейшем Наруше-
Нарушение- ->топ> условия означает сбои нормального технологического
режима
Последовательность независимых испытаний, в которых результа-
результатом каждого из испытании может быть один и:» двух исходов (например,
успех п неудача), и вероятность «успеха» (или «неудачи-') в каждом
из испытании одна и та же. называется схемой испытаний Берну \ли
Поэтому мы можем перефразировать вышесказанное так в нормальных
условиях технологически!! процесс производства математически пред-
представляется схемой испытаний Ьерпулли
Для чего же па нропзвочетве требуется подсчитывать число дефект-
дефектных изделий'-' Как правило, по делается для контроля технологического
процесса. При массовом производстве сплошная проверка качества
изготовленных изделий обычно неоправданна Поэтому для контроля
качества из произведенной продукции наудачу отбирают определенное
количество изделий (в дальнейшем — и), и проверяют их. регистрируют
3-7НЗ °5
найденное число бракованных изделий (в дальнейшем - А) и в зав*
сиГсти от значения X принимают то или иное решение о состоянии
пр^водств иного процесса. Теоретически X может принимать любые
целые значения от 0 до п включительно, но, конечно, вероятности этих
значений различны. Для того, чтобы делаемые по значению А выводы
были обоснованными, требуется знать распределение случайной вели-
величины X Если выполняются приведенные выше условия схемы испыта-
испытаний Бернулли, то распределение X является биномиальным распреде-
распределением, и вероятности значений X можно получить очень просто.
Пронумеруем в произвольном порядке п проверяемых изделий (на-
(например, в порядке их поступления на контроль). Будем обозначать
исход испытания каждого изделия нулем или единицей (ноль — нор-
нормальное изделие, единица — дефектное), и будем записывать итоги
проверки партии из 7г изделий в виде последовательности из 7? нулей и
единиц. Событие [X = к), или, другими словами «среди п испытаний
изделий оказалось к бракованных, а остальные {п-к) — годные» — это
совокупность всех последовательностей, содержащих в любом порядке
к единиц и (п - к) нулей. Вероятность того, что в результате пролерки
будет получена любая из таких последовательностей, равна рк( 1—р)п~к,
а число таких последовательностей — С* = ,.,"',. Поэтому, соглас-
согласно свойствам вероятностей, описанным в п. 1.2, вероятность события
(ЛЛ = к) равна:
Определение. Случайная величина X имеет биномиальное рас-
распределение с параметрами п и р. если она принимает значения
и, 1,...,п с вероятностями:
„
пРпОбЬ"0 НаЗЫВаЮТ всР°ят"°"ью .успеха. „ испытании
'"'0М ™Ше ПР"Нере «уСПех° соответствует оби,-
Ньютона: l ~ } ЯЕШ11°тся слагаемыми бинома
Чтобы подчеркнуть зависимость Р{Х - П п ^
к) обычно записывают в виде: ~ Р " "' пеР0ЯТ11°сть Р{ \ =
Р(Х = к | н, р).
66
Свойства. Математическое ожидание и дисперсия случайной вели-
величины, имеющей биномиальное распределение, равны:
Эти выражения легко получить с помощью следующего полезного приема.
Введем для каждого отдельного испытания Бернулли случайную пеличину £,
которая может принимать только два значения: I, если испытание закончилось
успехом, и 0. если неудачей. Если дать номера 1,2,... отдельным испытаниям,
то те же номера надо присвоить и соответствующим им случайным величинам
£ '• ^1.^2, •■• Тогда Л' можно представить п виде: Л' = £| +£> + ••• + £», причем
случайные слагаемые п дайной формуле статистически независимы и одинаково
распределены. Для любого к от 1 до 7i выполняется М£к = р, D£k = рA — р),
поэтому, согласно свойствам математического ожидания и дисперсии из п. 1.5.
MX = "Л/£. DX = nD£. что и приводит к указанным пыше выражениям.
На рис. 2.1 показаны вероятности Р{Х = к) при п = К) для различ-
различных значении у {р = 0.1, 0.2, 0.4 и 0.5).
04
03
02
О I
_J
_ 1 _ -. .
3 -S 5
04
03
02
01
1>{Х=к)
10
1
3 4 5
Г = 0.2
В 0 10
04
03
02
01
p =(l 1
_ 1 _ » ^-1
123466769 10
04
03
02
01
ji-0.5
Ю
Pur 2 1 Вид Гшмомиального распределения vin различных зиачимшй р при п - 10
Связь с другими распределениями. Биномиальное распределе-
распределение тесно связано с многими другими распределениями. Ниже мы
укажем наиболее часто используемые из этих связей Описание лругих
можно найти в |16]. [87).
1 Биномиальное распределение с параметрами и и р может быть
аппроксимировано нормальным распределением со средним пр и стан-
стандартным отклонением (щ>{\ - /ОI '2- ссли то;1ЬКО выполняются условия
тФA - 7>) > П и 0.1 ^ V ^ 0.0. При условии nV{\ - р) > 25 эту аппрокси-
аппроксимацию можно применять независимо от значения р.
67
1ие с параметрами пир может быть ап-
Пуассона со средним пр при условии,
"тРо7<"о.Ги п достаточно велико.
Таблицы. Для биномиального распределения, как и для других
•поделен й вероятностей, есть два типа таблиц,
лределени ^^ ^ приводятся ^платности ИХ = к) ппи
р(Х = к\П,р) (С ПЯТЬЮ Act»'"-""" е(к\оп\
Г шагом по п. равным 5 (краткое обозначение: п = 5EK0). и р =
0 01-0 02@.02); 0.10@.10); 0.50. Последнее выражение для р означает,
что в'таблицах есть значения для р = 0.01. для р = 0.02. далее р
изменяется с шагом 0.02 до 0.10 и со значения р = 0.1 оно изменяется
с шагом 0.1 до 0.5.
В таблицах второго типа даны значения накопленных вероятностей
биномиального распределения, т.е. значения
P(X^k\n,p)=Y^ Р{Х = m | п, р).
m=0
Например, в [60], Р(Х ^ к | п, р) даны для п = 1AJ5. р =
0.005@.005); 0.02@.01); 0.10@.05); 0.30@.10); 0.50. для к = 0A)п .
В описаниях таблиц обычно можно найти указания, как поступать,
если интересующие нас значения п и/или р в данных таблицах отсут-
отсутствуют (см., например, [16]).
Замечание. Значения вероятностей Р(Х = к) биномиального распределе-
распределения с параметром р > 0.5 легко получить, зная соответствующие вероятности
при р < 0.5. Действительно, если вероятность «успеха* р > 0.5. то вероятность
«неудачи» q = 1 -р < 0.5. Поменяв названия «успех» и «неудача» одно на
другое, мы сведем случай р > 0.5 к р < 0.5. Другими словами:
Р(Х = к\п,р) = Р(Х=п-к\пЛ-р).
Это свойство учитывается при составлении статистических таблиц биномиаль-
биномиального распределения.
2.2. Распределение Пуассона
РаспР«еле"^ Пуассона „грает важную
«гвг„;; ;ив1:::дтеоргсвязи'теориинадежнос™-™»т
ленного времени может „„п^ ~ ' ВСВДУ' ГДе В течение опРеда
(радиоактивных пГспя„„РГТЬ СЛуЧайное Ч1«™ каких-то событи
„п^ е Рда
РГТЬ СЛуЧайное Ч1«™ каких-то событий
„Г 0ННЫХ ВЬ'3°В°В' °ТКа3°В обоРУД^амия.
68
Рассмотрим наиболее типичную ситуацию, в которой возникает
распределение Пуассона. Пусть некоторые события могут происходить
в случайные моменты времени, а нас интересует число появлений таких
событий в промежутке времени от 0 до Т. (Например, это могут быть
помехи в канале связи, появления метеоритов, дорожные происшествия
и т.п.) Сделаем следующие предположения.
1. Пусть вероятность появления события за малый интервал време-
времени длины Л примерно пропорциональна А, т.е. равна аА + о(Д),
здесь а > 0 — параметр задачи, отражающий среднюю частоту
событий.
2. Если в интервале времени длины А уже произошло одно собы-
событие, то условная вероятность появления в этом же интервале
другого события стремится к 0 при А —» П.
3. Количества событий, происшедших на непересекающихся ин-
интервалах времени, независимы как случайные величины.
В этих условиях можно показать, что случайное число событий,
происшедших за время от 0 до Т. распределено по закону Пуассона
с параметром А = пТ.
Определение. Случайная величина £, которая принимает толь-
только целые, неотрицательные значения 0.1.2 имеет закон рас-
распределения Пуассона с параметром А > 0, если
Хк
Р(с = k | Л) = —-с'х для к = 0.1.2,..
Свойства. Математическое ожидание и дисперсия случайной вели-
величины, имеющей распределение Пуассона с параметром А. равны:
Л/£ = \. DZ = А.
Эти выражения несложно получить прямыми вычислениями Имеем
к-0 к-0 ' *■ = >
п = О
Зчесь была осуществлена замена п = к - 1 и использован тот факт, что
Ч^ -Ы = rv Аналогично можно иычислить дисперсию случайной вели
чины £.
На рис. 2.2 показаны значения вероятностей Р{£ = к \ X) для раз-
различных значений к и А .
69
0.6
0.7
0.6
0.5
0.4
0.3
0.2
0.1
Л =0.5
0.6
0.7
0.6
0.5
0.4
0.3
0.2
0.1
A=l
i
0.6
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
i
P(Z=k
■ ill
t 2 3 4 5
l \\
IA), .
■
I
6
\ p.
\ = о
1 1
7 6
1
9
10 11"
Рис 2.2. Вид распределения Пуассона для различных значений к и Л
Связь с другими распределениями. 1. Выше уже указывалась
связь между распределением Пуассона и биномиальным. Остановимся
на этом вопросе более подробно.
При большом п и малом р действует приближенное соотношение:
С;Л1-рГ-~е-\ к = 0,1,2,...
где А = пр. Этот факт можно сформулировать в виде предельного
утверждения: при всяком к, {к = 0,1,2,...)
£*&>СпРкA ~Р)п~к = -77-е~Х> если существует Нш пр = А > 0.
P-.Q к- П — ор
также рас„реяедание Пуассона с парадом С°°ТПетСТВ1;н110' |1М№Т
;:с7вибГ[»||шуассона при раз~- »»«■«■
таблиц „ монографиях. '■ а Также в ДРУ™х сборниках
Го МоГ15„
70
* ИЗ"еНЯСТСЯ
> 5 ■ 10" 7. Там
же указано, как вычислять значение Р{£ = к | А) с помощью таблиц
функции распределения \2 . о которой речь пойдет ниже.
Более подробные таблицы распределения Пуассона даны в 150], где
А изменяется до 205. Отметим, что при больших значениях А для
вычисления Р[£ = А.- | А) можно использовать приближенную формулу
где v? — плотность нормального распределения с параметрами 0 и 1.
Наряду с таблицами для Р(£ = к | А) составлены и таблицы нако-
накопленной вероятности распределения Пуассона, т.е. таблицы для
к
Р[£ О | А) = £ Р(£ = т | Л).
В |601 иринедепы таблицы /'(ч О | А) для А = 0.01 @.01); 1 @.05);
Г) @.1); 10 @.Г)); 20 A); 30 E); 50 с точностью до 0.5 ■ 10"
Л--1
2.3. Показательное распределение
Область применения. Укажем две области применения статисти-
статистических методов, в которых показательное распределение играет базо-
базовую роль.
К первой из них откосятся задачи связанные с данными типа «вре-
«времени жизни» Понимать чтот термин следует достаточно широко. В
медико-биологических исследованиях пол ним может подразумеваться
продолжительность жизни больных при клинических исследованиях, в
технике — продолжительности безотказной работы устройств, в пси-
психологии — время, затраченное испытуемым па выполнение тестовых
задач, п т.д. Подробное изложение обработки подобных данных да-
дано в |-Г2|
Второй областью активного использования показательного распре-
распределения являются задачи массового обслуживания. Здесь речь может
идти об интервалах времени между вызовами «скорой помощи», теле-
телефонными звонками или обращениями клиентов и т.д В условиях моде-
модели и. 2.2. в которой речь шла о появлении в случайные моменты неких
событий и которую мы использовали для иллюстрации распределения
Пуассона, длина интервала времени между появлениями последователь-
последовательных событий имеет показательное распределение.
71
сл
учайная величина X имеет по-
задана формулой
о* {х>0).
еше экспоненциаль-
=
(x > 0).
и дисперсия случайной ве-
закону с параметром
и т.д.
... г с. 2.3. приведен графический вид плотности показательного
распределения с параметром в.
'в!
0
X
-►
У в Уо %
Рнс. 2.3. Плотность показательного распределения с параметром 0
Функция показательного распределения, т.е. Р(Х < х), раина
1-е~Ох, для х>0;
0, для х < 0.
Показательное распределение среди всех других выделяется, как
иногда говорят, отсутствием «памятно, т.е. отсутствием последействия.
72
Это подразумевает следующее: для показательно распределенной слу-
случайной величины X (и только для такой)
Р(Х ^ s + t | X > t) = Р(Х $> 8)
для любых a, t ^ 0. Поясним смысл этой формулы на примере. Пусть
X — время службы некоего изделия, и оно подчиняется экспоненци-
экспоненциальному распределению. Тогда для изделия, прослужившего время t,
вероятность прослужить дополнительное время s совпадает с вероятно-
вероятностью прослужить то же время s для нового (только начавшего работу)
изделия. Как видим, это соотношение как бы исключает износ и старе-
старение. Поэтому в статистических моделях срока службы, если мы хотим
учесть старение, приходится привлекать различного рода обобщения
показательного распределения.
Связь с другими распределениями. Показательное распреде-
распределение является частным случаем гамма-распределения, распределения
Вейбулла и некоторых других. Подробную информацию на эту тему
можно получить в [87]
Таблицы. Функция показательного распределения достаточно про-
проста, поэтому специальные таблицы для этого распределения не нужны.
Значения функции показательного распределения можно вычислить с
помощью калькулятора.
2.4. Нормальное распределение
Область применения. Нормальное распределение относится к чи-
числу наиболее распространенных и важных, оно часто используется для
приближенного описания многих случайных явлений, например, для
случайного отступлении фактического размера изделия от номинально-
номинального, рассеяния снарядов при артиллерийской стрельбе и во многих дру-
других ситуациях, в которых на интересующий нас результат воздействует
большое количество независимых случайных факторов, среди которых
нет сильно выделяющихся.
Замечание. Использованию нормального распределения дли приближен-
приближенного описания распределений случайных величин не препятствует то обстоя-
тельстно, что эти величины обычно могут принимать значения только из какого-
то ограниченного интервала (скажем, размер изделия должен быть больше нуля
и меньше километра), а нормальное распределение не сосредоточено целиком
пи на каком интервале. Дело о том. что вероятность больших отклонений
нормальной случайной величины от центра распределения настолько мала, что
с-е практически можно считать равной нулю.
73
Определение.
IZZ,
uuei £ rj
формулой:
pacnpeLenu,
-00 < X < +OO.
Смысл параметров нормального распределения наглядно показан на
рис. 2.4.
X
o
Рнс. 2.4. Плотность нормального распределения со
средним и и различными значениями дисперсии а2
Отметим, что <р(я) стремится к нулю при х -> -оо и л: — Ч-эс.
График функции <р(гс) симметричен относительно точки а При этом
в точке а функция <р(х) достигает своего максимума, который равен
1/(/2^) • ' '
Параметр а характеризует положение графика функции на числовой
оси (параметр положения). Параметр о{и > и) характеризует степень
сжатия или растяжения графика плотности (параметр масштаба) Как
видим, вся совокупность нормальных распределений представляет собой
двухпараметрическое семейство.
ГпяГп; °ЖГНИе и
, распределенной как N{u)a2), равны
Щ = a,
случайной вели-
вели74
Особую роль играет нормальное распределение с параметрами а = О
и а = 1, т.е. распределение 7V@,1). которое часто называют стандарт-
стандартным нормальным распределением. Плотность стандартного нормально-
нормального распределений есть
Функция распределения стандартного нормального распределения
равна
1 Гх
Ф{х) = —= / е-У /2dy.
Функцию Ф(-) часто называют функцией Лапласа. Отметим, что
Ф(х) = 1 - Ф(-х), поэтому достаточно знать значения функции Ф{х)
для .г ^ 0. Это свойство функции Ф(х) используется при составле-
составлении таблиц.
Функцию произвольного нормального распределения N{a,a2) мож-
можно легко выразить через Ф(-). Для этого следует заметить, что если £
распределена по закону !\г(а,ст2), то ее линейная функция X = (£-а)/сг
подчиняется стандартному нормальному распределению. Поэтому
а / \ a j
Эта формула позволяет вычислять вероятности событий, связанных
с произвольными нормальными случайными величинами, с помощью
таблиц стандартного нормального распределения.
Аналогичным образом, легко показать, что если £ распределена по
нормальному закону, скажем. N(<i.rr2). то случайная величина кЕ, + Ь
(линейная функция £) имеет нормальное распределение У {и -\ Ь.кга2).
Напомним, что площадь фигуры, ограниченная графиком функции
плотности распределения, осью абсцисс и отрезками днух вертикальных
прямых, j- = 6, .г = г, есть вероятность попадания случайной величины
в интервал (Ь.г). В связи с этим полезно представить, как распределя-
распределяются доли площадей между кривой ^(.г) и осью абсцисс (см. рис. 2.5).
Более подробный анализ показывает, что случайная величина Л'@,1) с
вероятностью, примерно равной 0.9-1 попадает в интервал (- 2,2), и с
вероятностью, примерно равной 0.9933 — в интервал (- 3,3). Отсюда
для произвольной нормально распределенной случайной величины мож-
можно сформулировать правило, именуемое в литературе правилом трех
сигм. А именно, нормальная случайная величина Nia.a1) с вероятно-
вероятностью 0.9933 попадает в интервал (</ - За. а + Зет).
Таблицы. Для функции Ф[х) и ее производной, т.е. для плотности
стандартного нормального распределения, существуют многочисленные
75
X
Рнс 2 5 Примерное распределение плошадсй пол кривой
функшш плотности стандартного нормального распределения
таблицы разной степени подробности. Так, в 116] указаны значения Ф{х)
с шестью значащими цифрами для х = 0.000 @.001) 3.000 и с пятью
значащими цифрами для х = 3.00 @.01) 5.00 (в данном случае знача-
значащими называются все разряды десятичной дроби начиная с первого,
отличного от девятки, например, если Ф{х) = 0.9997G737, то значащими
цифрами считаются 76737).
Для статистических применений часто оказываются полезными та-
таблицы, представляющие накопленную нормальную вероятность, отсчи-
отсчитываемую справа, т.е. таблицы, в которых в зависимости от .г указаны
значения Р(£ ^ х) = 1 -Ф(х). Например, в [91] дана таблица Р(£ ^ т)
для х = 0.00 @.01) 3,5 с четырьмя значащими цифрами. Как будет по-
показано в гл. 5. таблицы подобного вида более удобны в статистической
практике, чем таблицы для Ф(х).
В большинстве сборников также приводятся таблицы квантилей
стандартного нормального распределения. Они позволяют по заданному
значению вероятности р, 0 < р < 1, находить точку т. такую, что
р{€ < х) = р. Последнее бывает часто необходимо при проверке
статистических гипотез.
2.5. Двумерное
нормальное распределение
описания одного
76
признака. Обсуждение
двумерного нормального распределения начнем с обсуждения много-
многомерных распределений вообще.
Многомерные распределения. В главе 1 мы установили, что для
непрерывной одномерной случайной величины £ ее функция плотности
вероятности, скажем, р(х) полностью задает распределение случайной
величины: для любых чисел а, 6 (а < 6)
[Ь
Р{а < £ < 6) = / p(x)dx.
J а
Аналогичным образом можно задать закон распределения случай-
случайной величины, принимающей значения не на числовой прямой, а на
плоскости, в трехмерном пространстве, на сфере и т.д. Надо только
иметь соответствующую функцию плотности р{х). Тогда для любого
множества А' его вероятность Р{Х) равна
Р{Х) =
'Л'
где интегрирование производится соответственно по области Л' в плос-
плоскости, трехмерном пространстве, сфере и т.д.
Двумерное нормальное распределение. В качестве примера определим
двумерное нормальное распределение на плоскости Пусть тд и т)± — незави-
независимые случайные величины, имеющие стандартное нормальное распределение
Тогда двумерная случайная величина 7/ = (тд. i/2) имеет стандартное двумер-
двумерное нормальное распределение Нго плотность /i(x, у) равна
/»(х. У) = — rJ
Для одномерного случаи псе нормальные распределении могут быть полу-
получены как линейные преобразовании стандартного нормального распределения-
если £ ~ N(a, а2), то £ можно представить и виде £ = а • пц, гае случайная
величина 7/ имеет стандартное нормальное распределение Аналогичным обра-
образом можно определить днумериые нормальные распределения — это те распре-
распределения, которые можно получить из стандартного двумерного распределения
линейным преобразованием По определению, случайная величина £ — (£|. О)
имеет двумерное нормальное распределение, если ее можно представить в виде
О = a-i +
где аь Ъ\, с\. и2. Ь2. г> — некоторые вещественные числа Заметим, что соглас-
согласно свойствам нормальных случайных величин, компоненты чнумерпой нормаль-
нормальной случайной величины, т.е £i и £>. являются нормальными (одномерными)
случайными величинами Разумеется, случайные величины £| и £2 могут быть
зависимыми. Ниже мы покажем, что £■ и & зависимы тогда и только тогда,
когда их ковариация (или корреляция) не равна нулю.
Аналогичным образом можно определить и многомернее нормальные рас-
распределения.
77
ная случайная величина, то е плотность р(а:, у), то
величины. Можно показ^,™ * ^^ инаощие плотиости
выражаются формулами:
ХарактеристикТмногомериых распределений. Чаще всего в
качестве характеристик многомерных распределении используются те
„ли иные функции от компонент (координат) многомерных случайных
еличин, имеющих данное распределение. Например, для двумерной
случайной величины * = &, &) мы можем рассматривать ее математи-
математическое ожидание М£ = (Mfr, М&) и вторые центральные моменты:
Если £ = (fi, 6) имеет плотность р(.т, у), то эти моменты, есте-
естественно, выражаются в виде интегралов от плотности. Например.
+ОО +ОО
= xp{xt y)(bdy
-00 —00
Двумерная нормальная плотность. Укажем формулы для плотности
двумерного нормального распределения. Пусть £ = (£ц Ы — двумерная
нормальная случайная величина. Формула для плотности будет ныглядеть
проще, если мы от £ перейдем к случайной величине г] = {т]\, т^). где г)\ =
(£i -tti)/v/o7T. '/2 = (£> - A2)/у/оп, где щ = Л/^ь а2 = Л/£2. зац и оТ1 были
определены выше. Тогда 7/i и т/2 — случайные величины, имеющие стандартное
нормальное распределение. Пусть их корреляция (она же ковариацин) ранка (>.
Легко видеть, что р = <ti2/v/oTict22 — то же самое, что величина корреляции
исходных случайных величин £, и £>. Тогда можно показать, что функция
плотности р(х], х2) двумерной случайной величины г/ = (т]и т^) раина:
Практически это выражение „сполыуют редко.
78
2.6. Распределения,
связанные с нормальным
Область применения. При операциях с нормальными случайными
величинами, которые приходится проводить при анализе данных, воз-
возникает несколько новых видов распределений (и соответствующих им
случайных величин). В первую очередь, это распределение Стыодента,
Х-2 и F-распределения. Эти распределения играют очень важную роль
в прикладном и теоретическом анализе. Так. при выяснении точности
и достоверности статистических оценок используются процентные точ-
точки распределений Стыодента и хи-квадрат. Распределение статистик
многих критериев, использующихся для проверки различных предполо-
предположений, хорошо приближается этими распределениями.
2.6.1. Распределение хи-квадрат
Определение. Пусть случайные величины £i.£>. ■•->£»! — незави-
независимы, и каждая из них имеет стандартное нормальное распределение
Л'(и, 1). Говорят, что случайная величина \~, определенная как:
\£ = *? + ■■ +С
имеет распределение хн-квадрат с п степенями свободы. Для обозначе-
обозначения этого распределения также обычно используется выражение \fr
Ясно, что \* (для любого 7i ^ 1) с вероятностью 1 принимает поло-
положительные значения. Функция плотности \'f, в точке .г(.г > 0) равна
1 * пГ2-\'х/2
2"'2 Г(/2)"
где Г(-) есть гамма-функиия На практике эта плотность распределения
непосредственно используется редко.
Заметим, что показательное распределение с параметром 0 = 1/2 из
параграфа 2 3 — jto распределение \~ с днумя степенями свободы
Па рис. 2.6 изображены функции плотности распределения хи-
квадрат с различным числом степеней свободы
Свойства. Нетрудно убедиться, что математическое ожилапие и
дисперсия случайной величины \'jt равны
Таблицы. Для случайной величины \;, составлены разнообразные
таблицы (см 1161. |50]. |60|). Чаще всего ими содержат значения j>-
квантилей случайных величин \J5 n = l,2,...,m (если вероятность
79
n = l
71=2
n=3
— - 71=8
11 12 13 14
X
Рис. 2.6. Функции плотности распределения
хн-квадрат с различным числом степеней свободы п
выражена в процентах, их называют процентными точками и, соответ-
соответственно, говорят о таблицах процентных точек). Аргумент р, 0 < р < 1,
при этом пробегает тот или иной набор значений.
2.6.2. Распределение Стьюдента
Определение. Пусть случайные величины £o,£i,-.. ,£„ — незави-
независимы, и каждая из них имеет стандартное нормальное распределение
N@,1). Введем случайную величину
Ее распределение называют распределением Стьюдента. Саму случай-
случайную величину часто называют стьюдентовской дробью, стьюдентовым
отношением и т.п. Число n, n = 1,2,... называют числом степеней
свободы распределения Стьюдента.
Плотность распределения Стьюдента в точке s равна
Г((П
п
ПЛ°ТНОСТЬ «--етрична относительно
° ИСП0ЛЬЗУЮТ "Р" составлении таблиц.
Свойства. Можно показать, что:
Mtn = 0, Dtn =
80
п-2"
n = 100
ГС
Рис. 2.7. Функции плотности распределения
Стьюдента с различным числом степеней свободы п
Таблицы. В сборниках обычно приводятся таблицы процентных
точек для последовательных п — 1,2,... вплоть до некоторого значения.
При больших п обычно рекомендуют использовать таблицы стандартно-
стандартного нормального распределения, иногда с поправками.
2.6.3. F-распределение
Определение. Пусть i]\,...,i]m\ £ь..-,£„ A'де т,п — натураль-
натуральные числа) обозначают независимые случайные величины, каждая из
которых распределена по стандартному нормальному закону 7V@.1).
Говорят, что случайная величина Fmjl, определенная как
...
"•"" :,«?+■■ +«>■
имеет F-распределение с параметрами 77? и п. Натуральные числа т, и
называют числами степеней свободы, /■'-распределение иногда называют
еще распределением дисперсионного отношения (смысл этого названия
станет ясен н гл. 6).
Плотность Fm,71 выражается довольно сложной формулой, которая
редко непосредственно используется на практике, поэтому мы ее при-
приводить не будем.
На рис. 2.8 изображены функции плотности F-распределения с
различным числом степенен свободы.
Свойства. Математическое ожидание и дисперсия случайной ве-
величины F'\,ljU равны:
/•;„.„ =
П
71
_ 9
ДЛЯ 71 > 2,
81
01
Рис. 2.8. Функции плотности F -распределения с различным числом степеней свободы
Таблицы Семейство F-распределений зависит от двух натуральных
параметров т и п. в связи с чем даже таблицы процентных точек
занимают большой объем. Ради экономии места они часто публикуются
в сжатом виде, поэтому при их практическом использовании приходится
прибегать к дополнительным вычислениям и интерполяции.
2.7. Законы распределения вероятностей
в пакетах STADIA и STATGRAPHICS
Статистические пакеты могут предоставлять обширную справочную
информацию по различным семействам вероятностных распределений,
наглядно иллюстрируя их свойства и заменяя статистические таблицы.
2.7.1. Пакет STADIA
Пакет предоставляет возможность работать с пятью дискретными и
восемью непрерывными распределениями вероятностей, приведенными
ниже на рис. 2.9. Доступ к ним осуществляется из раздела Распределения
и частоты меню блока статистических методов (см. рис. 1.17). Разберем
несколько примеров.
Пример 2.1 к. Построим графики плотности распределения веро-
вероятностей нормального распределения с параметрами а = 0 а2 = 1;
а - U, a = 4; а = 2, а2 = 1
. ш*г:™:™ z
82
IS Функция рероятности распрслслсния
Дискретные
■3 =ёнйоийа"яь"н"рд.
'2= -биномиальное
3=гео'нстЬнческое
4=гнпергеонсто
5=Пуассона
п-успсхов а N-опытах
n-опытоо до куспехоо
п-опытоо до успеха
к-успсхоо а аыборхс m из N
событ.на n't при част=т в t Ч
Непрерывные
6=норнальное
7=экспоненцнвльное ,
8=Рслся
Г ЭзВенбУлл'а
А=яргнстнческое
В=экстоен.значеннн
С=Эрланга
Р-
щинальник 1
Обратные
Е=Но~РЙвльное
^экспоненциальное
Н=ВсйбУлла
^ КтЭоланга
и=логноонпльное.
Рис 2.9. Меню иыСорл функции распределения
Пвспнтс ппрпнстры
Норнольнос роспрс
Среднее значение
Ст.отклонение =
(«У Нтоердитъ |
пеленне:
0
1
1
X Отменить]
ЕЗвсднтс параметры —
= \
_ J
\\? Утвердитьj X Отменить
Риг 2 10 Вгш.ч параметров
нормальною р
Рис 2 11 Параметры расчета значении
функции нормальною распределения
Заполнение полей ввода данных Па экране появится окпи вводи
параметром нормального распределения (рис. 2.10) И поля Среднее значе-
значение и Ст. отклонение пало ввести параметры нужного распределения, напри-
например 0. 1 Система предложит вычислить значения функции нормального
распределения F(.rl) и Fix2). а также их разности F(.r\) - Г(з-2). в
выбранных точках х\ и х'1 Эти точки следует указать в окне ввода
параметров (рис 2 11) При ввоче только одного значении .г система
выведет указанные величины для пары - х. .г
Результаты 1 1рп нажатии кнопки запроса [у пер/инь] в окне ввода
параметров на -жран в графические окно будет выдан график плотности
и функции распределения для нормального распределения с заданными
параметрами (рис 2.12). Полученный график может быть сохранен в
отдельном графическом окне и вызван затем па -жран в течение всего
сеанса работы с пакетом
Комментарии В пакете пет п.енналыюн опции для oinoBpi'Mcmioro
иыиола графиков п.чк.1Л1,ы1.\ функции ржпфе-кмення Д-'И решения примера
2 1к счелует последовательно применить разобранную процедуру для каждой
группы параметров распределения. Сохраненные графические окна с этими
Рис. 2.12. График плотности
„ функции распределения нормального распределения
i.n/hasc
Рис. 2.13. Графические окна с графиками плотности и функции
нормального распределения с параметрами @, 1) и B, 1)
графиками могут быть выведены затем одновременно как это показано на
рис. 2.13.
Пример 2.2к. Найдем р-квантили экспоненциального распределе-
распределения со средним значением 4 для р = 0.95; 0.975; 0.99
84
Выбор процедуры. В меню блока Статистические методы (рис. 1.17)
выберем пункт Т = Вычисление вероятностей или нажмем его клавишу (£). На
экране появится меню выбора Функции вероятности распределения (рис. 2.9).
Для получения квантилей в указанном меню следует выбрать требуемое
распределение в группе обратных (правый столбец).
Восднтс параметры
Экспоненциал.распределение.
Среднее знамение
( (И"!»1') •■ "t -II- JIM f
|«/ Утвердить | |,Х Отменить"!
Воеднте ппрансгр-
Вроятность Р = 10.S5
Утвердить | *Х Отненкть}
Рис 2 13 Мнил параметрон
экспоненциального распределении
Рис. 2 И В вол параметров
для расчета кешитилсй
Заполнение полей ввода данных В окне ввода параметров
экспоненциального распределения (рис. 2.13) укажите среднее значение
4 и нажмите кнопку запроса | УтвердипГ] Система предложит ввести
Вероятность Р в окис ввода параметров (рис. 2 14).
Результаты В запросе рис. 2.М введите значение вероятно-
вероятности 0.95 и нажмите кнопку запроса [Утр.ордить]. В окне результатов
(рис. 2.15) появится строка, указывающей соответствующее значение
квантили X. Повторив эти действия для других значений вероятное«и.
мы получим итоговый результат (рис 2 15)
ВЫЧИСЛЕНИЕ ПКРОЯТНОСТЕИ. Файл:
Распре доломив экспоненциальное: '<
Сре«ноо«4, Диснс-i С)-.«"К-. Ст.отклонрнир-4
Р- O-9'i, X 11.983
Р- 0.97 5, X 11Л5С
Р- 0.99, » lR.'12i
Рис 2 15 Рол\.нл;п имчнелгпия кнаптилеп ^кс-иотчншалмют распре.l
Пример 2.3к. Создадим выборку размером 10 из ранпимгрпию
распределения па отрезке [О, П].
Выбор процедуры. Выберите и моню пакета пункт Преобр. или
нажмите клавишу {ft} В открывшемся меню преобразований выберите
пункт 3=генератор чисел
Заполнение полей ввода данных Па экране появится запрос
режимов генератора (рис 2.10) В поли Всею чисел укажем количество
генерируемых чисел 10 В ноля а= и Ь= в нижней части окна введем
границы равномерного распределения 0 и 5 В мс-ию шпон гот-ратрив
выберем 3=равномерное
Результаты Сгенерированная выборка будет помещен.! в блок
редактора данных системы (рис. 2.17).
Генератор чисел
Всего чисея=
Распр
. 3=рвонрмспное 1
Г4^н5Ъ"на11ЬЙРё- _|
1
Таблица данных
I:-' -'
Рис. 2.16. Меню
генератора чисел
Рис. 2.17. Электронная таблица
со сгенерированной выборкой
2.7.2. Пакет STATGRAPHICS
В пакете представлены 18 наиболее распространенных семейств
распределения вероятностей (см. рис. 2.19). Среди них 6 дискретных:
(Бернулли, биномиальное, дискретное равномерное, геометрическое,
отрицательное биномиальное и Пуассоновское), и 12 непрерывных:
бета, хн-квадрат, Эрланга. экспоненциальное, F-распределение, гамма,
логнормальное, нормальное, t-распределепие Стьюдента, треугольное,
равномерное и Венбулла).
Для доступа к процедурам, работающими с распределениями, в
головном меню пакета необходимо выбрать пункт Н. Distribution function
(функции распределения). Меню этого пункта приведено на рис. 2.18.
DISTRIBUTION FUNCTIONS
1. Distribution Fittm;
2. Distribution Plotting
3. Tail Area Probabilities
4. Critical Values
5. Random Number Generation
Pnc. 2.18 Меню процедур, работающих с распределениями
Назначение процедур этого меню следующее:
1. Distribution Frtiing (подбор распределения) — позволяет проверить с помощью
лпух критериев гипотезу о том. что введенная выборка принадлежит указанному
аыи распределению. Теоретическая постановка этой проблемы и ее реализация
на компьютере подробно разбираются в главе 10.
8G
2. Distribution Plotting (графики распределений) — позволяет построить для
перечисленных иыше семейств плотности и функции распределения, а так же
ряд других характеристик (см. ниже пример 2.1 к).
3. Tail Area Probabilities (вероятности хиостов) — позволяет вычислить значение
выбранной функции распределения » любой точке. Работа этой процедуры
разобрана в примере 3.1 к г.чаны 3.
4. Critical Values (критические значения) — вычисляет по заданному значению
функции распределения (вероятности) р кнантнлн .г,, этого распределения.
Эта операция является обратной по отношению к процедуре Вероятности хвостов.
Работа процедуры разобрана п примере 2.2к.
5. Random Number Generation (генератор случайных чисел) — порождает (имити-
(имитирует) последовательность иезаииснмых одинаково распределенных случайных
не.'шчип. подчиняющихся ныбранному Вами закону распределения —одному из
упомянутых восемнадцати Этой процедуре посвящен пример 2.3к.
Рассмотрим, как приведенные выше примеры решаются с помощью
пакета STATGRAPHICS.
Пример 2.1к. Построим графики нормальных плотностей с параме-
параметрами {а - 0. гг2 = 1): (а = О. а- = 1); {а = 2. а2 = I).
Выбор процедуры Из пункта Н. Distribution function головного меню
пакета выберем процедуру 2. Distribution Plotting. Экран ввода данных этой
процедуры d4 полями для ввода параметров нормального распределения)
приведен на рис. '2 19.
DlSl г I buuon Plotting
Oisti г but ions available
A)
(?)
C)
('■')
(fl)
(«О
Dislг :but юг
Rcr noulli
Binomial
Dir.cieti-
Goor.i-t i i ч.
Hou.it i ve
G)
(8)
(9)
(Ю)
A1)
A2)
Beta
Iiiany
Г -nonrr.t l nl
I
Gamma
s
A3) Loynoi rnal
A«l) Normal
A5) Siinlii.
A6) Гг
A /) Urn i or m
A8) wo i l>u 11
.14
Me.in
a: if>f>
Put '1 Ю Зан("'Г пирометрии процедуры i рафика иас
Заполнение полей ввода данных Н ноле Distribution number (номер
распределения) необходимо ввести номер требуемого распределения из
приведенного па экране списка (нормальное распределение имеет по-
помер И) и затем нажать клавишу (Тб]. На том ж о экране появятся поля
ввода параметров выбранного распределения, в лппиом случае — Mean
(среднее значение) и Standard deviation (стандартное отклонение, т.е. а).
В них надо указать данные примера 2.1 к. как это показано па скрапе.
87
На том же экране по-
:
Density function
Cumulative d.f.
Survivor function
Log survivor function
Hazard function
плотность распределения
функция распределения
функция выживаемости
логарифм функции выживаемости
функция риска
Рнс. 2.20. Меню формы представления распределения
Первые две формы представления распределений из этого меню являются
наиболее употребительными. Последние три - более специфичны и еще не
рассматривались нами. Ограничимся формальным определением назначения
последних процедур, не указывая области их применения. Функция выжива-
выживаемости по определению равна единице минус функция распределения. Под
логарифмом функции выживаемости понимается натуральный логарифм этой
функции. Функцией риска называется частное от деления плотности распре-
распределения на функцию выживаемости.
Выберем в меню пункт 1. Density function и нажмем (TF). На экране
появится меню параметров графиков (рис. 2.21).
Distribution Plot Options
Top title: rob. Dtfnslty en; • » ; ■'•" ";.- v<- "■ ^ ' *
B lines) pniial "" - ' •',••■• i '" '" :- ■••,-,' •.
X-Axls Title: ' . ' . •> i- .^,:
Y-Axis Title. ob'._^djBneity ■ .... . .•:•,,.__' . ; . V1 v
X-axis lower limit. 1O"~- ■• . ■ * .4
X-axis upper limit: 10 n Л-ч
Resolution:
Legends: -1
.. .<•■,.
Рнс. 2.21. Запрос параметров графиков распределений
:. Приведенное на рис. 2.21 заполнение нолей ввода экрана
самим пакетом, исходя из той информации, которая была
<■ Сделаем необходимые комментарии. Верхний
-"— графика), X-AxisTitle (название оси X). X-Axis Title
б"! ('1ИЖНЯЯ Гра11ИЦЯ П° °СИ Х) и X^s W limit (верхняя
график будет выводите,, на экпа Г О Г "' ЭТ° 4HCJ10' Тсм 6™™ Т°1ЫЙ
скорость вывода графика „а экран У»ели1'ение числа точек замедляет
Если па график вынодится несколько кривых, то они обозначаются различ-
различными тинами линии — непрерывной, пунктирной, точечной и др. Поля Legends
(легенды) предназначены для указания сиязи между тинами линий и параметра-
параметрами крипых выводимых на график. Эта информация выводится в правом верхнем
углу графика. В данном случае пакет поставил в эти ноля параметры закона
распределения вероятностей — среднее и стандартное отклонение. В эти поля
могут пнолиться и символьные записи.
Результаты. Заполнив поля запроса, нажмем клавишу
экране появятся требуемые графики (рис. 2.22).
). На
РгоЬ. Density Fen.
Nornal
В.Л -
В.З -
В.2 -
0.1 -
-10
Рис 2 22 Графики плотности нормального распределении с
параметрами и = И. а1 = I. п = U. ст~ = '1. ч — 2, ст~ = 1
Комментарии 1 В зависимости от выбранного распределении и проце-
процедуре будут изменяться ноля ввода Это относится прежде всего к полям ввода
параметров распределения. Так. для распределении Стыодепта и хи-киадрпт
параметром является число степеней свободы (Degrees oi freedom), для равно-
равномерного распределении — верхняя и нижняя граница интервала распределения
(Lower limil) и (Upper lunil). и т.д.
2. Содержание окна выбора формы представления распределении несколько
меняется и зависимости от выбранного распределения. В нем указываются
только те возможности, которьк- доступны для данного распределении.
3 Указанная процедура позволят выводить на -жран до пяти однотипных
кривых. Сложнее, по возможно, получить па одном графике функции рас-
распределения ич разных семенгтп Или этого следует воспользоваться процеду-
процедурой наложения одного график.! на другой (см процедуру Splitscreen/Overlay Plotting
(разделение листа и наложение .рафиков) пункта Report Writer and Graphics Replay
(текстовой редактор и воспроизведение графиков) головного меню пакета
Пример 2.2к. Найдем /; -квантили экспоненциального распределе-
распределения со средним значением -1 для ]> = 0.У5; О.'ЯГк (UJ'J
Выбор процедуры В пункте Н. Distribution function (рис. 2.18) голов-
головного меню пакета надо выбрать процедуру Critical Values (критические зна-
Critical Values
Distributions available.
A) Bernoulli
2) Binomial
C) Discrete uniform
D) Geometric
E) Negative binomial
F) Poisson
Distribution number: O>
Mean:
G) i!squarc
9) fcri »
A3) Logno.mal
A5) Studcnl.s
A6) Triangular
A7) Uniform
( (8) WeiDuU
Area at or below
Area at or below
Area at or below
Area at or below
H-9829
14.7555
18.4207
2.77dbu
/ 0 95
0,99
- 0>6
0>6
Рис. 2.23. Запрос параметров процедуры критических знамении
чения). Приведем вид экрана этой процедуры с заполненными нолями
ввода данных и результатами проделанных расчетов (рис. 2.23).
Заполнение полей ввода данных. В поле Distribution number (номер
распределения) надо ввести номер 10 экспоненциального распределения
из приведенного на экране списка и нажать (Те). На экране появятся
поля ввода данных параметров распределения, в данном случае — поле
Mean (среднее значение). Введя в него число -1. надо нажать (Тб]. На том
же экране появятся четыре строки ввода Area at or below = 0.5. Значение
0.5, поставленное пакетом по умолчанию, находится о активном поле
ввода. Вместо него следует ввести необходимые значения /;, как это
показано на рис. 2.23.
Результаты. После нажатия (W) слева от каждого нл пиеленпых
значений р появится значение квантили тр.
Комментарии. I. Эта процедура, наряду с процедурой 3. Tail Area Probabilities,
заменяет традиционные таблицы математической статистики
2. Порядок ввода данных разоб
эт
рцедура, наряду с процедурой 3
таблицы математической статистики
рдок ввода данных разобранных пшие процедур от же на
этапе выбора одного или нескольких конкретных распределений Это относится
ко всем процедурам пункта Н. Dislribirtion /unction.
Сле
рдиционные таблицы математич
2. Порядок ввода данных разобранных пшие процедур очнп и тот же на
е выбора одного или неско ных распределй Э
'l'^-1 111I
Dislribution function
"Россов ир„ проведе,,,,,, „£ *"я «•"«■«« реальных ф,,,н-
Примвп 9о.. „ ' •'" 1Пых расчетов и т.я
90
D iicm
иакета ВЫ*Р*" «У»" Н. Dis
"Ронсдуру 5. Random Number Generation.
Заполнение полей ввода данных. Экран ввода данных этой про-
процедуры на первом этапе выбора конкретного распределения совпадает с
приведенными выше экранами для процедур 2. Distribution Plotting и 4. Critical
Values. В поле Distribution number введем номер равномерного распределе-
распределения — 17. В качестве параметров этого распределения выступают зна-
значения концов отрезка, на котором рассматривается распределение. Эти
значения необходимо ввести в поля Lower limit (нижний предел) и Upper
limit (верхний предел). Далее в поле Number of samples (объем выборки) вве-
введем значение 10. Поле Seed содержит некоторое число, используемое в
качестве стартового значения для алгоритма моделировании. Это число
должно быть целым, положительным и не превышающим по величине
2147483646. Начальное значение по умолчанию устанавливается самой
системой во время запуска. Оно каждый раз повое, поскольку вычисля-
вычисляется исходя из показаний системного таймера. Это значение обновляет-
обновляется после каждого обращения к процедуре генерации случайных чисел.
Результаты. После заполнения всех полей ввода и нажатия
клавиши F6 будут вычислены требуемые числа и сделан следующий
запрос об имени файла и имени переменной в базе данных пакета, куда
будет записаны полученные числа (рис. 2.24)-
Enter variable in whjen to save tin.- sarrpies
File NIFORH Variable fcf ' LES
Put '2 24 Запрос параметров сохранении результатом генерации выборки
В поля File и Variable введите необходимое IWi имя файла и имя пере-
переменной. После нажатия (ИГ) сгенерированная выборка будет пометена
в базу данных пакета.
Комментарии Процедура также ипшолиет генерировать нршииольные
нормально распределенные векторы. Для чтого пало заполнит ■> ноля vector of means
(нсктор средних) n vanance-covanance matrix (матрица конариаций) В последнее
поло необходимо внести матрицу коипрннннм размером к * к. где к — число
генерируемых нормально распределенных нектироп
Г лав а 3 _
Основы проверки
статистических гипотез
Во многих случаях нам требуется на основе тех илн иных данных
решить, справедливо ли некоторое суждение. Например, верно ли что
два набора данных исходят из одного и того же источника.' Что А -
лучший стрелок, чем В? Что от дома до работы быстрее доехать на
метро а не на автобусе, и т.д. Если мы считаем, что исходные данные
для таких суждений в той или иной мере носят случайный характер,
то и ответы можно дать лишь с определенной степенью уверенности,
и имеется некоторая вероятность ошибиться. Например, предложив
двум персонам А и В выстрелить по три раза в мишень и осмотрев
результаты стрельбы, мы лишь предположительно можем сказать, кто
из них лучший стрелок: ведь возможно, что победителю просто повезло,
и он по чистой случайности стрелял намного точнее, чем обычно,
либо наоборот, проигравшему не повезло, так как он стрелял намного
хуже чем обычно. Поэтому при ответе на подобные вопросы хотелось
бы не только уметь принимать наиболее обоснованные решения, но и
оценивать вероятность ошибочности принятого решения.
Рассмотрение таких задач в строгой математической постановке
приводит к понятию статистической гипотезы. В этой главе мы обсу-
обсуждаем, что такое статистические гипотезы, какие существуют способы
их проверки, каковы наилучшие методы действий и с какими понятиями
они связаны. Мы проиллюстрируем эти понятия на примере несколь-
нескольких важных и часто встречающихся ситуаций, и на этих же примерах
покажем, как естественные проблемы надо переводить на математико-
статистический язык, чтобы они могли стать предметом статистического
исследования. Среди задач, рассматриваемых в этой главе - проверка
гипотез в схеме испытаний Бернулли. гипотез о положении одной вы-
выборки и о взаимном смещении двух выборок. Проверка гипотез п более
сложных ситуациях рассматривается в последующих главах этой книги.
3.1. Статистические модели
чем пРи«У""'ь к описанию
92
Если опустить детали и некоторые (хотя и важные) исключения,
можно сказать, что весь статистический анализ основан на идее слу-
случайного выбора. Мы принимаем тезис, что имеющиеся данные по-
появились как результат случайного выбора из некоторой генеральной
совокупности, нередко — воображаемой. Обычно мы полагаем, что этот
случайный выбор произведен природой. Впрочем, во многих задачах эта
генеральная совокупность вполне реальна, и выбор из нее произведен
активным наблюдателем.
Для краткости будем говорить, что все данные, которые мы соби-
собираемся изучить как единое целое, представляют собой одно наблю-
наблюдение. Природа этого собирательного наблюдения может быть самой
разнообразной. Это может быть одно число, последовательность чи-
чисел, последовательность символов, числовая таблица и т.д. Обозначим
на время это собирательное наблюдение через х. Раз мы считаем х
результатом случайного выбора, мы должны указать и ту генеральную
совокупность, из которой .г был выбран. Это значит, что мы должны
указать те значения, которые могли бы появиться вместо реального х.
Обозначим эту совокупность через А'. Множество X называют также
выборочным пространством, или пространством выборок.
Мы предполагаем далее, что указанный выбор произошел в соответ-
соответствии с неким распределением вероятностей на множестве А. согласно
которому каждый элемент из А' имеет определенные шансы быть вы-
выбранным. Если X — конечное множество, то у каждого его элемента
х есть положительная вероятность р(х) быть выбранным. Случайный
выбор по такому вероятностному закону легко понимать буквально. Для
более сложно устроенных бесконечных множеств А' приходится опре-
определять вероятность не для отдельных его точек, а для подмножеств.
Случайный выбор одной из бесконечного множества возможностей во-
вообразить труднее, он похож на выбор точки .г из отрезка или простран-
пространственной области X
Соотношение между наблюдением .г и выборочным пространством
А', между элементами которого распределена вероятность, — в точ-
точности такое же, как между элементарными исходами и пространством
элементарных исходов, с которым имеет дело теория вероятностей (и
которые мы обсуждали в главе 1). Благодаря этому теория вероят-
вероятностей становится основой математической статистики, и поэтому, в
частности, мы можем применять вероятностные соображения к задаче
проверки статистических гипотез.
Прагматическое правило. Ясно, что раз мы приняли вероятност-
вероятностную точку зрения на происхождение наших данных (т.е. считаем, что
они получены путем случайного выбора), то все дальнейшие сужде-
93
«v пянных будут иметь вероятностный характер,
ния, основанные на этих даНЬ1*^иЦ]Ь с некоТорой вероятностью, а
Всякое утверждение будет н тностью оно может оказаться
птлппй ТОЖв ПОЛОЖИ i ujionv»» w г
вы
вать
-НаГ эП:^Гл:Го=а™-"^ьио. Во-перв Ых,
Гостей событий полезно, так как у исследователя быстро
■ется вероятностная интуиция, позволяющая ему опериро-
вероятностями, распределениями, математическими ожиданиями
„7п извлекая из этого пользу. Во-вторых, и чисто вероятностные
результаты могут быть вполне убедительными: вывод можно считать
практически достоверным, если его вероятность близка к единице.
Можно высказать следующее прагматическое правило, которым
руководствуются люди и которое соединяет теорию вероятностей с
нашей деятельностью.
• Мы считаем практически достоверным событие, вероят-
вероятность которого близка к I;
• Мы считаем практически невозможным событие, вероят-
вероятность которого близка к 0.
И мы не только так думаем, но и поступаем в соответствии с этим!
Изложенное прагматическое правило, в строгом смысле, конечно,
неверно, поскольку оно не защищает полностью от ошибок. Но ошибки
при его использовании будут редки. Правило полезно тем, что дает
возможность практически применять вероятностные выводы.
Иногда то же правило высказывают чуть по-другому: в однократ-
однократном испытании маловероятное событие не происходит (и наобо-
наоборот — обязательно происходит событие, вероятность которого
близка к I). Слово «однократный* вставлено радн уточнения, ибо в до-
достаточно длинной последовательности независимых повторений опыта
упомянутое маловероятное (в одном опыте!) событие встретится почти
обязательно. Но это уже совсем другая ситуация.
Остается еще не разъясненным, какую вероятность следует считать
воТсех с;.Эча°яхВ0ПР0С МСЛЬЗЯ ^ КШтмсстве'Ш0Г0 ответа, пригодного
ош л п итвет зависит от того, какой опасностью грозит нам
пример о чрГЫЮ МаСТ° ~~ ПРИ npoBefJKC статистических гипотез, на-
0 01-005 JXoZZZ ~ П°ЛаГаЮТ ШЛЫМИ dcPo*™octh, начинам с
мер топмп,п7 г ~ малежность технических устройств, напри-
тч-|л ч^рмооов автомобиля *^пр^
нот пт^оо, ' десь нелопустимо большой бупет вероят-
на тысячу топможрпий п ' ™К '?" ВЫХ°Д из строя тоРмозов один раз
>У торможении повлечет большое число аварий. Поэтому нрн
94
расчетах надежности нередко требуют, чтобы вероятность безотказной
работы была бы порядка 1 - 1(П6. Мы не будем обсуждать здесь, на-
насколько реалистичны подобные требования: может ли обеспечить такую
точность в расчете вероятности неизбежно приближенная математиче-
математическая модель и как затем сопоставить расчетные и реальные результаты.
Предупреждения. 1. Следует дать несколько сонетов, как надо стро-
строить статистические модели, притом зачастую п задачах, не имеющих явного
статистического характера. Для этого надо присущие обсуждаемой проблеме
черты выразить в терминах, относящихся к выборочному пространству и рас-
распределению вероятностей. К сожалению, и общих словах этот процесс описать
невозможно. Более того, этот процесс является творческим, и его невозможно
заучить как. скажем, таблицу умножения. Но ему можно научиться, изучая
образцы и примеры и следуя их духу. Мы разберем несколько таких примеров
в параграфе 3.3. В дальнейшем мы также будем уделить особое внимание этой
стадии статистических исследований
2. При формализации реальных задач могут возникать весьма разнообраз-
разнообразные статистические модели. Однако математической теорией подготовлены
средства для исследовании лишь ограниченного числа молелен. Дли ряда типо-
типовых моделей теория разработана очень подробно, и там можно получить ответы
на основные вопросы, интересующие исследователя Некоторую часть таких
стандартных моделей, с которыми на практике приходится иметь дело чаше
всего, мы обсучнм в данной книге Другие можно найти в более специальных
и подробных руководствах и справочниках
3 Об ограниченности математических средств стгип помнить и при мате-
математической формализации экс пери mlmitu 1\сдп ио.шпжно. надо свести ic.w к
типовой статистической задаче. Эти соображении особенно важны при пла-
планировании эксперимента или исследования, при cfiopi' информации, ггли речь
идет о статистическом обследовании, при постановке опытов, если мы говорим
об активном эксперименте
3.2. Проверка статистических
гипотез (общие положения)
В этом параграфе мы рассмотрим основные теоретические понятия
и подходы, используемые при проверке статистических гипотез. Этот
материал весьма пажен, но непрост в освоении Поэтому при каких-либо
затруднениях при чтении данного параграфа целесообразно заглянуть
чуть вперед в п. 3 3 — там показано, как описываемые понятия и
подходы возникают в практических задачах.
Статистические гипотезы. В обычном языке слово «гипотеза»
означает предположение. В том же смысле оно употребляется и п на-
научном языке, используясь в основном для предположений, вызывающих
сомнения. В математической статистике термин «гипотеза» означает
95
предположение, которое „е только вызывает сомнения, „о и которое щ
много
р—:;^;;о^о1:^ГлГе::яГноГях:
ГХео"пр—Р: - и к распни, вероятностей щ
ня нем
Вопросов о выборочном пространстве обычно не возникает. Во-
поосы и сомнения относятся к распределению вероятностей. Сред,,
них бывают и такие: обладает ли Р(-) определенным свойством? (Это
свойство Р(-) выражает в статистической форме вопрос, интересующий
исследователя с содержательных позиций.) Вопрос можно поставить в
форме проверки предположения: сначала высказать гипотезу «Распре-
«Распределение вероятностей обладает таким-то свойством», а затем спросить,
верно ли это. Предположение может быть как о конкретном законе
распределения (например: «данные являются выборкой из нормального
закона с заданными параметрами»), так и о частных характеристиках
распределения, таких как симметрия, принадлежность к определенному
типу, о значениях параметров и т.д. Соответственно различают простые
и составные (сложные) гипотезы:
• простая гипотеза полностью задает распределение вероятно-
вероятностей;
• сложная гипотеза указывает не одно распределение, а некото-
некоторое множество распределений. Обычно это множество распре-
распределений, обладающих определенным свойством (свойствами).
Статистическая проверка гипотезы состоит в выяснении того, на-
насколько совместима эта гипотеза с имеющимся (наблюдаемым) резуль-
результатом случайного выбора. Надо, следовательно, решить, совместимо ли
с наблюдением х определенное множество распределений вероятностей
1 (•), соответствующих данной гипотезе.
Как итог обсуждения можно высказать следующее определение.
о ж^^Т?™!^™™* гиП0теза ~ это предположение
которое
Остается выяснить, как это можно сделать.
Ш, ХчГвсеГесГ °Г°В°РИМ ПрШде ° "Р^рке гипотез
вооб-
тогда Ге воз ^;Г:.Г" М°ЖН° ПР°ВС'ШТЬ -посредственно.
способа проверки у „ас нет 'идических проблем. Но
1 Риходится прибегать к проверкам косвен-
96
пмм. Это значит, что приходится довольствоваться проверкой некото-
некоторых следствий, которые логически вытекают из содержания гипотезы.
Если некоторое явление логически неизбежно следует из гипотезы, но
в природе не наблюдается, то это значит, что гипотеза неверна. С
другой стороны, если происходит то, что при гипотезе происходить не
должно, это тоже означает ложность гипотезы. Заметим, что подтвер-
подтверждение следствия еще пс означает справедливости гипотезы, поскольку
правильное заключение может вытекать и из неверной предпосылки.
Поэтому, строго говоря, косвенным образом доказать гипотезу нельзя,
хотя опровергнуть — можно.
Впрочем, когда косвенных подтверждений накапливается много,
общество зачастую расценивает их как убедительное аоказатсльство в
пользу гипотезы. В языке это отражается так. что пышную гипотезу
начинают именовать законом.
Скажем, когда Ньютон выдвинул для объяснения движения небесных тел
сноп закон несмирного тяготения, пи выглядел как некое предположение По
отношению к планетам он дапал не больше сведении, чем законы Кеплера.
Ньютону нужны были новые объекты, на которых он мог бы проверить действие
своего открытия. Таким небесным телом могла бы быть Луна. Мы знаем
сейчас, что на ее чвнжепне окалывают влияние своим притяжением не только
Земля, но и Солнце, а также другие планеты. Попмму ие движение ие
является и точности эллиптическим, а из-за близости Луны к Земле мы можем
наблюдать ith отклонения Ньютону удалось объяснить многие особенности
движения Луны, но полностью удовлетворен он не был Может быть, именно
иочтому он так долго медлил с опубликованием своего открытия Для решения
этой н других задач небесной механики понадобились усилия лучших ученых
следующего, восемнадцатого века1
Однако впоследствии па основании формулы Ньютона были объяснены не
только движение Лупы, но и траектории комет, открыты планеты Уран. 11ептун
и Плутон Поэтому предположение Ньютона стало считаться уже не гипотезой,
а законом природы, и справедливости которого никто ие сомневается. Лишь но
пторпп половине XX века, когда стало возможным измерять координаты небес-
небесных тел (в частности, искусственных спутников Земли) с точностью до санти-
сантиметров. ц\- траектории стало необходимо рассчитывать не но закону Ньютона, а
но более точным формулам общем теории относительности Эипштепна.
Для проверки естественнонаучных гипотез часто применяется такой
принцип: гипотезу отвергают, если происходит то, что при ее справед-
справедливости происходить не должно Проверка статистических гипотез про-
происходит так же. по с оговоркой место невозможных событий занимают
1 К слону CK.U.1TI,. теория движения Лупы должна бил. очеш. точной, и^п у н;и"
(у человечества) есть очень мотные нолможиости ее проверки — Лунные п Солнечные
затмения, сведении о которых сохранились и истории ia многие тысячелетия Теория
должна не только достаточно точно предсказывать даты близящихся зптмепнй (чти от-
относительно нетрудно), но и рассчитывать чти даты на много некон иазал и получать при
>том перные результаты. Такой точности добиться нелегко.
4-783 97
Причина этого проста: пригодных
Альтернативы. Повторим вышесказанное чуть более формально и
точнТ Zc пусть Я - статистическая гипотеза, т.е. предположение
о распредел нии вероятностей на выборочном пространстве. Будем да-
далее говорить о вероятностях событий, вычисленных в предположении,
что Я справедлива, или, коротко - о вероятностях при Я, обозначая
их Р( \Н) Если Я — простая гипотеза, то для всякого события А
(А -множество в выборочном пространстве) его вероятность Р(А\Н)
определена однозначно. Если гипотеза Я сложная (состоит из мно-
многих простых), то Р{А\Н) обозначает все возможные при Я значения
вероятности события А.
Выберем уровень вероятности е, € > 0. Условимся считать событие
практически невозможным, если его вероятность меньше е. Когда речь
идет о проверке гипотез, число е называют уровнем значимости.
Выберем событие Л, вероятность которого при гипотезе меньше
е, т.е. Р(А\Н) < е. (Если Я — сложная гипотеза, то меньше е
должны быть все возможные при Я значения вероятности А.) Правило
проверки Я теперь таково:
На основании эксперимента мы отвергаем гипотезу II на уровне
значимости е, если в этом эксперименте произошло событие А.
Таким образом, уровень значимости есть вероятность ошибочно
отвергнуть гипотезу, когда она верна.
Определение. Событие А называется критическим для гипо-
гипотезы Н, или критерием для Н. Если Р{А\Н) < е, то е называют
гарантированным уровнем значимости критерия А д.1я II.
Теперь обсудим вопрос о том, как следует выбирать критическое
событие. Далеко не всякое маловероятное при гипотезе событие цсче-
сообразно использовать для ее проверки. Например, если это событие
имеет одну и ту же вероятность и при соблюдении, и при несоблюдении
гипотезы, то информация о том. произошло событие или нет, не даст
пр clZr В° ВШШаНИе Ве^™°-ь этого события не только
при соблюдении гипотезы, но и при ее несоблюдении!
не все
наблюдаемого явлрмыГГ! "' " ""ИШЬ некотоРые- Во-первых, обычно у
ства, которые выпоТняютсТ'01"^ ™" Предполагаютси некоторые свой-
В, что ограничивает ^ITnH "P" co6jlICW?HHH' H при несоблюдении
1У возможных распределений при несоблюде-
98
нии Я. Во-вторых, нас могут интересовать некоторые специфические
(например, наиболее часто встречающиеся) нарушения Я, и мы можем
захотеть построить правило проверки Я, «чувствительное» именно к
этим видам отклонений. Поэтому при проверке статистических гипотез
рассматривают не только множество распределений на X, допустимых
при выполнении Я. но и указывают множество Я' распределений на X,
которые мы рассматриваем в качестве «альтернативы.) гипотезе Я.
Определение. Распределения, с которыми мы можем встре-
встретиться в случае нарушения Я, называют альтернативными рас-
распределениями, или альтернативами. (Иногда говорят также о
конкурирующих распределениях и о конкурирующих гипотезах.)
Ниже мы увидим, что обычно «специализированные», т.е. рассчи-
рассчитанные на более узкий круг альтернатив, способы проверки статистиче-
статистических гипотез, являются (для этих альтернатив!) более «мощными», чем
«универсальные», т.е. рассчитанные на широкий круг альтернатив.
Выбор критического события. Теперь вернемся к вопросу выбора
критического события Л. Идеальным было бы найти для проверки Я
такое событие, которое не может произойти ири гипотезе и обязательно
происходит при альтернативе: появление (непоявление) такого события
было бы наилучшим индикатором для II. Прекрасно подошло бы и такое
критическое событие, вероятность которого близка к О ири гипотезе и
близка к 1 при альтернативе. Однако существование такого события
возможно не всегда. Например, при проверке гипотезы о том. что
некоторый параметр распределения равен </, против альтернативы о
том, что он не равен а, такого события указать нельзя, поскольку
при приближении параметра распределения к а вероятность любого
события будет приближаться к тому значению, которое она имела бы при
параметре, равном о. В подобных случаях приходится довольствоваться
меньшим: в качестве критического выбирают событие, вероятность
(вероятности — если гипотеза сложная) которого (малая при гипотезе)
увеличивается по мерс удаления распределения от гипотетического
(гипотетических).
В некоторых случаях эту мысль удается осуществить в виде выбора
оптимального критического множества заданного уровня значимости
Именно так обстоит дело для многих широко используемых статистиче-
статистических молелен. Например, в схеме Бернулли ял я некоторых практически
важных гипотез и альтернатив существуют наилучшие (наиболее мощ-
мощные) критерии. По в целом такие удачи редки. Теоретиками предлага-
предлагались многие идеи, как рационально выбирать критические множества.
Но удовлетворительного общего решения этой проблемы пет.
99
ерие. Обычно для построения критического мНо.
^рие ^ т _ некоторая фун
жества используется следу ^ ^^ ^ ^
ZZ^ZZpu, Как правило, статистику Т вь,биРаЮТт,
чтобы ее распределения при гипотезе и при альтернативе
;SS^-^<° ^чае-если множества распр™й
Я иТскасаютсяо друг друга - чтобы различие в распределениях Т
было как можно большим по мере удаления истинного распределения
наблюдений от гипотетического). При таком выборе статистики Т обыч-
но некоторые значения Т (например, слишком большие или слишком
малые) являются нетипичными при гипотезе и типичными при альтер-
нативе. Поэтому для построения критического множества А выбирают
некоторое множество вещественных чисел А' (множество «нетипичных»
при гипотезе значений статистики Т), и полагают множество А как
А={х\Т(х)еА'}.
Это множество будет критическим для гипотезы на уровне
тахрен Р{А). Поскольку множество А полностью определяется по
А', множество А' тоже называют критическим.
Читатель может подумать, что мы не продвинулись ни на шаг впе-
вперед: вместо выбора критического множества А надо выбирать критиче-
критическое множество А'. Но дело в том, что обычно множество /V устроено
очень просто. Например, если статистика критерия Г выбрана так.
что она принимает небольшие значения при гипотезе и большие —
при альтернативе, то множество /V следует выбирать как {у \ у ^ о},
где а — некоторое число. При другом поведении статистики Т мно-
множество А' может быть устроено по-другому, например {у \ у ^ а} пли
{у | у ^ а или у ^ Ь}. Разумеется, следует выбирать множество А' так.
чтобы тахРеНР{А) ^ с, где е - уровень значимости критерия. С
конкретными примерами применения данного подхода можно познако-
познакомиться ниже в этой главе.
Ошибки первого и второго рода. При проверке статистических
гипотез возможны ошибочные заключения двух типов:
• вторжение гипотезы в случае, когда она на самой деле верна;
Ге"Не РННЯТНС)
соответствешю
в " —Р-тиве. наше от.,0-
второго рода также неодинаково. Прч
100
построении статистических критериев мы фиксируем максимальную до-
допустимую вероятность ошибки первого рода (то есть уровень значи-
значимости критерия), и стремимся выбрать критическое множество таким
образом, чтобы минимизировать вероятность ошибки второго рода (или
хотя бы сделать так, чтобы эта вероятность была как можно меньше
по мере удаления истинного распределения от гипотетического или
гипотетических).
Мощность критерия. Обозначим через 0 вероятность ошибки вто-
второго рода статистического критерия. Если альтернативная гипотеза
является сложной, то эта вероятность, естественно, зависит от выбора
конкретного альтернативного распределения. Если мы рассматриваем
альтернативы из какого-либо параметрического семейства распределе-
распределении Ро. значение 0 также можно считать функцией от 0.
Величину 1 - в обычно называют мощностью критерия. Ясно,
что мощность критерия может принимать любые значения от 0 до 1.
Чем ближе мощность критерия к единице, тем более эффективен (бо-
(более «мошен») критерий. Многие известные статистические критерии
получены путем пахождення наиболее мощного критерия при заданных
предположениях о гипотезе и альтернативе.
3.3. Примеры статистических
моделей и гипотез
Покажем па примерах, как может проходить математическая форма-
формализация практических зааач и как сформулированные на естественном
языке вопросы превращаются в статистические гипотезы.
Тройной тест. Рассмотрим распространенный и психологии трой-
тройной тест (его другое название — тест дегустатора, см. [83]). Он состоит
из серии одинаковых опытов, в каждом из которых испытуемому предъ-
предъявляют одновременно три стимула. Два из них идентичны, а третий
несколько отличается. Испытуемый, ориентируясь на свои ощущения,
должен указать этот отличающийся стимул. Например, испытуемому
могут быть предложены три стакана с жидкостью: два с чистой водой.
а третий — со слабым раствором сахара, либо наоборот — два стакана
подслащенных, а третий — с чистой водой. Задание для испытуемого —
указать стакан, отличающийся от двух других.
Опыты стараются организовать так. чтобы они проходили в одина-
одинаковых условиях и чтобы в каждом из них испытуемый мог полагаться
только на свои ощущения. В результате подобного однократного экс-
эксперимента можно получить как правильный, так и неправильный ответ.
101
r,o кпгпя РГО ТРУД ОТ
ПРИ слабой ко„.„;РаЦ„и^с:р.ко=огРУзаключения q ^
„з одного ответа нельзя сдал к концентрацию. Испытуемый
„ости испытуемого 4«™»~^ способен от
„ концентрац уемый
„ости испытуемого 4«™»~^в цедам он способен отличать
мо«ет случайно обиться Д же ее £ ^
Г„ГйГВГ„РеаГлГеРтаТОГо. что испь,туеНь,и его просто уГадал,
не отличая раствора от воды.
Эти свойства эксперимента мы можем перечислить в виде следу.
юших допущений:
• в каждом испытании ответ испытуемого случаен;
• существует вероятность правильного ответа, которая неизменна
во все время испытаний;
• результаты отдельных испытаний статистически независимы.
Коротко это выражается так: статистической моделью эксперимента
служит схема Бернулли.
Сформулировав математическую модель явления, перейдем к вы-
выдвижению статистических гипотез. Интересующая нас способность ис-
испытуемого характеризуется вероятностью правильного ответа, которую
мы обозначим р. В этом опыте она нам неизвестна. Естественно, эта ве-
вероятность зависит от степени концентрации сахара. Если концентрация
очень мала и не воспринимается, то у испытуемого нет оснований для
выбора. Он «наудачу» будет указывать один из трех стаканов. В этих
условиях вероятность правильного ответа р = 1/3.
Предположим, что экспериментатора интересует, начиная с каких
концентраций испытуемый отличает раствор от воды. Тогда для дан-
данной концентрации экспериментатор может выдвинуть предположение,
что испытуемый ее ощутить не состоянии. В изложенной модели это
предположение превращается в статистическую гипотезу о том. что
Р = 1/3. Примем следующую форму записи статистической гипотезы:
Н : р = 1/3. Если же экспериментатор предполагает, что испытуемый
может ощутить наличие сахара, то соответствующая статистическая
гипотеза состоит в том. что р > 1/3, т.е. Я : р > 1/3. Возможна и
с осоТбемпТ0М' ЧТ0/; < 1Д °Иа соответс^У^ тому, что испытуемый
способен отличить раствор от воды, но принимает одно за другое
ГГПТаТ° И ДРуГИе гипотезь. о способности
HanP™eP. —южна такая
равна0.9 и
102
Заметим, что с чисто математической точки зрения гипотеза вида
Н:р= 1/3 проще, чем р > 1/3 или р < 1/3. Действительно, /J ™
мы имеем дело с одним (полностью заданным) биномиальным распреде-
распределением, а в других случаях перед нами семейство распределений Ясно
что с одним распределением иметь дело проще.
Сейчас мы не будем рассматривать процесс проверки этих гипотез
(он описан в п. 3.4), а вместо этого приведем еще один пример перевода
естественнонаучной задачи на статистический язык, т.е построения
статистической модели явления и выдвижения гипотезы для проверки.
Парные наблюдения. На практике часто бывает необходимо срав-
сравнить два способа действий по их результатам. Речь может идти о срав-
сравнении двух методик обучения, эффективности двух лекарств, произво-
производительности труда при двух технологиях и т.д. В качестве конкретного
примера рассмотрим эксперимент, в котором выясняется, па какой из
сигналов человек реагирует быстрее: па свет или па звук.
Эксперимент был организован следующим образом (см [26)). Ка-
Каждому из семнадцати испытуемых в случайном порядке поочередно по-
подавались два сигнала: световой и звуковой Интенсивность сигналов
была неизменна в течение всего эксперимента Увидев или услышав
сигнал, испытуемый должен был нажать па кнопку. Время между
сигналом и реакцией испытуемого регистрировал прибор. Результаты
эксперимента приведены в табл. 3.1.
Таблица 3.1
Время реакции на спет и на зкук. и миллисекундах
?
1
2
л
1
Г)
(i
7
•22-Л
КМ
2(И)
1S.4
ISO
Hi8
21 Г)
172
1X1
им
17.4
15.4
1A8
1715
к;:-1.
152
!)
К)
11
12
1.4
11
15
и;
17
г,
2A0
I'll
1*17
1S.4
171
17(i
1Г,Г.
ИГ.
IG3
.»/■
155
1Г)Г,
17Х
НИ)
КМ
НИ)
15"»
122
111
i — помор испытуемого, i = 1,..., 17, .г, — время
1-го реакции itci знук. j/, — время его реакции па спет.
Вместо поставленного выше вопроса о том. па какой из сигналов
человек отвечает быстрее, выдвинем другой можно ли считать, что
время реакции человека па свет и па звук одинаковы'-' Логически эти
вопросы тесно связаны: если мы отвечаем отрицательно на второй из
них, мы тем самым признаем, что различия есть. После этого уже пе-
103
:;а1 вопрос проше, как Мы утт
из дальнейшего обсуждения.
Итак время реакции на звук. X, и время реакции па свет. 1 . различ-
различно у разных людей, несмотря на то, что во время опыта они находились
в одинаковых условиях. Ясно, что наблюдаемый разброс во времени
реакции не связан с изучаемым явлением (различием двух действии).
По-видимому этот разброс можно объяснить различиями между испы-
испытуемыми и/или нестабильностью времени отклика па сигнал у каждого
испытуемого. Как бы то ни было, эти колебания не имеют отношения
к той закономерности, что нас интересует. Поэтому мы объявляем их
случайными. Так сделан первый шаг к статистической модели: перемен-
переменные Xi и yi признаны реализациями случайных величии, скажем Х{ и
У;. Поскольку каждый испытуемый решал свои задачи самостоятельно,
не взаимодействуя с другими испытуемыми и не испытывая с их сторо-
стороны влияния, мы будем считать случайные величины Х\, У\,..., Х17, У17
независимыми (в теоретико-вероятностном смысле).
Выбор статистической модели. Дальнейшее уточнение статисти-
статистической модели в подобных задачах может идти различными путями, в
зависимости от природы эксперимента и наших знании о ней Один
путь связан с предположением о том, что случайные величины А", к
Yi имеют некоторые конкретные законы распределения. Например, мы
можем предположить, что Л\ и У, — независимы и имеют нормальные
распределения с одной и тон же дисперсией (обозначим ее а2). Тогда,
если ввести для средних значений обозначения: МХХ = al,MYl = Ьг где
i = 1,...,17, то можно сформулировать наши допущения так: случай-
случайные величины X{,Yi подчиняются распределениям N{at,rr2) Л:F, а2)
соответственно, где параметры aubx а,7|Ь17, а2 нам неизвестны.
При этих обозначениях выдвинутый вопрос о равном времени реак-
реакции на свет и на звук может быть сформулирован как статистическая
гипотеза:
Я: О|=6ьп2 = б2 а„=1,17.
одноЕооЛ1ЭТРИМе"ТаТ°Р УВере"' ЧТ0 гРУ™а испытуемых достаточно
од юродна. о, может дополнительно предположить, что а, = = а„
« в 4 соотвГтстаенпГ1 °б°3"аЧИТЬ общ|№ значения параметров через
~;:г ssrrD тслучас ыож"°
ь---,л17 и распределены по закону
104
N(b,a2). Параметры aj, и <r2 неизвестны. Тогда гипотезу о равном
времени реакции можно записать следующим образом:
Я: а = Ь.
Ясно, что задача с меньшим числом неопределенных параметров,
как во второй постановке, в принципе должна давать более точные'
ответы. При проверке гипотез это означает, что мы сможем принять
или отвергнуть проверяемую гипотезу с большей степенью уверенности.
Но следует помнить, что уменьшение количества параметров в модели
является следствием принятия дополнительных предположений об име-
имеющихся данных. Так, в приведенном выше примере мы предположили,
что МХ\ = ... = МХп и MYX = ... = MYl7, что н дало нам возмож-
возможность уменьшить количество параметров в модели с 35 до 3. Но если
сделанные дополнительные предположения являются неправомерными,
то использование полученной математической модели может привести
к неверному заключению. Например, при обработке наших данных по
однородной схеме можно получить неверный ответ, если фактически
эти данные однородными не являются.
Итак, при построении статистической модели постоянно приходится
вводить упрощающие математические предположения и одновременно
оценивать, насколько они приемлемы с содержательной точки зрения
И часто надо быть готовым к тому, чтобы отказаться от недопустимых
предположений пли заменить их чем-то другим
Другой путь построении статистической модели — так называемый
непараметрический. Здесь мы не делаем предположений о том. что на-
наблюдаемые случайные переменные имеют какой-либо параметрический
закон распределении. В ^том случае мы делаем меньше математических
допущений, а значит, здесь меньше опасности принять неоправданное
предположение. Зато при этом мы используем не всю информацию об
имеющихся данных, а только ту ее часть, которая не зависит от конкрет-
конкретного вида распределении исходных данных. Например, при проверке
гипотезы о равном времени реакции па спет и звук мы должны будем
использовать не сами значения времен реакций Л', и У,, а их ранги
в объединенной выборке А", и V,. По сравнению с параметрическим
методом (если предположении о параметрическом характере случайных
событий справедливы), мы получим при этом несколько менее точные
выводы, по зато иепараметрическин метод имеет гораздо более широкую
область применимости. Более подробно мы обсудим исиараметрический
подход к описанной задаче в пункте 3.6.1
Итак, при построении статистической модели приходится делать ряд
предположений. Большую часть этих предположений мы не проверяем
1U5
Некоторые предположения мы вы-
(нч^даеи^^^,, со статистичСск, атер„алом,
бираем для проверки и с сгатистИческими гипотезами. Ниже
3 4 Проверка статистических
гипотез (прикладные задачи)
3.4.1. Схема испытаний Бернулли
Вероятности событий при гипотезе. Обратимся к описанному
выше тройному тесту. Мы выяснили, что статистической моделью этого
теста является схема испытаний Бернулли, и выдвинули несколько
статистических гипотез, которые были сформулированы так: II : р =
1/3 В :р> 1/3, Н : р = 0.9, где р — вероятность правильного ответа
в одном испытании.
Пусть для определенности число испытаний п = 10. (Вообще-то
десяти испытаний для серьезных выводов недостаточно. Мы выбрали
7i = 10 только ради простоты изложения, чтобы сделать последующие
расчеты легко обозримыми.) В качестве наблюдения х в этой схе-
схеме эксперимента должны выступать результаты этих 10 испытаний,
т.е. последовательность длины 10 вида успех, неудача, неудача, успех
и т.д. Соответственно пространство X состоит из 2" = 210 всевоз-
всевозможных таких последовательностей. Вероятность любой из них равна
V A -p)n~s, где S — число правильных ответов. Можно показать, что
статистические решения, основанные на S, не будут менее точными,
чем решения, основанные на полной записи результатов. (Это очень
интересная математическая особенность, на которой мы не мижсм оста-
останавливаться. Скажем лишь, что это означает, что вся информация,
необходимая для принятия решений о величине р, заключена в числе
успехов 5, а сведения о конкретном чередовании успехов и неудач не
важны.) Поэтому проверку гипотез мы будем проводить, основываясь на
числе успехов 5, которое имеет биномиальное распределение, подробно
разобранное в главе 2.
™П0ГеЗЫ "аД0 вь1бРат- ™« событие, верил-
"аЯ ктетическону распределению
;:слог„ГсГеГы Г это собы™е чсрсз'; выбсрем
считать маловероптнь ж пГт Вер°Я™ость «"ор-" «е..ыне с. будем
Stei °02' Вс"°710СТ"А коь
сейчас удобно записать
106
как Р(А | Я), отмечая, что эта вероятность вычислена при гипотезе Я
Рассмотрим некоторые примерь, событий и вычислим их вероятности В
табл. 3.2 приведены вероятности событий вида {S = к} при р = 1/3.
Таблица 3.2
к° 1 2 3
4 5
P(S = k\H) 0.0173 0.0868 0.1950 0.2602 0.2276 0.1365
к 6 7 S 9 ю
P{S = к | //) 0.0Г>69 0.0163 0.0030 0.0004 0.0000
Легко видеть, что половина этих событий маловероятна согласно
выбранному памп критерию.
В табл. 3.3 приведены вероятности событий, заключающихся в том,
что правильных ответов больше или равно заданному числу, т.е. событий
вида {5 ^ к]Л- = 0.1.2 К).
Таблица 3.3
к 0 1 2 3-1 5
1'{Ь^к\Н) 1.000 0.9827 O.S95H 0.7009 A.1107 0.2131
к 6 7 8 9 10
P{S ^ к | If) ().07(if) 0.0197 0.003-1 0.0001 0.0000
Здесь тоже несколько событий имеют вероятность меньше 0.02
Как видим, для выбора маловероятного при // события Л имеется
довольно много возможностей. Как мы говорили в п. 3.2, плло выбрать
Л так, чтобы Р{А | //) была малой, но при нарушении // становилась
бы большой. То есть выбрать такое Л. которое неправдоподобно при
II и естественно, (обыкновенно, не удивительно) при рассматриваемой
альтернативе к // Как мы установили в п. 3.3. альтернативой к гипотезе
Я : р = 1/3 может быть совокупность распределений, для которых
7> > 1/3. Таким образом, с простой гипотезой // конкурирует сложная
альтернатива Я, : ]> > 1/3 Эту альтернативу называют односторонней
(правосторонней), чтобы отличить от двусторонней альтернативы Я-j :
V Ф 1/3.
Можно, разумеется, рассматривать и простые альтернативы к гипо-
гипотезе II. Рассмотрим, например, альтернативу //■< : р = П.9. и разберем
в этой ситуации, как осуществить ныбор множества Л. руководствуясь
изложенным выше принципом.
Вероятности событий при альтернативе. Посмотрим, как из-
изменяются вероятности событий, приведенных в таблице 3.3, когда они
1U7
Таблица 3.
5
1.0000 1.0000 1-0000 0.9999
8 j__ Ю
09872 0.9298 0.7361 0.3487
вычисляются при альтернативе р = 0.9. Соответствующие значения
даны в таблице 3.4. г. _ 7 <? - я о п
Анализируя табл. 3.2, видим, что события S - 7. Ь - 8, S = 9,
S = 10 маловероятны как каждое в отдельности, так и все вместе
взятые те объединение этих событий, которое можно записать в виде
S 2 7 имеет вероятность, равную 0.0197 (см. табл. 3.3). Из табл. 3.4
видно'что вероятность события S > 7. вычисленного при альтернативе,
равна 0.9872, т.е. событие S > 7 при справедливости альтернативы
практически достоверно. Поэтому в качестве критического для гипотезы
Я :р = 1/3 при ее проверке против конкурирующей гипотезы 7/3 : р =
0.9 можно взять событие {S > 7}.
Может возникнуть следующий вопрос: почему мы не включили
событие 5" = 0 в выбираемое нами маловероятное (при первой гипотезе)
событие А, вместо, например, событий S = 7 и S = 8? Ответ дает
расчет вероятности события А = {S = 0} U {5 ^ 9} при альтернативе.
Действительно, Р(А [ Hz) = 0.7361. т.е. это событие менее вероятно
при альтернативе, чем выбранное выше.
Разобранный пример характеризует в некотором смысле идеальную
ситуацию, когда удается найти такое событие А, которое практически
невозможно при Н и практически достоверно при альтернативе. В этом
случае по результатам эксперимента, в зависимости от того, произошло
или нет Л, мы уверенно можем судить, имеем ли дело с // или с
альтернативой.
Сложная альтернатива. С точки зрения экспериментатора, разум-
разумной альтернативой к гипотезе Н : р = 1/3 является сложная альтернати-
альтернатива пх : р > 1/3. Эта альтернатива не задает конкретного распределения
вероятностен в схеме Бернулли. Вероятности событий при альтернати-
альтернативе Нх зависят от конкретного значения параметра р 1/3 < v < 1. Они
изменя^отоя RKfo^To r^ ил ' * ^^
»■ *- изменением этого пяпямртп-э и «<i_i ••/чи.тх ^»лпмть
п топпап,,,,,. '"i" мараме iud, и мы можем суди id
РР*. и «» — суди
г Т ЭТ°Й ВеР°ЯТНОС™. Очевидно, что чем больше
ЛЬШе Вер°ЙТИ0СТЬ поя^"ия большого числа успехов
ТГ^ № « " 3.4. Вь! было
маловероятно. В то же
"" """ Р.
108
вероятность этого события. Так, при р = 0.9 P(S > 7 | Я3) = 0 9872
Поэтому разумно именно с помощью этого события судить о справедли-
справедливости Я — если альтернативой к Я выступает Нх : р > 1/3
Предположим, что мы провели обсуждаемый эксперимент и получи-
получили для S конкретное значение. Обозначим это наблюденное значение
как 51)абл . чтобы отличать случайную величину S от ее реализации
■511абл.- Пусть, к примеру, 5„абл = 7. Тем самым осуществилось собы-
событие {S ^ 7}. Поэтому мы отвергаем гипотезу Я : р = 1/3 на уровне
значимости 0.02 в пользу альтернативы Hi ■. р > 1/3.
Упоминание уровня значимости в заключительном решении суще-
существенно — от его величины зависит, отвергаем мы гипотезу или нет.
Пусть, например, е = 0.005. Тогда критическое множество есть {S ^ 8}.
и опыт, в котором 511абл = 7 не отвергает гипотезу Н :р= 1/3 на уровне
значимости 0.005 против альтернативы Н{ : р > 1/3.
Выбор уровня значимости всегда произволен. Неприятно, что от
этого произвола зависит решение — отвергнуть или нет гипотезу. В
данном примере (и во многих других случаях) есть более гибкий способ
действий — указать минимальный уровень значимости, на котором
можно отвергнуть гипотезу.
Критическое событие в пашей задаче имеет вид {5 ^ С}, где С —
некоторое критическое значение. Чем больше число С. тем менее ве-
вероятно при гипотезе Я событие {S ^ С1}. Тем больше поэтому уверен-
уверенность, что Я надо отвергнуть, если 5„абл ^ <"■ Наибольшей достижимой
уверенности соответствует наименьший возможный уровень значимо-
значимости, который в пашен задаче есть P{S ^ Sn3(l!l \II).
Наименьший уровень значимости полезно вычислять во всех случа-
случаях, так как он характеризует, насколько сильно наблюденное значение
противоречит гипотезе П.
Виды альтернатив. В примере испытании Берпулли, которые обсу-
обсуждались выше, разумный 1иысс альтернатив к гипотезе Я : р = 1/3 был
определен как р > l/'Л Такие альтернативы называют односторонни-
односторонними (в данном случае, правосторонними). Встречаются статистические
задачи и с левосторонними альтернативами. Основную гипотезу в этом
случае приходится отвергать, если успехов в опыте зарегистрировано
неестественно мало с точки зрения гипотезы //. Иначе говоря, крити-
критическое множество А имеет вид А = {S <: С}, а число С выбирается
так, чтобы P(S ^ С | II) была малой.
Наиболее общими альтернативами являются двусторонние альтер-
альтернативы. Пусть основная (нулевая, как часто говорят) гипотеза имеет
вид Но : р = ро. где р — некоторое определенное число. Если непоз-
109
жно заоанее указать направление изменения р при отступлении от
Гп иходится рассматривать альтернативу вида Н : у Ф Рс Руковод.
crlTb—ниыш принципами проверки статистических гипотез и
р к ром изменения распределения вероятностей между возможны-
возможными значиями S (числом успехов) при разных р, мы заключаем, что в
Ганн м лучае следует отвергнуть гипотезу Но и тогда когда S, не.
правдоподобно велико, и тогда, когда оно неправдоподобно мало. Напо-
Напомним, что все эти вероятности вычисляются так, как это предписывает
проверяемая гипотеза Но-
Следовательно, надо выбрать два критических значения для 5, а
именно верхнее и нижнее, скажем, х и у. Выбрать их необходимо
так, чтобы P(S^y\ Но) + P(S Z х | Яо) была малой. Гипотеза Яо
отвергается, если 51)абл. ^ у, либо 51)абя. ^ х. Уровень значимости этого
критерия есть P{S ^ у \ Щ) + P{S ^ х \ Но).
Замечание. Обычно описанное правило оформляют несколько иначе, следя
за отклонением наблюдаемого 5 отего ожидаемого значения пр0. Напомним, что
математическое ожидание числа успехов в схеме Бернулли равно MS = пр0.
С помощью таблиц выбирают число z так. что вероятность P(\Snp()\ ^ z | Яо)
оказывается малой. Гипотезу Яо : р = ро отвергают, если |.5',13бл - про\ ^ г.
В этом случае статистикой критерия служит уже не 5'. a \S — п/^о|. Здесь
также можно вычислять минимальный уровень значимости, на котором можно
отвергнуть Яо : р = ро против двусторонней альтернативы /; ф р0. Он равен
P{\S - про\ 2 |SUr - про\ | Я).
3.4.2. Критерий знаков для одной выборки
На изложенном выше способе проверки статистических гипотез в
схеме Бернулли основан широко распространенный критерии знаков.
Для его применения достаточны очень слабые предположения о законе
распределения данных, такие как независимость наблюдений и одно-
однозначная определенность медианы. Напомним, что медианой распреде-
распределения случайной величины £ называется такое число 0. для которого
Ptf < 0) = Р(£ > 0) = 1/2 '
ЧТ° ° резУльтате ""отчисленных измерений арте-
Г° ДаВЛеНИЯ У ПЭЦИентов "е'<ой поликлиники было
* ЭТИ ИЗмеРения возобновились
N Ттпов бЬ1ЛИ
давления ^^^ -~ ™ .едпаннь.
не Ге2г z t::z: :потезу °том- чт° ~ —
альтернативы - в лГннпм РассматРивать только односторонние
данном случае, левосторонние (как будет описано
по
ниже). Если гипотеза будет отвергнута, это будет означать положитель-
положительный ответ на поставленный выше вопрос.
Проверка этой гипотезы с помощью критерия знаков проводится
следующим образом. Рассмотрим случайную величину X - 0. Так как
согласно гипотезе, medX = 0 , то Р{(Х - в) > 0} = Р{(Х - 0) < 0} =
1/2. В выборке I, - 0, i = 1,... ,7V, подсчитаем число положительных
разностей и обозначим его через S. Для формализации этого алгоритма
удобно ввести функцию
при х > 0,
при i < 0.
Тогда S = £1=1 s(xi - в). Случайная величина s(x) принимает два
значения: 0 и 1. Согласно выдвинутой гипотезе, вероятность каждого из
этих значений равна 1/2. Таким образом, видно, что задача сводится к
схеме испытаний Бернулли. в которой через 5 обозначено число «успе-
«успехов», и следует проверить гипотезу Н : р = 1/2. В нашем примере надо
рассматривать левосторонние альтернативы, но вообще альтернативы
могут быть как односторонними, так и двусторонними, в зависимости
от решаемой задачи.
Отметим важное обстоятельство в приведенном примере. Гипотеза
о значении медианы случайной величины, выдвинутая нами первона-
первоначально, не определяла однозначно закон распределения Л', и тем са-
самым не позволяла вычислить вероятность произвольных значений А'.
В связи с этим мы были вынуждены перейти к случайной величине
,ч(х — в), которая задает только знак разности т-0. При этом веро-
вероятностное распределение s(s - 0) определяется уже однозначно. Из-
Изложенный критерий получил название критерия знаков, так как он
работает фактически только со знаками преобразованных некоторым
образом случайных величин. Этот критерий хорош именно тем, что тре-
требует очень немногого от функции распределения случайной величины
и очень прост в применении.
3.5. Проверка гипотез
в двухвыборочных задачах
Область применения. Рассмотрим часто встречающуюся на прак-
практике задачу сравнения двух выборочных совокупностей. В духе основ-
основной статистической предпосылки мы будем рассматривать эти совокуп-
совокупности как случайные. Например, нас может интересовать сравнение
двух методов обработки, т.е. двух разных действий, направленных к од-
111
ной цели- двух лекарств, двух рационов питания, двух методик обучения
или профессиональной подготовки и т.д.
Данные Для исследования нужны однородные объекты ра3де.
ленн!" на две группы. Взаимные влияния и взаимодействия объектов
должны быть неучены. Для каждого объекта регистрируется некото-
р я его чиповая характеристика. Возникающие при этом две группы
Гисел можно рассматривать как две независимые выборки.
Постановка задачи. Рассмотрим вопрос о том. какие задачи целе-
целесообразно рассматривать при сравнении двух выборок. Вспомним, что
обычно две выборки получаются как характеристики двух обработок,
то есть как результаты применения различных условии эксперимента
к двум группам однородных объектов. Опыт применения статистики
показывает, что изменение условий эксперимента обычно сказывает-
сказывается прежде всего на изменении положения распределения измеряемой
числовой характеристики на числовой прямой. Масштаб и форма рас-
распределения при малых изменениях условий эксперимента обычно оста-
остаются практически неизменными. При больших различиях о условиях
эксперимента наряду с изменением положения распределения изменя-
изменяется и его разброс (дисперсия). И совсем редко происходит измене-
изменение самой формы распределения. Поэтому при исследовании различии
в двух выборках часто предполагают, что законы распределения двух
анализируемых выборок отличаются только сдвигом, т.е. принадлежат
сдвиговому семейству распределении.
Определение. Распределение G(x) принадлежит сдвиговому се-
семейству распределений F, задаваемому распределением F(x), если
существует такая 0, что для любого х : F(x) = G{x - 0).
Другими словами, если случайная величина £ имеет распределение
F(x), то распределение G{x) случайной величины ц принадлежит сдви-
сдвиговому семейству F тогда и только тогда, когда для некоторого неслу-
неслучайного числа в распределения случайных величии ц и £ + 0 совпадают.
Для некоторых сдвиговых семейств (например, для семейства, поро-
порожденного нормальным распределением) построены весьма эффективные
критерии для проверки гипотезы Я против альтернатив сдвига 0 ф О
ГГ61' "■ 5)> °ДНаК0 Э™ Критерии предполагают, что F ■
°ПреДеЛе1ОМУ листву, а поэтому могут давать не-
ТТЯТЫ "^ НП°—< этого условия. Другой класс
т 1 РЙМеТРИЧеСКИе КрИТерИИ' - »е требует этого пред-
1 " КРИТСРИИ Н?ЯВИСЯТ °Т определений F и 6 (если
T'и эффективно работают "р-более шн-
В частности, с их помощью можно найти
112
различии в случайных величинах при альтернативах F ^ G и F > G
Дадим определения этих понятий.
Определение. Мы говорим, что F > G. где F и G - функции
распределения, если для любого числа х выполняется F(x) > Glx)
Мы говорим что F <c G, если для любого числа х выполняется
F\x) ^ G[x).
Смысл этого определения состоит в том. что при F > С, случайная величина
Л. имеющая закон распределения F, имеет тенденцию принимать меньшие
значения, чем случайная величина Y с законом распределения G т е для
любого х выполняется Р(Х < х) ^ P(Y < х).
Методы. Ниже мы расскажем, как проверить однородность двух
выборок с помощью критерия Манна-Уитни или критерия Уилкок-
сона. Методы анализа двух выборок, имеющих нормальный закон рас-
распределения, будут рассмотрены отдельно в главе 5.
3.5.1. Критерий Манна-Уитни
Область применения критерия Манпа-Уитпи — анализ двух не-
независимых выборок. Размеры этих выборок могут различаться.
Назначение критерия — проверка гипотезы о статистической од-
однородности двух выборок. Иногда эту гипотезу называют гипотезой об
отсутствии эффекта обработки (имея в виду, что одна из выборок со-
содержит характеристики объектов, подвергшихся некоему воздействию,
а другая — характеристики контрольных объектов).
Данные. Рассматриваются две выборки х{—,.»•„, (выборка х) и
?/! уп (выборка у) объемов ?п и у?. Обозначим закон распределения
первой выборки через /-. а второй — через С
Допущения. 1. Выборки .г,, »•„, и ух //„ должны быть не-
независимы.
2 Законы распределении /•' и G непрерывны. Отсюда следует, что с
вероятностью 1 среди чисел :г, г,„ и у\ »/,. пет совпадающих
Гипотеза. Утверждение об однородности выборок хи с1Г1 и
?7i,...,!/T1. в введенных выше обозначениях можно записать в виде
п : f'= с;.
Альтернативы. В качестве альтернатив к // могут выступать все
возможности F ф G. Однако критерий Манпа-Уптни способен обна-
обнаруживать отнюдь не все возможные отступления от Я : F - G. Этот
критерий предназначен, в первую очередь, для проверки Я против аль-
альтернативы F > G (правосторонняя альтернатива."перетекание вероят-
113
ностей вправо) или альтернативы F < G (левосторонняя альтернатива,
т.е. уход вероятностей влево). Можно рассматривать и объединение
обеих возможностей (двусторонняя альтернатива).
Метод. Критерий Манна-Уитни повторяет основные идеи критерия
знаков и в определенном смысле является его продолжением. Он осно-
основан на попарном сравнении результатов из первой и второй выборок.
Условимся, что всякое событие xi < ijj обозначает «успех», а всякое
событие Xi> yj — «неудачу». Смысл такой терминологии может быть
связан с тем, что мы предполагаем, что вторая группа лучше первой,
и рады подтверждению наших представлений. Изменяя i от 1 до гп и
j от 1 до п, получаем тп парных сравнений элементов выборок х и т/
Обозначим число успехов в этих парных сравнениях через U. Ясно, что
U может принимать любое целое значение от 0 до тп.
Определение. Введенная выше случайная величина U называ-
называется статистикой Манна—Уитни
Вычислив значение Ulis6n_, мы можем приступить к проверке гипо-
гипотезы Я:
1. Зададим уровень значимости а или выберем метод, связанный с
определением наименьшего уровня значимости статистики U который
описан ниже. ' '
2. Для правосторонних альтернатив найдем по таблицам такое
критическое значение иПш{а,т,п). что
P{U 2 и„1а,т,п)} = а.
гипотезы н про™
Здесь критическая область примет вид
В таблицах (см. [60] [641 \Q\)\ r
значе„ИЯ| соответствующие числам "° Привадятс* критические
°-°01. Ввиду Дискре1Гхара^ aQ;3 № °05- °™. 0.01. 0.005,
ЖДУ возможными значениями слУ2й Р?СПределе™* вероятностей ме-
Ш6 >~*. не всегда имеГ/^Г, B6™4HHb' ^ "Ривеяенные вы-
' Решение- и в таблицах они приво-
дятся приближенно. Для вычисления по таблицам значений Ua (a m п)
можно воспользоваться соотношением
ил. (а, т, п) + С/„.(а, т, п) = тп,
вытекающим из симметрии распределения статистики U относительно
своего центра тп/2.
3. Отвергнем гипотезу Я против правосторонних (левосторон-
(левосторонних) альтернатив при попадании С/1Ибп. в соответствующую критиче-
критическую область.
4. При проверке Я против двусторонних альтернатив в качестве
критического множества можно взять объединение
{U ^ ил (а, т,п)} U {£/ ^ [/„ (а,т, »)} ,
т.е. отвергнуть Я, сечи происходит одно из двух ранее упомянутых кри-
критических событии. Ввиду уже отмеченной симметрии этому критерию
можно дать вид
U -
7Ш1
с/„ (а, т,п) -
2
При таком выборе критического множества уровень значимости
удваивается. Теперь он равен 2п (с теми же оговорками насчет дис-
дискретности распределения U. что были сделаны выше) Если мы же-
желаем сохранить и здесь уровень значимости г», надо взять (/л(^,7п,п)
и Un(*.m.ri)
Приближение для больших выборок. Смотри п. 3 5.2 и связь ме-
между статистикой Маппа-Уитнн и статистикой Унлкоксопа. указанную
там же и разделе «обсуждение».
Обсуждение. Укажем некоторые свойства статистики U и сообра-
соображения, приводящие к описанному выше методу проверки гипотезы.
Распределение вероятностей V при гипотезе II. Хотя статистика
Мапна-Уитпи является суммой одинаково распределенных случайных неличин,
принимающих значении 0 и 1. она не имеет биномиального распределения,
так как *ти величины являются зависимыми (например, зависимы результаты
сравнения п с у\ и .п с ?/_>). Поэтому распределение статистики U при-
приходится рассчитывать, используя специальные таблицы или асимптотические
приближения
Однако расчет распределения статистики U значительно упрощается тем,
что при выполнении гипотезы // это распределение не зависит от закона
распределения выборок (если эти распределения непрерывны). Распределение
I' при гипотезе // зависит только от объемов выборок — т и п. В справочниках
[601, [641, [91] приводятся таблицы, но которым можно найти вероятность
PfJU > k) для различных к при небольших значениях т и п.
Заметим, что при справедливости гипотезы // (т.е. при совпадении законов
распределения /•' и С) выполняется Р(х, < у,) = Р{* > ы) = 0-5- Поэтому
115
т»гтика U при нарушении гипотезы. Рассмо-
Распределение ™атис™™ различных альтернативах. В отличие от
трим. как может вести се я СПределение U зависит от F и G, поэтому
поведения U при гипоте , н^ ^ отдельных типов альтернатив. Проще
мы можем описать его ™°"" сторо1ШИХ альтернатив: правосторонних (если
КеГОАКаГи^^иних (если F ^ G). Легко видеть, что для правосторои-
альтешатив выполняется Р(х,- < й) > 0.5. поэтому значение U т.е. общее 1
™ZT™\.- * „,. скорее всего, должно превосходить тп/2 и тем з„а-
< «Л Для левосторонних альтернатив (F ^ G)
ы—м1б^: Р(х, <у!) < 0.5. поэтому общее число успехов как
пРавилГдолжноРбыть меньше тп/2, и тем меньше, чем меньше P(Xl < у,). {
Итак для односторонних альтернатив статистика Маина-Уитни имеет яс-
ясные свойства, поэтому на ее основе можно построить критерии для проверки
гипотезы Н против таких альтернатив.
Метод проверки гипотезы. В связи с таким поведением статистики
U для проверки гипотезы // против указанных выше возможных альтернатив
разумно предложить следующее правило: отвергнуть II, если наблюденное U (в
дальнейшем £/„асл) значительно отклоняется от тп/2 — значения, ожидаемого
от U при гипотезе II (от математического ожидания V при гипотезе II).
Чем больше отклоняется от тп/2 наблюденное значение С/, т.е. Г/,1Лбл . тем
сильнее мы сомневаемся в том. что Н верна. Разумеется, U может значительно
отклоняться от M(U\H) и за счет действия случая, когда // выполняется,
но чем больше отклонение, тем оно при // менее вероятно, и тем труднее
объяснить это отклонение случайностью. Скорее всего, если отклонение велико,
оно вызвано не случаем, а закономерной причиной — тем. что распределения
G w F не совпадают.
Силу таких доводов против II -. F = G в пользу, например, право-
правосторонней альтернативы F ^ G можно выразить количественно, вычислив
P(U ^ £/11яОл |#). Это вероятность того, что при независимом повторении экс-
эксперимента мы получим такое же или еще более сильное свидетельстио против Н
(в пользу правосторонней альтернативы), как уже имеющееся Uua(n . Если (У„асл
велико, то вышеназванная вероятность мала, и наоборот. Если эта вероятность
столь мала, что подобное событие кажется практически невозможным при Н.
гипотезу II следует отвергнуть (по имеющемуся наблюдению Uinr>n ) в пользу
правосторонней альтернативы.
™"е'1ЯаЦИЯ "зме11ЯСТС? очевидным образом, если с // koiikvdhoviot ле-
J. Наконец, в случае
{КтМх!}
и в зависимости от того, насколько она мала, отвергнуть гипотезу
ЙГЕ^Х^Г "МееТ °ПРеЯеЛе1т ^
перед стан-
те.2. П.аТное'7;: ";!;;1;еСьСТаТИСТИМеСких гнпотсз- как она описана в иуик-
чимости, что всегда выгляди '° И^ИХОянтся заРачее выбирать уровень зна-
томатически достанляет нам тпт0^0'"^0 ||роизвоЛь||0- Описанный подход ав-
тот наименьший уровень значимости, на котором
116
(по имеющимся наблюдениям) можно отвергнуть гипотезу // в пользу соот-
соответствующем альтернативы. В данном случае есть и еще одно дополнительное
преимущество: как мы уже отмечали выше, из-за дискретности распределении
U традиционные номинальные уровни значимости типа 0 05 0 02г> 0 001 итд
могут быть достигнуты лишь приближенно. В обсуждаемом методе'проверки
приближение исчезает: мы получаем точное значение исроитности если обра-
обращаемся к достаточно подробным таблицам распределений U.
Совпадения. Выше отмечалось, что из условия непрерывности
распределений F и С следует отсутствие повторений в выборках. На
практике же такие повторения встречаются часто Во многих случаях
причиной этого является не нарушение исходных предположений, а
ограниченная точность при записи наблюдений.
Допустим, что некоторые элементы выборки икс совпали с неко-
некоторыми элементами из выборки игрек, т.е. г, = у3 для некоторых
МО = !'•• i"'i J = 1, ■■•,"). В этом случае статистику U вычисляют
так: к числу успехов прибавляют уменьшенное вдвое число событий
вида (.г, = »/_,). Таким образом, каждое совпадение икса и игрека счи-
считается за половину успеха Далее с так подсчитанным числом успехов
поступают так, как описано выше.
При наличии совпадающих наблюдений получаемые при использова-
использовании описанных критериев выводы имеют приближенный характер, п чти
приближения тем хуже (и выводы тем сомнительнее), чем больше среди
наблюдении совпадающих, те чем сильнее отступление от исходных
математических предположений В тех случаях, когда результаты (Л' и
V) могут принимать лишь ограниченное число значений (что влечет за
собой большое количество совпадений), этот метод применять не следу-
следует К сожалению, четкого разграничения в этом вопросе сделать нельзя
3.5.2. Критерий Уилкоксона
Область применения. Критерий Уилкоксона применяется в той же
ситуации, что и критерии Маниа-Уитпи. В отличие от ->того критерия
и критерия знаков, он имеет дело не со знаками некоторых случайных
величии, а с их рангами. Исторически критерий Уилкоксона был одним
из первых критериев, основанных на рангах (см п. 1.8).
Рассмотрим ранги элементов объединения двух выборок .г, х,„
и г/1 ,....?/„. Для получения рангов совокупность всех наблюдений
следует упорядочить в поряаке возрастания. (Напомним, что если
функции распределении F и С выборок .г н </ непрерывны, то в их
совокупности нет совпадающих значений и, следовательно, результат
упорядочивания однозначен Как поступать в противном случае, будет
сказано ниже, в разделе «совпадения».
117
состоит из чисел 6, 17 и И. вторая — Нз
есть 2. 5, 4, второй — 1,3.
Нетрудно понять, что последовательность ранго совокупности обь
,мат+п является некоторой перестановкой чисел 1,... , т + п. Верно
и обГа-ое "юбая перестановка чисел 1,... ,m + n может оказаться
ранге о последовательностью. Так что множество возможных ра„-
?овьГпоследовательностей - это совокупность перестановок чисел
1, 2,..-,ш + п. Их общее число равно (т + п)..
Зная распределения случайных величин Ли..., лт и гь..., гП1 мы
можем (по крайней мере, теоретически) вычислить вероятность того,
что результат их ранжирования будет заданной перестановкой. Поэтому
каждое распределение случайных величин Xi,...,XmuYi,...,Yn поро-
порождает некоторое распределение вероятностей на указанном множестве
перестановок. Ясно, что если исходные данные однородны (Хи...,Хт
и Yi,...,Yn в совокупности являются независимыми и одинаково рас-
распределенными случайными величинами), то в качестве последователь-
последовательности рангов с равными шансами может появиться любая перестановка
чисел от 1 до т + п. Число таких перестановок равно G71 + п)\, поэтому
вероятность каждой равна 1/{т. + п)\. Заметим, что этот результат
никак не зависит от распределения самих наблюдений.
Посмотрим, как изменяется распределение вероятностей среди ран-
ранговых последовательностей (т.е. среди перестановок) при отступлениях
от однородности выборок. В качестве нарушений однородности мы
будем рассматривать те же ситуации, что и при обсуждении крите-
критерия Манна-Унтни в предыдущем пункте: левосторонние альтернативы
F ^ G и правосторонние альтернативы F ^ G. Для правосторонних
альтернатив Р(х{ < yj) > 0.5, то есть наблюдения из второй группы
имеют тенденцию превосходить наблюдения из первой. Поэтому ранг
наблюдений из второй группы чаще будет принимать значения из пра-
правой части ряда чисел 1,2,...,т + п. Если же отступление таково, что
рЫ < yj) < 0.5, то ранги игреков чаще будут принимать значения из
левой части ряда чисел 1,2,...,т + п. Переход от рангов игреков к их
сумме позволяет резче отметить эти закономерности.
Таким образом, ранги в какой-то мере способны характеризовать,
напр„мер, положение одной выборки по отношению к другой и в то
же вре„я они не зависят от неизвестных нам распределений выборок
3, И у. JTO ОбСТОЯТеЛЬСТПП н погп
nniiMPiiaPMMv легло в основу ранговых методов, широко
применяемых в настоящее время в разлнч„ых задачах
Вернемся к непосредственному обсуждению критерия Унлкоксон..
118
ставляет характеристики объектов, подвергшихся перед тем какому-то
воздействию (обработке). В этом случае гипотезу однородности можно
назвать гипотезой об отсутствии эффекта обработки.
Данные. Рассматриваются две выборки хи...,хт и уи . Уп
объемов т и п. Обозначим закон распределения первой выборки через
F, а второй — через G.
Допущения. 1. Выборки xu...txm и У1 у„ независимы ме-
между собой.
2. Законы распределения выборок F и G непрерывны.
Гипотеза. В введенных выше обозначениях гипотезу об однородно-
однородности выборок можно записать в виде II : F = G.
Метод. 1. Рассмотрим ранги игреков в общей совокупности выборок
х и у. Обозначим их через 5ь...,5„.
2. Вычислим величину
И'набл = S'i + \- Stl,
называемую статистикой Уилкоксона. Таблицы распределения стати-
статистики W (при гипотезе однородности) можно найти в [16], |60], [91] и др.
3. Зададим уровень значимости о или выберем метод, связанный с
определением наименьшего уровня значимости, приведенный ниже.
4. Для проверки II на уровне значимости а против правосторонних
альтернатив /^(.г, < у_,) > 0.5 найдем по таблице верхнее критическое
значение И'(п,7".»'). те- такое значение, для которого
P(W
Гипотезу следует отвергнуть против правосторонней альтернативы при
уровне значимости а. если И',,.^ ^ И7(а.^1,п).
5. Для проверки // на уровне значимости а против левосторонних
альтернатив Р(.г, < у}) < U.5. необходимо вычислить нижнее критиче-
критическое значение статистики И В силу симметричности распределения W
нижнее критическое значение есть 7iGii+7i + l)-H/(a,7»,n). Гипотеза II
должна быть отвергнута на уровне значимости а против левосторонней
альтернативы, если И'набл ^ "("' + » + !)" \Y{a,m,n).
6. Гипотеза II отвергается на уровне 2о против двусторонней аль-
альтернативы Р(.г, < у}) ф 0.5, если
lV"lia6jI ^ \Y{n>irun) или И'„абл ^ n{m + п + 1) - W{a,7n,n).
Напомним, что альтернативы должны выбираться из содержатель-
содержательных соображений, связанных с условиями получения эксперименталь-
экспериментальных данных.
119
7ГЯЛ" W ^ о вычислении вероятен
Ж.абл.),
Гипотеза отвергается, если соответствующая вероятность оказывает-
ся малой.
Приближение для больших выборок. На практике часто прихо-
приходится сталкиваться с ситуацией, когда объемы выборок тип выходят за
пределы, приведенные в таблицах. В этом случае используют аппрокси-
аппроксимацию распределения W предельным распределением статистики W при ,
т -* оо и п -* оо. Перейдем от величины W к W* = {W - MW)/\fDW.
Ниже будет показано, что MW = п(т + п+ 1)/2. Так же можно пока- .
зать, что DW = тп{т + п+ 1)/12. Доказано, что в условиях Я, при
допущениях 1 и 2 и при больших т,п случайная величина W* распре-
распределена приблизительно по нормальному закону с параметрами (О, 1).
Обозначим через za верхнее критическое значение стандартного
нормального распределения. Его можно найти с помощью таблицы
квантилей нормального распределения для любого 0 < о < 0.5. Бла-
Благодаря симметрии распределения нижнее критическое значение равно
-za. Правило проверки Я перефразируем так:
• отвергнуть Я на уровне а против альтернативы P(xi < у3) > 0.5,
• отвергнуть Я на уровне о против альтернативы Р{хг < ijj) < 0.5,
если WhV ^ -zQ;
• отвергнуть Я на уровне 2а против альтернативы Р(х{ < ?/,) Ф
Правило, связанное с вычислением наименьшего уровня значимо-
значимости, при использовании нормального приближения выглядит так: от-
отвергнуть Я (против соответствующих альтернатив), если оказывается
малой вероятность 1 - Ф^.) для альтернативы Р(хг < у,) > 0.5.
*IWW) Д^ альтернативы P[Xi < у ) < 0.5, и 2Ф№\ \) - 1 для
альтернативы Р(Х{ < У}) ф 0.5, где ф(и) - функция нормального рас-
распределения (функция Лапласа), равная Ф{и) = -L Г« с-**/2Aх
!УГ°?МаЛЬН0Г0 ^ fcX
120
нкии? ^™» « ей fcaX которая „азы-
таоулированы. Упомянутое ранее верхнее критическое значе-
ние z* с помощью функции Ф можно определить как решение уравнения
1 - Ф[га) = а. уу
Замечание. Указанное оыше нормальное приближение для вычисления
критических значении статистики W хорошо действует даже для небольших
значении т и п, если только а не слишком мало. (Так, для т = п = 8
приближенные кпантили практически не отличаются от точных.)
Обсуждение. Рассмотрим подробнее свойства статистики W и
соображения положенные в основу критерия Уилкоксона.
Область определения. Случайная величина IV может принимать все
целые значения от минимального значения sis+ll до максимального тп +
■"■*+1?- Минимальное значение W мы получаем, когда рангами игреков служат
(в той или иной последовательности) числа 1,2,...,п. Максимальное значение
W возникает, когда этими рангами служат m + l,m + 2,...,m + n.
Заметим, что W не изменится, если произвольно переменить порядок сле-
следования чисел, служащих рангами игрекоо (как не изменится и при перенуме-
перенумерации самих игреков)- Чтобы упростить обсуждение, можно поэтому говорить
далее о рангах игреков, упорядоченных по возрастанию. Пусть Si, S2t...,Sn
обозначают именно упорядоченные ранги, так что .9i < ,S2 < • • ■ < Sn
Распределение вероятностей. Статистика Унлкоксома была определена
нами как сумма (упорядоченного) набора рангов игрекоо Si,...,Sn- Вероят-
Вероятность каждого такого упорядоченного набора при выдвинутой гипотезе // —
одна и та же и равна [СЦ1+п)~1 = (т"'^,. Таким образом, при гипотезе И
распределение W не зависит от закона распределения выборок т и у. так
как от них не зависит распределение упорядоченной последовательности ран-
рангов Для каждой пары (т, п) распределение И' можно рассчитать. Покажем
на примере, как это делается.
Пусть т = 3 и п ~ 2. Вычислим число всех возможных пар рангов игреков.
Оно равно Сз+2 = Ю- Следовательно, вероятность каждого упорядоченного
набора рангов равна 0.1. Выпишем все возможные наборы рангов .S\,S-2 и
соответствующую им сумму;
.<?!..S 1.2 1.3 1.4 1.5 2.3 2.4 2.Г> 3.-1 3.5 Л.Ъ
\У 3 4 Г, С 5 G 7 7 8 9
Таким образом, получаем следующее распределение И':
~~ \У 3 4 5 6 7 8 9
P{\V) O.I O.I U.2 0.2 0.2 0.1 0.1
Отметим, что распределение W симметрично относительно точки п{т +
„ + 1)/2 - середины отрезка [v(n + 1)/2, пт + п(п + 1)/2]. Из этого свойства
легко вывести, что Л/(И' | Я) = "(t?j + п + 1)/2.
Рассмотрим случайную величину W - п{т + п + 1)/2. Согласно симме-
симметрии закона распределения относительно точки п(т + п + 1)/2. вероятность
Рь, что эта величина примет некоторое значение к. равна вероятности р-к.
121
i Согласно определению математического ожи-
чт0 она примет значение ~к- = г„т/2 fepfc = о. Учитывая, что
• m(W-п(т + п + 1)/*\п) __~*-п£Т,Ьти математических ожида-
пй константе, получярн-
ис„сТа„Ге.
МИ' = n(m + n+i;/ ■ нарушении ггто/леэы. Чтобы
Распределение cmamUcmU*U ИТИческих событий (критериев) для про-
оправдать сделанный ^^альтернатив, надо изучить распределение стаТ„.
верки Я против рассмотренных^^ v рцСт ОДИНаковы. распределения
стик U и W при этих "льтернативах. Д ^^ ^^ ВЫЧИСЛ11ТЬ и ^
[/ и W уже не свободны от их bji ■. каждой конкретной пары
распределения U н ^ можно в ц ) т0 1Й статнстик у и W
нних альтернатив аналогичное «перетека-
_ тем сильнее, чем больше Р[х, < у,)
на рис 3 1 мы попытались наглядно представить это положение, условно
представая распределение статистики W при гипотезе и при альтернативах с
помошьГплотностей - хотя искомые распределения дискретны и плотностей
не ZZ Но так получается выразительнее. (При желании можно считать,
что нарисованные непрерывные кривые изображают что-то вроде огибающих
графиков дискретных вероятностей.)
При И
При какой-то / При какой-то
альтернативе, /^\^ альтернативе,
где Р(х{ < у,) <0.5 / \ где P(Xi < щ) > 0.5
Рис. 3.1. Схематическое изображение распределении W
Из рис. 3.1 ясно, что гипотеза Н должна отвергаться при слишком больших
или при слишком малых значениях И' в зависимости от того, какие альтернати-
альтернативы мы рассматриваем. При том выборе критериев, который был описан выше,
их мощность возрастает при удалении P{xi < у5) от 0.5. Это правило и лежит
в основе описанного выше метода.
Связь со статистикой Манна-Уитни. Нетрудно проверить, что для
всех га, n: W = U + п(п + 1)/2. Это соотношение показывает эквивалентность
статистик U и W. Поэтому их применения приводят к одинаковым результатам.
Совпадения. Мы описали критерий Уилкоксона для проверки гипотезы об
однородности двух выборок в условиях, когда функции распределений данных
непрерывны и. тем самым, в выборках не должно быть совпадающих наблю-
122
дении. Однако на практике совпадающие наблюдения - не редкость Чаще
всего это происходит не потому, что нарушается условие непрерывности; а из-за
ограниченной точности записи результатов измерений (например, рост человека
обычно измеряется с точностью до 1 см). Применение критерия Уилкоксона к
таким данным приводит к приближенным выводам, точность которых тем ниже
чем больше совпадающих значений.
Когда среди наблюдений встречаются одинаковые, им приписываются сред-
средние ранги. По определению, средний ранг числа Zi в совокупности чисел
zi,Z2,...,zn есть среднее арифметическое из тех рангов, которые были бы
назначены z< и всем остальным значениям, совпадающим с zit если бы они ока-
оказались различными. После такого назначения рангои применяются описанные
ранее процедуры.
Упомянутые группы одинаковых наблюдений называют связками. Коли-
Количество элементов в связке называют ее размером. Наличие связей влияет
на асимптотические распределения статистики Уилкоксона. Так. при исполь-
использовании нормальной аппроксимации следует в формуле для вычисления W
заменить DW па
тп
(т + т1)(тп + n - 1)J '
где t\, t-2, ta — размеры наблюденных связок среди игреков, д — общее
число связок среди игреков. Наблюдение, не совпавшее с каким-либо другим
наблюдением, рассматривается как связка размера [.ив формуле, заменяющей
DW, не учитывается.
При больших по размеру связках и (или) большом их числе применение
критерия Уилкоксона сомнительно.
3.6. Парные наблюдения
Рассмотренное в предыдущем параграфе сравнение двух совокуп-
совокупностей наблюдений (двух выборок) часто проводится для обнаружения
результата какого-либо воздействия (выявления эффекта обработки),
либо, напротив, для подтверждения его отсутствия. Чем более одно-
однородными окажутся выбранные для эксперимента объекты (для контро-
контроля и воздействия), чем меньше их случайные различия, тем точнее
(и по меньшему числу наблюдений) можно будет дать ответ на вопрос.
Кстати, формирование однородной группы экспериментальных объектов
составляет важную и не всегда простую задачу.
Ясно, что различие между объектами, выбранными для воздействия
и для контроля (или для двух разных воздействий, если интерес пред-
представляет их сопоставление) будет наименьшим, если в обоих качествах
выступает один и тот же объект. Если это возможно, то далее обыч-
обычным порядком мы составляем группу экспериментальных объектов (по-
прежнему стремясь к тому, чтобы они были однородны - значение
этого выяснится в п. 3.6.2). Далее для каждого объекта мы измеряем
123
еоесующей нас характеристики (например, до воздей-
два значения инт f у^^ ргзиых воздействиях). Так возникают парц
ствия и после или ^ даннЫе. Но, конечно, парные данные могут воз-
никаГГинач^Тскажем, при наблюдениях над близнецами, которые во
многих отношениях считаются идентичными).
3.6.1. Критерий знаков для анализа
парных повторных наблюдений
Назначение. Критерий знаков используется для проверки гипотезы
об однородности наблюдений внутри каждой пары (иногда говорят -
для проверки гипотезы об отсутствии эффекта обработки).
Данные. Рассмотрим совокупность случайных пар {xuyi), ...,
(хп, уп) объема п. Введем величины zt = yt - х{, г = 1,..., п. [
Допущения. 1. Все zt предполагаются взаимно независимыми.
Заметим, что мы не требуем независимости между элементами Х{ и
iji с одинаковым номером г. Это весьма важно на практике, когда |
наблюдения делаются для одного объекта и тем самым могут быть
зависимы.
2. Все г{ имеют равные нулю медианы, т.е. P(zi < 0) = P(z, >
0) = 1/2. Подчеркнем, что законы распределения разных z, могут не
совпадать.
Гипотеза. Утверждение об отсутствии эффекта обработки для по-
повторных парных наблюдений {хи У1),... ,(хПг уп) можно записать в
виде
для всех i=l,...,7i.
Метод. 1. Перейдем от повторных парных наблюдений (ц. yi)
(*п, Уп) к величинам zit г = 1,..., п, введенным выше.
2. К совокупности 4,i = l п применим критерий знаков для
проверки гипотезы о равенстве нулю медиан распределений величин *.
г = 1, - • -, тг (см. п. 3.4.2).
б0"ШИХ сово^™°сгей. Следует .оспа»
С~пуГ ^зГаТвТ"™" б"»—ьпого распределен,*
2 1 главы 2 ° ДРУГИМИ РаспРеделениями. параграфа
Связэнные данною р
следует отбросить и с^отврГ" ^ ЗНЗЧеНИЙ Zi есть иУлевые' т0 "Х
значений Zi. ^тственно уменьшить п до числа ненулевых
124
Оценка эффекта обработки. Нередко для Zi рассматривают мо-
модель zi - 0 + е,-, г - 1,...,п, где е,- — ненаблюдаемые случайные
величины, 0 - некоторая константа, характеризующая положение од-
одного распределения относительно другого (скажем, до воздействия и
после). Эту константу часто именуют эффектом обработки. Примятые
выше допущения 1 и 2 переносятся на величины с,,...^,,. Гипоте-
Гипотеза однородности формулируется в виде гипотезы о нулевом эффекте
обработки II : 0 = 0.
Введенные величины 0 и представления z, = 0 + с{ оказываются
полезными, если в ходе проверки гипотезы выясняется, что 0 ф 0 и что
поэтому надо оцепить количественно то различие, которое привносит
обработка (воздействие).
Пример. Покажем как использовать критерии знаков для анализа данных
о времени реакции на звук и па свет. В этом примере рассматривается группа
испытуемых, а целью исследования служит проверка гипотезы о равенстве вре-
времени реакций на звук и па спет. Порядок организации эксперимента позволяет
предположить, что полученные данные па одном испытуемом независимы от
аналогичных данных для остальных.
Осуществим переход от пар (i|, у\),..., (,г„. уп) к величинам zx, i =
1,..., п и запишем последние в пиде: г, = 0 + с,, т; = 1,..., п.
Выполняются ли для сформулированной задачи допущения, используемые
п критерии знаков? Независимость г, обеспечивается условиями организации
эксперимента. Априорно предполагаемая непрерывность распределении рассма-
рассматриваемых выборок обеспечивает непрерывность распределения с,. В случае
совпадения распределении времени реакции на звук и па спет справедливо сле-
следующее соотношение Р(.т, - ?/, > U) = Р(т, - ?/, < 0) = 1/2. Следовательно.
Р(г, > 0) = Р{г, < 0) = 1/2. то есть медиана распределения г, ранил нулю.
Таким образом, предположение 0 = 0 обеспечивает выполнение допущения 2.
Одной из разумных альтернатив нулевой гипотезе в данном случае является
предположение о том. что 0 < Г). Далее мы будем использовать критерий знаков
против этой односторонней альтернативы.
В табл. 3.5 приведены соответствующие расчеты для данного примера
Обозначим число положительных значений z, через .911а6л Из таблицы 3.5
видно, что Sna6n равно трем, а среди z, есть одно значение, равное 0. В таких
случаях необходимо уменьшить число наблюдений z, на число значений z,,
равных 0. т.е. перейти от п = 17 к п = lfi
Вычислим вероятность P{S ^ Smfu> | //). Для этого воспользуемся табли-
таблицами биномиального распределения при р = 1/2. п = Hi (см. П6|. |G0]). Учиты-
Учитывая, ЧТО И СИЛУ СНММСТрИН П[)И р = 1/2 P[S ^ Smc.i I Н) = ^(^ ^ «^'пабл I /')■
получаем:
P{S < Яна6я | II) = P(S > 16 - 3 | //) = P(S 2 13 I Я) = 0.Ш06.
То есть минимальный уровень значимости, па котором можно отвергнуть
гипотезу о том что 0 = 0 против односторонних альтернатив, равен П.(ШК>.
Учитывая малость этого числа, заключаем, что гипотезу следует отвергнуть в
пользу альтернативы 0 < 0.
125
Таблица 3.5
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
223
104
209
183
180
168
215
172
200
191
197
183
174
176
155
115
163
181
194
173
153
168
176
163
152
155
156
178
160
164
169
155
122
144
-42
90
-36
-30
-12
8
-52
-20
-45
-35
-19
-23
-10
-7
0
+7
-19
о
+
Обсуждение. Одно из главных достоинств критерия знаков —
его простота. Другой важной особенностью этого критерия являются
скромные требования к первоначальному статистическому материалу.
Эти требования описываются с помощью модели парных наблюдении.
3.6.2. Анализ повторных парных наблюдений
с помощью знаковых рангов (критерий
знаковых ранговых сумм Уилкоксона)
Если можно дополнительно предположить, что случайные величины
21.....2П из предыдущего пункта непрерывны и одинаково распределе-
распределены, то для проверки гипотезы однородности можно применить более
мощный критерий, основанный на статистике Т знаковых ранговых
сумм Уилкоксона.
Метод. 1. Вычислим абсолютные разности Ы \- I Пусть ft
2. Определим переменные ^, i = 1
,... )П> где
2> если *,->();
0, если Zi < 0.
Т = Я1-.«, далее мы буд*
126
4. Для одностороннего критерия для проверки Я • P(z- < о) =
P(Zi > 0) против правосторонней альтернативы P(Zi < 0) < P(z- > Q)
на уровне значимости а: 1 '
• отклонить II, если Т„абл. > г(а, п);
• принять Я, если Т11а6л. < t(a, n).
где критическое значение t{a, п) удовлетворяет уравнению Р{Т >
t{a, п) | Я) = а. Таблицу критических значений можно найти в [91 ]
Для одностороннего критерия для проверки той же гипотезы про-
против левосторонней альтернативы P(Zi < 0) > P(Zi > 0) на уровне
значимости а:
•
отклонить Я, если Тнабл. <с ^±11 _ f(Q| 7l);
• принять Я. если Т11абл > ^^ - t{a, n).
Для двустороннего критерия для проверки той же гипотезы II про-
против двусторонних альтернатив Р(г, < 0) ф P(z, > 0) на уровне зна-
значимости 2а:
• отклонить Я, если Гнабд ^ f(a, п) или Тиабл ^ Г'^+1) - t(a, n);
• принять Я, если "^+1) - t(a, 71) < Т1)а6л < t{n. n).
Замечание. Поскольку распределение статистики Т дискретно, уравнение,
определяющее t(a, п): [Р(Т ^ t(a} п)) = а) имеет точное решение не для нсех
значений п (при фиксированном я). Поэтому либо н качестве t(a, n) придется
взять приближенное решение, либо изменить а так, чтобы уравнение можно
было решить точно.
Приближение для большой выборки. При выполнении гипотезы
Я статистика
•Г = Т
имеет асимптотическое (при 7/ —» сх.) распределение Л[@, 1). Приведем
приближение нормальной теории для проверки II, для определенности,
против правосторонней альтернативы: II отклоняется, если Т„ъья ^ za,
в противном случае II принимается. Здесь ztl — квантиль уровня A-л)
стандартного нормального распределения N{i), 1). Остальные правила
трансформируются аналогично.
Совпадения. Если среди значений zx есть нулевые, то их следует
отбросить, соответственно уменьшив п до количества ненулевых значе-
значений г,-. Если среди ненулевых значений |г,| есть равные, то для вычи-
вычисления Т надо использовать средние ранги для величин ^.....Ы и
127
льзовать те же методы, что и без совпадений. Для пр„6л„.
„„ „./больших выборок рекомендуется в формуле для вычисления
j Значение DT заменить на
24
где „ - число Связок, «ь--Л - «* размеры. Определение связок
смотри в разделе 3.5.2 при обсуждении статистики W .
Ч 7 Проверка статистических гипотез в
пккет£ STADIA и STATGRAPHICS
Ниже будет рассмотрено, как на компьютерах реализуются методы
проверки гипотез в схеме испытаний Бернулли, как можно планировать
подобного рода эксперименты, проверять гипотезы о равенстве медианы
выборки заданному значению, а также применять критерии знаков и
знаковых рангов Уилкоксона для парных сравнений.
3.7.1. Пакет STADIA |
Пример 3.1к. Используя данные тройного теста, найдем мини-
минимальный уровень значимости критерия, основанного на значении числа
«успехов» в схеме испытаний Бернулли для проверки гипотезы о значе-
значении вероятности успеха против односторонних альтернатив.
Для решения этой задачи следует использовать процедуру вычи-
вычисления значений функции заданного распределения вероятностей. Ее
работа подробно рассмотрена в примере 2.1 к. Здесь мы приведем диалог
общения с ней для биномиального распределения.
Выбор процедуры. В меню блока Статистические методы (рис. 1.17)
выберем пункт Т = Вычисление вероятностей. В открывшемся при этом меню
Функция вероятности распределения (рис. 2.9) выберем 1 = биномиальное или
нажмем его клавишу (Т).
Заполнение полей ввода данных. На экране появится окно вво-
Г:ГпТГ.Г:П?!Де.ЛеШ;Я tC- 3'2>- У*™* » нем вероятность Р
i - iu, как показано на рис. 3.2, и нажмем
:ледует запрос о числе вычисляемых зиаче-
всех или части m,Mnwuu. значений^" ^^ П0ДРазУмсвается задание
^значении, которые принимает рассматривав
~ умолчанию система
128
Введите паранстры
Бнноннаяьнос распределение:
Вероятн.успеха =
Число опытов N =
0.333
-вычислить
Значений
[ Ытверпить ]
X
.
!■
Отменить
Рис. 3.2. Ввод параметров
биномиального распределения
Рис. 3.3. Ввод числа вычисляемых
значений распределения
Результаты. После нажатия кнопки [утвердить! па экране в ок-
окне результатов появятся результаты работы процедуры (рис. 3.4). В
графическое окно также будет выведен график вероятностей исходов
и функции распределения.
ВЫЧИСЛЕНИЕ ВЕРОЯТНОСТЕЙ. Файл: Распределение биномиальное: 0.333, 10
Среднее>=3. 33, Дисперсия-2.22, Ст.отклонение=1.49
Функция распределения вероятностей
г
0
1
2
3
4
5
6
7
8
9
Р<-г)
0.0174
0.087
0.195
0.26
0.227
0.136
0.0567
0.0162
0.00303
0.000336
Р(Х<»г)
0.0174
0.104
0.3
0.56
0.788
0.924
0.98
0.997
1
1
Рис. 3.4. Результаты расчетов вероятностей дискретного распределения
Для получения минимального уровня значимости критерия для зна-
значения 5„алл = 7 против односторонних (правосторонних) альтернатив
необходимо вычислить величину 1 — Р{Х ^ 6'„аб.ч — 1)- В данном случае
получаем I - 0.9805 = 0.0105.
Пример 3.2к. В пакете STADIA отсутствует процедура, позволяю-
позволяющая планировать число испытании Берпулли для проверки нулевой ги-
гипотезы при заданных ошибках первого н второго рода. Такая процедура
есть в пакете STATGRAPHICS.
Пример З.Зк. В задаче о скорости реакции на звук и на свет
проверим гипотезу о том, что медиана распределения скорости реакции
на свет равна 155 мс.
Подготовка данных. В электронную таблицу пакета следует
ввести данные таблицы 3.1 » соответствующие переменные, назовем их
sound и light (см. рис. 3.5). Кроме того в переменную median надо ввести
значения гипотетической медианы (это можно сделать с помощью блока
преобразования данных пакета).
Замечание. Последнее требование связано с тем. что процедура критерия
знаков реализована п пакете таким образом, что на ее вход всегда должны
5—783
129
такой же длины, что и у «...«.«..—г.»
гипотетическому значению медианы.
выборки Поэтому для проверки гипотезы о равенстве
нной величине необходимо сформировать переменную
" выборки, все значения которой
STADIA 6.0: Sound.std
i- t
181}
Анализ псрснснных
Переменные
[sound
Для анализ»
Все
light
median
jj бтненнть]
Выберите псрснснныс
для анализа н нажмите <Enler>
Рис. 3.5. Данные для проверки гипотез
о скорости реакций на свет н звук
Рис. 3.G. Выбор
переменных
Выбор процедуры. В меню блока Статистические методы в разделе
Непараметрические тесты выберем пункт 6 = Сдвига/положения (для этого можно
нажать клавишу ©).
Заполнение полей ввода данных. В появившемся окне Анализ
переменных (рис. 3.6) выделим с помощью мыши переменные light и median.
Нажав кнопку со стрелкой вправо, перенесем их из поля Переменные в
поле Для анализа и затем нажмем кнопку |^^ешить].
КРИТЕРИИ СДВИГА (ПОЛОЖЕНИЯ). Файл: sound.std
Вилкоксон-357, z—2
Гипотеза l <Ecli
Ван лер Варден-
Гипотеза 1:
Для парных данных:
ВИЛКОКСОН«=116 7"~К
Гипотеза '
Знаков-U,
Переменные: light, median
Гы^п 12' степ-сво° " I7'
t У ыелианами выбоРок>
Значимо"ь=0.0372, степ.своО
между медианами выОоРок>
"еп.своО - 2,15
17,17
з;
. 3.7.
(см. [21]) „
130
ы проверки гипотезы о положении выборки
для следу
а' Ван дер
я критерия знаков выводится
значение статистики знаков <?, нормальная аппроксимация этой ста-
статистики (Z-статистика) и минимальный уровень значимости нулевой
гипотезы об отсутствии различий в сдвиге двух выборок или о равен-
равенстве медианы заданному значению против односторонних альтернатив.
Указываемый минимальный уровень значимости всегда рассчитывается
на основе нормальной аппроксимации. Следовательно, для выборок
малого объема лучше воспользоваться соответствующими статистиче-
статистическими таблицами для величины S (см. [16], [91]). Кроме того на экран
выводится «число степеней свободы», под которым в данном контексте
понимается число пар несовпадающих элементов. Пары совпадающих
элементов исключаются из обработки.
Обсуждение других критериев этой процедуры дано в примере 3.4к.
Пример 3.4к. С помощью критерия знаков и критерия рангов
Уилкоксона проверить гипотезу об совпадении распределений времени
реакции на звук и на свет в предположении, что оба распределения
непрерывны.
Подготовка данных. Смотри пример З.Зк.
Выбор процедуры. Аналогичен примеру З.Зк.
Заполнение полей ввода данных. В окне Анализ данных (рис. 3.6)
выделим с помощью мыши переменные sound и light в поле Переменные.
Нажав кнопку со стрелкой вправо, перенесем в поле Для анализа. Затем
нажмем кнопку | Утвердить].
Результаты. На экране появятся результаты расчетов для ие-
параметрических критериев положения: Уилкоксона, Ван дер Вардена
(см. [21]) и знаков (рис. 3.8).
КРИТЕРИИ СДВИГЛ (ПОЛОЖЕНИЯ). Файл: sound.std
Переменные: sound, light
Вилкоксон-363.5, Z--2.2747, 3иачиыость=0.0114, степ.своО - 17,17
Гипотеза 1: <Есть различия между медианами выОорок>
Ван дер Варден-15.081, Z-5.5971, Значимость-0, степ.своО - 17,1т
Гипотеза 1: <Есть различия между медианами выОорок>
Для парных данных:
Вилкоксон-128.5, Z-3.1294, Значиыость-0.0008, степ.своО ■» г,1Ь
Гипотеза 1: <Есть различия между медианами выОорок>
Знаков-13, Z-2.75, Значимость^.0029, степ.своО «■ 2,16
Гипотеза 1: <Есть различия между медианами выОорок>
Рис. 3.8. Результат прочерки гипотезы о смещении выборок
Экран выдачи результатов критерия Уилкоксона включает в себя
значение статистики W, нормальную аппроксимацию для этой стати-
статистики (^-статистику) и минимальный уровень значимости нулевой ги-
гипотезы об отсутствии различий в сдвиге двух выборок против односто-
односторонних альтернатив. Указываемый минимальный уровень значимости
всегда рассчитывается на основе нормальной аппроксимации.
с* 131
ых процедура выдает значения статистик знаков
" соответствующие им Z-статистики и нх «„„„'
■ ив односторонних альтернатив. Пол»,
о "том. что нулевая гипотеза должна Ц
отвергнута.
3.7.2. Пакет STATGRAPHICS
Схема испытаний Бернулли. В пакете STATGRAPHICS есть
несколько возможностей осуществить проверку нулевой гипотезы о
значении вероятности успеха р в схеме испытании Бернулли. Во-
первых, можно воспользоваться процедурами пункта Distribution function
(функции распределения) головного меню пакета. Их описание дано в
главе 2. Другую возможность проверки гипотезы в схеме испытаний
Бернулли против различных альтернатив дает процедура Sample size -
Binomial Proportion (размер выборки — биномиальные доли) пункта Sampling
(Выборки) головного меню пакета. Разберем их работу на примерах.
Пример 3.1к. Используя данные тройного теста, найдем мини-
минимальный уровень значимости критерия, основанного на значении числа
«успехов» в схеме испытаний Бернулли, для проверки гипотезы о зна-
значении вероятности успеха против односторонних альтернатив.
Подготовка данных. Согласно нулевой гипотезе вероятность
«успеха» р = 0.3333. Число испытаний п = 10. Значение числа
«успехов» 5набл. = 7. Эти значения будут вводиться с клавиатуры как
параметры процедуры. Мы хотим найти P{S ^ 7\п = 10, р = 0.3333) =
1-P{S% 6|n = 10, р = 1/3).
Выбор процедуры. В пункте Distribution function (его описание дано
в главе 2) головного меню пакета следует выбрать процедуру Tail Area
Probabilities (вероятности хвостов). Приведем вид экрана этой процедуры
с заполненными полями ввода данных и результатами проделанных
с
расчетов.
Заполнение полей ввода данных. В поле Distribution number (номер
ХТ™ Необхо?ИМ° Воести нонеР Распределения из приведен-
н жа ТГ СТ? ^"«^ьное Распределение имеет номер 2). »
п Рамет о „Г Ш "' Т°" Же ЭКране появя™ поля ввода данны*
№ So HctPaHH°-T распРеиле»™- В данном случае - Numbad
и?запо н~Га1:^Т РГ0№^-™«ь /успеха»). После
четыре строки вво„я»-.ГШУ,®' И на том же экРане П0ЯВЯТС11
По умолчанию эГ„«эти: "*" <ФУНКЦИИ Распределения в точке).
все эти поля заполнены значением 5. В одно из
132
Tail Area Probabilities
Distributions available:
A) Bernoulli
B) Binomial
C) Discrete uniform
D) Geometric
E) Negative binomial
F) Poisson
Distribution number: 12 .:
G) Beta
(8) Chi-square
(9) Erlang
(Ю) Exponential
A1) F
A2) Gamma
A3) Lognormal
A4) Normal
A5) Students t
A6) Triangular
A7) Uniform
A8) Weibull
Number of trials:
Event probability:
Area at or below
Area at or below
Area at or below
Area at or below
0-
.333
0.98035
0.923471
0.923471
0.923471
Рис. З.9. Запрос параметров и результаты процедуры вычисления квантилей
этих полей следует ввести значение £иабя. - 1. В примере это значение
введено в первое поле, а остальные поля оставлены без изменения.
Результаты. После нажатия (Тб1 против каждого из введенных чи-
чисел появится значение функции распределения. Минимальный уровень
значимости для статистики 5„абл. равен единице минус полученное зна-
значение функции распределения. В данном случае 1 - 0.98035 = 0.01965.
Комментарии. 1. Приведенный порядок действий используется для вычи-
вычисления функции распределения при р < 0.5. При р > 0.5 следует воспользо-
воспользоваться соотношением P(S = к\п, р) = P(S = п - к\п, 1 — р).
2. Если Вы хотите использовать критерий с фиксированным уровнем зна-
значимости р против односторонних альтернатив, то для получения критических
значений необходимо воспользоваться процедурой Critical Values (критические зна-
значения). Ее описание дано в главе 2.
3. Использовать описанные выше процедуры для проверки гипотез против
двусторонних альтернатив можно, но неудобно.
На втором примере разберем работу процедуры Sample size - Binomial
Proportion (размер выборки — биномиальные доли).
Пример 3.2к. Определим необходимое число испытаний в тройном
тесте и соответствующее критическое значение для проверки гипотезы
о неразличимости стимула (т.е. о том, что вероятность его обнаружения
р = 0.3333) против той альтернативы, что вероятность обнаружения
стимула равна 0.9 с вероятностью ошибки первого рода а = 0.02 и
вероятностью ошибки второго рода /5 = 0.1.
Подготовка данных. Вероятность «успеха» при нулевой гипотезе
есть р = 0.3333, вероятность «успеха» р при альтернативе равна 0.9,
уровень значимости а = 0.02, вероятность ошибки второго рода 0 = 0.1.
Эти значения мы введем с клавиатуры как параметры процедуры.
133
SAMPLING
- Normal Means
2 IZil Till - Binomial Proportions
I Sample Size - Poisson Frequencies
Рис. З.Ю. Меню выбора процедуры из группы Sampling (выборки)
Выбор процедуры. В головном меню пакета выберем пункт Sampling
(выборки), а в появившемся меню (рис. 3.10) - процедуру Sample Size
- Binomial Proportions.
Приведем вид экрана этой процедуры с заполненными полями ввода
данных и результатами проделанных расчетов (рис. 3.11).
Sample Size - Binomial Proportions
True State of Nature
HO HA
3.
Decision
Reject
HO
Accept
HO
Type I error
Alpha = »" 00
Correct
decision
Correct
decision
Type II error
Beta = ... 000
Alt. hyp.
Fixed sample size test
Number of observations = 8
Critical values for rejecting HO = 0.682252
Рис. 3.11. Запрос параметров и результаты процедуры Sample size — г
Binomial Proportion (размер выборки — биномиальные доли)
Заполнение полей ввода данных. В поле НО экрана необходимо
ввести значение параметра биномиального распределения р = 0.3333, ,
который определяет нулевую гипотезу. В поле НА надо ввести значение
параметра биномиального распределения, задающего простую альтер-
альтернативу (в нашем примере - 0.9). В поле ошибки первого рода Alpha =
вставим вероятность отвергнуть нулевую гипотезу в том случае, если
она верна, то есть 0.02. В поле ошибки второго рода Beta = введем вероят-
вероятность принять нулевую гипотезу в том случае, если на самом деле верна
ГотГГТ НеЦ" В П°Ле * hyp- над0 Указать тип альтернативной
гипотезы. В этом пп,р МОгут стоять значения GT ^ ^ дляНправост0.
rnvu*o м И ДВУСТ°Р°ННИХ альтернатив соответственно. В
случае мы имеем дело с правосторонней альтернативой.
кла-
чений параметров разбиоаГпГ поставленных целей. Для зна-
V разбираемого примера получаем необходимое число
134
134
испытании п = 8 и критическое значение равное 0.682 при выбранном
параметре 0 = 0.1. Под критическим значением здесь понимается доля
успехов от общего числа испытаний. Значение доли успехов при пяти
успехах в восьми испытаниях равно 0.625, а при шести успехах соот-
соответственно 0.75. Сравнивая эти значения с критическим значением,
выданным процедурой, заключаем, что мы должны отвергнуть нулевую
гипотезу, если число успехов в 8 испытаниях будет больше или равно 6
при заданных значениях ошибок первого и второго рода.
Комментарии. 1. Описанную процедуру целесообразно применять до на-
начала проведения эксперимента. Она строит фиксированные и последователь-
последовательные планы эксперимента для оценки параметров биномиального распределе-
распределения. В фиксированных планах число экспериментов выбирается заранее, а
в последовательных оно определяется с учетом результатов уже проведенных
экспериментов.
2. Процедуру можно использовать для обычной проверки гипотез в схеме
испытаний Бернулли, когда объем выборки задан заранее. Порядок действий
при этом иной, чем описанный выше. Выбрав саму процедуру и пойдя в экран
ее параметров необходимо сразу нажать клавишу (¥ь) и получить на экране
подменю, в котором следует выбрать пункт Enter sample size (введение размера
выборки). При этом осуществляется возврат в модифицированный экран ввода
параметров процедуры. Поле ошибки второго рода становится пассивным,
то есть его уже не надо заполнять. Кроме того, появляется приглашение к
вводу объема выборки л. В данном случае для заданной ошибки первого рода
и объема выборки будут вычислены критическое значение и величина ошибки
второго рода. Введя в указанные поля данные примера 3.1 к, получим следующие
результаты: критическое значение равняется 0.639 и ошибка второго рода —
0.04. То есть следует отвергнуть гипотезу при числе успехов больше пли равном
семи, что соответствует выведенным ранее результатам.
3. Процедура расчета использует нормальную аппроксимацию биномиаль-
биномиального распределения и ее результаты для малого числа испытаний (как это было
в нашем случае) должны рассматриваться как приблизительные.
Два следующих примера посвящены проверке гипотез с помощью
непараметрических критериев знаков и рангов. В случае одной выбор-
выборки критерий знаков используется для проверки гипотезы о равенстве
медианы заданному значению (пример З.Зк). Для парных данных крите-
критерий знаков и критерии рангов Унлкоксона используются при проверке
гипотезы об отсутствии эффекта обработки (пример 3.4к).
Пример З.Зк. В задаче о скорости реакции на звук и па свет
проверим гипотезу о том, что медиана распределения скорости реакции
на свет равна 155 миллисекундам.
Подготовка данных. В редакторе базы данных пакета (процедура
2. File Operations пункта A. Data Management головного меню пакета) в файле
SPEEDR создадим 2 целочисленных переменных с именами sound и light.
135
Cursor at Row:
Column:
1
2
Data Editor
File: SPEEDR
Maximum Rows: 17
Number of Cols: 2
rOw sound
1
2
3
4
5
6
7
8
g
10
25
04
09
83
ffeo
168
bis
1 2
200
1 1
lignt
=
181
194
173
153
166
176
163
H52
165
156
17
I/ 4
Length 17
Typ/Wth I/ 4
Рис. 3.12. Данные для проверки гипотез о времени реакции иа свет и звук
каждая из которых содержит результаты испытуемых в соответствую
щей группе (см. табл. 3.1). Вид экрана редактора базы данных с частью
введенных данных приведен на рис. 3.12.
Выбор процедуры. В головном меню пакета выберем пункт R Ш
parametric Methods. Меню этого пункта представлено на рис. 3.13. Выберем
в нем процедуру 3. Tests for Location (критерии положения).
NONPARAMETRIC METHODS
1. Tests for Binary Sequences
2 Trstj for Ranrinrn"ess
3. Tests for Location
4. Comparison of Two Samples
5. Rank Correlation Coefficients
6. Kolmogorov-Smirnov One-Sample Test
7. Kolmogorov-Smirnov Two-Sample Test
Рис. 3.13. Меню непараметрических методов
Заполнение полей ввода данных. Экран ввода данных выбран-
выбранной процедуры (рис. 3.14) содержит активные поля: Data (данные), Hy-
Hypothesized median (гипотетическая медиана) и Test based on (тест основан
на). Заполним их данными примера, как показано на рис. 3.14. При
этом в поле Test based on следует указать значение Signs, означающее
выбор критерия знаков.
Tests for Location
Hypothesized median: 55
Test based on: iene
P"c 3.14. Запрос параметров процедуры проверки гипотезы о положении выборки
136
Результаты. После^ нажатия (Ц) на том же экране появятся
результаты расчетов для критерия знаков. Они приведены отдельно на
рис. 3.15 и включают в себя значение выборочной медианы (Sample medi-
median), число наблюдений, превосходящих гипотетическую медиану (Number
of values above hypothesized median), число наблюдений, меньших, чем гипоте-
гипотетическая медиана (Number of values below hypothesized median), ожидаемое число
наблюдений, превосходящих гипотетическую медиану (Expected number),
значение нормальной аппроксимации Z для статистики критерия знаков
(Large sample test statistic Z) и минимальный уровень значимости критерия
против двусторонних альтернатив (Two-tailed probability of equaling or exceeding
Z). Строка комментария (NOTE) указывает общее число анализируемых
наблюдений и число выборочных значений, совпавших с гипотетической
медианой и игнорированных при расчетах.
Sample median = 163
Number of values above hypothesized median = 11
Number of values below hypothesized median = 4
Expected number =7.5
Large sample test statistic Z = 1.54919
Two-tailed probability of equaling or exceeding Z = 0.121335
NOTE:17 observations. 2 values equal to hypothesized median ignored.
Phc. 3.15. Результаты расчетов для одновыборочного критерия знаков
Полученный минимальный уровень значимости критерия против
двусторонних альтернатив достаточно велик и не позволяет однозначно
отвергнуть выдвинутую гипотезу.
Комментарии. 1. Значение минимального уровня значимости, выдаваемое
процедурой, является приблизительным, так как базируется на использовании
нормальной аппроксимации для статистики критерия знаков. Для столь малого
числа наблюдений, как в разбираемом примере, точность нормальной аппрок-
аппроксимации недостаточна.
2. При указании значения Ranks (ранги) в поле Test based on экрана ввода
данных процедуры (рис. 3.14) будет выполнен критерий рангов Уилкоксона [91].
Пример 3.4к. С помощью критерия знаков и критерия Манна-
Уитни (Уилкоксона) проверим гипотезу о совпадении распределений
времени реакции на звук и на свет в предположении, что оба распре-
распределения непрерывны.
Подготовка данных. См. пример З.Зк.
Выбор процедуры. В меню пункта R. Nonparametric Methods (рис. 3.13)
выберем процедуру 4. Comparison of Two Samples (сравнение двух выборок).
Заполнение полей ввода данных. На рис. 3.16 приведен экран
ввода данных процедуры (первые три поля) с результатами расчетов
для критерия знаков.
137
Comparison of Two Samples
Sample 2: P.
Test based on: «
Number of positive differences = 13
"umber of negative differences = 3
Expected number - 8 7 = 2 25
^.S3"rSSlu5"f equaling or exceeding Z = 0.0244488
NOTE: 17 total pairs. 1 tied pairs ignored.
Phc. 3.16. Запрос параметров и результаты сравнения положения двух
выборок с помощью критерия знаков
В поля Sample 1 и Sample 2 надо ввести переменные со значениями пер-
первой и второй выборки. В случае использования критерия знаков длины
выборок должны совпадать. Для выполнения критерия знаков в поле
Test based on следует указать значение Signs. Для выполнения критерия
Манна-Уитни (Уилкоксона) в этой графе надо указать Pairs. В последнем
случае анализируемые выборки могут быть произвольной длины.
Результаты. На рис. 3.16 приведены результаты расчетов для
критерия знаков. Они включают в себя вычисление числа положитель-
положительных (Number of positive differences) и отрицательных (Number of negative differences)
разностей, ожидаемое число положительных разностей при нулевой ги-
гипотезе (Expected number), нормальную аппроксимацию Z-статистики крите-
критерия знаков для больших выборок (large sample test statistic Z), минимальный
уровень значимости критерия против двусторонних альтернатив (Two-
tailed probability of equaling or exceeding Z), вычисленный с помощью нормаль-
нормальной аппроксимации. Комментарий к процедуре (NOTE) указывает число
сравниваемых пар и число игнорированных нулевых разностей.
Сравним полученные результаты с рассчитанными ранее вручную,
заметим, что при вычислении разностей в пакете значение первой вы-
выборки вычитается из значения второй. Поэтому полученное процедурой
ёГ0ЖИТеЛЬНЬ1Х РЭЗН0СТеЙ еСТЬ Не а
у у рцдур
п. РЭЗН0СТеЙ еСТЬ Не что ™« число отрица-
отрицаразностей, полученных при расчетах вручную
Та^ВЫЧЙ
ны „аТис^7п ^ КриТерия Рангов Уи^оксона приведе-
н Л Z ТЮЧаЮТ ЧИСЛ° ^жительных Разностей и
? »** ditaCeS 13 * 8462)
выборок (Urge sampe tSTtiIP 7?P РЗНð Уилко^она для больших
критерия проти?д~Г ° " МИНИМальный уровень значимости
« exceeding Z), рассчитан^*™* альтеРнатив (Two-tailed probability of equaling
P «читанный с помощью нормальной аппроксимации. В
1QQ
Test based on: Ranks
Number of positive differences = 13 with average rank = 8 88462
Number of negative differences = 3 with averagl rank - в 83333
Large sample test statistic Z = 2.43031 °*oo*
Two-tailed probability of equaling or exceeding Z = 0.0150858
NOTE: 17 total pairs. 1 tied pairs ignored.
Рис. 3.17. Результаты сравнения положения двух выборок с помощью
критерия рангов Уилкоксона
комментарии (NOTE) указывается общее число пар наблюдений, а также
число пар с совпадающими значениями.
Полученные с помощью разных критериев минимальные уровни
значимости для проверки нулевой гипотезы о совпадении распределений
близки между собой и достаточно малы, что позволяет скорее отвергнуть
гипотезу, чем принять ее.
Комментарии. I. При использовании этих процедур для малых выборок
их результаты (минимальные уровни значимости) должны рассматриваться как
приблизительные.
2. При малых объемах выборок для получения минимального уровня значи-
значимости критерия знаков против односторонних альтернатив следует подставить
полученные значения числа ненулевых разностей и положительных разностей
в процедуру Tail Area Probabilities для биномиального распределения с вероятностью
успеха р = 0.5 (см. пример ЗЛк) в качестве числа испытаний и критического
значения.
Глава
Начала теории оценивания
4.1. Введение
Что такое оценивание. Статистика имеет дело с данными, под.
верженными случайной изменчивости. Их поведение может характер*
зоваться законом распределения вероятностей, если данные являются
выборкой, или более сложными моделями (факторными, регрессион-
регрессионными и т.п.), если данные неоднородны. Эти законы распределения
вероятностей и модели, как правило, содержат неизвестные величины
(параметры) — среднее значение, дисперсию, вклады факторов, коэф-
коэффициенты функциональных зависимостей и т.п. Исследователя обычно
интересуют либо сами эти параметры, либо некоторые заранее извест-
известные функции от них. К сожалению, в силу случайной изменчивости
наблюдаемых данных, нельзя, основываясь только на них,, указать со-
совершенно точное значение параметров. Приходится довольствоваться
лишь приближенными значениями. Термин «оценить» в статистике
означает «указать приближенное значение».
Определение. Оцениванием в статистике называется указа-
указание приближенного значения интересующего нас параметра (или
функции от некоторых параметров) на основе наблюдаемых дан-
данных. Оценка — это правило вычисления приближенного значения
параметра (или функции от некоторых параметров) по наблюда-
наблюдаемым данным.
Примеры оценок. Мы уже сталкивались с наиболее простыми
и распространенными оценками — выборочным средним, выборочной
дисперсией, выборочной медианой и др., — в п 1 8 (хотя само слово
«оценка» мы там не произносили). Так, выборочное среднее являет-
является оценкой среднего распределения случайной величины, породившей
выборку, выборочная дисперсия явлется оценкой дисперсии этого рас-
распределения и т.д. v
знач?„^ТГЯ " "I"™- МеТОДОВ т "предания приближенного
"ТГРа (Т° е"" 0Ц№0К этого параметра) можно приду
"Z, ГпрГиче ГГ П°ЭТ0ЫУ "РИ """Роении оценок и выборе
ные ™бов"ния нТ„ "Рименения к оценкам предъявляются определен-
ребования, например, требования точности (близости к истинному
140
значению параметра), несмещенности (чтобы математическое ожидание
оценки было равно истинному значению параметра), состоятельности
(чтобы при увеличении числа наблюдений оценка сходилась по вероят-
вероятности к истинному значению параметра) и т.д. Обсуждению свойств
оценок посвящен п. 4.5.
Замечание. К сожалению, наилучших во всех отношениях оценок не быва-
.ет. Например, оценка, замечательно ведущая себя при некоторых предположе-
предположениях об исходных данных, при отклонениях от этих предположений может при-
приводить к сильно искаженным результатам. Например, выборочное среднее —
широко распространенная оценка среднего распределения по выборке, — обла-
обладает многими свойствами оптимальности для нормально распределенных выбо-
выборок, но очень плохо реагирует на наличие в выборке выбросов, то есть резко
выделяющихся значений (обычно они порождены грубыми ошибками в измере-
измерениях и иными причинами). Поэтому в последнее время интенсивно развиваются
методы устойчивого (робастного) оценивания. Главная задача этих методов —
получение надежных и эффективных оценок, пригодных для ситуаций, когда
данные отклоняются от моделей выборок, содержат засорения или грубые на-
наблюдения. Эти вопросы подробно рассмотрены в |84j и [92]. А изложение
классических результатов теории оценивания можно найти в [Hj, |49] и др.
О содержании этой главы и следующих глав. В этой главе мы
расскажем об оценках и их свойствах в самой простой ситуации — ко-
когда имеются независимые наблюдения некоторой случайной величины
и мы хотим по ним оценить параметры распределения этой случайной
величины. Будут рассмотрены некоторые важнейшие фундаментальные
основы теории оценивания (закон больших чисел, центральная предель-
предельная теорема), разобраны начала некоторых подходов к оцениванию па-
параметров вероятностных распределений по выборке (метод наибольшего
правдоподобия, метод моментов, метод квантилей) и кратко рассказано
об основных свойствах оценок и доверительном оценивании.
В главе 5 будет более подробно рассмотрено оценивание параме-
параметров для нормально распределенных выборок. А в главах 6—9 разби-
разбираются более сложные случаи, когда оценке подлежат параметры ре-
регрессионных и факторных моделей, а также меры связи (зависимости)
переменных.
4.2. Закон больших чисел
Рассмотрим сначала самую простую задачу оценивания — оценку
вероятности некоторого события. Хотя в основе любого статистическо-
статистического вывода лежит понятие вероятности, мы лишь в немногих случаях
можем определить вероятность события непосредственно. Как обсужда-
обсуждалось в главе 1, иногда эту вероятность можно установить из соображе-
141
„™™ ювной возможности (карты, кости, домино и проЧ|,е
„ии симметрии. Равной ого метода, КОТОрый позволяв
азартные игры)н тл.Ноун Р НОСТЬ| не сущ »
z:!w»^™°*»^t—*оценки вероятиоад'
е„ интересующего нас события А можно проводить независим
повторные испытания.
Теорема Бернулли. Пусть в каждом из п испытаний вероятность
Р(А) события А остается неизменной и результат каждого испи-
тания независим от остальных. Обозначим через S случайное число
тех испытаний (из общего числа п). в которых произошло событие А
Обычно кратко говорят, что 5 - число «успехов» в п испытаниях Бе|>
нулли. Теорема Бернулли утверждает, что при большом п относитель-
ная частота S/n события А приближенно равна вероятности события
А т.е. S/n ~ р, где р = Р(А).
Замечание. Исторически эту теорему можно считать первой теоремой
теории вероятностей. Она содержалась в сочинении Якоба Бернулли A654-
1705) Искусство предположений» («Ars. Conjectandi*), изданном в 1713 г. уже
после смерти автора (русский перевод последней, четвертой части этого со-
сочинения, см. в [13]). В истории теории вероятностей это сочинение сыграло
важнейшую роль. Оно завершается обсуждением упомянутой теоремы и к
доказательством, которое было довольно сложным.
В наше время теорема Бернулли представляется частным вариантом болк
общей закономерности — закона больших чисел. Благодаря развитию науки
для установления этого важного факта теперь не требуется больших усилий.
Вероятностный предел. Рассмотрим теперь, что означает исполь-
использованное в формулировке теоремы Бернулли выражение «приближенно
равно при больших п». Читатель, знакомый с математическим анали-
анализом, мог уже переформулировать это утверждение в привычную форму:
если п -* оо, то S/n -* р где 5 — число появлений события А в п
независимых испытаниях. В теории вероятностей и статистике такие
обозначения также используются весьма широко. Однако понятие пре-
предела толкуется здесь, как правило, в своем, особом смысле, отличном
от того, который вкладывается в него в математическом анализе.
ИСТВИТеЛ
еском анализ
' вспомним принятое в математическом анализе опре-
опрепредела последовательности. Мы говорим, что an - а при
Г ДЛЯ ЛЮб°Г0 С > ° НЗЙДеТСЯ такое *• что при п > *
буд^ыпГн Юб°Г0 С > ° НЗЙДеТСЯ такое *• что при п > *
эГзнаГобГчтоНеРаВеНСТВ° К "О| < £- Д"» теоремы Берну-*
значило бы, что для достаточно больших и действует соотношение
5
142
К сожалению, это утверждение неверно Хотя и с малой вероятно-
вероятностью, но значения р и S/n могут отличаться значительно. Например с
положительной вероятностью S может быть равно 0. Поэтому нельзя
рассчитывать на непременное выполнение соотношения U _р < е
Поэтому для случайных последовательностей используется"другое по-
понятие предела:
Р(|п~;
(для любого е > 0) при п -» со. Когда требуется отличать это по-
понятие предела от того, которое используется в математическом ана-
анализе, говорят: «последовательность случайных величин сходится по
вероятности».
Итак, событие 11 - р | < е не является достоверным, но теорема
Бернулли утверждает, что оно практически достоверно при достаточно
больших п.
Закон больших чисел. При рассмотрении биномиального распре-
распределения в п. 2.1 мы вводили случайные величины X*. г = 1,... , п,
связанные с отдельными испытаниями: X» = 1 в случае «успеха» в
испытании г, и Xj = 0 — в противном случае. Ясно, что мы можем
представить 5 в виде суммы Xi + ■ • • + Хп, где случайные величины
Xi,... , Хп независимы и одинаково распределены, причем для любого
г: MXi = р. Тогда мы можем переформулировать утверждение теоремы
Бернулли в виде:
Итак, здесь среднее арифметическое от большого числа незави-
независимых одинаково распределенных случайных слагаемых оказалось
близким к их математическому ожиданию. На самом деле это утвер-
утверждение верно не только для величин Xit полученных из испытаний
Бернулли, а является гораздо более общим. Ниже мы докажем его
для любых величин Х;, имеющих дисперсию. А с помощью небольших
математических усилий условие наличия дисперсии можно заменить
и более слабым.
Как мы говорили в п. 1.8, среднее арифметическое является вы-
выборочным аналогом математического ожидания. Иначе говоря, если в
формуле, определяющей математическое ожидание, заменить истинную
функцию распределения F случайных величин Х{ на выборочную (эмпи-
(эмпирическую) функцию распределения Fn, то получится формула среднего
арифметического. На самом деле стремление при больших п значения
143
распределения к значению соответствую.
зТачению справедливо не только для среднего арифметического. При
вё ьм слабых предположениях на свойства F и интересующей Нас
характеристики распределения при больших п значение выборочной
2актеристики распределения стремится к значению соотеет-
ствиющей теоретической характеристики. Это утверждение очень
важно для теории вероятностей и статистики, оно называется законом
больших чисел.
Пример Мореплаватели только сравнительно недавно получили возмож-
возможность определять координаты своего корабля вдали от берегов. Если широту
корабля несложно установить с помощью астрономических наблюдений, то для
определения долготы, т.е. угла поворота земного шара, при котором совмеща-
совмещаются местный меридиан и гринвичский, надо точно знать гринвичское время.
Следовательно, до появления радио было необходимо иметь на корабле часы,
точно идущие по гринвичскому времени.
Однако до XIX века существовавшие часы не обеспечивали необходимой
для измерения долготы точности. Лишь в XIX веке были сконструированы
особо точные часы — хронометр. И когда в 1831 г. в кругосветное плавание для
составления карт отправлялся корабль «Билль» (эта экспедиция сейчас широко
известна благодаря участию в ней молодого тогда Ч.Дарвина), капитан корабля
ФицРой. человек просвещенный и ученый, взял с собой 24(!) хронометра. Грин-
Гринвичское время капитан определял усреднением показателей всех хронометров.
И он был прав, поскольку по закону больших чисел среднее арифметическое от
большого числа случайных слагаемых близко к среднему арифметическому от
их математических ожиданий (как правило, ближе, чем для каждого слагаемого
в отдельности). Подробнее мы обсудим это ниже.
Вернемся теперь к закону больших чисел и сформулируем простей-
простейший его вариант — теорему Чебышева.
Теорема Чебышева. Пусть Хи...,Хп- независимые одинако-
одинаково распределенные случайные величины, имеющие математическое
ожидание и дисперсию. Общее значение математического ожидания
этих величин обозначим через а. Тогда для любого е>0прип-+оо
В
чают ХтГкГп6 СР6ДНее аРиФметиче"ое величин Хи... , Yn обозна-
обозначают X. Так что кратко теорему Чебышева можно записать так: X - а-
венс^Чебыш1СТс;ь?Я Д0Казательства «оремы нам потребуется нера-
математическое ожид^ В ZTZTZ ^Z7 ^
144
Проведем доказательство этого
L* «.«ни. „мест „л,™^^
«)=jf /w «ь </" 5/w a ^ I jf - x/w ^ . Mi,
что и требовалось доказать.
Г « ™~ величине < =
Р(\Х - MX | > е) « Р((А - MXJ £ е2) ^ j.M{x _ MxK = ^DX
то есть для любой случайной величины, имеющей математическое ожидание и
дисперсию. Р(\Х - МХ\ > е) <DXfe2.
Применим это утверждение к А. Легко видеть, что MX = a,DX = о*/п,
где а — DXt. По неравенству Чебышева
Поэтому вероятность противоположного события {(X - а\ < е) стремится к 1,
что и требовалось доказать.
Продолжение примера. Вернемся к измерению времени на «Бигле». По-
Показание каждого прибора х,, i = 1,... , п — это измерение, независимое от
других хронометров. Подразумевается, что конструкция хронометра такова,
что в работе этого прибора отсутствует систематическая ошибка. Это значит,
что одни экземпляры хронометров могут «уходить», другие «отставать», но эти
ошибки случайные, связанные с изготовлением данного образца. Математиче-
Математически это условие формулируется так: Л/ Y, = a, i = 1,... , п. Качество конструк-
конструкции и технологии изготовления хронометров характеризуется тем, насколько
однородна по точности хода вся продукция в целом. Математически это выра-
выражается разбросом показании отдельных приборов, т.е. дисперсией случайных
величин Хг. При доказательстве закона больших чисел мы выяснили, что £>\
в п раз меньше D\V Поэтому «среднее время» Y ближе к истинному, чем
можно ожидать того от отдельных значений Zj.
Доказательство теоремы Бернулли. Из теоремы Чебышева, как уже
говорилось, легко вывести теорему Бернулли. Пусть 5 — число успехов в п
испытаниях Бернулли, р— вероятность успеха в отдельном испытании. Введем
случайные величины A',, i = 1,... , п. связанные с отдельными испытаниями.
Пусть А, = 1, если испытание г закончилось «успехом», и X, = 0 — в
противном случае. Ясно, что 5 = \i +•■• + *„. а случайные величины
Хи... , Хп независимы и одинаково распределены. Легко пидеть, что MX, - р,
DXi = p(l - р), a f = Т. По теореме Чебышева P{\S/n -р\ < е) — 1 при
п —» оо, что и требовалось доказать.
Центральная предельная теорема. Пусть 0 — некоторая теоре-
теоретическая характеристика распределения, 0п — ее выборочный аналог,
полученный по выборке объема п. Закон больших чисел говорит, что
при п - оо 0п -> В с вероятностью 1. Однако для практических задач
одного утверждения о сходимости недостаточно - хотелось бы знать,
145
п**п В может отклоняться от в при конкретных значениях
mZZ^-^^Tb постршт интервал' в который в» *
П' "ГГпёооятностью 99%, либо найти среднее квадратическое от.
Мнение величины вп - в, чтобы затем, скажем, указывать возможна
1ницы для неизвестного нам в по известному значению вп.
Лучше всего, когда мы можем точно вычислить распределение щ.
чайной величины вп - в. Иногда это удается сделать (например, в
п 5 2 мы найдем распределения выборочного среднего и выборочной
дисперсии для нормального распределения), однако это бывает очень
редко Обычно функцию распределения вп - в можно получить то^
ко моделированием на ЭВМ. Однако асимптотическое распределение
0п _0 (точнее, у/п{вп - в)) известно достаточно хорошо. Оказывается,
при весьма слабых предположениях на функцию распределения F и
характеристику в случайная величина
имеет асимптотически (при п -> оо) нормальное распределение с неко-
некоторыми параметрами (а, а2). Это утверждение носит гордое имя цен-
центральной предельной теоремы. Действительно, это одно из ключевых
положений теории вероятностей и статистики, оно весьма важно как в
теоретических исследованиях, так и в прикладных задачах. В этой кни-
книге мы еще неоднократно будем встречаться с различными следствиями
центральной предельной теоремы.
Замечание. Множитель у/п в приведенной выше формуле показывает,
как меняется распределение вп - в, а значит, точность статистических выво-
выводов, основанных на вп, при увеличении объема выборки п. Мы видим, что
увеличение точности (например уменьшение длины доверительного интервала,
см. ниже) происходит пропорционально 1/^ri, а не 1/п т е происходит гораздо
медленнее, чем рост числа наблюдений. Отсюда следует что если мы хотим
увеличить точность выводов в 10 раз чисто статистическими средствами, мы,
ХГ°ГГ!УВеЛИЧИТЬ °бЪ б 10° П б 0"
4.3. Статистические параметры
4.3.1. Параметры распределения
^ГрГе^Ги^пгГи"теории вероя™°стей ^napa-
ных значения nanaZZ ™ П° СМЬ!СЛУ- но все же Раз;ШЧ'
набор чисел значений РпСПределе«™ вероятностей называют
' НИЯ КОТ°РЬ!Х полностью определяют это распреде-
146
ление как конкретный элемент некоторого семейства вероятностных
распределении.
Например, параметрами нормального распределения вероятностей на чи-
числовой прямой обычно выступает его математическое ожидание (скажем а)
и дисперсия (скажем, 6). В этом случае нормальная плотность как функция
аргумента х, изменяющегося от -оо до +оо, зависит от х и параметров (а 6)-
В дальнейшем параметр (или всю их совокупность) будем обозна-
обозначать одной буквой, скажем. 0. Если параметр один, то в — число. Если
параметров несколько, допустим, г, то в обозначает их совокупность,
скажем, 0 = @Ь... , 0Г). Обычно параметризацию семейства распреде-
распределений вводят так, чтобы между значениями параметров и элементами
семейства устанавливалось взаимно-однозначное соответствие, т.е. что-
чтобы разным наборам 0 = @Ь... , 0Г) и О' = @{,... , 0;) соответствовали
разные распределения. В остальном выбор параметров (способов пара-
параметризации) диктуется конкретными обстоятельствами. Например, для
нормального распределения на прямой возможна и параметризация с
помощью параметров « и о = у/Ь.
Оценки параметров. Любые характеристики распределения ве-
вероятностей могут быть выражены через его параметры. Поэтому од-
одна из основных задач математической статистики — по наблюдениям
над независимыми реализациями случайной величины (т.е. по выборке)
сделать выводы о параметрах ее распределения, например, указать их
приближенные значения.
Вместо словосочетания «приближенное значение» в статистике ис-
используется термин «оценка». Так что «указать приближенные значения
параметров» означает оценить их, указать оценки. Основой для этого
должны служить только зарегистрированные во время эксперимента
значения, которые приняли наблюдаемые случайные величины. Если
хи....хп — совокупность независимых одинаково распределенных
случайных величии (выборка), закон распределения вероятностей кото-
которых зависит от неизвестного параметра 0, то в качестве оценки могут
выступать функции от аргументов хи... ,хп, скажем, l{xi,... , ж„).
При этом надо, чтобы
4.3.2. Параметры модели
Выборка представляет собой простейшую, по далеко не единствен-
единственную модель случайных данных. Например, нам уже известна задача
147
В этой задаче мы можем использовать
^Гск^модель), согласно которым закон^
выборок отличаются только сдвигом одного распред,
SSSUbHO другого. Если мы захотим проверить гипотезу, .
том что этот сдвиг равен нулю, либо оценить величину сдвига, то эта
причина (неизвестная экспериментатору), будет выступать в тщ
случае параметром модели. Задача оценивания параметров модели ;
является очень важной на практике. В этой книге (гл. 6-8) мы буде„
рассматривать наиболее распространенные модели - регрессионные н
факторные. В каждой из них имеются несколько параметров модели,
которые нужно оценить.
Надо отметить, что даже точное знание значений параметров мо-
модели не всегда позволяет идентифицировать закон случайности, т.е. то '
распределение вероятностей, которому подчиняются случайные наблю-
наблюдения. Например, знание величины смещения одной выборки относи-
относительно другой не дает нам сведений о распределениях этих выборок. В
этом отличие параметров модели от параметров распределения.
4.4. Оценивание параметров
распределения по выборке
Вопросы оценки параметров статистических моделей будут рассмо-
рассмотрены в следующих главах. Здесь же мы обсудим подробнее методы
оценивания параметров распределения по имеющейся выборке.
В математической статистике есть много подходов, которые придают
высказанному выше требованию D.1) точную математическую форму.
Ни один из них не может считаться универсальным или наилучшим.
В зависимости от целей эти методы можно разделить на две группы.
Первую группу составляют методы оценивания параметров по конечной
выборке, вторую — методы оценивания по неограниченно растушен
выборке. С практической точки зрения вторая группа подходов важнее,
так как интуитивно понятно, что для получения сколько-либо надежных
^^Т*^ " ХаРактеРист«^х Распределения, надо иметь до-
' Т6- ПрОДелать большое количество экспери**
9*™*™*точки зрения вт°рая рруппа ПОАХОД0В
многие проблемы' °тносящиес;
кон больших чисел Лп»Т ВЫВ°А°В В ЭТОМ слУчае слуЖИТ
стик распределен! ппГ * П ЗНЗЧения Уборочных характер*
^^^рК^Г нам
148
Если посмотреть с этих позиций на теорему Чебышева, мы уви-
увидим, что она дает способ оценки по выборке теоретического значения
математического ожидания, — его оценкой является среднее значение
наблюдений: х ~ а. Выведем аналогичный результат для дисперсии
распределения.
Оценка дисперсии распределения. Пусть хх,..., хп — совокуп-
совокупность независимых реализаций случайной величины £. Согласно зако-
закону больших чисел, для получения приближенного значения дисперсии
£)£ = М(£ - М£J надо в определении дисперсии заменить теоретиче-
теоретическую функцию распределения F на ее выборочный аналог Fn. Иначе
говоря, требуется заменить операцию математического ожидания М
усреднением по выборке. Сначала сделаем это по отношению к М,
стоящему внутри скобок. Вместо (£ — М£J получим совокупность
(zi-sJ, (жг-нгJ,..., (хп-хJ.
Остается применить усреднение вместо внешнего символа М. Получаем
приближенное выражение для дисперсии: £ Ym=\ 0е» - яJ-
Докажем закон больших чисел для дисперсии. Нам надо показать, что
при п —♦ со
i £>< - хJ-> D£. D.2)
Для этого прежде преобразуем £"=1 (х, ~xf следующим образом:
n
J
i _ af _ 2E - a) £ (x, - a) + nC: - aJ =
Поэтому левая часть соотношения D.2) равна
± (x,-aJ-(x-aJ. D-3)
1= 1
Так как х - а. второй член выражения D.3) стремится при п - оо к нулю.
Первый же член выражения D.3) при и - со сходится к М(* ~ а) . т.е. к Щ.
что и доказывает утверждение D.2).
Выражение 1 Уп , (гс,-хJ можно назвать выборочной дисперсией
выражение n 2_^,=i VX| ; /?Л„,,,Л Опнако чаще вместо него
(иногда говорят - дисперсия выборки). Шнако чащ
используют
п
149
Понятно что уменьшение п на 1 в знаменателе левой части D.2) Не
J2X ££****»поведении этого выра*е ния и s - *щ
~ В то же самое время з* обладает тем свойством, что
Ms2 = #£ ПРИ любом п, D4)
что считается достоинством. Говорят, что з2 является несмещенной
оценкой DC-
Для доказательства D.4) надо обратиться к D.3) и учесть что Дф_
аJ = Ш так как Мя = а. Как отмечалось ранее, £>ж = -£>£, поэтому
м ЕГ=1 О* - ^J = п^ - ^ = (п ~ ^^^ Отсюда cJieweT <4-4)-
Оценки параметров распределения. Пусть мы имеем выборку из
распределения, принадлежащего некоторому параметрическому семей-
семейству F@), и хотим по выборке оценить неизвестные нам параметры 6
этого распределения. Для этого часто используется следующий приен.
Выбирают какую-либо характеристику распределения Г (среднее, меди-
медиану, квантиль и т.д.), выражаемую через функцию распределения. Но
поскольку функция распределения F зависит от 0, то и значение харак-
характеристики Т есть функция от неизвестного нам значения в. Выбороч-
Выборочный аналог этой характеристики Г„ на основании закона больших чисел
будет близок к ее теоретическому значению, если объем наблюдений
достаточно велик. В связи с этим рассмотрим уравнение, правой частью
которого является теоретическое значение характеристики, а левой -
ее выборочное значение: Т@) = Тп. Если параметр в одномерный,
то разрешая подобное уравнение, получим оценку в. Если параметр
в многомерный (то есть параметров распределения несколько), то для
их нахождения выбираются несколько характеристик распределения и
составляется система из соответствующего количества уравнений.
В качестве характеристик распределения часто используют моменты
(метод моментов), реже - квантили (метод квантилей). Проследим за
действием этих методов на примере оценивания по выборке параметров
нормального распределения (оба параметра неизвестны).
«JIT* М0М6НТ0в- ПУСТЬ V-Дп- независимые случайные
(кратко РпаСПреДелеЛн"ые f нормальному закону с параметрами а и *2
будем и^ ЗЗК0НУ *(О'О)- В КЗЧестве *фактеристик распределения
^ И ВТ°РОЙ м~ № и Щ2. Теорети-
:tt равны °и *2+°2- "р
Уравнений отноГте! о a 3™"*™ ЗНаЛ°ГаМ' П0ЛУЧИМ
150
n i-»i=l «t-i •
Решение системы, т.е. моментные оценки а, а\ обозначим через а*
а1*. Легко видеть, что ,
i=l
Заметим, что мы получили бы для а и а2 иные выражения, если бы
в качестве характеристик распределения взяли другие моменты (а не
первый и второй, как в приведенном случае).
Метод квантилей. Чтобы использовать метод квантилей, надо пре-
прежде решить, какими квантилями мы будем пользоваться. Для нормаль-
нормальной выборки (и вообще для выборок, в которых параметрами служат
сдвиг и масштаб) обычно используют медиану и квартили — верхнюю
и нижнюю.
Случайную величину £, распределенную по закону N{a,a2), можно
представить в виде £ = а + от], где -ц подчиняется N@,1). Для стандарт-
стандартного распределения N@,1) медиана равна 0, а нижняя и верхняя квар-
квартили равны ±Ф-1@.75) соответственно. Поэтому для N{a,cr2) медиана
равна о, квартили (верхняя, нижняя) равны а±сгФ~1{0.7Ь).
Видно, что о равна половине разности верхней и нижней квартилей
распределения, деленной на Ф~1@.75).
Обозначим через Qn@.5) медиану выборки Xi,...,xn, через
Qn@.25) и Qn@.75) ее нижнюю и верхнюю квартили. Приравняв к
указанным выше теоретическим характеристикам их выборочные ана-
аналоги, получим оценки для а и а:
а* = Qn@.5) = med^b--. , хп), о" = 2^
4.5. Свойства оценок.
Доверительное оценивание
Поскольку, как мы видели, для одних и тех же параметров рас-
распределения возможны и употребительны разные оценки, хотелось бы
как-то сравнивать их между собой и выбирать из них те, которые лучше
или которые обладают желательными свойствами. Ниже мы укажем те
свойства, которые обычно имеют часто используемые оценки. Пусть
6п — оценка характеристики распределения в, полученная по выборке
объема п. Тогда:
• оценка 0П называется состоятельной, если вп -» в по вероят-
вероятности, когда п -* сю;
оценка вп называется несмещенной, если Мвп - В.
151
„ l urn если состоятельность — практически обязать
So3B«x исполГуГы" на практике оценок (несостоятельна £
нос свойство всех испо у то свойство несмещенност„ ямяетс|)
ZSSSlI МнГечасто применяете оценки свойством „есмец^
не обладают.
Эффективность оценок. Прежде чем ставить вопрос о выборе наи-
наилучшей оценки, надо научиться сравнивать оценки между собой. Едино
го способа сравнения оценок не существует; приходится использован
различные подходы. Чаще всего в качестве критерия качества оценки
6п параметра в выбирают малость величины М@„ - в) , а наилучшей
оценкой считают такую оценку, для которой эта величина минимад,
на. Более общий подход состоит в том, что вместо величины (вп -0)'
выбирают другую неотрицательную функцию «штрафа» 1У@„, в) за от-
отклонение вп от в (иногда говорят, функцию потерь), и наилучшей оцен-
оценкой считают такую, для которой математическое ожидание величины
штрафа MW{6n,e) минимально.
Оценки, для которых минимальна некоторой функции потерь, часто
называют оптимальными или эффективными. Не следует приписы-
приписывать этим определениям какие-либо магические свойства, считая, что
такие оценки заведомо лучше всех других. На самом деле оптимальные
свойства оценок получены при определенных предположениях, которые
на практике могут и не выполняться или выполняться лишь прибли-
приближенно. При этом свойства подобных оценок могут оказаться не столь
хорошими.
Например, среднее арифметическое элементов выборки является «эффек-
«эффективной» оценкой параметра а для выборки из нормального распределения
/V(a, о ): эта оценка несмещенная и обладает минимальной дисперсией. Но при
отклонении распределения от нормального (например, при наличии «выбросов»,
т.е. резко выделяющихся значений), свойства этой оценки становятся неудовле-
неудовлетворительными, так как ее значения очень сильно зависит от «выбросов».
Доверительное оценивание. Во многих случаях представляет
интерес не получение точечной оценки в неизвестного параметра 0. а
этотпГям (наПРимеР' интеРв^а на числовой прямой), в которой
95 или 9QO/T Нп0ДИТСЙ С веР°ЯТНостью, не меньшей заданной (скажем,
Выберем чи°лоПа°СТ0Р0<ТЬ ™Т ^^ М°ЖН° ™е*Ую^м обРа3°*
в должен nnna. "" веР°ят"ость, с которой параметр
оценкП неизве "* П°СТроеннУю »™ область. Пусть мы имее»
не меньше а: В КОТОРУЮ ои*н™ в попадает с вероятность»
^ Q для любого 0.
152
Тогда доверительной областью (в одномерном случае - доверитель-
доверительным интервалом) с уровнем доверия а для неизвестного нам истинного
значения в, построенной по наблюденному в опыте значению оценки
О, является множество
{0\0€A{6ta)}.
Можно сказать, что процесс доверительного оценивания является как бы
обращением процесса проверки статистических гипотез: там мы по известному
значению параметра в строили множество А{0), в которое с заданной вероятно-
вероятностью попадает некоторая статистика в. а здесь мы по таким множествам строим
область, которая накрывает с заданной вероятностью само значение 0.
Примеры построения доверительных интервалов мы приведем в гла-
главе 5 (см. п. 5.2).
4.6. Метод наибольшего правдоподобия
Как мы видели в п. 4.4, разные методы оценивания одних и тех же
параметров распределения могут давать разные результаты. Когда есть
несколько путей к одной цели, естественно, хочется выбрать наилуч-
наилучший. При определенных ограничениях таким методом является метод
наибольшего правдоподобия, основанный на оптимальном использова-
использовании имеющейся в выборке информации о параметрах распределения.
Пусть \ГЬ... , Хп — выборка из распределения, плотность которого
в точке т зависит от неизвестного параметра в. Обозначим плотность
отдельного наблюдения A* (i = 1,... , п) через р(х,0). Поскольку
случайные величины Хь... , Ап независимы, плотность вероятностей
вектора (A'i,... , Arn) равна
в)...р{хП1в), D.5)
где в — неизвестное нам истинное значение параметра.
Метод наибольшего правдоподобия состоит в следующем. Подста-
Подставим в D.5) вместо переменных (яь...,з:п) элементы выборки, т.е. ре-
реализации случайных величин Хи...,Хп, а параметр в в D.5) будем
рассматривать как переменную величину, изменяющуюся в заданной
области значений. В таком случае плотность D.5) превращается в
величину, которую мы будем называть правдоподобием:
<4б>
Оно. естественно, является функцией переменного в. Метод наи-
наибольшего правдоподобия рекомендует выбирать в качестве оценки в
153
неизвестного истинного значения параметра в из D.5) такое значен»,
Гри Горем правдоподобие достигает максимума.
(хв)
Ясно что такой выбор в происходит в зависимости от значив
X , поэтому в является функцией от Хи... , ХПъ т.е. случай-
ной величиной.
Пример- применение к нормальной модели. Прежде чем обсужщ
теоретические свойства метода наибольшего правдоподобия, рассмотрим еГс
действие на примере нормальной выборки Nfab). В этом случае функщц
правдоподобия равна
Надо выбрать параметры а, 6 так, чтобы выражение D.7) было максинал
иым (при заданных значениях xi,... , х„). Заметим, что при произвольном фш-
сированном b выражение D.7) будет иметь наибольшее из возможных для неге
значений, если Х^хОе* - аJ примет наименьшее значение (относительное).
Это произойдет при a — х. Следовательно, оценка наибольшего правдоподобк»
а для а равна х.
Для того, чтобы найти оценку наибольшего правдоподобия параметра Ь,
вычислим

Эта задача без труда решается при помощи средств математического аналим
(Надо взять производную по Ь, приравнять ее нулю и решить полученное ургв-
нение относительно Ъ). После всех вычислений получим b = -5- £"=1(z. - &}'•
Итак, оценка наибольшего правдоподобия для (а, Ь) равна
■—1
и мРтп^п«Т °ЛУЧае 0ЦеМКИ' полУчешше методом наибольшего правдоподоб^
и методом моментов, совпали. Так бывает далеко не всегда.
к методу. Попытаемся выяснить теоретически причину
а наибольшего правдоподобия: почему при больших п
истинному , ЭГМ МеТ°Д0М °ЦеНКИ паРаметра в в D.5) близки него
истинному значению и кяк n am.,
Отмртим u Г" М УчаствУет закон больших чисел.
Отметим, что функции Р{Х1,0)...р(Хп,в) и
" Т°М Же значени" ». «к как
ей функцй П
е значени" ». «к как логарФ
функцией. Представив лопф#
154
произведения в виде суммы логарифмов, получаем, что для нахождения
оценки максимального правдоподобия можно искать такое значение в
при котором выражение '
1 п
Yl{Xe) D.9)
i=l
достигает максимума.
По закону больших чисел, выражение D.9) как среднее арифмети-
арифметическое независимых одинаково распределенных величин сходится к их
математическому ожиданию, т.е. при больших п оказывается близким
к М \пр(Х{,0). Поэтому оценка максимального правдоподобия близка
к такому значению параметра 0, при котором величина М Ыр(Х{,в)
достигает максимального значения как функция в. Остается только
указать это значение параметра.
Обозначим через в0 то неизвестное истинное значение параме-
параметра, которое мы пытаемся оценить. По определению математического
ожидания,
М In р(Х, в) = I р{х, 0°) \п р{х, в) dx.
Остается исследовать, при каком 0 стоящий справа интеграл дости-
достигает максимального значения. Оказывается, что максимум достигается
при в = 0°: Jp{xte°)\np{x,G0)dx> f р{х,0°)\пр(х,в)(Ь для любого в,
и более того, для любой функции плотности q(x):
[р(х,в°)\пр{х,в°)с1х> [р{х,в°)\пд{х)сЬ. D.10)
Здесь могут возникнуть некоторые сложности из-за того, что функция
q(x) при некоторых х может обращаться в нуль, а при таких значе-
значениях х не существует логарифма. Однако это затруднение успешно
преодолевается.
Неравенства нида D.10) были впервые обнаружены в пятидесятые годы
при создании теории информации, поэтому они называются «неравенствами
теории информации». Вы можете попытаться самостоятельно доказать аналог
неравенства D.10) для дискретного случая: пусть р», • • ■ ,Рп и q\,...,qn — два
набора положительных величин, причем X^i/7' = ^ £"=i 9» = *■ Тогда
Л In pi.
Для доказательства можно воспользоваться методом математической индукции.
Итак, из неравенства теории информации D.10) вытекает, что вы-
выражение D.9) достигает максимума, когда для любого х: р{х,в) равно
155
и &) те когда в = 0°. Поэтому оценка наибольшего правд01%
бия при больших объемах выборки оказывается близкой к истину
значению параметра.
Яямечание Р Фишер доказал, что в определенном смысле оценки на-
набольшего правдоподобия наилучшим образом используют информацию о пар,
^еСГсодержаШу.осй в наблюдениях (см.. например. [441) Его работы *
ГаТмётод наибольшего правдоподобия очень популярным. Было открыто,*,
7т многих задач самой различной статистической природы метод наибольшее
правдоподобия дает хорошие результаты. Задачи эти подчас столь разнородна.
что не покрываются единой теорией, которая описывала бы свойства метода!
указывала границы его применимости.
Однако далеко не во всех практических задачах метод наибольшего прав-
правдоподобия (равно как и другие «наиболее эффективные» для данного семейств
распределений методы) дает удовлетворительные результаты. Дело в том, чп
предположение о принадлежности неизвестной плотности распределения опре-
определенному параметрическому семейству (нормальному, показательному ид
какому-то другому) на практике выполняется лишь приближенно. Метод, к*
торый принимает это предположение безоговорочно, может привести к резуль-
результатам, не имеющим даже приблизительно правильного характера. Так может
происходить при определенных, хоть и небольших, отклонениях от начальна
предположений. Особенно чувствительны к такого рода нарушениям должны
быть оптимальные методы — вольно выражаясь, они используют всю ннформг-
цию, ничего не оставляя в качества запаса прочности. I
4.7. Оценивание параметров [
вероятностных распределений в
пакетах STADIA и STATGRAPHICS
При построении оценок параметров распределений к ним можно,
предъявлять различные требования, такие как несмещенность, эффек-
эффективность, устойчивость к отклонениям от модели и т п Статистическая
наука постоянно предлагает новые концепции и подходы к оцениванию,
а также конкретные алгоритмы их реализации. Свой вклад в разнообра-
разнообразие оценок вносят и различные способы параметризации распределе-
паоаметпоГп °Р°ЖДаеТ МНоЖество различных оценок одних и тех я»
с оТпакеТе 2Г°МУ 1РУДН° °ЖЩ11ТЬ" ЧТ0 в ™ «™ «ном статней*
^^!^Гнайдется процедура-в ~ти
ZZZZeTZ
(см. пп 26 12 62) RP СТЗ
- Реализованы в 'пакета""^
TZm ВЬ1ВОДЯТ значення наиболее распростр-
P СТЗНдаРТНЬ1х вероятностных распределении
ета""^Ш ^ЖЙ™ ^ "^
Л56
Во многих случаях требуемые оценки параметров распределения
можно получить по соответствующим формулам самостоятельно вос-
воспользовавшись тем, что практически все пакеты дают стандартные оцен-
оценки младших моментов и процентилей распределения (см. примеры 1.1 к
и 1.2к). При нахождении значений оценок могут оказаться очень полез-
полезными различные вспомогательные процедуры преобразования данных,
средства решения систем линейных и нелинейных уравнений и т.п. Ис-
Использование некоторых из этих возможностей показано в примере 4.2.
Задача оценивания параметров нормального распределения в стати-
статистических пакетах рассматривается отдельно в главе 5.
4.7.1. Пакет STADIA
Пример 4.1к. Сгенерируем выборку размера п = 100 из экспонен-
экспоненциального распределения со средним значением Ь = 3 и оценим по ней
значение этого параметра.
Подготовка данных. Решение первой части этой задачи осу-
осуществляет в пакете процедура 3=Генератор чисел меню Преобразования. Ее
работа была подробно рассмотрена в примере 2.3к.
Для экспоненциального распределения в пакете используется сле-
следующая параметризация плотности распределения: р{х.Ь) = lc~x^b,
где т ^ 0, а параметр b является средним значением распределения
(см. п. 2.3).
После вызова меню Преобразования (функциональная клавиша СЕЮ) и
выбора пункта 3=Генератор чисел, в открывшемся запросе (рис. 2.16) ука-
укажите размер выборки 100 » поле Всего чисел и величину среднего знаме-
знамения 3 в поле а=. (Содержание поля Ь= в данном случае несущественно.)
Затем укажите тип распределения — экспоненциальное. Результат ге-
генерации помещается в первый свободный столбец электронной таблицы
(на рис. 4.1 это переменная х1).
Выбор процедуры. В меню Статистические методы (рис. 1.17) в разделе
Распределения и частоты выберите пункт U = Согласие распределений.
Заполнение полей ввода данных. Программа запросит тип ве-
вероятностного распределения выборки (рис. 4.2).
Результаты. На рис. 4.3 приведены результаты работы процедуры.
При этом в строке
Распределение экспоненциальное: 2.996, 3.0272
первое число 2.996 является требуемой оценкой, а второе — стандартной
ошибкой среднего значения. Процедура также вычисляет статистики
157
TT"
Таблица папиих
LJ1Q.3J
0.58838
2~4942'
5.6224
0^77089
5.5156
2.3448
' " . •' 0.8S947|
8.0193:
0.57099) J
i _
Рис. 4.1. Пакет STADIA. Электронная таблица со сгенерированной выборкой
-Распределения
Рис. 4.2. Пакет STADIA. Меню выбора вида распределения
СОГЛАСИЕ РАСПРЕДЕЛЕНИЙ. Файл:
Распределение экспоненциальное: 2.996, 3.0272
0.б, степ.своо - 100
яИе Не отличается ^ теоретического>
л 1 п /Р^ление не отличается от теоретического
. 4.3. Пакет STADIA. Результат оценки параметроп распределения
и проверки согласия
%ТиИЯ К°ЛМОГ0Р°ва " омега-квадрат (они будут рассмотри
!!";:^;?1""плотнос™и ^ т
Комментарии 1 Получрп
правдоподобия. ' у ая оцеика является оценкой максимального
2. В документации пакетя vuoo
нок для распределений из спискГп' ФТоУЛЫ1 используемые для получен*
^^S^9rHH Ф СУДИ1Ь
сред„им значением
*"™°J*™* воспользоваться процедурой
Р ЭКСПоие»^ального распределения я
рур
ого распределения являет
158
Следующий пример иллюстрирует возможности вспомогательных
вычислительных процедур для построения оценок параметров распреде-
распределении. В связи с этим его характер отчасти искусственен.
Пример 4.2к. По выборке размера п = 18 из логнормального
распределения с плотностью вероятности
Лх 1 (In*-/!J
z, /i, a) = ——^-е ^~
ху/2тта
построим оценку максимального правдоподобия параметра \х.
Подготовка данных. Пусть выборка размером п = 18 из логнор-
логнормального распределения находится в переменной lognor редактора базы
данных пакета (рис. 4.4).
STADIA CD.4ognof.sKl
■ • ' п- I л ... | -. "L, .__ ~ • . -■ В
Г . -.у
с- ■ .
f : .'-..V
. ■ 5■:■ v
.-I' -..:
■■ ■ - . .
».--Ь ■. :'
р1- t .1. ,*
К а ■' ■
. I. -. i
♦1 1 "
г 424 ~+
3 224
? 274 Ч
3 495
4 46 j
0 6331 |
3 3GC
t 503
3 061
7 G6
4 667
27 49
1 62
0 944
6 57
10 17
11 01
.
'4:
Рис. 4.4 Пакет STADIA. Электронная таблица
с выборкой из логнормальиого распределения
Оценка максимального правдоподобия параметра // задается вы-
выражением
Для ее непосредственного вычисления воспользуемся процедурами пре-
преобразования данных пакета.
Выбор процедуры. В меню Преобразования выберите пункт 1 =
стандартная функция. На экране появится всплывающее окно с перечнем
стандартных функций (рис. 4.5).
159
[-Стандартные функцнн-
1Г.З.Г.ЕХЕ.-
= ABS
1Г5 = SQRT _
lf7=R0UNDA I D = SIN f
|f|}=IWT Jl 1 E=GOS 1
j I. F = TAN \
II Ar= Ш I
= a+b*X I
LHAACOS I
1 t = ATAN
1
b=fo
■X Отненнть
1 I I Illl
Рис. 4.5. Меню стандартных функций для преобразования данных
Заполнение полей ввода данных. В окне рис. 4.5 выберем пункт
2 = LN (нажав © или воспользовавшись мышью). После этого в перемен-
переменной iognor будет находиться массив натуральных логарифмов элементов
первоначального массива. Так как искомая оценка является средний
арифметическим полученных значений, для ее вычисления можно ис-1
пользовать процедуру Описательная статистика из меню Статистические метода.
Работа этой процедуры подробно описана в примере 1.1 к.
Результаты. На рис. 4.6 приведены результаты работы процедуру
Описательная статистика. Искомая оценка параметра ft находится в граф:
Среднее и равна 1.3805. Требуемую оценку в пакете можно было бы
получить и сразу, воспользовавшись процедурой 11=согласие распределен
(пример 4.1).
ОПИСАТЕЛЬНАЯ СТАТИСТИКА- Файл:
Переменна л Разыер < Диапазон >
lognor 18 -0.45713 3.3138
Переменная Медиана
1 1.3732
Асиыыетр.
-0.045086
Среднее ОшиОка
1.3805 0.21126
Яисперс
0.80338
.44046
Значиы
0-2717
<-ДовИнтДисп->
0.4524 1.806
Ст. ого
O.8963J
ОшСтОги
0.36983
Р"С 4.6. Реэу„ы раб„1ы происдуры 0„,1сатмЬ|ЮЙ m
комментарии I Запись пр
ментарии I Запнг»
Функции на место перво1,ачальной3ГЬТаТа вычислс"ия значени
к потере первоначальной массГя п РеМИ111°Й "С кегдя Удоб11а- ™« ™« т»
процедуры можно соз Т' ПрСЖДе "ем ""полнять подобии
р рвоначальной
процедуры, можно создать
Денн3й
Р " алектроя
Т 110УДОбСтво от"зсти компенсируются простотой п
яж*
160
преобР»зова„ия данных пакета я»
«бГ^В|1и1еляет в м"рицс данных вози*
^ть задней д„^ СТа»яартных отклоиеи*
"аРУШе»"я общей cxnv •ПронУще«"Ь1м значением* (Ч*
а целиком в разлнчиых^м УРЫ МатРицы ^нных н она ыожй
ЧИЫХ Мет«Дах анализа модельных задач).
Мбо средним значением по переменной, либо, если данные имеют соответству-
соответствующую структуру, — регрессионными оценками соответству
4. В целом пакет STADIA предоставляет достаточно простых возможностей
для самостоятельного построения различных оценок. шж.шетси
4.7.2. Пакет STATGRAPHICS
Пример 4.1к. Сгенерируем выборку размера и. = 100 из экспонен-
экспоненциального распределения со средним значением Ь = 3 и оценим по ней
значение этого параметра.
Подготовка данных. Решение первой части задачи осуществляет
процедура 5. Random Number Generation пункта Н. Distribution function (рис. 2.1G)
головного меню пакета. Ее работа разобрана в примере 2.3к. В пакете
используется следующая параметризация плотности экспоненциального
распределения: p(.v,b) = \,е'т/Ь^ где .г ^ 0, а параметр b является сред-
средним значением распределения (см. пункт 2.3). Поэтому процедура гене-
генерации запрашивает значение Mean в качестве параметра распределения.
Пусть результат работы процедуры помещен в переменную EXPO.var.
Выбор процедуры. В головном меню пакета выберем пункт Н. Dis-
Distribution function, а в этом пункте — процедуру 1- Distribution Fitting (подбор
распределения, см. рис. 2.1G).
Заполнение полей ввода данных. Экран ввода данных проце-
процедуры (с результатами расчетов для экспоненциального распределения)
приведен на рис. 4.7. В поле Data vector необходимо ввести анализируемую
выборку, а п поле Distribution number — помер требуемого распределения
из списка на экране.
Distribution Fitting
Oata vector: EXPO.var (
Distributions available:
A) Bernoulli G) Beta A3) Lognormal
(?) Dmomial (8) Clu-square <1<O Normal
C) Discrete uniform (9) Erlang A5) Student s t
D) Geometric A0) Exponential A6) Trlangulai
E) Negative binomial A1) F <17> Unlfo™
F) Poisson A2) Gamma A8) Wribull
Distribution number О
Mean- b.O8 7
Рис. 4.7. Полбор нарамстроп распределения но ныборкс
Результаты. После заполнения полей ввода следует нажать кла-
клавишу (Тб]. и на том же экране в поле Mean появится значение оценки
максимального правдоподобия параметра Ь.
6—783
161
Ч2СТ9Ь 'в
1 Основное назначение данной процедуры - Про
Распределением. ^
9 в ™^дакеТп?ке^Гказана параметризация распределений J
JL онсТ? но отсутствуют используемые формулы для оценок и указанн-,
In оСнок В связи с этим, в качестве иллюстрации разнообразия подход*
к оценивТнию; приведем конкретные формулы и тип оценок для некоторых,
УКЯ3^^^^^1^ стандартную параметризацию, при тщ
Л>0.
В качестве оценки параметра Л по выборке хих2,... ,х„ в пакете исполь
зуется несмещенная эффективная оценка максимального правдоподобия
Для непрерывного равномерного распределения A7) Uniform в пакете испо/.ь
зуется следующая параметризация:
/(я,а,Ь) = —-, (а^х^Ь),
о а
где параметры а и Ь задают левую и правую границу распределения. В каче
стве оценок параметров а и b в пакете используются оценки максимальной
правдоподобия: *
0 = 1A), Ь = а;(п), i
где X(i) и Х(П) — минимальный и максимальный элементы выборки. Указанна
оценки являются смещенными (их математические ожидания не равны о г
Ь). Несмещенными оценками с минимальной дисперсией для этих параметре-
являются величины:
Для распределения хи-квадрат (8) Chi-square с параметризацией шютноШ
пределения f(xv)
ррделени
распределения f(x,v)
моКмРнтппе,«илНКИ параметРа " используется оценка, построенная по методу
моментов на базе первого выборочного момента
V = X.
полw~ZTn2Pn П0КаЗЫВают то Разнообразие подходов, которое*
У пакете при построении оценок параметров распределения.
пиомяТ^6" Нек°торь|е возможности прямых арифметических и фУ«к'
на примере построе "a^id для непосредственных вычислен»
распределения. ™ °Ценки Одного из параметров логнормальногв
162
Пример 4.2к. По выборке размера п = 18 из логнормального
распределения с плотностью вероятности
Лх 1 Unx-лJ
построим оценку максимального правдоподобия параметра д.
Подготовка данных. Пусть выборка размером п = 18 из логнор-
логнормального распределения находится в переменной EX.Iognor базы данных
пакета. Выше указывалось, что требуемая оценка вычисляется по фор-
формуле р. = - ]£"=] Щхг)> гДе xi — элементы выборки.
Выбор процедуры. Укажем один из возможных алгоритмов полу-
получения искомой оценки с помощью прямых вычислений. Для этого будет
использован командный режим работы в пакете.
Из любой процедуры пакета (меню, подменю, экрана ввода параме-
параметров и т.п.) можно перейти в командный режим работы, нажав клавишу
(F8). При этом появится всплывающее окно (рис. 4.8) с запросом Enter
command (введите команду). В ответ на этот запрос надо ввести EXEC —
имя процедуры, позволяющей проводить различные арифметические и
функциональные преобразования данных. На рис. 4.8 приведен вид окна
командного режима, вызванного из редактора базы данных пакета.
Cursor at Row: 1 Data Editor Maximum Rows: 18
Column: 1 File: EX Number of Cols: 1
Row
1
2
lognor
6.6660
2.4240
riteг command: EXEC • ■
1 • . -lit
i
13 IJ27 4900
14 I 1.6200
Length 18
Typ/Wth N/13
Phc. 4.8. Окно командного режима пакета STATGRAPHICS
Заполнение полей ввода данных. После ввода имени процедуры
EXEC надо нажать клавишу ЩО- На экране появится окно процедуры
EXEC (рис. 4.9), d которое надо ввести выражение
SUM (LOG EX.Iognor)/18
б* 163
жать ГЕЮ Указанное выражение приведет к следующим
ZuemmZ, элементы которой являются натуральными логарифм^
от элементов переменной EX.log.nor. Затем каждый элемент получений
переменной будет разделен на 18 (число элементов выборки). Након,
оператор SUM вычислит сумму элементов переменной, вычисленной с
помощью предыдущих преобразований.
Результаты. На рис. 4.9 приведен экран с результатами требу,
емых вычислений.
._
SUM (LOG EX.lognor)/18
1.38097
Рис. 4.9. Результаты вычислений оценки по заданной формуле
Далее можно продолжить вычисления или нажать клавишу (Щ|
что приведет к возврату в то состояние пакета, из которого был вызвав
командный режим работы.
Комментарии. I. Широкий круг стандартных математических функш
и преобразований загружается непосредственно при запуске пакета. К нкк
относятся, кроме приведенных выше, квадратный корень (SQRT), экспонента
(ЕХР) и др. Дополнительно пользователь может загрузить функции: синус (SH),»
косинус (COS), тангенс (TAN), арксинус (ASIN), арккосинус (ACOS), арктангенс
(ATAN), возведение в степень десяти (ЕХР10). десятичный логарифм (LOG10), гамиа-1
функцию (GAMMA) и др. Каждая из этих функций может преобразовывай t
поэлементно одномерный массив. Для их загрузки необходимо выполнил)
процедуру Mathematical functions (математические функции) пункта V. Supplement] \
Operations (дополнительные операции) головного меню пакета.
2. Непосредственное вычисление оценки можно также осуществить с №
мощью операции J. Update процедуры 2. File Operation пункта A. Data Managed
головного меню пакета.
3. Параметризация плотности логнормального распределения осуществлен
S3 КГ ЗНЗЧеНИе ЭТ0Г°> РаспРе^ления, поэтому процедура 1. Ю*
Глава 5
* ,i ••
Анализ одной и двух
нормальных выборок
Нормальное распределение играет особую роль в теории вероятно-
вероятностей и математической статистике. Как показывает практика, самые
разнообразные статистические данные с хорошей степенью точности
можно считать выборками из нормального распределения. Примерами
могут служить помехи в электроаппаратуре, ошибки измерений, раз-
разброс попадания снарядов при стрельбе по заданной цели, рост наудачу
взятого человека, скорость реакции на раздражитель и т.д. В главе 2
отмечалось, что можно предполагать нормальное распределение у слу-
случайной величины, если на ее отклонение от некоторого заданного зна-
значения влияет множество различных факторов, причем влияние каждого
из них вносит малый вклад в это отклонение, а их действия независимы
или почти независимы.
Кроме того, в силу центральной предельной теоремы и ее разновид-
разновидностей (см. 117], ]23], [94]) распределение целого ряда широко распро-
распространенных в статистике функций от случайных величин (статистик,
оценок) хорошо аппроксимируется нормальным распределением.
Прежде чем перейти к подробному разбору конкретных методов
анализа нормальных выборок, кратко охарактеризуем основные его
цели и возможные результаты.
5.1. Об исследовании
нормальных выборок
О проверке нормальности распределения. Для исследования
нормальных (т.е. подчиняющихся нормальному распределению) данных
математической статистикой выработаны эффективные методы. Строго
говоря, эти методы непригодны для данных другой природы (то есть
они могут давать для них неправильные результаты). Поэтому, когда
мы готовимся применить ориентированные на нормальное распределе-
распределение методы к имеющимся наблюдениям, полезно выяснить, похоже ли
распределение этих наблюдений на нормальное. С полной уверенно-
уверенностью сказать этого все равно будет невозможно, но по крайней мере от
грубых ошибок такие проверки могут нас уберечь.
165
Методы установления закона распределения (или типа закона рас.
п—ия)выбор*и получили название критериев согласия. Кщ
1 КороваСмирнова хи-квадрат
Г я ри-рии типа Колмогорова-Смирнова, хи-квадрат и ^
Гвадрт критерии асимметрии и эксцесса и др. Они подробно разбй.
паются нами в гл. 10. Одной из главных особенностей этих методог
является требование достаточно больших объемов (сотни или т
тысячи) анализируемых данных для получения эффективных вывоДОв.
Другими словами, для небольших объемов данных эти методы способна
отвергнуть предположение о нормальности только при довольно резкщ
отклонениях от нормального распределения. Если же истинный закон
распределения данных не очень сильно отличается от нормального, w
эти критерии не отвергнут предположение о нормальности. В этой
главе мы ограничимся только рассказом об одном, самом наглядном
и распространенном на практике методе проверки на нормальность-
глазомерном (см. п. 5.2).
Рассматриваемые задачи. Анализ одной нормальной совокупно- ■
сти сводится к двум взаимосвязанным типам задач: получению оценок
параметров нормального распределения и доверительных интервалоз
для них и проверки гипотез о том что эти параметры равны заданный
значениям. Мы рассмотрим эти задачи в п. 5.3 и 5.4. Кроме того, в п. 5.41
мы рассмотрим и задачу проверки того, равны ли средние и дисперсия
у двух нормальных выборок.
Стоит сказать, что методы, используемые для решения этих задач
(критерии Стьюдента, Фишера и т.д.) очень широко используются и
в более сложных задачах — в регрессионном, факторном и друпп
видах анализа данных. Материал данной главы позволит Вам хорошо
разобраться в их сути.
Замечание. Стоит заметить, что для нормально распределенных выбо-
выборок самыми эффективными оценками параметров нормального распределения
являются хорошо известные нам простые оценки - выборочное среднее и вы-
выборочная дисперсия. Однако эти оценки имеют весьма существенный медостз-
Пп*рпмГп "е устоичивд к гРУбым (ошибочным) наблюдениям или выбросам,
и вниЗ^Г ИСП0Льзовании сле*ует соблюдать определенную осторожность
выборок (см пТвГ ДРУГИе СОПУТСТВУ101^ описательные характеристики
хе раз те свойства нормального распределения, которые
используются для анализа нормальных выборок.
' закон распределения. Напомним, что случайная ве-
функция рас|1р1^ен^Ги1ьГС0ВСКИЙ) ЗЗК0Н РаспРеДеления' есЛЙ?
где Ф(яЛ =: 1 ги _»2/9 формулой; t \х) — Ф \ух ~~ пI ''
v/2^ J-ooe dt — функция Лапласа, а и а2 — параметр»
166
закона распределения. Как отмечалось выше, параметры а и а2 имеют
непосредственный вероятностный смысл: это соответственно математи-
математическое ожидание и дисперсия случайной величины £.
Свойства нормального распределения уже обсуждались в гл 2
Приведем из них те, которые нам понадобятся в этой главе.
1. Если г} ~ W@,1), а £ = а + arj, то £ ~ N(a,a2). (Другими сло-
словами, линейное преобразование £ = а + иц случайной величины
rj, имеющей стандартное нормальное распределение, приводит
к случайной величине £, имеющей нормальное распределение с
параметрами с и о2.
2. Если £i и £2 — независимые нормально распределенные слу-
случайные величины с параметрами а1)Сг2 и a2ja| соответственно,
то их сумма f j + £2 тоже распределена по нормальному закону,
притом с параметрами а! + а2 и и\+ о\.
5.2. Глазомерный метод
проверки нормальности
Для того, чтобы убедиться, что выборка действительно имеет нор-
нормальный характер распределения (т.е. о ней можно говорить как о
выборке из гауссовского распределения с некоторыми значениями а и
а2), можно использовать простой графический прием представления
данных. В его основе лежат следующие рассуждения.
Рассмотрим зависимость у = Ф(£^1). Значения функции Лапласа
Ф{и) и обратной к ней Ф нетрудно найти по таблицам (см. гл. 2).
Применим к рассматриваемой зависимости функцию Ф и введем пе-
переменную z = Ф~х(у). Тогда зависимость превращается в линейную:
х — a
а
Для проверки гипотезы о нормальном характере закона распреде-
распределения выборки .ть ... , х1Х воспользуемся тем, что выборочная функция
распределения Fn(.r) при больших объемах выборки п равномерно близ-
близка к теоретической функции распределения. Для удобства дальнейших
рассуждений перейдем от выборки к вариационному ряду хщ,..., Х(п}-
Как мы отмечали в гл. 1, Fn{x) — кусочно-постоянная функция, которая
в каждой из точек х{ совершает скачок, равный 1/п, причем при х < х{1)
Fn{x) = 0. а при х > x{n) Fn{x) = 1. Для проверки нормальности выбор-
выборки мы можем применить функцию Ф~х к серединам этих скачков (зна-
(значения функции надо взять из таблицы квантилей функции Лапласа). В
результате мы получим точки (х@, Ф'Ч^1)) в плоскости (м). В
167
пго насколько хорошо эти точки «ложатся» на пр„Муй
зависимости от того, нас льН0СТИ распределения выборки,
линию, мы можем суди ^ с реальпыми выборками позволь
Даже небольшой о ^ вь1делять среди них отклоняющие
ет человеку д0СТ^ " * льных случаях проверку па нормальное*
от нормальных. И со и R другим статистическим критериям.
можно пР°ДОЛЖЬ1пП;аклюЧение заметим, что в основе обсужииазд
(см. также гл. 1и'- " удивительное свойство человеческого г«а
Й^ГГс^^трического образа с прямой линией.
е:^:-^:-гим <1Коица"ее скачков-Деловток
uL Ф-ЧО) =-оо), аф-\1) = оо).
что Ф()
Пример. Проверим с помощью изложенного метода гипотезу о тон, sic
время реакции на свет распределено по нормальному закону. Данные эти
задачи приведены d таблице 3.1 (см. п. 3.3). Имеем выборку (ам = 8
= 194 хз = 173 х4 = 153, х5 = 168, хс = 176, х7 = 103, ж8 =
104
р
Х2 = 194, хз = 173, х4 = 153, х5
xq = 155, хю = 156, хп = 178, х12 = 160,
х\Ь - 155, xi6 = 122, xi7 = 144). Перейдем к вариационному ряду
блицы квантилей
181.
= 15?
= Ш.
х\Ь - 155, xi6 = 122, xi7 = 144). Перейдем р
нанесем наблюдения на ось х. Далее с помощью таблицы квантилей фуга-
ции Лапласа вычислим Ф A/34), Ф~1 C/34),. ..Ф~1 C3/34). Заметим, что
ф-1 (Bfc - 1)/2п) = -Ф (Bп - 2/с + 1)/2п). Отсюда имеем:
Ф A7/34) = Ф~1A/2) = 0.
Ф~Ч19/34) = -ф-!A5/34) = 0.1479, ф-!B1/34) = - Ф~] A3/34) = 0.2993.
'/•-JB3/34) = -Ф-^П/М) = 0.4578, ФB5/34) = -ф-1(9/34) = 0.6289,
Ф-Ч27/34) = -ф-»G/34) = 0.8208, ф-!B9/34) = -Ф JE/34) = 1.0494,
Ф C1/34) = -Ф-!C/34) = 1.3517, Ф-1 C3/34) = -Ф~1{\/ШЛЛ) = 1.8895.
На рис. 5.1 приведены значения Fn(x) в плоскости (:г,г). Глазомерн^
метод позволяет нам судить, насколько правдоподобна гипотеза о нормальности
распределения выборки. Однако четкого критерия отклонения гипотезы о»
не дает.
128
148
1Е>8
188
266
,|Я nL ^Т/ скачков эмпирической функции распределения F,,(*)
плоскости (x,z) (пдоль оси ординат приведены значения Ф{г) ч процентах)
168
В целом отметим, что детальная проверка гипотезы о нормальности
выборки требует довольно значительных объемов выборки (как мини-
минимум, порядка сотни наблюдений), и исследователю при обработке дан-
данных прежде всего необходимо руководствоваться априорными сообра-
соображениями о законе распределения.
5.3. Оценки параметров нормального
распределения и их свойства
В практических задачах часто возникает необходимость проверки
гипотез, связанных со значениями параметров одной или нескольких
нормальных выборок. Решение этих задач основано на свойствах оце-
оценок параметров нормального распределения а и и2. Поэтому прежде
чем формулировать постановки задач, связанных с проверкой гипотез,
изучим свойства оценок параметров нормального распределения.
Пусть .г 1,... , хп — выборка из нормального распределения с па-
параметрами о и о2. Как отмечалось выше, если случайная величина
£ ~ /V(a, а2), то М£ = а и D£ = а2. Поэтому в качестве оценок
параметров а и а2, т.е. их приближенных значений, вычисленных по
выборочным данным, можно использовать, например, выборочное сред-
среднее и дисперсию. Иногда в качестве оценок указанных параметров
рассматривают и некоторые другие функции от выборки .ть ... ,.т„. На-
Например, в качестве оценки параметра а часто используют медиану вы-
выборки л'1,..., ,тп или среднее значение выборки без максимального и
минимального элементов, т.е. -^ YJi=-l r(O- B качестве оценки а2
вместо обычно используемой оценки .ч2 = ~\Yl\l=\(xi ~ ^'У мож"°
рассматривать величину [ £ ]Г)Г=1 \xi~*\\" и тд-
О том, чем можно руководствоваться при выборе тон или иной
оценки неизвестного параметра и какие оценки лучше, упоминалось в
гл. 4. Сейчас мы изучим свойства оценок .7 и я2, начав с Т.
Свойства выборочного среднего. Мы уже знаем, что по закону
больших чисел (см. гл. 4) выборочное среднее х стремится к а с
увеличением объема выборки п. т.е. х приблизительно равно я при
больших объемах выборки. Нас будет интересовать, насколько точным
является это приближенное равенство. Близость х к о подразумевает
существование некоторого малого числа е, такого, что
|3с-а|<£. EЛ)
Так как х является случайной величиной, \х - о\ хоть и с малой
вероятностью, по все же может оказаться больше е (мы уже обсуждали
169
п 4) Поэтому соотношение E.1) может быть лишь ..ралтиЧй
,«^оным те выполняется с вероятностью, близкой к единице.
Гядостаточно больших п. Для выяснения вероятность выполнен,,
Неравенства E.1) надо найти распределение оценки *.
Из свойств нормального распределения, приведенных в п. 5.1, ад*
следует, что х также имеет нормальное распределение. При этом
/ п \ - П О о
Мх = a, Dx = L
Чтобы найти вероятность выполнения неравенства E.1),
трим величину т\ - у/п(х-а)/а. По отмеченным свойствам нормально-
нормального закона, эта случайная величина имеет распределение N@,1). Пред.
положим сначала, что нам известна величина а. (На практике это
довольно редкий случай. Мы начнем с него, чтобы яснее изложин
статистическую идею.)
Для любого малого а, а > О можно указать с помощью таблиц нор-
нормального распределения такое число z, что Р{\т}\ < z) = 1 - 2а. Чтобы
связь z и а была более явной, обозначим это число как гХ-а. Нетрудно
видеть, что 2!_о — это квантиль уровня 1 - а стандартного нормаль-
нормального распределения. На рис. 5.2 изображена функция распределеннг
у = Ф(х) стандартного нормального распределения N@,1) и отмечена
точка гх_а. При этом в силу симметрии распределения zn = -z^a.
Каждый отмеченный отрезок на оси ординат имеет длину, равную а.
Рис 5.2. Квантили стандартного нормального распределения
«заменяя т? выражением JR £~а).
170
или
Это означает, что с вероятностью 1 - 2а точность приближения х к а
не ниже, чем аг^а/^/п. При этом значение вероятности 1 - 2а может
быть выбрано сколь угодно близким к единице.
Заметим, что по отношению к неизвестному а решение неравенства
I- i а
представляет собой интервал (х - -^ ^_ni г + -2= 2,_п) с центром 5 и
длиной ^ ^1_о- Этот интервал называют доверительным интервалом
для неизвестного а с коэффициентом доверия 1 - 2а.
Точность оценивания. Выясним, как влияет на точность оценивания
параметра а объем выборки п. разброс а, а также коэффициент доверия 1 -2а.
а) при увеличении v (числа повторных измерений, объема выборки)
точность тоже увеличивается. К сожалению, увеличение точности
(т.е. уменьшение длины доверительного интервала) пропорционально
1/v/ii. а не \/п, т.е. происходит гораздо медленнее, чем рост числа
наблюдений. Например, если мы хотим увеличить точность выводов в
10 раз чисто статистическими средствами, мы должны увеличить ii6i>eM
выборки в 100 раз;
б) чем больше а, тем ниже точность. Зависимость точности от этого
параметра носит линейный характер;
в) чем выше коэффициент доверия 1 - 2а, тем больше квантиль 2i_o,
т.е. тем ниже точность. При этом между 1 - а и zi-r. существует
нелинейная связь (см. рис. 5.2). С уменьшением а значение ii_«,
резко увеличивается (ci_r, -» тс при а —» 0). Поэтому с большой
уверенностью (с высокой доверительном вероятностью) мы можем га-
гарантировать лишь относительно невысокую точность. (Доверительный
интервал окажется широким.) И наоборот: когда мы указываем для
неизвестного а относительно узкие пределы, мы рискуем совершить
ошибку — с относительно большой вероятностью.
Для доверительной вероятности (для коэффициента доверия) нет какого-
либо наилучшего значения, которого мы могли бы придерживаться. Поэтому
обычно укалывают несколько вариантов точности приближения для различных
коэффициентов доверия. Обычно в качестве значений 1 - 2а используют
величины 0.9, 0.95. 0.99 и т.д.
Оценка среднего при неизвестной дисперсии. Теперь обратим-
обратимся к широко распространенной па практике оценке параметра «. когда
значение а2 неизвестно. Заметим, что в описанном выше случае, где и
считалось известным, все рассуждения основывались на том. что слу-
случайная величина т, = Jn{x-a)/a имеет известное нам распределение
(не зависящее от неизвестных величин а и и2). При этом значение tr-
trill
вошло в конечные выводы о точности оценки параметра а. Естеству
попытаться заменить теперь значение о2 его оценкой s2 и сконструНр,
вать соответствующий доверительный интервал для параметра а.
Рассмотрим аналог случайной величины т?, когда значение а2 из-
известно, а именно случайную величину
Ее часто называют стьюдентовскои дробью, или стыодентовским отн&
шением. Замечательно то, что распределение t также не зависит о?
неизвестных параметров а, а2, хотя уже и не является гауссовскии.
Отсутствие зависимости между законом распределения случайной ве-
величины t (несмотря на то, что а входит в выражение t) и параметрами
о и а2 легко проверить. Как отмечалось выше, случайная величина г,
имеющая распределение N(a,a2), может быть записана в виде
= а
где & имеет стандартное нормальное распределение N@,1). Отсюдэ
следует, что х = а + о£, а
Поэтому
Видно, что t является функцией от стандартно распределенных вели-
величин £ь...,£„ и поэтому не связано с параметрами а,а2 Единственный
параметр, от которого зависит распределение «, - это объем выборки п.
быть 1ииЖД0Г° '"Г™* П РаспРе^ение случайной величины t может
" С2°- ° НЫВаЮТ РаспРе^ением Стьюдента с число*
доверия 1 -
можно найти квантиль t,_o. такую, что
Отсюда получаем,
что
172
= 1 - 2a,
Как и в случае с известной дисперсией а\ последние соотношения
характеризуют точность приближения а; к а при заданном коэффициенте
доверия 1 - 2а. А именно, неизвестное нам значение параметра а с
коэффициентом доверия 1-2а принадлежит доверительному интервалу
(* ~ jt tl-a> х + ^Г *i-o) с Центром х и длиной Н. t,_o. О влиянии
величин п, о и а на точность оценивания можно сказать то же самое,
что и в случае с известной дисперсией о2.
Рассмотрим теперь свойства оценки дисперсии s2 и построим дове-
доверительный интервал для величины о2.
Выше было показано, что представляя .т, в виде хг = а + а&,
величину s2 можно записать как
Заметим, что каждая случайная величина £, - £ имеет нормальное
распределение, так как она является линейной комбинацией независи-
независимых нормально распределенных случайных величин.
Как отмечалось в гл. 2, посвященной функциям распределения слу-
случайных величин, сумма киадратов 7) независимых случайных величин
r)i,i = 1,.. -, п, с распределением Дг@.1) каждая, имеет распределение
хи-квадрат ( х2 ) с п степенями свободы. Однако мы не можем прямо
воспользоваться этим фактом при построении доверительного интер-
интервала для а2, так как величины £i — £, £г - £. ■ • ч£п ~~ f не являются
независимыми. Действительно, в каждое выражение
входят остальные случайные величины.
Но все же оказывается, что сумму £"=iF -О2 можно представить в
виде суммы независимых квадратов £"_, ???• где г/, (i = ],... ,п-1)
независимые случайные величины с распределением Л'@,1). Таким
образом получается, что величина £!=iF; - О2 »меет распределение
X2 с п — 1 степенями свободы.
Для случайной величины с распределением V2 и с помощью таблиц
распределения можно найти квантили \~ и \\-п так. чт0
P(xr,<\'2<\i-«) = 1-2a-
(Здесь для обозначения случайной величины мы использовали тот же
символ, что и для функции распределения. Это соглашение удобно и
часто применяется в статистике.)
173
,IO К 9) с использованием s :
Перепишем выражение E.2)
включаем, что случайная величина
з«к боды Поэтому
включаем, что у
Из сказанного выше з«к ми свободы. Поэтому при заданное
распределение х cn l
коэффициенте доверия 1-я*
2^-) <y? I = l-2a,
ИЛИ ' ' s2 ^ 1_2 l = i-2a.
Этому утверждению часто придают другую форму, тождествен,
преобразовав неравенство в скобках:
\ Xl-a
Таким образом, доверительный интервал для дисперсии имеет
5.4. Проверка гипотез, связанных с
параметрами нормального распределения
5.4.1. Одна выборка
Вернемся к задаче проверки статистических гипотез, связанных
нормальным распределением. Так как конкретное нормальное рас F
деление полностью задается значением параметров а и а , рассмотр ^
сначала задачу проверки гипотезы о значениях параметров нормальн ^
распределения. Эта задача тесно связана с построением доверитель
интервалов для параметров нормального распределения.
Критерий Стьюдента. Проверим гипотезу о равенстве среД«ег5
значения выборки из нормального распределения заданной чине
Здесь, как и в случае построения доверительного интервала
возможны два случая:
О когда о2 известно;
2) когда ст2 неизвестно.
174
Если дисперсия известна. Статистическая формулировка задачи
в первом случае следующая. Пусть Xl,. ..,хп~ выборка из нормального
распределения N(a,cr*) с некими параметрами а и а2
Гипотеза Я заключается в том. что среднее значение а равно за-
заданному числу а0 {Н:а = а0). Рассмотрим двустороннюю альтернати-
альтернативу: а ф а0. Выберем уровень значимости а и рассмотрим следующую
статистику:
о
(Напоминаем, что а нам сейчас известно.) Легко видеть, что -ц имеет
стандартное нормальное распределение. Пусть 2i_o/2 — квантиль
уровня 1 - а/2 этого распределения. Теперь критерий, основанный на
статистике ?/, для проверки гипотезы Я формулируется так:
• на уровне значимости а, а > 0 гипотеза Я принимается, если
т-ао)
< ^1-
а
• в противном случае гипотеза отклоняется.
Другими словами, если гипотетическое значение а0 попадает в
доверительный интервал для а с коэффициентом доверия 1 — а, то
гипотеза принимается при уровне значимости а, в противном случае —
отвергается.
Если дисперсия неизвестна (т.е. во втором случае) вместо ста-
статистики 7/ рассмотрим статистику t
t = у/
s
Статистика t имеет распределение Стьюдента с п - 1 степенью свободы.
Для заданного уровня значимости а находим процентную точку ti~tt/2
распределения Стыодеита с п - 1 степенью свободы. Критерий для
проверки Я, основанный на статистике /., будет таков.
Гипотеза Я принимается, если
(х - ао
,s
в противном случае — отвергается. (Напомним, что из этого же
соотношения |/| < *i-«/2 строился и доверительный интервал для
среднего значения при неизвестной дисперсии).
Сопоставляя доверительные интервалы и теорию проверки стати-
статистических гипотез, можно сказать, что доверительный интервал для не-
неизвестного параметра (с доверительной вероятностью 1 -а) составляют
175
ТР значения параметра, которые совместимы с нашими наблюдение
шипровере соответствующих гипотез на уровне значимости а, в>й
^Аналогичным образом обстоит дело с проверкой гипотезы о ытщ
дисперсии нормальной выборки.
5.4.2. Две выборки
Критерий Стьюдента. Рассмотрим теперь задачу сравнения сред. '
них значений двух нормальных выборок.
Пусть я*,...,*»; W, ■■•. И» - нормальные независимые выборки ц3
законов распределения с параметрами (аг ,0^ и (a2)tf2) соответствен-
соответственно. Рассмотрим проверку гипотезы Я : ai = a2 против альтернатам!
п1 ф а2. Заметим, что более общий случай Я : ах = а2 + А, где А —зг-
данное число, сводится к предыдущему путем преобразования выборки
!/l,.--i!/m В ВЫборКу 3/1 + Д,..-,Утп +А-
Относительно параметров о\ и о\ выделим следующие четыре ва-
варианта предположений:
а) обе дисперсии известны и равны между собой;
б) обе дисперсии известны, но не равны между собой; i
в) обе дисперсии неизвестны, но предполагается, что они равны
между собой;
г) обе дисперсии неизвестны, их равенство не предполагается.
Для построения критерия проверки гипотезы Я проведем следу-
следующие рассуждения. От выборок хх,..., хп и y\,...,ym перейден к
выборочным средним а; и у. Согласно свойствам нормального распре-
деления и выдвинутой гипотезе, величины х и у имеют нормальные
распределения с одним и тем же средним и дисперсиями а'Цп и оЦт. \
Далее перейдем к статистике, основанной на выборочных средня'
х,у и дисперсиях о\,о\ (если они известны) или их оценках s\,$
(если дисперсии неизвестны). Статистику мы выберем так, чтобы ее
распределение при гипотезе не зависело от неизвестных нам значений
параметра. Это позволит нам указать распределение статистики и
вычислить его квантили. Наиболее естественными статистиками 0
перечисленных выше случаев будут следующие:
а) ^TJ+T" Статистика имеет стандартное нормальное распределе-
величин T"BJmeTC" линейной комбинацией независимых нормально
величин. Гипотеза Я принимается на уровне значимости а, если
а
176
в противном случае гипотеза отвергается в пользу альтернативы
б) у/**/п+о*/тп- Статис™ка имеет также стандартное нормаль-
нормальное распределение. Правило принятия гипотезы аналогично правилу
пункта a). r J
в) в случае, когда обе дисперсии неизвестны, но предполагаются
равными между собой, мы имеем две оценки s2 и 52 одной и той же
величины дисперсии о\ = а\ (назовем ее, скажем, а2). В связи с этим
разумно перейти к объединенной оценке о2:
„2_
(п - 1) + (т - 1) '
Случайная величина (n+m-2)s2/a2 имеет распределение х2 с п+т-2
степенями свободы. Критерий для проверки гипотезы Я : сц = а2
опирается на статистику
х-у
которая имеет распределение Стьюдента с п+т —2 степенями свободы.
г) в случае неизвестных дисперсий, равенство которых не предпола-
предполагается, используется аналог статистики пункта б) с заменой неизвест-
неизвестных дисперсий их оценками
х-у
В этой ситуации указать точное распределение введенной статистики
затруднительно. Известно, однако, что это распределение близко к
распределению Стьюдента с числом степеней свободы, равным
uiL±lu
Критерий проверки гипотезы устроен так же, как и в пункте в).
Замечание. Обратим внимание на то. что указанное число степеней сво-
свободы является случайной величиной и ее значение, вообще говоря^ дробное.
Распределения Стьюдепта с дробным положительным число степеней свободы
может быть определено, например, с помощью функции плотности распреде-
распределения, в которой вместо целого числа степеней свободы п фигурирует произ-
произвольное положительное число v (см. п. 2.6.2). Таблицы для дробного числа
177
. «„„„ гпставлять не принято. Для нахождения квантилей указа,
нГ^е'^ГнГвриходиL пользоваться приближенными „етод*
Их описание дано, например, в ЦЫ.
Коитерий Фишера. Кратко остановимся на вопросе проверкв [
гипотезы о равенстве дисперсий двух нормальных выборок. |
Рассмотрим отношение оценок дисперсий первой и второй выбора ■
о . _2
называемое дисперсионным отношением Фишера, или просто статисти-
статистикой Фишера. В случае справедливости нулевой гипотезы о равенстве
дисперсий нормальных выборок величина F имеет F-распределениес
числом степеней свободы (п - 1, m - 1), где п и m — объемы первой и
второй выборок, соответственно. При нарушении нулевой гипотезы ве-
величина F имеет тенденцию к увеличению (уменьшению) в зависимости
от того, больше или меньше единицы значение величины о\\о\.
Критерий проверки нулевой гипотезы при заданном уровне значи-
значити q против двусторонних а \
щему: принять гипотезу, если
р
мости q против двусторонних альтернатив о\ ф о\ сводится к следую-
следую■Fa^.n-l.m-l ^ F ^ ^1-0/2,11-1,m-li
в противном случае отвергнуть гипотезу. Здесь Fa/2in_i,m-i — это
квантиль F-распределения уровня о/2 с {п- 1, m - 1) числом степенен
свободы.
Другое правило проверки гипотезы основывается на использовании
доверительного интервала для |4. Если единица (значение отношевга
'2
о\1<у\ при гипотезе) принадлежит доверительному интервалу Д-пя $.то
гипотеза принимается. В противном случае она отвергается.
5.4.3. Парные данные
В пункте 3.6 мы подробно описали, что такое парные данные и како-
трели двТнГ 3KCnepHMeHTajlbH0e происхождение. Там же мы рассмо-
гипотезьТоГоПтсуТстТпиИЧеСКИХ СТатистиЧеских критерия для проверки
в пяпр fu..^.,e закономерного различия между наблюдениями
Типичный ппым отсутствии эффекта обработки'-
ты, в которых набладения'нГТ В03Ника/ь паРнь'е данные, дают оПЫ"
характеристики) пппГ Д °бъектами «т.е. измерения определенной
Р стики) производят дважды: до и после воздействия.
1 Пгч
178
Пусть х,- и у, - результаты этих измерений для объекта номер
г, г = 1,...,п где п - численность экспериментальной группы (чи-
(число объектов). Как обычно, все наблюдения мы считаем случайными
величинами (реализациями случайных величин) и предполагаем что
методика эксперимента обеспечивает их независимость для разных объ-
объектов. Но наблюдения, входящие в одну пару, мы не можем считать
независимыми, поскольку они относятся к одному и тому же объекту
Эти два наблюдения отражают свойства общего для них индивидуаль-
индивидуального объекта, н потому могут быть зависимы друг от друга. Напомним
обозначения, введенные для парных данных в пункте 3.6.
Данные — совокупность пар случайных величин (.гь ?/i),
(яц. Уп). гле п — объем совокупности (число пар). Обозначим
г, = у,- - -с,, i = 1,... ,п.
Допущения (частично повторяют допущения пункта 3.6, а частично
их усиливают)
1. Все ;,, / = 1....,;/ — взаимно независимы.
2. Предположим, что ;, можно представить п виде:
где rji,... ,сГ1 — независимые случайные величины. О - неизвестная по-
постоянная (неслучайная) величина (означающая результат воздействия,
эффект обработки) Иначе говоря, мы принимаем аддитивную модель
для отражения результатов воздействия.
3. Случайные величины п <■„ распределены по нормальному за-
закону Лг((). гт-), где дисперсия ст2 обычно неизвестна. Это предположение
дополняет и усиливает перечень свойств случайных ul-лични с, — ,<■„,
принятый н пункте 3.6.2
Приняв эти допущения, мы свели задачу о парных данных к задаче
об одной нормальной выборке, уже рассмотренной в пункте 5.4.1
В отношении неизвестного 0 возможны два вопроса, проверка гипо-
гипотезы о 0 и оценмнание 0 Анализ обычно начинают с проверки гипотезы
Я : 0 = 0 (или « = 0и, гае 00 задано). Если гипотеза оказывается от-
отвергнутой (несовместимой с наблюдениями), обращаются к оцениванию
неизвестного в. Обе чти задачи мы уже обсуждали в пункте 5 4 1 об
одной нормальной выборке, так что мет нужды повторяться.
Пример (продолжение примера из пункта 3.6). Проиллюстрируем
описанный метод на примере сравнения времени реакции на звук .. на
свет, рассмотренном в пункте 3.3.2. сопоставим полученные результаты
с теми, которые мы имели при применении к этим данным критерия
знаков и критерия знаковых рангов Уилкоксона.
179
в та6л. «^j—V^ *-5лч
Z3 ^ 36, Ч ^ ^ ^ = _23) ^ = _1Of Zu = _7, г15 = _0) Zle ^
Zl° I -19 Прежде всего проверим, насколько эти данные согласую^
Нормальным законом распределения, используя для этого описанный
выше глазомерный критерий. Как видно из рис. 5.3, точки скачков
эмпирической функции распределения Fn(-). изображенные в соответ-
ствующих координатах, в общем, группируются около прямой линии.
Исключение составляет наблюдение z2 = 90. Оно далеко отстоит от
основного массива и воспринимается как «выброс». Возможно, что про-
произошла какая-то ошибка в самом эксперименте либо при регистрации -
передаче его результата. Это число следовало бы проверить.
Если такой возможности нет и нам приходится действовать чисто
статистическими средствами, то выявленный выброс z2 — 90 из даль-
дальнейшего анализа следует исключить. Этот путь мы подробно рассмо-
рассмотрим ниже. А сейчас обработаем исходную выборку как гауссовскую.
(Сделав вид, что мы либо не проводили проверки на нормальность, либо
ничего не заметили.)
-зв
ж И ЗВ 68 98
Рис. 5.3. Эмпирическая функция распределения на нормальной вероятностной бумаге
р
Проверим гипотезу Я : 9 = 0 против альтернативы в < 0. Заметим,
что в данной ситуации целесообразно рассмотреть именно односторон-
одностороннюю альтернативу, так как данные определенно говорят о том, что
^TL ^Ti ЬТРИЦаТеЛЬНЫМ ВыЧИСЛеНиЯ Дают: ~z = ~Ш'
3215
Для проверки гипотезы Н -. в = 0 составляем отношение Стьюдент*
Izl iz 14.4 r~
~^n = ~32T^^17 = -1.846.
t -
180
Вычислим минимальный уровень значимости, при котором может
быть отвергнута гипотеза Н. По определению, он равен Pit < t r )
так как мы рассматриваем одностороннюю альтернативу в< 0 "вос-
"воспользовавшись таблицами распределения Стьюдента с 16 степенями
свободы, находим, что наименьший уровень значимости, на котором
может быть отвергнута гипотеза Я : 9 = 0 против альтернативы 0 < О,
приблизительно равен 0.04.
Обсуждение. Вспомним, что в той же задаче наименьший уровень значи-
значимости для критерия знаков оказался равен приблизительно 0.01, то есть был
существенно меньше. На первый взгляд, это вызывает удивление. Ведь при-
применяя критерий, опирающийся на известное распределение выборки (в данном
случае нормальное), мы должны были бы получить более сильный результат,
чем с помощью непараметрического критерия, использующего меньше сведе-
сведений о выборке. Однако, как оказалось, предположение о нормальном законе
распределения только уменьшило нашу уверенность в вопросе принятия или
отвержения гипотезы.
Дело здесь в следующем. Обратим внимание на то, что основной вклад в
величину выборочной дисперсии s2 вносит всего одно наблюдение z2 = 90. Это
значение и раньше вызывало у нас подозрения. Возможно, что оно порождено
ошибкой при регистрации данных. Возможно, что этот испытуемый по своим
данным резко отличается пт всех остальных. Если мы исключим это наблюдение
из нашей выборки и заново проведем расчеты, величины z и s изменяется
следующим образом:
22 —
г~-22т я2 ~ 331.6, а ~ 18.2, t ~ --—-\/lG ~ -4.835.
18.2
Воспользовавшись таблицами распределения Стьюдента с 15 степенями
свободы, получаем, что наименьший уровень значимости в этом случае менее
0.0005, т.е. данный метод позволяет с гораздо большей уверенностью сделать вы-
вывод об имеющемся различии исследуемых характеристик, чем критерий знаков.
Процедура с исключением подозрительных наблюдений называется отбра-
отбраковкой грубых наблюдений. Критерии, используемые для подобной процедуры,
можно найти в A6], [60], [67|. Необходимость отбраковки вызвана тем, что
традиционные оценки параметров нормального распределения чувствительны к
грубым ошибкам, даже если таких ошибок немного в выборке. При использова-
использовании непараметричеекмх методов в отбраковке грубых наблюдений, как правило,
нет необходимости.
Из приведенного сравнения двух критериев можно сделать вывод о
том. что у каждого из них есть свои достоинства и недостатки, поэтому
применение их должно основываться на анализе конкретной ситуации.
В дальнейшем мы не раз будем обращать внимание на сравнение разных
статистических методов и правил, направленных к общей цели. Но уже
сейчас можно сделать общий вывод: чем меньше предположении, тем
надежнее статистический вывод (тем надежнее он защищен от ошибок
исследователя).
181
Анализ нормальных выборок
JZiTA&IA и STATGRAPHICS
Ппоиедуры работы с нормальными выборками входят практически во
все статистические пакеты. Кроме разделов пакетов, непосредственно
относящихся к этому вопросу, они могут составлять часть раздел
описательных методов статистики, дисперсионного и регрессионного
анализа критериев согласия и др. Ниже на примерах будут рассмотрев,
некоторые из основных процедур анализа нормальных выборок.
5.5.1. Пакет STADIA [
В пакете STADIA (в отличие от STATGRAPHICS. см. п. 5.5.2) от-
отсутствует возможность глазомерной проверки нормальности с помощью
графика на нормальной вероятностной бумаге. Проверку нормально-
нормальности в пакете осуществляет другая процедура (Гистограмма/нормальность),
сравнивающая гистограмму частот с графиком подобранной плотности
распределения. Работа этой процедуры будет рассмотрена в главе 10
при обсуждении критерия согласия хи-квадрат.
Пример 5.2к. Построим 95% доверительные интервалы для сред- !
него значения и дисперсии по выборке диаметров гилоиок заклепок
(табл. 1.1) и проверим гипотезу о равенстве среднего значения выборки
заданной величине 13.4.
Решение этой задачи в пакете осуществляет процедура 1 =Описательна?
статистика из меню Статистические методы. Ее работа была подробно рассмо-
рассмотрена в примере 1.1 к. Экран выдачи результатов этой процедуры для
данных диаметров головок заклепок приведен па рис. 1.18.
Для получения левого конца доверительного интервала для среднего
следует вычесть из полученной оценки для среднего 13.421 величину
Доверит, ср., то есть 0.018499. Для получения правого конца доверитель-
доверительного интервала для среднего следует прибавить к среднему указанную
выше величину.
В пакете отсутствует процедура, в явном виде реализующая крите-
критерии Стыодепта для проверки гипотезы о равенстве среднего значения
нормально распределенной выборки заданному числу Для решения
льтепнягГ ПРИ УР°ВИе ЗНачимос™ <* = 0.05 против двусторонних
3 4 вР™ Г""'1 П°СМ0ТРеть. "опадает ли гипотетическое значение
учае гипоГичо Д°ВерИТеЛЬ"ый «"«рвал для среднего. В №*»
^ : а = 13 4 следГт Г Р*Я P3DHa 13-4015- ПоэтомУ ГИП°ТСЗУ
ЛеДуеТ ОтвеРг"УТь па указанном уровне значимости 0.05.
182
Пример 5.3к. Проведем анализ однородности двух нормальных
выборок для дачных о росте девушек и юношей. Проверим гипотезу о
равенстве их средних значений и дисперсий.
Данные для этого примера были получены авторами во время чте-
чтения курса статистических методо» студентам факультета психологии
МГУ им. М.В.Ломоносона. Нами были собраны сведения о росте деву-
девушек и юношей одного из курсом. Выборка, относящаяся к депушкам.
более многочисленна, ее размер оказался рапным п = 53. Объем выбор-
выборки ростов юношей оказался т = 20. Полученные данные предстаплены
и двух таблицах и порядке их регисграции.
Таблица 5.1
165
161
163
166
161
161
I6L'
170
158
I66
178
|Г,7
168
173
I A6
159
162
161
I65
Рост
166
160
163
161
девушек
I67
161
I68
I6I
. см
151
157
I6I
163
165
I52
161
lfi.3
161
I75
I73
I65
172
165
I6I
I70
167
171
161
1Ы
163
160
157
I55
161
Таблица 5.2
PdCT ЮНОШСЙ, СМ
\»2 I83 108 171 И.5 17-1 I63 И>н 179 185 171 171 180 175
I79 I81 16ч |«4 172 171
Для выборки ростои девушек с помощью глазомерного метода про-
проверки нормальное iи можно убедиться » соответствии -mix данных нор-
нормальному ликону распределении. Выборка ростоп юношей недостаточно
велика, чтобы можно было с уверенностью судить и ее .чаконе рас-
распределения Аналогия с первой выборкой дао г разумное основание
предполагать п ее нормальной.
Подготовка данных Поместим наблюдения из таблиц 5 I п П.2 в
переменные girl и boy электронной таблицы пакета (см рис. G.4)
Выбор процедуры Вменю Статистические методы (рис. 1.17) выберем
пункт 4 = Стьюдемта и Фишера
Заполнение полей ввода данных I la -жрапе появится окно Анализ
переменных С помо.нью мыши выделим в левом поле этого окна имена
переменных girl и boy Нажав кнопку со стрелкой вправо, перенесем их
» правое поле п нажмем кнопку запроса LyjJ!SI'lll±bl-
Результаты Не рис. 5 5 приведены значения статистик Фишера
и Сгьюдепта д.т проверки гииотс. о равенстве дисперсии и средних
знамений двух нормальных выборок. Указаны их минимальные уровни
значимости н числа степенен свободы соответствую..!..* распределении.
183
STADIA G.O: rost.std
к / •■•'■
I ■ -.к/14
Рис. 5.4. Электронная таблица с данным» из табл 5.1 и 5.2
В случае совпадения объемов анализируемых данных выводится значе-
значение статистики Стьюдента для парных наблюдении (см. п. 5.4.3). Дле ,
каждого из перечисленных критериев выводится заключение системы '
о принятии или отвержении гипотезы на уровне значимости а = 0.05
против двусторонних альтернатив.
На основании полученных результатов можно заключить, что име-
имеется различие между средними значениями анализируемых выборок.
Имеющиеся данные пе противоречат гипотезе о равенстве дисперсий
выборок.
КРИТЕРИЙ ФИШЕРА И СТЬЮДЕНТА. Файл:
Статистика Фишера»0 641lfi _"«Реиен«ые: girl, boy
Гипотеза оГ<Нетра™Ий°СТЬ°0-1039' "еп.саоС " 19'52
нет различий между выборочными лисперсиямк>
статистика Стыэдентл=й сто/ г,
Гипотеза I <Есть I'Al ' 3»ачим^ть-0. степ.своо - 71
PliC 5 5 Pn,vn Различия „ежду выборочным,, средними-
•■с 5.5. Результаты проверки различия между средними и дисмера.ими „ыборок
ррпрЗв двуХшшГ 1™*"*™ """^^ьные урош.и ...ачнмосш
чимальных уровней змачимос альтсРиатИв- Чтобы получить лиа»сиия №
»их альтернатив следует пячпрп Я""Я критсРия Стьюдента нротин сяиосторо»-
против двусторонних альте|шативЬпо1а1|е1111С мн"ималыюго УР0В1|Я зиячимостя
5.5.2. Пакет STATGRAPHICS
разделе G.
184
аНаЛИЗа |10Рмаль»ых выборок собран»
(оценивание и тестирование) головного
ESTIMATION AMD TESTING
= ' =
1. One-Sample Analysis
2. Two-Sample Anal'sis
orma Probability Plot
'< Hanging Histobars
5 Comparison of Poisson Rales
Рис. 5.G Меню процедур ошмшпання и тестирования
меню пакета. Меню этого пункта приведено на рис. 5.6. Укажем
назначение входящих н него процедур.
1. One-Sample Analysis (анализ одном пыборки) — осуществляет построение
доверительных интервалов для среднего и лисперсни нормальных выборок, а
также проверку nmou-з о но.чможпых значениях этих параметров. Работ»
данной процедуры рн.чобрапа и примере 5.2к.
2. Two-Sample Analysis (анализ двух выборок) — иычнеляет доверительные ин-
интервалы для разности средних значении и отношения дисперсий нормальных
выборок, проверяет гипотезу о равенстве средних этик выборок Данной про-
процедуре посияпк-п пример П.Зк.
3. Normal Probability Plot (график на нормальной вероятностной б\маге) — строит
график эмпирической функции распределения на нормальной вероятностной
бумаге. Процедура используется и примере 5.1 к
4. Hanging Hislobars («висячие гистобары*) — сравнивает гистограмму частот с
подобранным графиком плотности нормального распределения.
5. Comparison of Poissoo Rates (сравнение интенсивности пуассоповскнх hotokor
событий) — сранпниает числа событии, няб.-цоденных в двух иичавпепмых пери-
периодах нременн. и проиерт-т гипотезу о равенстве иптенсниностей наступления
рассматриваемых событии в указанные периоды времени Эти процедура но
имеет отношении к анализу нормальных выборок.
Пример 5. 1к. С ПОМО1Ш.К) графика па нормальной вероятностной
бумаге промерим нормальность распределения данных для гшборкп дпа-
метрон голонок заклепок (табл. I I)
Подготовка данных I Ьместим данные та^л. 1 1 и переменную
DIAMZ.d Палы данных пикета (ем. пример I 1к)
Выбор процедуры И го.кнмюм меню пакета выберем пупкг G. Estima-
Estimation and Testing, л к этом пункте (рис. 5.6) — процедуру 3. Normal Probability Plot.
Заполнение полей ввода данных сводится к указанию числового
вектора и поле ввода Data vector (вектор данных), как это показано па
рис. 5.7.
Normal ProDability Plot
■ -■
Dnt a vnCiо г piAHZ.d
Рис. 5.7 Запрос данных процедуры ныпола графика распределен». ..а
нормальной вероятностном бумаге
185
этих дани*
Результаты. После заполнения поля ввода „ад0 нажать клав, "
„,v П51 и на экране появятся точки скачков эмпирической фуНКЦНй
паспЬедёления. построенные на нормальной вероятное гной б
также линия простой линейной регрессии (см. главу 8) для эт
(рис. 5.8а).
Обсиждение. По замыслу разработчиков процедуры, подгонка с помоищ
поостой линейной регрессии должна помогать выявлять отклонение построю
ных точек от прямой. На самом деле, эта прямая иногда может и мешать
Во всяком случае, это не та прямая линия, которую проводим мы с ващ.
чтобы приблизить ею график ступенчатой ломаной. Глазомерный анализ зн-
пирической функции распределения на нормальной вероятностной бумаге к? "
рассматриваемых данных показывает, что они довольно хорошо ложатся напр;.
мую _ за исключением одной точки. Эта точка соответствует максимальной)
значению выборки, которое, скорее всего, является грубой ошибкой, «выбрэ-
сом». Происхождение этого наблюдения может быть самым различным: сбой
в работе измерительной аппаратуры, ошибка при записи пли нерсписываниг '
выборочных значений, попадание в партию заклепок заклепки другого диаметр
и т.п. Присутствие этого наблюдения в выборке будет тем или иным образок,
сказываться на результатах расчетов. В следующих примерах, а также в прнкс
pax главы 10 мы будем отмечать и исследовать влияние таких «исключительно
наблюдений» (выбросов) на статистические выводы. Например, мы сравним
результаты, получаемые в присутствии выбросов и после их удаления (иначе
говоря, после «цензуры», или «цензурирования» исходных данных). Для разби-
разбираемого примера это означает удаление из выборки ее максимального элементг.
далеко отстоящего от остальных. Именно это наблюдение отклонило подобран-
подобранную линию регрессии на рис. 5.8а. На рис. 5.86 приведет.! результаты работы
процедуры для цепзурированных данных.
•п
•я
DO
м
а
s
1
0.1
а
Фунт
„ _ „схол,1ые да||шс 6 _
м.ь и.i
Г П°СТР0ИМ 95% довеР'"^ь„ме интервалы для сред-
1! ЛИСПе"СИ" "° ВЫб°1)ке Диаметров головок заклепо*.
Ш ° РаСе"СТВе СРеЯ"СГ0 MMWe'»« выборки задахяей
186
примеры 1.,к. и 5.1 к.
Меию па™" выбереи пункт й*
процедуру 1. One-Sample Analysis.
Заполнение полей ввода данных. Экран пвода данных и по-
порядок его заполнения такой же как в процедуре 3. Normal Probability Plot
(см. пример 5.Ik.)
Результаты. Введя вектор данных, надо нажать клавишу (fF) На
рис. 5.9 приведен экран результатов, выдаваемых процедурой.
One-Sample Analysis Results
DIAMZ.d
Sample Statistics: Number of Obs. 20O
Average 13 4215
Variance 0.0180761
StcJ. Deviation 0.134448
Median 13.41
Confidence Interval for Mean 95" Porcent
Sample 1 13.4027 13.4403 199 D.F.
Confidence Interval for Variance: £»Б" Percent
Sample 1 6.0149905 0.022229 199 D.F.
Hypothesis Test for MO" Mean= I13.4- Computed t statistic=2.26152
vs Alt JNE !|Sig Level=0 0248083
at Alpha= !0ЛN so reject HO
Рис. 5.9. Результаты анализа пыборки из табл. I I
Поля ввода указанного экрана
Confidence Interval for Mean: эй Zl Percent
Confidence Interval for Variance: Percent
позволяют задать уровень доверия для построения доверительных интер-
интервалов для среднего значения и дисперсии. Под этими полями процедура
выдает границы построенных доверительных интервалов.
Экран выдачи результатов также включает:
Number of Obs. — число наблюдений в анализируемой выборке.
Average — среднее значение;
Variance — дисперсию;
StrJ. Deviation — стандартное отклонение;
Median — медиану
Для проверки гипотезы о равенстве среднего значения выборки за-
заданному числу необходимо ввести это число в поле ввода Hypothesis Test
for НО; Меап=, а также указать тип альтернатив в поле vs Alt (NE — двусто-
двусторонние альтернативы. LT — левосторонние. GT - правосторонние). В
поле at Alpha= указывается уровень значимости критерия.
В результате проверки процедура выдает значение /.-статистики
Стьюдента (Computed I statistic=2.26152). се минимальный уровень значи-
значимости Sig. LeveI=0.0248083 и заключение об отвержении (so reject НО, как в
Данном случае) или о принятии гипотезы.
187
sample Statistics,
Variance
Stti. Deviation
Median
Confidence Interval for Mean:
Sample 1
Confidence Interval for Variance:
Sample 1
Hypothesis Test for HO: Mean= 3-4;
vs Alt: № (
at Alpha = .05
DIAMZ.Cli
199
13-4158
0.0115882
0.107648
13.41
(SB*" Percent
13.4007 13.4308 198 D.F.
|f5 .] Percent
9.60571E-3 0.0142583 198 D.F.
Computed t statistic=2.06774
Sig. Level=0.0399645
so reject HO.
Рис. 5.10. Результаты анализа подвергнутой «цензурированию» выборки из табл. 1.1
Аналогичным образом мы можем провести анализ для « цензу риро-
ванных» данных (см. пример 5.1 к). Результаты вычислений показаны
на рис. 5.10.
Сравнение полученных результатов показывает, что влияние «вы-
«выброса» на среднее значение и длину его доверительного интервала не-
незначительно. Отчасти это связано с относительно большим объемом
выборки. Выборочная дисперсия более чувствительна к присутствию
выбросов.
Пример 5.3к. Проведем анализ однородности двух нормальных
выборок для данных о росте девушек и юношей. (Описание этих
данных дано в пункте 5.4.1.) Проверим гипотезу о равенстве их средних
значений и дисперсий.
Подготовка данных. Поместим данные столбцов табл. 5.1 и 5.2
в переменные LENGTH.girl и LENGTH.boy соответственно. Экран редактора
базы данных пакета с частью введенных данных показан на рис. 5.П
Выбор процедуры. В головном меню пакета выберем пункт G. Esti-
Estimation and Testing (рис. 5.6), а в нем — процедуру 2. Two-Sample Analysis.
Заполнение полей ввода данных. Экран ввода данных предпола-
предполагает указание двух анализируемых переменных (рис. 5.12).
Two-Sample Analysis
Sample i:
Sample 2: ,HVD0; -. .„ „
Puc 5.12. Запрос данных процедуры сравнения двух выборок
На ш1Т\Т ВВеДЯ ВеКТ°ра Данных' сле*Ует ^жать клавишу
На рис. 5.13 приведен экран результатов вычислений процедуры
188
Cursor at nov/
Column:
Maximum Rows: 53
Number of Cols: 2
1
2
3
4
5
6
7
8
9
10
11
12
13
14
1B6
64
168
166
лег.
1.66
167
te4:,
166
i6A
72
67
64
7
182
18.3
168
174
166
174,
163
168
179
166
|171
[174
ПВО
1176
Length 53 20
Typ/Wth 1/3 1/3
Рис. 5.11 Экран рслактора ламиых с данными кз примера 5.3к
Iwo-Sample Analysis Results
Sample Statistics
Number оГ Obs
Average
Vailance
Stci Deviation
Median
Dirference between Means = -10 /736
СопГ. Interval Ген Oilt in Means
(Equal Vars ) Sample 1 Sample 2
(Unequal Vars ) Sample 1 - Sample 2
Ratio or Variances = 0 64 1164
Conf. Interval lor [fanо оГ Variances
Sampln l - Sample 2
Hypothesis Test for 110 Di f Г = О !•■
vs ЛИ l_T_
at Alpha =
LLHG1H girl LEHGTll.boy
53
164 226
26 7939
5 17628
164
20
175
41 7895
6 46448
1/4
Pooled
73
167 178
30 8068
5 55039
165
■ Percent
-13 6786 -7 86861
-14 0/06 -/ 4766
95 Percent
0 279953 1 28335
71 D.I-
28 7 D.F
52 19 D F
Computed t statistic = -7 39654
Sio Level = 1 02464E-7
so ieject no
Рис 5 13 Результаты сравнения двух выборок
Информацию экрана выдачи результатов процедуры можно
на четыре блока. В первом (Sample Statistics) представлены основные
борочнь!е характеристики (число наблюдений, среднее з.»>ние.Ы
рсия, стандартное отклонение и медиана) каждой из переменных
столбце Pooled, объединенной совокупности.
Во втором блоке даны характеристики
Для разности средних значений совокупности,
верия (в процентах) задается в строке
Conf. Interval For Diff. in Means: o -Percent
вы
и.
189
При этом в строке
(Equal Vars.) Sample 1 - Sample 2 -13.6786 -7.86861 71 D.F.
приводятся границы доверительного интервала для разности средних в
предположении о равенстве неизвестных дисперсии выборок. Величина
71 D.F. означает число степеней свободы распределения Стыодента,
процентная точка которого используется для построения доверительного
интервала. В строке
(Unequal Vars.) Sample 1 - Sample 2 -14.0706 -7.4766 28.7 D.F.
границы доверительного интервала для разности средних даны в пред-
предположении несовпадения неизвестных дисперсий. Величина 28.7 D.F.
означает число степеней свободы распределения Стыодента, процент-
процентная точка которого используется для приближенного построения дове-
доверительного интервала.
Обратим внимание, что оба 95% доверительных интервала ие вклю-
включают значение 0, то есть гипотеза о равенстве средних значений при
этом уровне значимости может быть отвергнута.
Третий блок экрана вывода результатов процедуры рассматривает
частное отделения (Ratio of Variances) дисперсии первой и второй выборки.
Здесь приводятся границы доверительного интервала для частного с
заданной степенью доверия (в процентах, в данном случае 95%). Заме-
Заметим, что полученный доверительный интервал @.279953,1.28335) вклю-
включает значение 1, то есть гипотеза о равенстве дисперсий па выбранном
уровне значимости не может быть отвергнута.
Последний блок экрана вывода результатов позволяет проводить
проверку гипотез о равенстве разности средних значений выборок за-
заданному числу против различных альтернатив. Работа с этим блоком
осуществляется так же, как в процедуре 1. One-Sample Analysis и описана в
примере 5.2к. Для данных нашего примера видно, что гипотеза о равен-
равенстве средних значений выборок против левосторонних альтернатив на
уровне значимости а- = 0.05 должна быть отвергнута
Глава 6
Однофакторный анализ
6.1. Постановка задачи
Задача однофакторного анализа. При исследовании зависимо-
зависимостей одной из наиболее простых является ситуация, когда можно ука-
указать только один фактор, влияющий на конечный результат, и этот
фактор может принимать лишь конечное число значений (уровней)
Такие задачи (называемые задачами однофакторного анализа) весьма
часто встречаются на практике. Типичный пример — сравнение по
достигаемым результатам нескольких различных способов действия, на-
направленных на достижение одной цели, скажем, нескольких школьных
учебников или нескольких лекарств.
Терминология. Для описания задач однофакторного анализа уста-
установилась следующая терминология:
• то, что. как мы считаем, должно оказывать влияние на коноч-
коночный результат, называют фактором или факторами, если их
несколько (в приведенных выше примерах факторами являются
понятия «-школьный учебник» и «лекарство»);
• конкретную реализацию фактора (например, определенный
школьный учебник или выбранное лекарство), называют уров-
уровнем фактора или способом обработки.
• значения измеряемого признака (т.е. величину результата) часто
называют откликом.
Заметим, что термин «способ обработки» часто имеет прямое тол-
толкование: например, если фактором является агротехнический прием,
то он может быть способом обработки почвы (химическими удобрения-
удобрениями, мелиоратшшой обработки и т.п.). В дальнейшем для единообразия
будем говорить о сравнении нескольких способов обработки.
Данные. Для сравнения влияния факторов на результат необходим
определенный статистический материал. Обычно его получают следу-
следующим образом: каждый из А- способов обработки применяют несколько
раз (не обязательно одно и то же число раз) к исследуемому объекту
и регистрируют результаты. Итогом подобных испытании являются к
выборок, вообще говоря, разных объемов (чнеленпостеи).
191
Наиболее распространенным и удобным способом представления
подобных данных является таблица (см. табл. 6.1). В зависимости от
количества влияющих факторов (в данном случае фактор один), говорят,
что данные сведены в таблицу, с одним, двумя и т.д. входами.
Таблица 6.1
Обработки (соответствуют
уровням фактора)
Результаты измерении
1
ХП £12 ■-•
£21 £22 • ■ • Х2к
Здесь щ,... ,пк — объемы выборок. N = тц + п2 + ... + пк — общее
число наблюдений.
Статистические предположения. Наше отношение к полученным
значениям х,-.,- может быть различно по нескольким причинам. Во-
первых, оно зависит от того, в какой шкале проведены эти измерения.
(Этот вопрос подробно разбирается в главе 9.) Во-вторых, можно
делать различные предположения о характере случайной изменчивости
наблюдений ж,-.,- — об их законе распределения и его зависимости от
различных способов обработки.
Как уже отмечалось при анализе двухвыборочных задач в п. 3.5.
опыт показывает, что при изменении способа обработки наибольшей
изменчивости в первую очередь, как правило, подвержено положение
случайной величины, которое можно характеризовать медианой или
средним значением. Следуя этому эмпирическому правилу, в одно-
факторных задачах также обычно предполагают, что все наблюдения
принадлежат некоторому сдвиговому семейству распределений. Часто
в качестве такого семейства рассматривается семейство нормальных
распределений и для обработки данных применяются методы дисперси-
дисперсионного анализа (см. п. 6.5). В других случаях предположение о нор-
нормальности распределений не является правомерным, и тогда использу-
используют различные непараметрические методы анализа, из которых наиболее
разработаны ранговые методы (см. пп. 6.2—6.4).
Указанные выше моменты приводят к различным постановкам за-
задач однофактормого анализа, однако общая стратегия анализа во всех
случаях примерно одинакова.
Стратегия анализа и возможные результаты. Одной из главных
конечных целей в задачах одиофакторного анализа является оценка ве-
величины влияния конкретного способа обработки на изучаемый отклик.
Эта задача также может быть сформулирована в форме сравнения вли-
192
яния двух или нескольких способов обработки между собой то есть
оценКн различия (в статистике говорят - контраста) между действи-
действием различных уровней фактора. Так, сравнивая влияние нескольких
агротехнических приемов обработки почвы на урожайность, нас может
интересовать не сама величина урожайности (которая зависит еще и от
погодных условий), а только на сколько она больше или меньше для
разных способов обработки почвы.
Но прежде чем судить о количественном влиянии фактора на изме-
измеряемый признак, полезно спросить себя, есть ли такое влияние вообще.
Нельзя ли объяснить расхождения наблюденных в опыте значений для
разных уровней фактора действием чистой случайности? Ведь внутрен-
внутренне присущая явлению изменчивость уже привела к тому, что результа-
результаты оказываются различными даже при неизменном значении фактора
(т.е. в каждом столбце табл. 6.1). Может быть, той же причиной можно
объяснить и различие между ее столбцами? На статистическом языке
это предположение означает, что все данные табл. 6.1 принадлежат
одному и тому же распределению. Это предположение обычно именуют
нулевой гипотезой и обозначают Яо. Для проверки нулевой гипоте-
гипотезы могут быть использованы различные критерии: как традиционные,
опирающееся на предположение о нормальности распределения данных
(F-отношение), так и непараметрические, не требующие подобных до-
допущений (ранговые критерии Краскела-Уоллиса, Джонкхиера и др.).
Если нулевая гипотеза об отсутствии эффектов обработки отвер-
отвергается, то проводится оценка действия этих эффектов или контрастов
между ними и строятся доверительные интервалы для этих характери-
характеристик. На этом этапе наибольший интерес представляет вопрос точно-
точности и достоверности полученных оценок. Здесь также можно строить
оценки, основанные на предположении о нормальности распределения
исходных данных и свободные от этого допущения. На практике целесо-
целесообразно вычислить и те и другие оценки, а при заметном отличии этих
оценок между собой предпочтение следует отдавать непараметрическим
оценкам, как более надежным.
Если же критерии не позволяют отвергнуть нулевую гипотезу об
отсутствии эффектов обработки, то обычно на этом анализ может быть
завершен. Но иногда вывод об отсутствии эффектов обработки нас не
может устроить, так как он противоречит теоретическим предпосылкам
или результатам предыдущих исследований. Тогда следует выяснить,
нет ли каких-либо еще факторов, влияющих на имеющиеся наблюдения.
Может быть, влияние эффекта обработки не удалось обнаружить лишь
потому, что его влияние незаметно на фоне различий, вызванных дей-
действием неучтенного нами фактора. Например, при изучении влияния
7-783 193
способов обработки почвы на урожайность таким фактором
Z почвы. В главе 7 мы расскажем о методах двухфакторного
используемых для решения задач, в которых на конечный р
влияют не один, а два фактора.
Кроме того, может быть полезно последовательно проводить сравке.
ние между собой только двух способов обработки с помощью метода
описанных в гл. 3 и 5. Этот процесс может показать, что, наряду со^
собами обработки, различия между влияниями которых статистически
не значимы, могут быть выявлены и значимо отличающиеся уровни фах.
торов. Это может помочь по-новому сформулировать задачу, объедини,
несколько способов обработки между собой.
Углубленный анализ. После выполнения однофакториого анализа а
быть полезно провести углубленное исследование его результатов. При это*
могут ставиться две цели.
1. Проверка корректности применения использованного метода аналнк
Например, может проверяться предположение об одинаковом разбросе (дис-
(дисперсии) наблюдений при разных способах обработки. Мы покажем, как это
делается, в п. 6.7.2. А при применении методов, основанных на предположении
о нормальности распределения данных, может быть проведено исследование
нормальности остатков (то есть данных, из которых вычтем эффект обработ-
обработки). Если предположение о нормальности остатков вызовет сильное сомнение,
следует использовать ранговые или знаковые процедуры анализа данных.
2. Выделение однородных по воздействию методов обработки — с его
помощью можно разбить все способы обработки на однородные (гомогенные)
группы. Мы расскажем о методах решения этой задачи в п. G.7.2.
Ранговый однофакторный анализ. Если мы ничего не знаем о
распределении наблюдений, то непосредственно использовать для про-
проверки нулевой гипотезы количественные значения наблюдений Xij ста-
становится затруднительно. В этом случае проще всего опираться в своих
выводах только на отношения «больше-меньше» между наблюдениями,
так как они не зависят от распределения наблюдений. При этом вся ин-
информация, которую мы используем из табл. 6.1. содержится в тех ран-
рангах, что получают числа Xij при упорядочении всей их совокупности,
соответствующие критерии для проверки нулевой гипотезы называются
ранговыми они пригодны для любых непрерывных распределений на-
олюдении. Более того, они годятся и тогда, когда измерения xtj сделаны
lZltK°e0U ШКпЛе (СМ: ™авУ 9)- ^пример, являются тестовым"
ч ния JZ ЭКСПерТНЫми инками. Здесь конкретные численные зиа-
смГл ZT Xii В°ОбЩе ЯВЛШ0ТСЯ Условностью, а содержательный
Ш Tvl;"^отношения •больше-меньше* между ними,
случай, когда'LIT0" РЗССМатРивать наиболее ясный и простой
в назначении рангов г? НетсовпаДаюшлх (и потому нет трудностей
v шов*. ПрИ наличии совпадений (и использовании
194
средних рангов) теоретическая схема действует как приближенная а
надежность ее выводов снижается тем больше, чем больше совпадений
Ниже мы укажем, какие поправки делаются при наличии совпадений '
Упорядочим величины x{j (все равно как - от большего к меньшему
либо от меньшего к большему). Обозначим через rfj ранг числа х ■
во всей совокупности. Тогда табл. 6.1 преобразуется в табл 6 2
Важно отметить, что при выполнении гипотезы Яо любые возможные
расположения рангов по местам в табл. 6.2 равновероятны.
Таблица 6.2
Обработки
Ранги результатов
измерений
1
Г 21
2
П2
Гп32 -
к
T-ik
гнкк
Согласно сформулированной стратегии анализа возникает вопрос":
нельзя ли объяснить наблюденное в опыте расположение рангов в
табл. 6.2 действием чистой случайности? Этот вопрос можно перефор-
переформулировать в виде статистической гипотезы о том, что все к предста-
представленных выборок (столбцы табл. 6.1) однородны, т.е. являются выбор-
выборками из одного и того же закона распределения. Наша задача — указать
статистический критерий, с помощью которого можно было бы судить
о справедливости выдвинутой гипотезы.
Общая методика проверки статистических гипотез (см. п. 3.2) ре-
рекомендует нам сконструировать некоторую статистику, т.е. в данном
случае функцию от рангов гч, которая бы легла в основу критерия
проверки гипотезы. Основное требование к этой статистике следую-
следующее: ее распределение при гипотезе Яо должно заметно отличаться от
ее распределения при альтернативах. Последние слова подчеркивают,
что статистический критерий для проверки Яо должен быть направлен
против определенной совокупности альтернатив.
Как уже отмечалось, все реализации табл. 6.2 равновероятны при
Яо. Это дает возможность рассчитать закон распределения при Яо
любой ранговой статистики (насколько это позволяют компьютерные
средства).
Ниже будут разобраны два ранговых критерия проверки однород-
однородности, направленные против различных совокупностей альтернатив
(пп 6 2 1 и 6 2 2) Построение непараметрических оценок эффектов
обработки изложено в пункте 6.4. Параметрические методы (дисперси-
(дисперсионный однофакторный анализ) описаны в пп. 6.5 и b.b.
195
7*
6 2 Непараметрические
критерии проверки однородности
6 2 1 Критерий Краскела-Уоллиса
(произвольные альтернативы)
Если мы не можем сказать что-либо определенное об альтернативах
к Но можно воспользоваться для ее проверки свободным от распредь
ления критерием Краскела-Уоллиса. Для этого заменим наблюдения
Xi- их рангами гу. упорядочивая всю совокупность ||жо-|| в порядке воз-
возрастания (для определенности). Затем для каждой обработки j (т.е. для
каждого столбца исходной таблицы) надо вычислить
ii »=i
где R.j — это средний ранг, рассчитанный по столбцу. Если ме-
между столбцами нет систематических различий, средние ранги R.it
j = l,...,k не должны значительно отличаться от среднего ранга,
рассчитанного по всей совокупности ||г^-||. Ясно, что последний равен
(N + 1)/2. Поэтому величины
при Яо в совокупности должны быть небольшими. Составляя общую ха-
характеристику, разумно учесть различия в числе наблюдений для разных
обработок и взять в качестве меры отступления от чистой случайности
величину
Эта величина называется статистикой Краскела-Уоллеса. Мно-
Множитель 12/[N{N + 1)] нужен для стабилизации ее распределения при
большом числе наблюдений (см. ниже). Другая форма для вычи-
сления Я: ^ к
F.2)
ста-
~7Z~7d- Неб°ЛЬШИе ТЗблИЦЫ Р-спределения ста
таблиц. При больших fi М°ЖН° НаЙ™ В сбоРниках статистических
Делами таблиц слуЧЯйи°а П1"" ' Пь к0Т0Рые находятся за пре-
Ц' СЛУчаиная величина Я (при гипотезе Яо) приближенно
196
величина Я (при гипотезе Яо) приближенно
распределена как хи-квадрат с (к - 1) степенями свободы (сведения о
более точной аппроксимации можно найти в 150]). Так что при исполь
зовании этого приближения мы отвергаем Яо (на уровне значимости а)
если Янаб„ > Х,_п. где Xl_a - квантиль уровня A - а) распределения
хи-квадрат с (А- - 1) степенями свободы.
Совпадающие значения. Если в тябп fi i прТ, ~
1-л.ли в таол. ь.1 есть совпадающие
значения, надо при ранжировании и переходе к табл. 6.2 использовать
средние ранги. Если совпадений много, рекомендуют использовать
модифицированную форму статистики Я':
н' = - "
где g — число групп совпадающих наблюдений, Т3 = (f3 - /. ), / —
число совпадающих наблюдений в группе с номером j. Более подробные
сведения но этому поводу можно найти, например, в [91].
Замечание. При к = 2 статистика Краскела-Уо.плиса И по своему дей-
действию эквивалентна статистике Уилкоксона И'".
6.2.2. Критерий Джонкхиера
(альтернативы с упорядочением)
Нередко исследователю заранее известно, что имеющиеся группы
результатов упорядочены по возрастанию влияния фактора. Пусть, для
определенности, первый столбец табл. 6.1 отвечает наименьшему уров-
уровню фактора, последний — наибольшему, а промежуточные столбцы
получили номера, соответствующие их положению. В таких случаях
можно использовать критерий Джонкхиера. более чувствительный (бо-
(более мощный) против альтернатив об упорядоченном влиянии фактора.
Разумеется, против других альтернатив свойства этого критерия могут
оказаться хуже свойств критерия Красксла-Уоллиса
Статистика Джонкхиера. Разберем сначала, как устроена стати-
статистика этого критерия в случае, когда сравниваются только два способа
обработки Табл. 6.1 в этом случае имеет два столбца. Фактически здесь
речь идет о проверке однородности двух выборок. Напомним, что в главе
3 для решения этой задачи была предложена статистика Манна-Уитни.
Л именно: пусть .г, rm и у,.... , 1Ы ~ Две выборки. Положим:
1,
1/2,
0,
если
если
если
X,
х,
Хг
<
=
>
Уз '>
Уз*
Уз-
197
Статистикой Манна-Уитни называют величину
i=l,... ,m
j=l,...,«
Обратившись теперь к общему случаю, когда сравниваются fc%
собов обработки, поступим следующим образом. Для каждой парь.
натуральных чисел и и v, где 1 ^ и < v< к, составляем по выбору
с номерами u,v статистику Манна-Уитни.
Определим статистику Джонкхиера 3 как
J=
Свидетельством в пользу альтернативы упорядоченности эффектов
(против гипотезы однородности) служат большие значения статистики
J, полученные в эксперименте.
Таблицы и аппроксимация. При небольших объемах выборок и
небольшим к распределение статистики J табулировано (см., например,
[91]). Для больших выборок в отношении J действует нормальная
аппроксимация: J ~ N(MJ,DJ), где MJ и DJ равны:
N2BN + 3) - У"п?Bпл +3)
Свидетельством против гипотезы однородности служат большие
(сравнительно с процентными точками стандартного нормального рас-
распределения) значения статистики (J - MJ)/y/DJ, полученные в экспе-
эксперименте (сведения о более точной аппроксимации можно найти в [501).
6.3. Практический пример
Проиллюстрируем применение описанных выше критериев на следу-
следующем примере. Для выяснения влияния денежного стимулирования на
производительность труда шести однородным группам из пяти человек
предложены задачи одинаковой трудности. Задачи пред-
wmv испытуемому независимо от всех остальных. Группы
i собой величиной денежного вознаграждения за ре-
следующей таблице приведено число решенных задач
РУППЫ. Лятллп л„ гл„1
членами каждой группы П» пРивеДено чис.
гРУппы. Данные приведены из [26]
198
Величина вознаграждения
группа 1
10
11
9
13
7
группа 2
8
10
16
13
12
группа 3
12
17
14
9
16
Таблица 6.3
(от меньшей к большей)
группа 4
~- ■ ——■ _
12
15
16
16
19
группа 5
— —__
24
16
22
18
20
группа о
19
18
27
25
24
Проверим гипотезу об отсутствии влияния денежного вознагражде-
вознаграждения на число решенных задач. Отметим, что величины, приведенные в
таблице, имеют смысл и сами по себе, а не только в сравнении с дру-
другими величинами. Это широко распространенная ситуация, в которой
также часто целесообразно применять ранговые критерии Краскела-
Уоллиса или Джонкхиера. хотя при переходе от величины xtj к их
рангам уже происходит определенная потеря информации. Однако ча-
часто подобная потеря информации, во-первых, не столь значительна, а
во-вторых, компенсируется тем, что от обычно неизвестного закона рас-
распределения величин st} мы переходим к величинам rXJ, распределение
которых при гипотезе #0 известно. Если же мы можем полагать, что
величины rtJ имеют нормальный (гауссовский) закон распределения,
для их исследования можно применить методы дисперсионного анализа,
рассматриваемые ниже в пп. 6.5 и 6.6.
Применение критерия Краскела-Уоллеса. В связи с наличием
в табл. E.3 совпадении мы будем вынуждены воспользоваться средними
рангами. Так. значение xtJ = 10 встречается в табл. 6.3 дважды, и при
упорядочении .г,, оно «делит пятое и шестое места». Поэтому средний
ранг .ту, = К) равен 5.5. В результате ранжировании получим табл. 6.4.
В двух нижних строках приведены суммы рангов R} и средние ранги
R.j = Hj/uj по столбцам.
Таблица 6.4
Таблица рангов наблюдении
199
для вычисления статистики Краскела-Уоллиса Я Удобнее
формулой F.2). В нашем случае общее число £
= 30, число наблюдений при заданном значении £
Я = 17682/155 - 93 = 21.077.
Как было указано, величина Я асимптотически имеет распредели
Y2 с числом степеней свободы, равным в данном случае 5. По таблице
распределения *2 находим, что минимальный уровень значимости Q
чуть больше 0.001. Заметим, что этот вывод является приближенным
в связи с тем, что в табл. 6.3 было определенное число совпадений
наблюдений хц. Для учета влияния связей можно воспользоваться
статистикой Я' F.3). В нашем случае имеем следующие восемь групп
совпадающих наблюдений:
9, 9; 10, 10; 12, 12; 13, 13; 16, 16, 16, 16, 16; 18, 18; 19, 19; 24,24.
Соответственно: 7\ = B3 - 2) = 6, Г2 = B3 - 2) = 6. Г3 = (З3 -3) =
24, Г4 = 6, Г5 = E3 - 5) = 120, Т6 = 6. Т7 = 6, Т8 = 6. Знаменатель
дроби в выражении для Я' равен: 1 - £*=1 Г,/C03 - 30) = 1 -6/899, а
само значение Я' приблизительно равно 21.2186.
Так как скорректированное значение Н' статистики Краскела-
Уоллиса несущественно отличается от значения Я, мы можем отверг-
отвергнуть гипотезу на минимальном уровне значимости около 0.001.
Применение критерия Джонкхиера. Заметим, что в данном при-
примере можно предположить монотонное влияние материального стиму-
стимулирования на результаты, а поэтому оправдано применение критерия
Джонкхиера. Итак, выберем в качестве альтернативы к нулевой гипо-
гипотезе предположение, что чем выше уровень стимулирования, тем выше
производительность. Для вычисления статистики Джонкхиера .7 найдем
значения статистики Манна -Уитни U для всех комбинаций индексов
и и v, где и и v меняются от 1 до 6, причем u < v. Простой расчет дает:
C/i2 = 17 С/23 = 17 1/34 = 16.5 С/,5 = 22
САз = 18.5 С/24 = 20.5 !Уз5 = 23,5 U4G = 23,5
Uu = 24 С/25 = 24.5 U3G = 25 U5G = 18
Uib = 25 С/2б = 25
UiG = 25
Отсюда
J S VUiV = 325
200
Для нахождения минимального уровня значимости критерия вос-
воспользуемся нормальной аппроксимацией Величина Г = (J -
MJ)/VDJ асимптотически имеет стандартное нормальное распреде-
распределение, где выражения для MJ и DJ были указаны выше В ре-
1\гпктятр пасчетов получярм А/Т 7 ю^ с г~. т ^ "
T^ r ' 27- С^°^ельно,
.5 - 5. С помощью таблиц стандартного нормаль-
нормального распределения находим, что вычисленное значение соответствует
минимальному уровню значимости а ~ 3 • 10~7. Заметим, что мы полу-
получили более сильный результат по сравнению с применением критерия
Краскела-Уоллиса. Если в первом случае мы отвергали гипотезу об од-
однородности на уровне значимости не менее 1 • 10~3, то во втором случае
минимальный уровень значимости понизился почти на 4 порядка.
Замечание. Оба критерия достаточно определенно отвергают гипотезу об
однородности выборок. Однако для исследователя гораздо больший интерес
представляет не сам факт существования влияния, а вопрос о количественном
влиянии способа обработки на результаты. Ниже будет разобрана довольно
распространенная модель аддитивного влияния фактора на отклик и построены
оценки эффектов обработки.
6.4. Оценивание эффектов обработки
(непараметрический подход)
Для описания данных табл. 6.1 в большинстве случаев оказывается
приемлемой аддитивная модель. Она предполагает, что значение
отклика xtJ можно представить в виде суммы вклада (воздействия)
фактора и независимой от вкладов факторов случайной величины. Иначе
говоря, каждое наблюдение х,3 является суммой вида:
xlJ=(LJ+ctJ. j = l,....fc, i = l п. F.4)
где пьп2, (ik — неслучайные неизвестные величины, являющиеся
результатом действия соответствующих обработок. ctJ — независимые
одинаково распределенные случайные величины, отражающие внутрен-
внутренне присущую наблюдениям изменчивость. Случайные величины еч
непосредственно не наблюдаемы, нам известны лишь значения xt].
Теоретически ясная картина получается в том случае, когда общий
для всех с„- закон распределения оказывается непрерывным (еще более
точные выводы можно сделать, когда указанный закон распределения
нормален — эту возможность мы рассмотрим отдельно в п. 6.5). На
практике эти предпосылки не всегда соблюдаются. В таком случае и
выводы становятся приближенными.
Для дальнейших рассуждений удобнее „место «i ~ Г"ни" £
работки j па результаты. - рассматривать мишке обработки на от
201
гонения щ от среднего уровня. Введем величину среднего уров„!(
следующим образом:
Будем называть величину т,- = а,- - ц отклонением от среднего
уровня при j-й обработке. Ясно, что т, + г2 + • • ■ + г, = о. ТоГдз
Xij = а; + е0- можно записать в виде:
Хотя в полученной модели имеется к + 1 параметров, общее коли-
чество независимых параметров не изменилось, так как £*=1 п = 0.
Теперь вопрос о различии обработок сводится к выяснению различнй
между-л,. • • , тк. Гипотеза об однородности данных означает равенства
ftl = О2 = • • • = ft/:, то есть ti = Т2 = ■ ■ ■ = г* = 0. Альтернатива об
упорядоченности эффектов обработки превращается в т\ ^ т2 ^ ---^
rfc, а различие между эффектами г-ой и j-ой обработок, естественно,
характеризуется величиной а* - a,j = г,- — г,-.
Оценки сдвига. Рассмотрим сначала на примере построение про-
простейших оценок различия между эффектами обработки двух выборок.
Заметим, речь в этом случае идет о сдвиге одной выборки относи-
относительно другой. В качестве оценки этого сдвига можно взять медиану
Ходжеса-Лемана, т.е. величину z^:
Zij = med(rcUI- - xvj, и = 1,... , щъ v = 1,... , rij).
Отметим, что z{j = -Zij. Статистика zx] может служить оценкой
величины ^ -Tj, однако у нее есть существенный недостаток. Про-
Проиллюстрируем его на описанном выше примере о влиянии материаль-
материального стимулирования на производительность. Вычислим величины zH.
24б, z16. Так, z14 является медианой 25 разностей значений 1-го и
^столбцов табл. 6.3. После простых подсчетов получим z,4 = -
^46 8 и z16 - -13. Заметим, что сдвиг первой выборки относитель-
относительно шестой можно представить в виде суммы сдвигов первой выборки
ГЛЬ° Ч7Т0Й " четвеРТ0Й относительно шестой. Действн-
- -7
Ах Гб ~ (Tl ~ Г4) + ^Г4 ~ гб)- Поэтому естественно было бы
сдвига Ьпня аНЭЛОГИЧНОе Равенство будет выполняться и для оценок
Ряют 'так °вднки *У ЭТОМУ Разумному требованию не удовлетво-
4П *
202
Скорректированные оценки сдвига. Введем величину
A. = _J±^n^ 1 = 1,...,*;,
где zu - 0. г = 1,... , к. Д4 отражает сдвиг выборки i относительно
всех остальных выборок, усредненный с весами пь... , пк.
Будем называть взвешенной скорректированной оценкой величины
Ti - tj величину Wij = Д* - Д.,-. Ее также называют оценкой Спетволля.
Исходную оценку zti при этом называют нескорректированной оценкой
Ti -Ту Отметим, что оценки W{j удовлетворяют соотношению
Щ + Wjh = Wih
для всех г, j, h от 1 до к. Однако у оценок Спетволля есть свой
недостаток: оценка сдвига одной выборки относительно другой зависит
от всех остальных выборок.
Вычислим, например, оценку Wu величины тг — т* в рассмотренной выше
задаче. Для этого нам необходимо прежде всего знать значения опенок 2iu и
24и при всех и и v, изменяющихся от 1 до к. Для нашего примера имеем:
2ц = 0, 212 = —2. 213 = —4. 214 = —6, 215 = — Ю, 2ig = —13,
2.Ц = 6, 2.J2 = 4, 243 = 2, 24.J = 0. £-15 = ~4, 2.JC = —8.
Таким образом.
5
5
= Bц + Z12 + Z13 + 2м + 215 +
ДТ = ^- - B.,! Ч- 242 + 2J3 + 244 + Z45 + 24б) = 0, И'',., = Д) - Д4 = 5-
Контрасты. Довольно часто в задачах однофакторного анализа
представляют интерес не сами оценки величин т„ а некоторые их ли-
линейные комбинации. Для их определения вводится понятие контра-
контраста. Контрастом параметров т в модели аддитивного влияния фактора
на отклик называется величина 0:
к
где £* . r3 = П и г, cfc - заданные константы. Ясно, что разность
т, - г/является простейшим примером контраста, когда с, - 1. с} - i.
<",, = 0 пои всех и не равных ? и j. ,.
Чаше бывает удобно задавать 0 в другой, эквивалентной форме.
а именно
203
= 1. •••»*•* = X' "■'*■ Учитывая
Сведения о свойствах оценок 0* и Wy можно найти в [91].
6.5. Дисперсионный анализ
До сих пор, рассматривая аддитивную модель однофакторного ана-
анализа F.4): хц = aj + eij, мы предполагали только непрерывностьзакона
распределения величин е0-, при том, что e{j — независимы и одинаково
распределены. Часто о распределении etj можно сказать больше, а
именно, величины е0- ~ N{0,a2), то есть имеют нормальное распре-
деление с нулевым средним и общей для всех дисперсией а2, которая
нам неизвестна. Дополнительная информация о законе распределений
случайных величин e,j позволяет использовать более сильные методы
в модели однофакторного анализа как для проверки гипотез, так и для
оценки параметров. Совокупность этих методов носит название одно-
однофакторного дисперсионного анализа.
Это название связано с тем, что анализ модели F.4) основан на
сопоставлении двух оценок дисперсии о2. Одна из них действует вне
зависимости от того, верна или нет гипотеза Но : а^ = ■■■ =а^
Другая оценка существенно использует это предположение. Она дает
близкий к а2 результат только в том случае, если гипотеза верна.
Сопоставляя друг с другом эти две оценки, мы можем заключить, чтоЯо
следует отвергнуть, если они оказываются заметно (значимо) различны.
Реализация и уточнение этой идеи и будут осуществлены далее.
Построение оценок дисперсии. Вспомнив известное нам о ста-
статистической обработке одной нормальной выборки, мы можем сказать,
что каждая однородная группа табл. 6.1 (каждый ее столбец) дает оцен-
оценку о . Для этого надо по каждому столбцу найти выборочную сумму
квадратов отклонений от среднего арифметического. Положим
^Z^u. 3 = 1,... , к,
бГГГ Е^ -*•!)'■ Анализируй одну „ор^ьную *
иде
ру у р
;2гл ?У КВадРатов "ожио представить в виде
к . где случайная величина х2 имеет распределение \
204
cnj-l степенями свободы. Поскольку данные в разных столбцах полу-
получены независимо, объединенная сумма квадратов £fc_ £"£ (х _ B
имеет распределение о\2 с N - * степенями свободы. 5т юда7олу-
чаем первую (основную) оценку а2: У
к rij
F.5)
к
j=i 1=1
При выводе не было упоминания о гипотезе Яо, следовательно
а2' « ст независимо от того, верна гипотеза Яо или нет
Чтобы получить другую оценку о2, обратимся вновь к столбцам
табл. 6.1. точнее — к их средним значениям х.у Согласно свойствам
нормального распределения,
j,a2/nj). F.6)
Кроме того, x.j и Х^Дя,-, - х3J статистически независимы. Най-
Найдем центр совокупности F.6) с учетом «весов» средних значений п,,
т.е. найдем, при каком г достигается минимум выражения
к
Фъ -» min . F.7)
С помощью стандартных средств математического анализа легко
видеть, что минимум F.7) достигается при z = x, где
г=~ЕЕх"- F-8)
Заметим, что при выполнении гипотезы Яо значение выражения
F.7) при z = т. имеет распределение о2\2{к - 1). где \2{к - 1) —
распределение хи-киадрат с [к - 1) степенями свободы. Отсюда находим
вторую опенку для а1:
2» 1 ■*
о — :
-хJ. F.9)
Поскольку, как было отмечено, случайные величины х} независимы
от F.5). то же верно и для их комбинаций. Поэтому оценка F.9)
является независимой от F.5).
При нарушении Яо оценка я2" имеет тенденцию к возрастанию,
тем большему, чем больше отклонение от Яо. Можно показать, что
распределение оценки F.9) - это так называемое нецентральное■ ра ■
преяелеиие хи-квадрат с * - 1 степенями свободы и параметром неиен-
тральности £зт Yl =i nj(flJ "" a^ "
205
ъмечание Нецентральное распределение хи-квадрат с к степенями ^
* и^етспш квадратов к независимых нормальных величин с тщ *
боды имеет су ^ельн0 нулеВым средним. Параметр нецентральной?
этИомеслСучае _ сумма квадратов средних этих нормальных величин. п в
F-отношение. Поскольку мы имеем для оценки ст2 две независим,*
оценки, имеющие при гипотезе Яо распределение хи-квадрат, их частное
F - о2**/а2*, или, подробнее,
1 V* п.(х . -
F = Z
должно иметь F-распределение с [к - 1,7V - fc) степенями свободы.
Заметим, что статистика F.10) уже не зависит от а2. Как следует из
обсуждения свойств а2**, дробь F.10) получает тем большую тенден-
тенденцию к возрастанию, чем сильнее нарушается гипотеза Яо. Поэтом)'
против Яо говорят большие (неправдоподобно большие) значения F,
рассчитанные по наблюдениям, далее — FHa6j,.. Следовательно, для
проверки Яо надо было бы вычислить P(F ^ Flia6j]), т.е. вероятность
получить за счет действия случайности значение статистики F большее
или равное F,^.. Гипотезу Яо следует отвергнуть, если вероятность
P(F ^ F,,^.) ~ мала. К сожалению, мы не располагаем столь подробны-
подробными таблицами F-распределения, в них приводятся только процентные
точки. Поэтому вместо вычисления P(F ^ FHa6;i) приходится сравни-
сравнивать Fl{afa с соответствующими а процентными точками.
6.6. Оценивание эффектов
обработки в нормальной модели
6.6.1. Доверительные интервалы
Если гипотеза Яо оказалась несовместимой с наблюдениями, есть
основания для обсуждения значений параметров а,,.... а*. Ранее мы
Уже видели, что их оценками могут служить внутригрупповые средние
^.которые имеют распределения Ща^/nj) и статистически неза-
независимы от оценки дисперсии а2- F.5). Поэтому отношение
F.11)
Стьюдента с 7V - к степенями свободы-
указать доверительный интервал для «j c
206
произвольным коэффициентом доверия 1 - 2сг
Здесь (,-„ - квантиль уровня A - а) соответствующего распре-
распределению Стьюдента. Отсюда получаем доверительный вывод об а- (с
коэффициентом доверия 1 - 2а): 3
'i-°- F.12)
Доверигельнь/е ингерваль/ для конграсгов. Можно указать
доверительный интервал также и для любой линейной комбинации в =
E е
комбинации в =
Ej=] сзаз- где гь ■ • ■ , ск — произвольные коэффициенты. В частности,
нередко приходится обращаться к сравнениям групп попарно, т.е. к
разностям ял -a,, (j. I = 1,... Д-). В любом случае стьюдентово
отношение (с N - к степенями свободы) имеет вид
в'-в
. F.13)
где <У* = Ylj=]cjxj- С помощью F.13) доверительные суждения о
различных 0 получаем аналогично сказанному ранее:
\в' -0\
\
F.14)
6.6.2. Метод Шеффе множественных сравнений
Метод п. 6.6.1 не позволяет указать вероятность, с которой одно-
одновременно выполняются несколько неравенств типа F.14). А задачи, в
которых требуется нахождение такой вероятности, возникают достаточ-
достаточно часто. Например, это необходимо, когда требуется сравнить попарно
все выборки, чтобы выделить все заведомо различные. Ниже мы рас-
расскажем об одном из методов (методе Шеффе). позволяющем получать
совместные доверительные интервалы для контрастов.
Из отмеченных свойств групповых средних х.} следует, что случай-
случайная величина £*=1 Т1,(*., - а,J имеет вид а\2{к), при этом она не
зависит от а2'. Поэтому величина
F= -
207
имеет распределение (с к и N - * степенями свободы).
Выбирая коэффициент доверия 1 - а и соОтветству1оЩую
тиль ^распределений Д-«. получим
соОтветству1оЩую
F.15)
Множество точек а = К--- , **) верного пространства, ^
влетворяюших F.15), образует эллипсоид с центром а* = (*.,,..
Проведем к нему необходимое нам число пар параллельных касательно
плоскостей. Уравнение каждой пары таких плоскостей имеет вид:
F.16)
Эти пары плоскостей, пересекаясь, выделяют в пространстве ы№
гогранное множество Я, описанное вокруг эллипсоида. Как эллипсою
так и Я — случайные множества. Их размеры и центры зависят и
статистик (ям.•■••&■*) и а2*. Истинное значение « = (аь... , afc),со-
afc),согласно определению, попадает в эллипсоид с вероятностью 1 - а. Ясно,
что вероятность накрытия а многогранником R не ниже 1 - а.
Точка а находится внутри Я в том и только в том случае, еслил*
ее координат выполняются все соотношения
к к к
\ /"• ■ О" - — /7 4^ Л /"* • П ■ ^"" > Г* • 1* . 1. / /
из выделенного выбора плоскостей F.16). Если мы рассмотрим вообш:
все плоскости, многогранник превратится в эллипсоид. Остается для кг-
ждогос= (сь... , ск) определить соответствующее г/ F.16). Такое^М1
есть максимальное значение выражение £fc=1 <?_,(«_, - т.3) при условии,
что точка a = (аь... , ак) лежит на поверхности эллипсоида, т.е. уд^
влетворяет соотношению J%>(a, -гг.,J = ка2'Fx. n. Расчет дает
опно^пр ЛЮб°Й совокУпности векторов (сь ... , ск) вероятной
одновременного выполнения всех неравенств
<
"Л
208
F.1?
не меньше, чем 1 - а.
Правило (б. 17) позволяет сделать выппп
контрастах одновременно. В частности !! °
„остей а3 - „, те, которые зиачн^
уровне значимости). Тем самым мы
ко быть уверенными в суиГсГ а ш
Ш1Те'}ССУ10»1"* "ас
СРВД" *"*
выбРа»»™
Возмож»°"ь '*
6.7.1. Пакет STADIA
В пакете представлены следующие методы одиофаюориого анализа
непараметрические критерии Красксла-Уоллиса и Джомкхнсра. а также
методы дисперсионного анализа Обращение к ним оеутестнляется из
раздела Дисперсионный анализ меню Статистические методы 11роилл1острнруем
использование 'лих мстолон иа примерах
Пример 6. 1к. Проверим гипотезу об отсутгтнпн ^ффектон обра-
обработки с помощью критерия Краскела-Уоллиса лли д«нигы>; о илиянпи
стимулирования на ироизнодительность трупа (таблица u..i).
Подготовка данных. В члектроннпи таблине пакета шн-лем лап-
иые норного столбца idCvumui 0 3 н переменную xl. иго\югч — и пере-
переменную х2 и так далее, как ^>то показан»; на рис Ь I
Н STADIA 6.0/base . 'f
| Флнл JpmpHK^G Нычнся-t/ Hpcolip-tf) Статнсг 19 J3Knn Нонощь 1 1 _
г :
STADIA 6.0: sllmol.std
■■) . ,
10
11
ч
13
7
Й
!0
16
13
1.'
12
17
о
К
12
15
16
;■*
■л
н
2?
18
г' К
19
18
?7
Рис 0 J .-);n.-K7panii:iH T.ifVmua с лп
Я-in
<1м.!ли >.i
Замечание. Прмнслу/)ы олнофактпрнпго аиалиля пикета STAhIA r/u-f'>vif»T.
тобы дамние. отш-чатшие различном сносоЛлм обр^Гштки (урп.чпям »|kii-.tc)/i;iJ
"Л1Я
тпрпьных переменных. При этом в файле данных
находились в ^^ " Ренных. Отсюда следует, что если мы
посторонних перем ^^ об ботки
наличие посторонних перем
СТИ K17ZZ рХки в один, следует завести новый фанл ^
~ вТем Дуемые преобразования.
fop nitff««>W>«. В меню Статистические методы (рис. 1.17) выбер„Те
пункт В = Однофакторный. В появившемся на экране запросе нажмите
кнопку 2=Крускал-Уоллиса (можно также нажать клавишу ©).
Результаты. Программа выдаст в окно результатов значения
статистики Краскела-Уоллиса. минимального уровня значимости и ч*
ела степеней свободы распределения хи-квадрат, которое используется
в качестве асимптотического приближения распределения статистики
Краскела-Уоллиса. Сравнение минимального уровня значимости ста-
статистики с фиксированным уровнем значимости 0.05 позволяет системе
сделать заключение «Есть влияние фактора на отклик» (рис. 6.2).
Для выполнения критерия Джонкхиера на появившийся запрос си-
системы Значения 1-го фактора упорядочены? следует нажать кнопку Qj£] [m
[Yes]). На экране появятся значения статистики Джонкхиера, ее ми-
минимальный уровень значимости и заключение системы «Есть влияние
фактора на отклик».
1-ФАКТОРНЫЙ ДИСПЕРСИОННЫЙ АНАЛИЗ. Файл: stimul
Краскал-Уоллис=21.219, Значимость^. 0007, степ.своО = 5
Гипотеза 1: <Есть влияние фактора на отклик>
Джонкхиер°327, 3начиыость°0, степ.своО - б, 30
Гипотеза 1: <Есть влияние фактора на отклик>
Рис. 6.2. Результаты однофакторного непараметрического анализа
Комментарии. 1. Процедуры непараметрического однофакторного анали-
анализа в пакете допускают также ввод в виде таблицы рангов данных (при ранжи-
ранжировании по всей совокупности). То есть можно было использовать для вводг
и данные таблицы 6.4.
2. В пакете STADIA (как и в STATGRAPHICS) отсутствует процедура
оценки эффектов обработки непараметрическими методами.
Пример 6.2к. Проведем однофакторный дисперсионный анализ
для данных примера 6.1 к: проверим нулевую гипотезу об отсутствии
эффектов обработки и построим 95% доверительные интервалы для
эффектов обработки.
Подготовка данных. См. пример 6.1 к.
ТР пР°ТдурЫ' В меню Статистические методы (рис. 1.17) выберите
тшгТ пТ д (р
кнопкуV °Г^°РНЫЙ- В появ^емся на экране запросе нажмите
СГГетр№ий но также нажать ®)
" Пр°Грамма выведет в окно результатов результаты
выводятся базовая таблица дисперсионного анализе
210
„ значения оценок параметров модели (рис. 6.3). Назначение базовой
таблицы дисперсионного анализа - дать ответ на вопрос о наличии
значимого влияния уровней факторов на исследуемый отклик, или
другими словами, о присутствии эффектов обработки.
1-ФАКТОРНЫЙ ДИСПЕРСИОННЫЙ АНАЛИЗ. Файл-stimul
параметрический
Источник Сум.квадр Ст.своО Ср.квадр Сила влияния
Факт.1 590.8 5 П8.16 0.14957
Остат. 224.4 24 9.35
ОСшая. 815.2 29 28Л1
Г(фактор1)°12.637, Значимостью, степ.своО- 5,24
Гипотеза 1: <Есть влияние фактора на отклик>
Параметры модели:
Среднее = 15.6, доверит.инт.=6. 4652
Эффект1 = -5.6, доверит.инт.=9.4646
Эффект2 » -3.8, доверит.инт.-9.4646
ЭффектЗ - -2, доверит.инт.=9.4646
Эффект4 » 0, доверит.инт.=9.4646
Эффект5 ■» 4.4, доверит .инт. =9 . 4 64 6
Эффектб - 7, доверит.инт.=9.4646
Рис. 6.3 Базовая таблица дисперсионного анализа и опенки параметров модели
Таблица дисперсионного анализа. Дадим определения величин,
приведенных в таблице дисперсионного анализа. Сначала рассмотрим
столбец Сум.квадр. В строке Общая указана общая сумма квадратов раз-
разностей наблюдений и их среднего значения:
к
3=\ i=i
В строке Факт.1 приведен вклад в общую сумму квадратов, обусло-
обусловленным различиями в уровнях фактора о,. Часто эту величину назы-
называют суммой квадратов между группами:
$>,(*.,-гJ, F18)
гдс г ] - _L Y!lLx .г„. а 7 определяется пыражснием F.8).
В строке Ос*тат. указан вклад в общую сумму квадратов, вызванный
случайной изменчивостью данных внутри групп. Его часто называют
суммой квадратов внутри групп:
Легко „ияеть. что су--"а ^«чнн первой н «орой
С« ^. „блицы я-сперсио,,,^:--^ри, М)
в третьей строке этого столбца. Так™ образо
ции данных сводится к выяснению разложения о
211
««нений на две части. Первая из них интерпретируется „ак
Нет ":-=■'■""■- -**
В случае справедливости нулевой гипотезы каждая из величин.
первом столбце таблицы имеет распределение о х со своим чн^
степеней свободы (оно указывано во втором столбце О.своб. ^
пьГнаконец, в третьем столбце таблицы Ср.квадр. находятся частно
от деления величин первого столбца на соответствующие величин,
второго столбца. Согласно формулам F.5) и F.9), нормирован^
средние квадраты между группами являются оценкой a2", a среднне
квадраты внутри групп являются оценкой а \ Отношение двух Эщ
оценок носит название F-отношения F.10), и его значение, приведен-
ное снизу от таблицы дисперсионного анализа, как раз и используется
для проверки нулевой гипотезы. Справа от F-отношения указывается
минимальный уровень значимости указанной F-статистики (здесь он
практически равен нулю), и числа степеней свободы соответствующего
F-распределения. Как обычно, если значимость F-статистики близка к
нулю, есть основание отвергнуть нулевую гипотезу. Система сравнива-
сравнивает уровень значимости F-статистики с 0.05, и на основе этого сравнения
выводит на экран заключение «Есть влияние фактора на отклик».
В четвертой строке таблицы рис. 6.3 выводится сила влияния фак-
фактора (по Снедекору), т.е. величина h2x = (s2x - s2c) / (si + (n- l)sj),
где si — средние квадраты между группами, s2 — средние квадраты
внутри групп, а величина п равна числу наблюдений в группе, если в
каждой группе одинаковое число наблюдений. Если число наблюдений
для каждого уровня фактора различно, в качестве п в этой формуле
используют величину п- %bi Ы - Е*=1 )/ЛгУ где, как обычно.
N — общее число наблюдений, к — число уровней фактора, rij -
число наблюдений на уровне j фактора. Величина силы влияния пока-
показывает, какую долю вариации данных определяет модель. Для данных
примера мы получили, что доля стимулирования составляет 14.9% в
производительности.
Оценки параметров модели. Раздел выдачи результатов .
метры модели (рис. 6.3) включает оценку общего среднего значения и
Э&ьГ! °^Н6НИЙ °Т Среднего для ^ждого уровня фактора в строках
*РФ«сп. <3ффекг2 и т.д. ДЛЙ каждого из этих отклонений указан размах
Доверительного интервала.
резу^ьтятГ СравНения- Всл*Д за описанными выше таблицами в окне
рого для всРГП°ЛаГаеТСЯ Заголовок ПаР"ые сравнения Шеффе, после кото-
всех возможных пар факторов приводятся оценки разностей
влияния этих факторов, размахи доверительных
значимости для гипотезы об отсутствии 1
факторов (рис. 6.4). У
влияния этих двух
Парные сравнения Шеф&е
Переменные Разность Интестлп ~
!•> , « интервал Значим Гипотеза HI
1-2
1-3
1-4
1-5
1-6
2-3
2-4
2-5
2-6
3-4
3-5
З-б
4-5
4-6
5-6
1.8
3.6
5.6
10
12.6
1.8
3.8
8.2
10.6
2
6.1
9
4.4
7
2.6
6.9891
6.9891
9891
9891
9691
9891
9891
9891
9891
9891
9891
9891
9891
9891
9891
0.9683
0.6356
0.178
0.0022
0.0002
0.9683
0.5806
0.0143
0.001
0.9518
0.0884
0.0061
0.4204
0.0495
0.8698
Да
Да
Да
Да
Да
Да
Рис. 6.4 Результаты дисперсионного анализа. Парные сравнения Шсффс
В нашем случае полученные результаты показывают, что только
уровни фактора 5 и 6 значимо отличны от остальных. Поэтому целесо-
целесообразно провести объединение различных уровней фактора в две груп-
группы и сравнить их между собой. Для этого пакет предлагает выделить
соответствующие группы (см. рис. 6.5).
*=? Срппнснис nnyx групп
Исходи.перен. Группа 1
xl
X?
хЗ
хА
х5
>
в
xl
х2
хЗ
♦
7
Группа 2
х5
хб
С Отненн!
Рис G.5. Выбор двух групп факторов дли сравнения
Выделим мышью и поле запроса Исходные переменные имена перемен-
переменных xl, х2. хЗ, х4 и перенесем их в поле Группа 1, нажав верхнюю кнопку
со стрелкой вправо. Аналогично перенесем переменные х5 и хб в поле
Группа 2. Таким образом мы сформировали две новых переменных, со-
соответствующих различным группам уровнем фактора. После нажатия
кнопки | утвердить [ на экран будут выданы результаты сравнения двух
групп уровней фактора (рис. 6.6).
тжг
zss
Рис'. 6.6. Результаты сравнения двух груш, уровней фактора
213
Углубленный анализ. В пакете STADIA (как и в STATGRAPHlCs)
Уелуоленш> непосредственной проверки правомерн!
TZ анализа. Поэтому мы ^
oJ™™ мере сравнивать результаты од„офак *J
анализа и критерия Краскела-Уоллиса.
6.7.2. Пакет STATGRAPHICS
В пакете довольно широко отражены стандартные методы факторно,
го анализа Доступ к части из них осуществляется из пункта J. Analyst
^ (анализ вариаций) раздела ANOVA AND REGRESSION ANALYSIS (АНОВД
и РЕГРЕССИОННЫЙ АНАЛИЗ) головного меню. (Сокращение ANOVA
происходит от выражения «Analysis of variance». В отечественной лн-
тературе вместо термина «анализ вариации» чаще используется термин
«дисперсионный анализ».)
Меню пункта J. Analysis of variance приведено на рис. 6.7. Опишем
кратко назначение входящих в него процедур.
ANALYSIS OF VARIANCE
1. One-Way Analysis of Variance
2. Multifactor Analysis of Variance
3. Anal sis of Nested Designs
4. Kruskal-Wallis One-Way Analysis by Ranks
5. Friedman Two-Way Analysis by Ranks
Phc. 6.7. Меню процедур дисперсионного анализа
1. One-Way Analysis of Variance (однофакториый дисперсионный анализ) — ис-
исследует эффект действия одного качественного фактора на одну переменную
отклика, в предположении, что данные относится к нормальному семейству
распределений с одной и тон же дисперсией. Работа этой процедуры разобрана
ниже в примере 6.2к.
2. Multifactor Analysis of Variance (многофакторный дисперсионный анализ) -
исследует эффект действия одного или нескольких качественных факторов на
одну переменную отклика, в предположении, что данные относятся к нормаль-
нормальному семейству распределений с одной и той же дисперсией. Данная процедура
может быть использована для ковариационого анализа с одной или несколькими
ковариатами. Основные элементы многофакторного дисперсионного анализа
Е,отре"? в главе 7 на примере двухфакторного анализа. Частичный разбор
работы этой процедуры дан в примере 7 2к
ГГ0!^641 ^^ Ыализ Поповых планов) - исследует эффект
"еск™ьких качественных факторов на одну переменную
П0Л1ЮлТЫ0 Спарованные или иерархические, и число
~— «факторов- ^олсржаиие и работз
214
?"!^ ***** Ьу ^ (ранговый однофакторный анализ
> исследует эффект действия одного фактора класенф»"
то плана.
нации для сбалансированного или несбалансированного одпофактошю
Эта процедура подробно разбирается ниже в примере 6 1к
5. Friedman Two-Way Analysis by Ranks (ранговый 1,L -
иа, _ исследует эффект действия дВуРх Ж^с^
двухфакторно О Г" "
иа, иу фф твия дВух Ж^с^
ревенного двухфакторного плана. Описание критерия Ф,ждаГдан" в™ 7"
Работе процедуры посвящен пример 7.1 к.
Многие другие типы планов эксперимента в пакете можно исследо-
исследовать с помощью процедуры множественной регрессии (глава 8)
Разберем работу однофакторных процедур на рассмотренном выше
примере.
Пример 6.1к. Проверим гипотезу с помощью критерия Краскела-
Уоллиса об отсутствии эффектов обработки для данных о влиянии
стимулирования на производительность труда (таблица 6.3).
Подготовка данных. В редакторе базы данных пакета (процедура
2. File Operations пункта A. Data Management головного меню пакета в файле
STIMUL создать G целочисленных переменных с именами gri, gr2, дгЗ. дг4.
дг5. дгб. каждая из которых содержит результаты испытуемых в соот-
соответствующей группе. Вид экрана редактора базы данных с введенными
данными приведен па рис. 6.8.
Cursor at Row 1 Data EGltor Maximum (lows- 5
Column l File STIMUL Number of Cols 6
now gri gr2 gr3 gr4 gr5 gr6
1
2
3
/l
5
6
7
8
9
Ю
11
9
13
7
8
10
16
13
1?
1?
17
11
9
16
1?
15
16
16
19
2Л
16
22
18
20
19
18
27
25
24
Lengtb о 5 5 5 5 5
Tyo/Wlh I/ 2 I/ ." 1/2 1/2 1/2 I/ >
Рис б 8 dKpan редактора данных с данными для опиофакториого анализа
Ниже будет показано, что такая форма ввода в виде таблицы не
является обязагельной.
Выбор процедуры. В меню пункта J. Analysis of variance (рис. 6.7) выбе-
выберем пункт 4. Kruskal-Wallis One-Way Analysis by Ranks (ранговый однофакторныи
анализ Краскела-Уоллиса) и нажмем (ШеТ)-
Заполнение полей ввода данных. Экран ввода д.нпььх вэту
процедуру (рис. 6.9) содержит акгнвные поля: Data (данные). Level codes
(коды уровня), Labels (метни).
215
Рис. 6.9. Запрос данных процедуры однофакторного анализа Краскела-Уоллнса
Обратим внимание на особенности заполнения этих полей. В поле
Date должен быть введен вектор данных, объединяющий все имеюцщ.
еся значения переменной отклика. При этом порядок расположения
наблюдений в этом векторе, вообще говоря, не существен. В нашеы
случае данные, отвечающие различным способам обработки, были за.
писаны в отдельные переменные. Объединить их в один вектор мод.
но, введя через запятую имена переменных, в которых они хранятся
(см. рис. 6.9), например:
STIHUL.gri, STIHUL.gr2, STIHUL.gr3, STIHUL.gr4, STIHUL.gr5, STIHUL.gr6,
или просто:
gr1,gr2,gr3, gr4, gr5,gr6,
если в других файлах базы данных нет переменных с подобными име-
именами.
Поле Level codes предназначено для указания, к какому способу обра-
обработки (уровню фактора) относится то или иное наблюдение в векторе
данных, введенном в поле Data. В него необходимо ввести числовой или
символьный вектор той же размерности, что и вектор данных. Этот
вектор должен быть устроен следующим образом. Следует пометить
элементы вектора данных, относящихся к одному и тому же способу
обработки одним и тем же числом (или символом) и заменить этими
числами (символами) соответствующие элементы вектора данных. По-
Полученный вектор надо записать в поле Level codes. Например, пометим
наблюдения, относящиеся к каждой группе испытуемых, номером их
группы. Тогда вектор кодов уровня будет иметь вид:
1111 1222223333344444555556666 6.
Сокращенно с помощью операторов пакета этот вектор можно записать
следующим выражением:
5 REP COUNT 6,
которое устроено так: сначала оператор COUNT 6 сформирует вектор:
вектооа S * т™ °ПератоР 5 REP повторит каждый из элементов
был приведен выше" °бРа3°М ^ ДОСТИГНут Т°Т ЖС р63уЛЬтаТ' ™
ZTlТТ'так как ~ия этого
лишь для оформления таблицы итоговых результатов.
216
случае, если это поле оставлено пустым, пакет cai
вектора кодов уровня. При заполнении этот пп„о „
символьную матрицу так, чтобы каждая еР гтпп„о п етвводить
натдои ее строка соответгтяппяпя
одному и только одному значению кода уровня (способа обработки)
В нашем примере, если оставить поле Labels незаполненным то в
качестве меток уровней будут использованы числа 1 2 3 4 5 6
Для демонстрации заполнения этого поля введем в него' выражение'
использующее оператор RESHAPE пакета.
6 3 RESHAPE "gr1gr2gr3gr4gr5gr6-,
которое расшифровывается так: оператор RESHAPE превратит символьный
вектор, стоящий в кавычках в правой части выражения, в символьную
матрицу размера G х 3, имеющую вид:
дгз
дг4
дгб
Каждая из строк этой матрицы будет использована при выдаче резуль-
результатов для обозначения соответствующего способа обработки.
Результаты. После заполнения полей ввода и нажатия клавиши
[Гб], на экране появляются результаты обработки (рис. 6.10).
KrusUal-Wallis analysis of STIMUL gr1, STIMUL.gr2. STIMUL.gr3.
Level Sample Size Average Rank
g<1
gr2
Qi-3
gr5
5
5
5
5
5
5
5 70000
9 OOO0O
12 5000
16 100O
23 4000
26.3000
Test statistic = 21 219 Significance level = 7 36387Е-Л
Рис. G. 10 Результаты пополнения процедуры однофакториого анализа
Краске-ла-Уоллиса
В колонке Level (уровень) стоят метки соответствующих способов
обработки, взятые из'поля ввода Labels. В колонке Sample size (размер вы-
выборки) - число наблюдении для каждого способа обработки. В колонке
Average Rank (средний ранг) - соответствующая величина для каждой
группы. Сравните полученные значения с аналогичными, приведенными
в таблице 6.4. Под таблицей приведены значения для асимптотической
аппроксимации скорректированной для случая совпадающих наблюде-
наблюдений статистики Краскела-Уоллиса (Test statistic) и минимального уровня
217
«той статистики (Significance level). Полученные результатц
с полученными ранее вручную.
ПаДЙ1и1 ппа 1 Ввод данных в процедуру в описанном выше виде Явл,
Комментарии. 1. ™* с вводом в виде таблицы (матрицы). Его
ется более гибким псi ср ^ в ^ случаях, когда производится ИЗМене.
преимущества особен» о у^х р0 ре3уЛьтатам предварительного анализ,
ние порядка группировп^ ппир0ВКи может являться объединение дан.
Примером изменения я ( ^^ обработки в ОдН1, блок по причине
ных соответствуюших^ес^^ ^^ ^ способами обработки.
процедура, реализующая оценивание эффектов
„и методами.
R пакете отсутствую процедура, реализующая критерии Джонклнер,
В пакете отсутст у > Ма1Ша.уНтни для сравнения двух выборок
Однако наличие в пакете кр р^ вычисле1тя ^ п шя составляющих
(см. главу 3) now р ^^ ^^ снособов обработки этм
частей Uu,v статна шли "•
путь весьма утомителен.
Л ер 6 2/с Проведем однофакторный дисперсионный анализ
для данных примера 6.1 к: проверим нулевую гипотезу об отсутствии
эффектов обработки и построим 95% доверительные интервалы для
эффектов обработки.
Подготовка данных. Смотри пример 6.1 к.
Выбор процедуры. В меню пункта J. Analysis of variance (рис. 6.7)
выберем пункт 1. One-Way Analysis of Variance.
Заполнение полей ввода данных. Экран ввода данных и пара-
параметров этой процедуры (рис. 6.11) отличается от аналогичного экрана
процедуры критерия Краскела-Уоллиса (рис. 6.9) наличием двух допол-
дополнительных полей ввода Range test (множественные сравнения) и Confidence
level (уровень доверия), связанных с определением методой построения
доверительных интервалов для эффектов обработки или их разностен.
One-Way Analysis of Variance
Data БтИМ.дгТ, ЗИШСоог. бПЖУогзГВПНШ:. г4
Level codes: |М{ЁР1ЙШ 6 -\. _\..> • . ..■ '
Labels: й-УШНИС .T'oriarttf S f r6 r6"
Range test: oi > Int. Confidence level
Рис. 6.11. Запрос данных процедуры дисперсионного анализа
Заполнение первых трех полей ввода (рис. 6.11) аналогично приме-
примеру 6.1 к и разобрано выше. В поле Range test указать выражение Conl. I-
(доверительные интервалы для эффектов обработки). Назначение дру-
других значений в этом поле смотри в комментариях В иоле Confidence level
указать значение 95, означающее выбор 95% уровня доверия. После
заполнения всех необходимых полей ввода надо нажать клавишу СЕЮ-
218
Результаты. На экране ввода данных и параметров процедуры
появится базовая таблица дисперсионного анализа (рисб?2Ее
назначение - дать ответ на вопрос о наличии значимого влияния
уровней факторов на исследуемый отклик или, другими словами о
присутствии эффектов обработки. Процедуры оценивания эффектов
обработки и анализа адекватности модели будут разобраны ниже.
Analysis of variance
Source of variation Sum of Squares d.f. Hean square F-ratio Sig. level
Between groups 590.80000 5 118 16000 12 637 0000
Within groups 224 40000 24 9.35000
Total (correcteo) 815.20000 29
0 missing value(s) have been excluder!
Рис. 6.12. Базовая таблица дисперсионного анализа
Эта таблица аналогична таблице, выводимой пакетом STADIA
(см. рис. 6.3). Дадим перевод терминов, фигурирующих в этой таблице:
Source of Variation — источник вариации;
Between groups — между группами;
Within groups — внутри групп;
Total (correct) — итого (скорректированное значение);
Sum of Squares — сумма квадратов;
d.f. — степени свободы;
Mean square — средние квадраты;
F-ratio — F-отмошение;
Sig.level — уровень значимости;
0 Missing value(s) have been excluded — 0 пропущенных значений было
исключено.
Теперь объясним значение величин, содержащихся в таблице
рис. 6.12. В строке Between groups выводятся характеристики, связан-
связанные с действием анализируемого фактора: сумма квадратов между груп-
группами F.18). соответствующее число степеней свободы (d.f.) и частное
этих величин, т.е. оценка а2" F.9). В строке Within groups выводятся
сумма квадратов внутри групп F.19). соответствующее число степеней
свободы, и частное этих величин, т.е. оценка <Р F.5). В_строке Total
(corrected) выводится сумма квадратов отклонений наблюдении от их сред-
среднего значения и число степеней свободы распределения этой величины
при выполнении нулевой гипотезы. В столбце F-ratio выводится.значен ие
F-статистнки F.10). а в столбце Sig.level - ее уровень зн-чи-ос™^
обычно, если эта величина близка к нулю, есть основание отвергнуть
нулевую гипотезу.
219
введенное под таблицей сообщение 0 rn.ss.ng value(s) have been excluded
свирепствует о том, что алгоритмы однофакторного анализа пакеТа
сГобнь. обрабатывать неполные таблицы данных, с которыми часто
приходится сталкиваться на практике.
Для данных нашего примера из приведенной таблицы дисперсной,
ного анализа (рис. 6.12) можно сделать вывод, что нулевая гипотеза об
отсутствии эффектов обработки должна быть отвергнута, так как ве-
роятность получения указанного или большего значения F-отнощення
(уровень значимости F-статистики) при нулевой гипотезе практически
равна нулю. Таким образом, представляет интерес получение оценок
эффектов обработки и построение для них доверительных интервалов.
Углубленный анализ. Для продолжения анализа следует нажать
клавишу ЩО- При этом на экране в накладывающемся окне появится
меню процедур углубленного анализа (рис. 6.13). (Напротив каждой
процедуры этого меню нами указан русский перевод.)
Meenstable
Means plot
Multiple boxplot
Notched boxplot
Residual plots
Variance check
Multiple range tests
Save residuals
Save intervals
таблица средних
график средних
множественный график
график с нишами
график остатков
тесты дисперсий
множественные сравнения
сохранить остатки
сохранить интервалы
Рис. 6.13. Меню процедур углубленного анализа для дисперсионного анализа
Далее можно в любом порядке выполнить все или некоторые из
процедур этого меню. Они в различной форме дают информацию по
двум группам вопросов: оценивание эффектов обработки и анализ аде-
адекватности применения метода дисперсионного анализа.
Получить оценки эффектов обработки и построить для них дове-
доверительные интервалы позволяет процедура Means table. Результаты ее
работы приведены на рис. 6.14.
Дадим перевод терминов и определения величин, фигурирующих в
полученной таблице.
L£vel - уровень фактора, способ обработки
- число наблюдений на данном уровне
e - средне
дний
Average - среднее значение
на данном
95
Для
220
ошибка (объединенная)
- 95% верительный интервал
Table of means for STIHUL.gn. STIMUl.grZ. STIMUl.Qr3
r t Stnd- Error Stnd. Error
Level Count Average (internal) (pooled s)
95 Percent Confidence
intervals for mean
g
gr3
gr4
gr5
gr6
10.000000
11.800000
13 600000
15.600000
20.000000
22.600000
.0000000
1.3564660
1.4352700
1.1224972
I 4142136
1.7492856
1.3674794
1.3674794
1.3674794
1.3674794
V3674794
1.3674794
7 176989
8.976989
10.776989
12.776989
17.176989
19.776989
12.823011
14.623011
16.423011
18 423011
22.823011
25 423011
Total
30 15 600000 .558271! 5582711 „447510 16.752490
Рис. 6.14 Результаты вычисления эффектов обработки
Под внутренней стандартной ошибкой (Stnd. Error (internal)) n приве-
приведенной таблице понимается величина
F.20)
являющаяся оценкой стандартного отклонения по группе наблюдений,
в то время как под объединенной стандартной ошибкой (Stnd. Error (pooled
s)) понимается квадратный корень а* из оценки F.5). Еще раз заметим,
что эти две оценки могут применяться вне зависимости от того, верна
нулевая гипотеза или нет.
Как отмечалось в пункте 6.6.1, оценками эффектов обработки могут
служить внутрнгрупповыс средние х.]У находящиеся в третьем столбце
таблицы рис. 6.14. Границы доверительных интервалов этих оценок
приведены в двух последних столбцах указанной таблицы. Так как при
заполнении экрана ввода параметров процедуры (рис. 6.11) в поле Range
test было указано выражение Conf. Int.. то для получения верхней и нижней
границы доверительных интервалов использовалось выражение F.15).
Кратко изложим назначение остальных процедур меню углубленного
анализа (рис. 6.11).
Процедура Means plol реализует графическое представление данных таблицы,
выдаваемой процедурой Means table (рис. 6.15)
Две следующих графических процедуры меню Multiple boxplol и Notched boxplot
позволяют для каждого уровня обработки получить в компактной форме ин-
информацию о медианах, иерхинх и нижних квартилях, размахе и ряде других
параметров Эти процедуры дают полезные сведения о симметрии закона рас-
распределения данных па каждом уровне обработки, о возможных грубых выбро-
выбросах в наблюдениях, а так же наглядно сравнивают положения ос^и»ыхма^
Данных для разных уровней фактора. Подробное описание этих описательных
МеТОПОрПоиДед;;Вре11 p.ots предлагает построение Ф^фика остатков .одной
из трех возможных форм: в зависимости от уровня фактора, в зависимости
221
о и просто в зависимости от индекса наблюл
от предсказанных знамени ^ ^ этих форм подчеркИ|зает CBQ. ■*
в векторе ввода данн"*" ния однородности распределения остатков,
возможных причинах » ^ применения в целом метода дисперсном,,*,
СТ0Ч"ИГГж»"с;; про'цеяурз Varan* che* Она „„&**
о.юпичя весьма важнип Кпкпрмя. Бяптлрття u y *
возможных при применения в целом метода дисперсной
C^2FZ£X^W'*™* Variance chec. Она включат в
анализа весьма в**™^ ских териев _ Кокрема. Бартлетта и Хартли,
результаты трех стати деннй на ра3ных уровнях фактора. Дляда
для сравнения Рцедура выдает на экран следующие результаты (рис. 6.15):
примера ^^ ^ Homogeneity of Variances
Dartletfs test: 106547 P -
Dartletf
Hartleys test: 3.06
Рис. 6.15. Результаты критериев проверки однородности дисперсии
этом по первым двум критериям (Кокрена и Бартлетта), кроме знак-
этих критериев приведены также значения минимальных уровней
Гч^в^в^ний Р = 0.925796 и Р = 0.925721. Эти
пят о том что у нас нет основании отвергнуть нулевую гипотезу этих критериев
о том что данные на разных уровнях обработки имеют одну и ту же дисперсию.
Однако заметим что критерии Кокрена и Бартлетта весьма чувствительны к от-
отклонению от предположения, что нормированные оценки дисперсии для каждого
уровня обработки подчиняются распределению хи-квадрат (с соответствующим
числом степеней свободы). Это требование соблюдается, если данные для ка-
каждого уровня обработки принадлежат нормальному семейству распределений.
Для других семейств распределений это требования чаще всего не соблюдается.
Таким образом, в интерпретации результатов этих критериев нужна определен-
определенная осторожность. Подробную информацию о критериях Кокрена и Бартлепа
можно найти в [16]. [681. Критерий Хартли описан в [102].
Процедура Multiple range tests выдает результаты анализа множественных срав-
сравнений для средних в виде, указанном па рис. 6.16:
Hultiple range analysis for gr1.gr2.gr3.gr4.gr5.gr6 by 5 RFP COUNT 6
Method. 95 Percent Confidence Intervals
Level Count Average Homogeneous Groups
gr1 5 10.000000
gr2 5 11.800000
gr3 5 13.600000
[И 5 15.600000
5 20.000000
5 22.600000
Рис. 6.16. Результаты анализа множественных сравнений для средних
В столбце Homogeneous Groups (однородные группы) вертикальными столбца-
ня..?рВмеЗД°ЧеК Выделены возможные однородные группы уровнен обработки. В
пеовптУпае ТЗКНХ ГРУ,ПП ТРИ" В nW° из них попали способы обработки
д °ВРТЫИ(КраЙ1ШЙ Й б ) рую -*
пеовптУпае ТЗКНХ ГРУГП ТРИ" В ПСРВУ° из них попали способы обработки
твердый н п°ятыйВоРТЫИ«(КраЙ1ШЙ ЛеВЫЙ CT0Jl6cLi звездочек), во вторую -*
группу - пЗ 'П0С0бы.0бРаб^ки (средний столбец звездочек), и в третью
РУппу пятый и шестой способы обработки (крайний правый столбец зве,-
222
очек). Таким образом отвергнув нулевую гипотезу об отсутствии эффектов
бработки в целом по всем данным, мы можем ставить вопрос об объединении
в однородные группы некоторых из уровнен фактора.
Перечисленные выше процедуры довольно слабо затрагивали вопрос о пра-
омерностн применения дисперсионного анализа к анализируемым данным. Для
Голее детального рассмотрения этого вопроса пакет предлагает пользователю
хранить полученные остатки (процедура Save residuals) для дальнейшего анали-
D других разделах пакета. В частности к ним далее могут быть применены
итерий хп-кнадрат и критерий Колмогорова-Смнрпона для проверки согласия
юомальным распределением. Также можно воспользоваться глазомерным
ом „ронерки нормальности с помощью графика остатков на нормальной
оятпостиой бумаге или критериями асимметрии и эксцесса. Все эти вопросы
подробно рассмотрены в главах 5 и 10. Для нашего примера трудно нсерьез
оворить о возможности достоверной проверки нормальности выборки обч>ема
ЭД Отметим только, что онречелеппые сомнения в нормальности распределе-
распределения остатков вызывает уже гистограмма остатков и их график на нормальной
пеооятностей бумаге.
Последняя процедура из меню рис. 6.13 Save intervals полезна как для даль-
дальнейшего составления отчета, так и для передачи этих данных в некоторые
графические процедуры пакета
Яямечание В поле Range lesl экрана ввода данных процедуры одпофактор-
„пго ана'ппа (рис 6 11). кроме значения Conl.lnt могут фигурировать значения
SSte LSD Tukey Они задают разли <е способы построения доверительных
Стерва!. Метод IIU-M* (качение „ар-истоа Shelfe) кратко описан выше.
Сведения о других мстсла.ч мижш« найти в |»Ы
Глава/
Двухфакторный анализ
7 1. Связь задач двухфакторного
и однофакторного анализа
Продолжая тему исследования зависимостей, начатую в главе 6,
рассмотрим задачу о действии на измеряемую величину (отклик) двух
факторов В этой задаче мы предполагаем, что на отклик могут влиять
два фактора, каждый из которых принимает конечное число значений
(уровней), и интересуемся тем, как влияют эти факторы на изучаемый
отклик и влияют ли вообще. Такие задачи характерны как для промы-
промышленных и технологических экспериментов, так и для гуманитарных
исследований. Остановимся более подробно на одном из распростра-
распространенных случаев возникновения задач двухфакторного анализа.
Бывает, что в рамках одпофакториой модели (см. гл. 6) влияние
интересующего нас фактора не проявляется, хотя содержательные со-
соображения указывают, что такое влияние должно быть. Иногда это
влияние проявляется, но точность выводов о количественной стороне
этого влияния недостаточна. Причиной такого явления может быть
большом вмутригрупповой разброс, на фоне которого действие фактора
остается незаметным или почти незаметным. Очень часто этот разброс
вызывается не только случайными причинами, но также действием еще
одного фактора. Если мы в состоянии указать такой фактор, можно
попытаться включить его в модель, чтобы уменьшить статистическую
неоднородность наблюдений и благодаря этому выявить действие на от-
отклик закономерных причин. Конечно, не всегда удается поправить дело
введением одного «мешающего» фактора и переходом к двухфакторным
схемам, как выше. Иногда приходится рассматривать и трех-, и много-
факторные модели. Замысел во всех этих случаях остается прежним.
К задачам двухфакторного или мпогофакторного анализа часто при-
приводят также исследования по оптимизации технологических процессов.
При этом чаще всего заранее известно, что оба фактора оказывают
значимое влияние на отклик, а исследователя интересует численная
оценка этого влияния с целью выбора оптимального уровня факторов.
Особенности подобных задач подробно изложены в [32].
224 ■
Иногда факторы разделяют на важные и манат,,.,»
обязательно. В ряде задач факторы содею, Z' "° Э™ Совсе"
" сиримеитатора. Эти нюансы мало вли^иа сГ° равноп1>аы"" «>
*^т сказаться только „а „останоекГс™ESS^T
Замечания. 1. В практических ситуациях _
лРПеход от однофакторной постановки задачи к nnvvAo'"" "u°"u
ХХпри решении двухфакторной задачи^казыГет^То'Ги
факторов несущественно то задача сводится к однофа'кторной
ф 2. Один из методов борьбы с нежелательными воздействи,
возможен не только
. но и наоборот,
с одного из
Атакой группе объектоп наблюдения, в^ кот^ Г ГГГх
факторов будучи различными, в среднем уравновешивай Zг ™ га Пои
ЭТом в таблицу однофакторного анализа заносится среднее значенТеизмеряе
ной величины по взятой группе объектов. Однако чаще всего ипфор ™ о
характере влияния мешающих факторов на исследуемый отклик отсутствует а
поэтому такой подбор оказывается невозможным. Другой способ - случайное
формирование соответствующих групп объектов наблюдения, когда из большого
количества потенциально пригодных объектов случайным образом выбираются
те. которые образуют требуемую группу. Этот метод позволяет по-прежнему
использовать однофакторныи анализ, однако возникающие в нем осложнения
описанные выше, часто делают предпочтительным другой способ устранения
влияния мешающих факторов, который основан на прямом количественном
учете влияния наиболее существенных из указанных фактороп. Если в задаче
удается выделить один главный мешающий фактор, то она сводится к задаче
двухфакторного анализа. Влияние остальных факторов желательно удалить с
помощью процедуры случайного выбора объектов наблюдения (см., например
[30]. [90]).
7.2. Таблица двухфакторного анализа
Рассмотрим, как изменяется таблица однофакторного анализа, при-
приведенная в пункте 6.1, при включении в модель действия мешающего
фактора. ,
Назовем главный фактор фактором А, а мешающий фактор — фак-
фактором В. Пусть фактор А принимает к, а фактор В — п различных
значений. Фактор В разбивает все объекты наблюдения на п блоков,
каждый блок образуют наблюдения, проведенные при одном уровне
фактора В. В блоке отклики могут значимо различаться только за счет
применения к ним различных обработок, то есть за счет различных
Уровней фактора А. Уровни фактора А (обработки) отображаются в
таблице по столбцам, а уровни фактора В (блоки) — по строкам. Тра-
Традиционная терминология «блок-обработка» в применении к факторам В
8-783 225
Таблица 7.1
Обработки
и А сложилась как результат различного отношения к этим факторам,
один из которых является мешающим, а другой определяющим.
Таблица 7.1, содержащая пхк наблюдений (по одному наблюдению
в клетке) является основной таблицей двухфакторного анализа. Ее
отличие от таблицы однофакторного анализа заключается в том, что
наблюдения в любом столбце не являются однородными, то есть могут
не образовывать выборки (если влияние мешающего фактора значимо).
Для описания такой двухфакторной таблицы требуются более сложные
вероятностные модели, чем для однофакторного анализа.
Замечание. Таблица 7.1 на самом деле является простейшей таблицей
двухфакторного анализа. На практике часто рассматриваются, скажем, таблицы
с повторными изменениями (там в каждой клетке таблицы 7.1 могут содержаться
несколько наблюдении). Более подробно об этом можно прочесть в [30], [90].
7.3. Аддитивная модель данных
двухфакторного эксперимента
при независимом действии факторов
Для описания данных таблицы 7.1 двухфакторного эксперимента в
большинстве случаев оказывается приемлемой аддитивная модель. Она
предполагает, что значение отклика Xij является суммой самостоятель-
самостоятельных вкладов соответствующих уровней каждого из факторов и незави-
независимых от этих факторов случайных величин. Последние отражаю,т вну-
внутреннюю изменчивость отклика при фиксированных уровнях факторов,
которая может порождаться различными причинами. "*
Таким образом, каждое наблюдение Ху представляется в виде:
Xij = bi + tj + eij; г=1,...,п; j = l,...,k. G.1)
При этом числа Ьь... , Ьп являются результатом влияния на отклик
мешающего фактора В, действие которого разбивает все данные на бло-
блоки. Поэтому величины Ьь..., Ъп называют эффектами блоков. Числа
*ь - - • , tk отражают действие на отклик интересующего нас факторами
именуются эффектами обработки. Относительно случайных величин
226
в
от
... предполагается, что они одинаково распредели
£в0КРупНОСТ, Различные методы двухф^то" [Щ
нХ распределения либо только непрерывности либ- -
нормальному семейству распределений N{0 ^\ со
рой неизвестной дисперсией о\ Оба эти случая буДут разо0раны ниже
Замечание. Требования одинаковой распределенное™ „fl,
ослабить, предполагая, что в каждом блоке откликг пГ ** М°ЖН°
прерывному семейству распределений Fit а парm dZr^ " СВ°СМУ
оТабяюдеьжя в блоке определяется чис^ми Г \ тРГ Т4*™0"
обработки. Некоторые ослабления можно сделать и в' условии Т ЭффеКТЗМИ
*V например. (891). Для простоты ^Шо^ ^%\°^ ^^ZTa
дальнейшем первоначальные предположения о величинах V» ИСПОЛЬЗовать в
Заметим, что даже в случае справедливости представления G 1)
величины вкладов факторов Ь{ и tj не могут быть восстановлены одно-
однозначно. Действительно, увеличение всех Ь{ на одну и ту же константу
и одновременно уменьшение всех tj на эту константу оставляет вы-
выражение G.1) неизменным. Для однозначной определенности вкладов
факторов удобно перейти к представлению наблюдений в виде:
хо-=д + А-+т.,+егГ| г = 1,... , тг; j = l,...,fc. G.2)
считая, что J2?=i Pi = 0. J2j=i Tj = 0. При этом параметр ц интерпрети-
интерпретируется как среднее значение, присущее всем величинам xijt aftn tj —
как отклонения от /i в результате действия факторов В и Л.
Гипотеза. Как и в случае однофакторного анализа, целесообразно
прежде всего проверить гипотезу о значимости эффектов обработки.
Сформулируем нулевую гипотезу в виде: Щ : т\ = т2 = ••• = т* = 0.
Другими словами, предположим, что влияние фактора А отсутствует.
Ниже будут рассмотрены критерии проверки этой гипотезы как в непа-
непараметрическом случае, так и в случае, когда величины Xij принадлежат
нормальному семейству распределений.
7.4. Непараметрические
критерии проверки гипотезы
об отсутствии эффектов обработки
7.4.1. Критерий Фридмана
(произвольные альтернативы)
Непараметрический критерий Фридмана для проверки гипотезы Но
против альтернативы о наличии влияния фактора А используется в
случае если о распределении случайных величин eijt г = i,.
TIT к в модели G.2) известно только то. что оно непрерывно I
сами величины ец независимы в совокупности. (То. что e{j одинаково
распределены, было оговорено раньше.) Критерии основан на идее пе-
перехода от значений величин x{j в таблице двухфакторного анализа к нх
рангам В отличие от однофакторного анализа, ранжирование происхо-
происходит не по всей совокупности величин хц, а поблочно, то есть рассма.
тривается каждая отдельная строка таблицы 7.1 и при фиксированном
индексе г осуществляется ранжирование величин x{j при j = !,_ f ft
Тем самым устраняется влияние «мешающего» фактора В, значение
которого для каждой строки таблицы постоянно.
Обозначим полученные ранги величин x(j через r{j. Ясно, что значе-
значения пз изменяются от 1 до к, а соответствующая строка рангов предста-
вляет собой некоторую перестановку чисел 1,2,... , к. Для простоты из-
изложения будем предполагать, что среди элементов x{j, стоящих в одной
строке таблицы G.1), нет совпадающих (в противном случае следует
использовать средние ранги). При гипотезе Но : п = т2 = ■ • ■ = тк = О
каждая строка рангов ra, ri2,. ■ ■, rifi будет представлять случайную пе-
перестановку чисел от 1 до к, причем все к\ перестановок равновероятны.
Введем величину: г.3- = \ (ЕГ=1 ГО")- являющуюся средним значением
рангов по столбцу j. При гипотезе Но в силу равновероятности всех
перестановок рангов в каждой строке значение r.j для каждого j не
должно сильно отличаться от величины г.. = (к +1)/2, которая предста-
представляет собой общий средний ранг всех элементов таблицы рангов. (Дей-
(Действительно, сумма рангов по всей таблице есть пк(к + 1)/2. Средний
ранг получается делением на число пк элементов таблицы).
Статистика Фридмана S для проверки гипотезы Яо имеет сле-
следующий вид:
Здесь множитель, стоящий перед знаком суммы, добавлен для того,
чтобы S имело простое асимптотическое распределение. В вычислитель-
вычислительном плане более удобна другая форма записи величины S, а именно:
21
-3n(fc + l). G.4)
S =
Как отмечалось выше, при справедливости гипотезы Яо величины
[r.j -т..) в выражении G.3) с большой вероятностью сравнительно
малы для всех 3, и, следовательно, значение S сравнительно невелико.
228
А при нарушении Яо суммы рангов в одних столбцах fivnv
пышению значения среднего ранга г а п Пп УДУ тяготеть к
р, в зависимости о'знак;*l^ll?ZT"
статистики Фридмана S Из
Ф
зра р
ритерия Фридмана для проверки
альтернативы
6 против альтернативы наличия эффектов'обработки. '^
Правило проверки гипотезы. Гипотеза Яо принимается на уровне
значимости а если 5 < S(a, k,n) и отвергается в пользу альтернативы
„р,, 5* S{ak,п). Критическоезначение5(аД,п)находят как решение
уравнения P{S > S{a,k,n)} = a, где вероятность Р вычисляется при
справедливости гипотезы Яо. v
Таблицы и аппроксимация. Для небольших значений n k величи-
величина S(a,k,n) может быть найдена из таблиц [25] и [91]. При больших п
для выбора критических значений приходится пользоваться аппрокси-
аппроксимацией. Она основана на том факте, что при справедливости гипотезы
Яо и 77 -^ со статистика Фридмана S асимптотически распределена как
хн-квадрат с (к - 1) степенями свободы (сведения о более точной ап-
аппроксимации можно найти в [50]). В этом случае критерий для проверки
гипотезы Яо сводится к следующему: принять Яо на уровне значимости
а, если 5 < X(i_a)(^ ~ *)• и отклонить Яо в противном случае. Здесь
\n-a)(k ~ х) ~~ квантиль уровня 1 -а, или A-а)-квантиль случайной
величины х2 с (к — 1) степенями свободы.
Совпадающие значения. Если в строках таблицы двухфакторного
анализа имеются совпадающие значения, при переходе к таблице рангов
используются средние ранги, а вместо статистики S используется ее
модификация, выражение для которой можно найти в [91].
7.4.2. Критерий Пейджа
(альтернативы с упорядочением)
Назначение. Часто целью исследования является установление
преимущества одного метода обработки над другим. Если таких об-
обработок несколько, возможно предположение, что их эффективность
возрастает в определенном направлении, например, по мере увеличения
интенсивности воздействия. Для того, чтобы подтвердить или опро-
опровергнуть такое предположение, снова обратимся к проверке Яо. Но
на этот раз постараемся выбрать критерий, чувствительный именно к
альтернативам о возрастании (вариант: убывании) эффекта. Против та-
такой специальной и более узкой группы альтернатив можно предложить
ориентированный именно на эту ситуацию критерий Пейджа.
229
Критерий Пейджа предназначен для проверки гипотезы #0 об От.
Ди эффектов обработки (Но >П = £ = —JJ> проп. ^
тернатив с упорядочением: п ^ т2 £ < П, где хотя бы одно Из
неравенств строгое.
Статистика Пейджа. Введем величину г, как г,- = ^Х^. Ста
тистика Пейджа L по определению есть:
А-
L = Y.3TJ = г, + 2г2 + ■ • ■ + krk. G 5)
Вид критерия. Критерий проверки гипотезы Яо против альтернатив
с упорядочением на уровне значимости а имеет вид:
• принять Яо, если L < 1{ос,к,п);
• отклонить Яо в пользу альтернативы, если L ^ 1{а, к, п),
где функция 1{а,к,п) удовлетворяет уравнению P{L ^ 1{а,к,п)} = а.
Таблицы и асимптотика. Для значений к = 3, п = 2AJ0 и
к = 4A)8, п = 2AI2 таблица приближенных значений J(a,fc,n) дана
в [91). В случае больших значений кип для нахождения процентных
точек следует использовать асимптотическое распределение статистики
L. Рассмотрим величину L":
L-nk{k+lJ/4
L — %—rrz г
При справедливости Яо статистика L* имеет при п —* сю асимптоти-
асимптотическое распределение N@,1) (сведения о более точной аппроксимации
можно найти в [50]). Следовательно, приближенный критерий для про-
проверки Яо против альтернатив с упорядочением на уровне значимости
а имеет вид: принять Яо, если L* < za, в противном случае — от-
отклонить Яо в пользу альтернативы. Здесь za — а-процентная точка
стандартного нормального распределения.
Если в пределах строки исходной двухфакторной таблицы встреча-
встречаются совпадающие значения, надо использовать средние ранги. Чей
больше таких совпадений, тем более приближенными становятся вы-
выводы.
7.5. Практический пример
Покажем, как используются описанные выше критерии на практи-
практике. В таблице 7.2 приведены данные из [91]. Они являются резуль-
результатом исследования зависимости частоты самопроизвольного дрожания
230
Вес браслета (фунт)
~
Испытуемый\Обработка
1
2
3
4
5
6
мышц рук (тремора) от тяжести специалТн^б^е7а, одеваемого на
запястье.
. Каждое табличное значение - среднее из 5 экспериментальных
измерении частоты тремора у испытуемого. Каждая обработка соответ-
соответствует весу браслета, измеренного в фунтах. Перейдем от таблицы 7.2
к соответствующей таблице рангов 7.3.
Таблица 7.3
Испытуемый\Обработка
1
2
3
4
5
6
ri
ri
1
5
5
5
5
5
5
30
5
2
4
4
4
4
4
4
24
4
3
2
3
3
3
3
3
17
2.8333
4
3
2
1
2
2
2
12
2
5
2
7
1.1667
В двух последних строках таблицы 7.3 приведены соответственно
суммы рангов по каждому столбцу и средние суммы рангов по столбцам.
Подставляя эти значения в выражение G.4), вычислим статистику
Фридмана S (здесь п = б, к = 5):
S =
12
пк(к -
- Зп{к + 1) = 22.5333.
Для проверки с помощью статистики S гипотезы Но против про-
произвольных альтернатив воспользуемся ее асимптотическим распределе-
распределением х2 с {к - 1) степенями свободы. При а = 0.05 соответствующая
процентная точка распределения *2D) есть х2DД05) = 9.488, при
а = 0.01 - х2D,0.01) = 13.292, при а = 0.001 - Х2D,0.001) = 18.51.
Учитывая, что S > х2D,0.001), мы отвергаем гипотезу в пользу альтер-
альтернативы на уровне значимости а = 0.001. Согласно таблицам распреде-
Ul231
Ттмш к'ланным таблицы 7.2 критерий Пейджа,
Теперь прнменимкдан^ ^^ ^ ^^ ^^
т^ и 7ли-нии веса браслета. Чтобы непосредственно
нить Грмулу G-5), построенную для возрастающего влияния Уров.
LS а, мы должны произвести перенумерацию столбцов Табли.
цы 7 3 в обратном порядке. То есть номер j = 1 будет соОТ.
ве ствовать пятому столбцу таблицы 7.3, номер j_= 2 - ч
тому столбцу и т.д. Соответственно статистика Пеиджа L рав„а:
™" ^^=7+2-12 + 3-17 + 4-24 + 5-30 = 328.
Из'таблицы критических значений статистики Пейджа в [91] На.
ходим, что для а = 0.01 /@.01,5,6) = 299, а при а = 0.001
/(О 001 5,6) = 307. Так как L ^ /@.001,5,6) то, следовательно, гипотеза
Яо должна быть отвергнута в пользу альтернативы п ^ т2 ^ ... ^ц
на уровне значимости а = 0.001.
Для нахождения приближенного значения минимального уровня
значимости критерия Пейджа воспользуемся нормальной аппроксима-
аппроксимацией распределения статистики V'. В нашем примере значения п и к в
выражении G.6) равны соответственно 6 и 5. Следовательно:
328-6-5-E+1J/4
Ь ""[6- A25 - 5J/A44 .4)р/2 • '
Согласно таблицам стандартного нормального распределения, ми-
минимальный уровень значимости, на котором может быть отвергнута
гипотеза с помощью критерия Пейджа, равен а = 0.000001, что на
два порядка меньше, чем для критерия Фридмана. Это иллюстрирует
положение, что в случае упорядоченных альтернатив критерий Пейджа
обладает большей мощностью, чем критерий Фридмана.
7.6. Двухфакторный
дисперсионный анализ
Если есть основания предполагать, что случайные величины е*,- в
модели двухфакторного анализа GЛ) имеют нормальное распределение
с нулевым средним и неизвестной одинаковой при всех г и j дисперсией
а , можно предложить более мощный критерий для проверки гипотезы
Но '• П = т2 = • ■ • = тк и построить более эффективные оценки параме-
параметров д, Tj и р^ Используемые для этого методы аналогичны тем, которые
были рассмотрены при решении задач однофакторного дисперсионного
232
на
а11ализа в пункте 6.5 главы 6. В связи с этим здесь мы дадим только их
краткое описание, достаточное для решения прикладных задач
Получение оценок дисперсии: Так же, как и в задаче одаофак-
рИого дисперсионного анализа, проверка гипотезы Яо основывается
н сравнении двух независимых оценок о\ При этом одна из оценок а2*
действует вне зависимости от того, верна ли гипотеза Яо, а другая -
2" — только в случае справедливости гипотезы
Оптимальная в классе несмещенных оценок оценка а2' может быть
получена с помощью метода наименьших квадратов. Для этого сначала
оценим неизвестные значения параметров д, ft и Tj в модели G.2).
д именно, найдем значения р., /3£ и Tj такие, что при них достигает
минимума выражение:
£>ц -II -Pi- TjJ G.7)
при условии, что Yli=i Pi = ]Cj=i Tj — О- Минимальная величина
G.7), равная Y^i,j(xij ~* A ~~ Pi ~ TjJ> выражает разброс наблюдений
относительно подобранных ожидаемых значений.
Решение задачи G.7) осуществляется стандартными методами ма-
математического анализа и приводит к следующим оценкам ft, Pi и ту.
2
nk
р. = х.. = — ^2 S XiJ & = Xi- ~x" = klL Xii ~ x"
ni=i
Полученные оценки параметров модели имеют следующие распре-
распределения:
Для получения оценки ст2* можно использовать величину:
^^(х„ - а - А - у2=
,-=ii=i i=1J=1
которая имеет распределение aV с числом степеней свободы пк (п
1) - (fe - 1) - 1 = (п - 1)(к - 1). Сама оценка а2 равна:
f
О =
-233
Выюжение G 9) дает несмещенную оценку а2*, которая ci
ва как при выполнении гипотезы Яо. так и при ее нарушении.
Для получения второй оценки величины и , независимой от оценКн
а2- воспользуемся тем, что случайные величины х.и...,х.кш Шш
шиеся средними значениями по соответствующим столбцам таблицы
двухфакторного анализа, при нулевой гипотезе независимы и одинаково
распределены по нормальному закону Nfaa /n). На их основе Мы
стандартным образом (см. гл. 5 и 6) можем сконструировать статистн-
ку для оценки а2: п Ej=i(*-i - *"J' имеющУю Распределение o*tf c
(к - 1) степенями свободы. При этом сама оценка а ** есть:
-Ь-J- G.10)
При Но выражение G.10) тоже дает несмещенную оценку а2. При
нарушении же Яо статистика G.10) приобретает тенденцию к увели-
увеличению — тем большую, чем больше различие между эффектами обра-
обработки Ti,T2,..-,Tk.
Критерий для проверки гипотезы Но : тг = т2 = ■ ■ ■ = Th
Составляя, так же как в гл. 6, F-отношение двух оценок дисперсий,
получаем:
F =
При гипотезе величина F имеет F-распределение с числом степеней
свободы (к ~ 1) и (п - 1)(к - 1). Критерий для проверки гипотезы Яо
имеет при этом следующий вид:
• отвергнуть гипотезу Яо на уровне значимости а, если F ^ Fi_Q;
• не отвергать гипотезу Щ на уровне значимости а, если F <
Здесь Fi_a обозначает квантиль уровня 1 — а F-распределения с
числом степеней свободы {{к - 1) и (п - 1)(А; - 1)).
Замечание. Обратим внимание на то, что полная сумма квадратов откло-
отклонений величин xtj от их общего среднего х.. представима в виде:
234 .
ИЬЬч
ОтСЮДа и идет название «дисперсионный анализ* ™ ' '
„„я дисперсии (вариации, изменчивости) на чагти \1 6СТЬ анализ
факторов, и часть, обусловленную случайной изменш^™™"™* """"нием
/7о\й 1С»чивостью самих данных
Выше в G.8) были получены оценки параметпо
ской) модели линейного дисперсионного анализ Ни°РМальной (гаУс"
ение. Последнее позволяет легко nocrnZf УКЭЗаН° Их рас"
совской) модели линейного дисперсион
пределение. Последнее позволяет легко
Зрительные интервалы. При этом Z
Пользовать величину J\
Следует отметить, что выводы
„ли неравенстве эффектов n^
* Д°
^Персии следует
7.7. Двухфакторный анализ в пакетах
STADIA и STATGRAPHICS
7.7.1. Пакет STADIA
Пример 7.1к. С помощью критерия Фридмана проверим нулевую
гипотезу об отсутствии эффектов обработки для данных о зависимости
частоты самопроизвольного дрожания мышц рук (тремора) от тяжести
специального браслета, одеваемого на запястье (табл. 7.2).
Подготовка данных. В электронной таблице пакета введем дан-
данные первого столбца таблицы 7.2 в переменную х1, второго — в пере-
переменную х2 и т.д., как это показано на рис. 7.1.
* '1
2.
jB,-
L"T5-: -
1
3
3
I 3
3
3
" i
.01
47
.35
3.1
41
.07
■
2.85
3.43
Э.14
2.86
3.32
3.06
■
Таблице
1 1
1 2.62'
3.is!
3.02]_
2.58!
3.08J
2.8S|
I
данных
2.63
2.83
2.71
2.49
2.96
2.5
1
2.58
27
2.78
2.36
2.67
2.43
1.
1 4U
I
■♦
Рис. 7.1. Электронная таблица с данными для двухфакторного анализа
Процедуры непараметрического двухфакторного анализа пакета
STADIA однозначно требуют, чтобы данные, отвечающие различным
способам обработки (уровням фактора), находились в отдельных пере-
переменных. Число наблюдений в каждой переменной должно быть одина-
235
ковым, наблюдефя, соответствующие одному блоку, должны стоять
одной строке. Как и в процедурах однофакторного анализа, НаЛИч
посторонних переменных в файле данных недопустимо. Чие
Выбор процедуры. В меню Статистические методы (рис. 1.17) Щелк
мышью кнопку С = 2-факторный (можно также нажать клавишу g?
Программа выведет запрос (рис. 7.2), в котором надо выбрать нужны"
метод двухфакторного анализа. Следует щелкнуть мышью кнопку 6 -
Фридмана или нажать клавишу ©.
Параметрический
Повторяемый, нолсль:
I, 3-случанн. эшшесты, I
4=оанпаннзир.блпкн
5=СГРУППИРОВКОЙ
Градаций фактора! =|2
Нспвранетрнчсскнн
Б=Фонпнвна
Рис. 7.2. Пакет STADIA. Запрос выбора метода двухфакторного анализа
Результаты. Программа выведет в окно результатов (рис. 7.3)
значение статистики Фридмана, ее уровень значимости, вычисленный
с помощью асимптотического распределения хи-квадрат, и число сте-
степеней свободы этого распределения. Сравнивая полученный уровень
значимости с фиксированным (равным 0.05) система выдает сообщение
о наличии или отсутствии влияния фактора на отклик.
Далее следует запрос системы «Значения 1-го фактора упорядочены?». При
положительном ответе на этот вопрос (кнопка [ Да | или | Yes |) программа
выдает значение статистики Пейджа и нормальную аппроксимацию ее
уровня значимости.
2-ФАКТОРНЫЙ ДИСПЕРСИОННЫЙ АНАЛИЗ. Файл:tremor
Фридман=22.533, Значимостью.0001, степ.своО = 4
Гипотеза 1: <Есть влияние фактора на отклик>
Пейдж=212, 3начиыость=0, степ.своО «• 5,6
Гипотеза 1: <Есть влияние фактора на отклик>
Рнс. 7.3. Результаты применения критериев Фридмана и Пейджа
Пример 7.2к. Проведем двухфакторный дисперсионный анализ
для данных примера 7.1 к: проверим нулевую гипотезу об отсутствии
эффектов обработки, оценим значения этих эффектов и построим для
них 95% доверительные интервалы.
Подготовка данных. Мы будем использовать в качестве исходных
те же данные, что и в примере 7.1 к выше.
236
Выбор процедуры. В меню Статистические метал* и «
с , 2-факторный (клавиша ©). В появившемсяГзЗ? «Р™ ПуНКТ
двухфакторного анализа (рис. 7.2) следует ZmZZ °РЯ МещИ
Повторяемый (можно также нажать клавишТ©) КН0ПКУ 1 =
Под повторяемым планом эксперимента D п
еТСЯПплан, содержали повторньиЛГрГни? рТ^ГдГГ^
знаЧений двух исследуемых факторов. А^еповТр/~
грамма называет план эксперимента, не содержащий таких повтори'^
„змерении В нашем случае мы имеем только одно числовое значение
яля каждой комбинации факторов, поэтому должны выбрать неповто-
ряемый план эксперимента. F HUIOBT0
Результаты. Экран вывода результатов этой процедуры содержит
базовую таблицу дисперсионного анализа (рис. 7.4) (ее описание смотри
в примере б.2к для пакетов STADIA и STATGRAPHICS, рис. 6.3 6 12) В
нашем примере значения F-статистик для каждого из факторов Р(фактор1)
и Р(фактор2) и их уровни значимости показывают, что имеется влияние
каждого из факторов на отклик.
2-ФАКТОРНЫЙ ДИСПЕРСИОННЫЙ АНАЛИЗ. Файл: tremor.std
Факторный план: неповторяемый
Источник Сум.квадр Ст.своО Ср.квадр Сила влияния
Факт.1 1.8017 4 0.45044 0.9835
Факт.2 0.90726 5 0.18145 0.9364
Остат. 0.16449 20 0.0082247
ООщая. 2.8735 29 0.099086
Г(фактор1)=54.767, Значимость-0, степ.своО ■• 4,20
Гипотеза 1: <Есть влияние фактора на отклик>
Г(фактор2)=22.062, Значимость^, степ.своО ■= 5, 20
Гипотеза 1: <Есть влияние фактора на отклик>
Рис. 7.4. Результаты процедуры двухфакторного дисперсионного анализа
Вслед за таблицей дисперсионного анализа в окне результатов нахо-
находятся оценки влияния для уровней каждого из двух факторов (рис. 7.5).
Здесь приводятся оценка общего среднего /z (строка Среднее), оценки
величин Pi (в строках Эффекты—Эффект1-5) и ту (в строках Эффект2-1—
Эффект2-6). Оценки вычисляются по формулам G.8).
Параметры модели:
Среднее = 2.9003, доверит.инт."О.043188
Эффект1-1 = 0.33467, доверит.инт.=0.11685
Эффект1-2 = 0.20967, доверит.инт.=0.11685
Эффект1-3 = -0.017, доверит.инт.=0.11685
Эффект1-4 = -0.21367, доверит.инт.=0.11685
Эффект1-5 = -0.31367, доверит.инт.-0.11685
Эффект2-1 = -0.16233, доверит.инт.-0.11696
Эффект2-2 ■= 0.21567, доверит.инт.=0.11696
Эффект2-3 = 0.099667, доверит.инт.=0.11696
Эффект2-4 " -0.22233, доверит.инт.-0.11696
Эффект2-5 •» 0.18767, доверит.инт..11696
Эффект2-6 = -0.11833, доверит.инт.=0.11696
Рис. 7.5. Оценки параметров модели в процедуре
двухфакторного дисперсионного анализа
1J37
i ппи использовании повторяемого и неповторяемого пЛ9
Замечания. 1. Пр ис"°^3 программы STADIA надо готовить I
эксперимента ис^едв^ыедР ^ ^^ ^ итьП
рому. Исхо^"^уе размером п х к, * которой столбцы отвечаю?! 3
представлять собой^^\к / т первого фактора), строки отвечЕ
С:^Г11м второго фактора), а каждый элемент естьt
етании уровней исследу ^
Л11ЧНЫ^:^м(ГУ11м второго фактора), а каждый элемент естьt
различным блокам in № сочетании уровней исследуемых ф^
Гов ИЭт м ебоаа!2 в точности соответствуют рассмотренные выше?!£
тороЕ Этим треооо e||T0D с повторными наблюдениями в матриЦе
п^ных до/жно быть п* переменных, в каждой из которых записаны повторные
измёпенГГяТнекоторого сочетания значении факторов (для сочетания факто-
noП измерения должны содержаться в столбце с номером г + {к-Ш
Значение к- число уровней первого фактора. - указывается в запросе выбора
метода двухфакторного анализа.
2 Внимательный читатель может вспомнить, что в п. 7.5 говорилось 0
том что на самом деле для каждого сочетания уровней факторов проводилось
5 наблюдений частоты тремора. Однако нам известны только результаты усред.
нения этих повторных наблюдений, а исходная информация нам не доступна.
Поэтому при анализе мы должны считать наблюдениями эти известные нам
средние значения повторных измерений тремора. Для каждого сочетания уров-
уровня факторов мы имеем одно такое усредненное наблюдение, поэтому на запрос
программы о плане эксперимента следует указать неповторяемый план. Можно
сказать, что в этой задаче на этапе сбора данных был осуществлен переход от
повторяемого плана эксперимента к неповторяемому.
7.7.2. Пакет STATGRAPHICS
Пример 7.1к. С помощью критерия Фридмана проверим нулевую
гипотезу об отсутствии эффектов обработки для данных о зависимости
частоты самопроизвольного дрожания мышц рук (тремора) от тяжести
специального браслета, одеваемого на запястье (табл. 7.2).
Подготовка данных. В редакторе базы данных пакета (процедура
2. File Operations пункта A. Data Management головного меню пакета) в файле
TREMOR следует создать 5 переменных с именами var1, var2, .... уаг5в
формате с двумя десятичными знаками после точки (в поле Туре описания
типа переменной надо указать значение 2), каждая из которых содержит
данные соответствующего столбца табл. 7.2. Вид экрана редактора базы
данных с введенными наблюдениями приведен на рис. 7.6. Важный
моментом ввода данных для разбираемой процедуры является то, что
наблюдения, относящиеся к одному и тому же блоку (уровню второго
фактора), должны иметь один и тот же порядковый номер в своей
переменной, то есть образовывать строку в матрице данных.
Выбор процедуры. В головном меню пакета надо выбрать пункт
J. Analysis of variance, а в меню указанного пункта (рис. 6.7) — проце-
238
Cursor at Row:
Column:
Length 6 6 6
Typ/Wth 2/8 2/7 2/8 2/ 8 2/ 8
Рис. 7.6. Экран редактора данных с данными для двухфакторного анализа
дУру 5. Friedman Two-Way Analysis by Ranks (ранговый двухфакторный анализ
Фридмана).
Заполнение полей ввода данных. Экран ввода данных процедуры
приведен на рис. 7.7.
Friedman Two-Way Analysis by Ranks
Data: fREHOR.va 0 varVTflIS6R.VBr3, П W4 EH . г
Level codes: g^REPfCOU ■ б
Labels: ... .
Phc. 7.7. Запрос параметров процедуры двухфакторного анализа Фридмана
Заполнение полей ввода производится так же как в процедурах
рангового однофакторного анализа Краскела-Уоллиса и однофакторного
анализа (примеры 6.1 к и 6.2к в п. 6.7.2).
Обратим внимание на то, что процедуру критерия Фридмана можно
применять только к данным, состоящим из равного числа наблюдений
для каждого из к способов обработки в каждом из п блоков. Подобные
планы эксперимента часто называют сбалансированными.
Результаты. После заполнения полей ввода и нажатия клавиши
ШО ча экран выводятся результаты обработки данных в виде, указанном
на рис. 7.8.
Форма представления результатов вычислений этой процедуры пол-
полностью совпадает с процедурой рангового однофакторного анализа
Краскела-Уоллиса (рис. 6.10), разобранной в примере 6.1к. Для опреде-
определения уровня значимости статистики Фридмана в пакете используется
аппроксимация распределения этой статистики с помощью распределе-
распределения хи-квадрат с числом степеней свободы (к - 1).
239
, • r THFHnn vari TREH0n.var2.7nEH0n.var3.TnENOn.var4
Friedmn analysis of THEHQH.vari. ^^
/1.00000
2.83333
2.00000
1.16667
Test statistic = 22.5333 Si9nificance level = 1.56919E-4
P»c. 7.8. Результаты процедуры двухфактормого анализа Фридмана
Cursor at Row: 1 Data Editor Maximum Rows:
Column:
vari
1
var2
File: TREMOR Number of Cols:
var3
var4
var5
ffij
2
3
A
5
6
Я
Я
?
Я
Я
3.
01
47
35
10
41
07
2.
3.
3.
2.
3.
3.
85
43
14
86
32
06
2.
3.
3.
2.
3.
2.
62
15
02
58
08
85
2.63
2.83
2.71
2.49
2.96
2.50
2.
2.
2.
2.
2.
2.
58
70
78
36
67
43
Row
1
2
3
4
5
6
7
8
9
10
Length 6 6 6 6 6 6
Typ/Wth 1/1 2/8 2/7 2/8 2/8 2/8
Рис. 7.9. Экран редактора данных с данными для двухфакторного анализа
(введена переменная п)
Комментарии. I. В пакете отсутствует процедура, реализующая критерий
Пенджа, однако значение статистики этого критерия, как было показано в
пункте 7.5, легко получается нз таблицы 7.3 или нз аналогичной ей таблицы
рис. 7.8.
2. Для получения непараметрических оценок эффектов обработки в двух-
факторном анализе можно использовать процедуру 4. Median Polish of Two-Way ТаЫе
(декомпозиция двухфакторной таблицы). Ее вызов осуществляется из пункта
I. Бф1ога1огу Data Analysis (разведочный анализ данных) головного меню пакета.
Описание работы этой процедуры можно найти в f76j.
Пример 7.2к. Проведем двухфакторный дисперсионный анализ
для данных примера 7.1 к: проверим нулевую гипотезу об отсутствии
эффектов обработки, оценим значения этих эффектов и построим дтш
них 95% доверительные интервалы.
Подготовка данных. Смотри пример 7.1 к. Дополнительное
файле TREMOR создадим целочисленную переменную с именем п и введем
в нее значения 1, 2, 3, 4, 5, 6. Эта переменная будет использована при
заполнении экрана ввода параметров процедуры для указания уровней
одного из факторов. Результат ввода данных представлен на рис. 7.9.
240
Выбор процедуры. В головном меню пакета выберем пункт J. Analysis
Lee в меню указанного пункта (рис. 6.7) - процедуру 2. Multifactor
^ nfVariance (многофакторный дисперсионный анализ)
Analysis о'
Заполнение полей ввода данных. Экран ввода данных процеду-
оиведен на рис. 7.10. Ввод данных в эту процедуру во многом схож
Ры "** оМ в процедуру One-Way Analysis of Variance (однофакторный дисперси-
СВВЬ1Й анализ), разобранную в п. 6.7. Он сводится к следующему. В
°ННЬ Data (данные) надо ввести в виде числового вектора в произвольном
п°ле е данные двухфакторной (многофакторной) таблицы дисперси- ,
П0^ анализа. Поле Covariates (ковариаты) оставить незаполненным.
°НН чение этого поля смотри в комментариях.
Multifactor Analysis of Variance
r ^/artj TREHOR.vani TRU0R.var5
Data:
Covariates
Factors: A" i ЙНПЙШ 5
В: . n, п. П. n
C:
0:
E:
F:
G- I
H:
I:
J:
К" ..
L: ■
Interactions
ADCDEFGHIJKL
■ ■»»••*»«•
ADCDEFGHIJKL
Заполнение поля ft*» (факиры) а„ало= за=„к, *гогс;по-
„я в процедуре однофакторного ^"^^""Гпостат^но гибко осу
как отмечалось выше, коды уровней пГ^1ш определенности,
ществлять ввод данных многофакторнои таблицы. Ддамяр д _
пусть фактор А соответствует способу обраб тки а факторВ ^
даемому испытуемому. Обратим внимай е^> ™в ^„^„ш.
ветствующий весу браслета, »""«*»£ конкретный вес браслета
Однако в том случае, когда нас не интересу (азуем, мы можем интер-
или характер влияния величины вес ат■ V в ^ пр[шере _
претировать его как ка';ествеН"Ь'Итсяпо определению качественным,
конкретный испытуемый — являеп.» к
241
В поле Factors необходимо для каждого из факторов указать его КОд,
уровня Учитывая порядок ввода в поле Data, коды уровней факТОра^
должны иметь следующую структуру:
aaaaaabbbbbbccccccddddddeeeeee
me a b с d e могут быть числами, символами или строками символьной
MBTDHiii' Это выражение показывает, что первые шесть наблюдеНий
в векторе поля Data относятся к первому способу обработки (уровню
Лактора Л вторые шесть наблюдений - ко второму способу обработки
и тд В частности, его можно задать выражением:
111 1П222222333333444444555555
которое кратко записывается с помощью операторов пакета в следу.
ющем виде
6REPCOUNT5
в первой строке А поля Factors (описание этого выражения дано в приме-
примере 6.1 к). Коды уровней фактора В должны иметь структуру:
abcdefabcdefabcdefabcdefabcdef
где а, Ь, с, d могут быть числами, символами или строками символь-
символьной матрицы. Это выражение показывает, что первое наблюдение в
векторе поля Data относятся к первому блоку (уровню фактора В), вто-
второе наблюдение — ко второму блоку и т.д. В частности, его можно
задать выражением:
12345612345612 3456123456123456
для краткой записи которого использована специально созданная нами
переменная п (см. рис. 7.9).
Порядок заполнения полей Range test (множественные сравнения) и
Confidence level (уровень доверия) совпадает с порядком заполнения этих
полей для процедуры однофакторного анализа. Оставим в этих полях
значения, предлагаемые пакетом по умолчанию, а именно: Conf. Int. и 95.
Поле Interactions (взаимодействия) позволяет дополнительно учиты-
учитывать в модели G.2) взаимодействие факторов. При рассмотрении мо-
моделей без взаимодействия факторов в этом поле следует удалить все
звездочки (*) в строках рассматриваемых факторов. В строках, где коды
уровней факторов не заданы, звездочки можно не удалять.
Результаты. После заполнения полей ввода и нажатия клави-
клавиши (Те] на экран выводится базовая таблица дисперсионного анализа
(рис. 7.11).
Описание столбцов этой таблицы было дано при разборе процедуры
однофакторного анализа (пример 6.2к). В первой строке таблицы MAIN
242
J^va^JTREH0R.var3. TREMOR.
urCe of variation Sum of Squares
НАШ EFFECTS
6 REP COUMT 5
n. n. n. n. n
RESIDUAL
TOTAL (CORR.)
2.7090033
1.8017467
.9072567
.1644933
2.8734967
0 missing values have been excluded.
рве. 7.11. Результаты выполнения двухфакторного дисперсионного анализа
EFFECTS (главные эффекты) указана величина вариации данных, прихо-
приходящаяся на рассматриваемую двухфакторную модель. Две следующие
строКИ таблицы 6 REP COUNT 5 и п, n, n, n, n показывают, как вариация
данных первой строки распределяется между факторами А и В. Строка
RESIDUAL (остатки) содержит вариацию данных, не объясненную рассма-
рассматриваемой моделью. Строка TOTAL (CORR.) (общая вариация, скорректиро-
скорректированная на среднее значение), как и в однофакторном анализе, содержит
обшую вариацию данных.
В качестве F-ratio (F-отношения) рассматривается частное отделения
Mean square (средних квадратов), обусловленных факторами, на средние
квадраты остатков. Эти статистики стандартным образом используются
для проверки гипотезы об отсутствии влияния каждого из факторов. В
последнем столбце таблицы приведены значения минимальных уровней
значимости соответствующих F-отношений.
Как следует из приведенной таблицы, мы должны отвергнуть ги-
гипотезу об отсутствии влияния способов обработки (фактор А). Мини-
Минимальный уровень значимости F-отношения для проверки гипотезы об
отсутствии влияния фактора В (третья строка таблицы) показывает,
что эта гипотеза также должна быть отвергнута. Другими словами,
испытуемых нельзя считать однородной группой и описывать данные с
помощью однофакторной модели.
Для получения оценок эффектов обработки и их доверительных
интервалов следует нажать (Esc). Произойдет возврат к экрану ввода
параметров процедуры (рис. 7.10), на котором появится всплывающее
меню углубленного анализа (см. рис. 6.13). Назначение процедур этого
меню указано при разборе однофакторного анализа в примере 6.2к в
п. 6.7.2.
Необходимые в примере оценки выдает процедура Means table, разо-
разобранная выше. Результаты ее работы приведены на рис. 7.12.
Форма выдачи результатов этой процедуры совпадает с аналогичной
процедурой однофакторного анализа (рис. 6.14) и описана в приме-
243
Table of means for TREMOR.vaN. TREH0R.var2. TREH0R.var3. TREMOR.
Level Count
Stnd. Error Stnd. Error 95 Percent CnnF-^
Average (internal) (pooled s)
6 REP COUMT 5
1
2
3
4
5
n. n. n. n. n
1
2
3
4
5
6
6
6
G
6
6
I
5
5
5
5
5
5
3.2350000
3.1100000
2.8833333
2.6866667
2.5866667
2. 7380000
3.1160000
3.0000000
2.6780000
3.0880000
2.7820000
.0806536
.0966092
.0984773
.0758361
.066616C
.0827889
.1549064
1172604
. 1336563
. 1320379
. 1356982
.0370240
.0370240
.0370240
.0370240
.0370240
.0405578
.0405578
.0405578
.0405578
.0405578
.0405578
3-1577506
3.0327506
2.8060839
2.6094172
2.5094172
2.6533775
3.0313775
2.9153775
2.5933775
3.0033775
2.6973775
2494
3.1872494
2.9605828
2.763916]
2-663916]
2.8226225
3-2006225
3.0846225
2-7626225
3.1726225
2-8666225
Total
30 2.9003333 .0165576 .0165576 2.8657863
Рис. 7.12. Результаты вычисления эффектов обработок
ре 6.2к в п. 6.7.2. Для получения собственно оценок эффектов обраб
ки, при записи модели в форме G.2) следует из средних значений д/
каждого уровня обработки (пять первых строк таблицы) вычесть общ
среднее (последняя строка таблицы).
Комментарии. 1. Процедура позволяет наряду с качественными Лактп
рами учесть влияние на отклик до трех количественных переменных kotodu
часто рассматриваются как мешающие. Для ввода этих переменных следует
использовать поле ввода Covanales. Их длина должна совпадать с длиной
введенного в поле Data.
2. При рассмотрении более сложных моделей двухфакторного анализа
тывающих взаимовлияние факторов и (или) ковариаты, в базовой таблице т
персионного анализа (рис. 7.11) появятся дополнительные строки отражаю!'
вариацию данных, которая приходится на эти эффекты 0ТРажающне
Глава 8
Линейный
регрессионный анализ
8.1. Модель линейного
регрессионного анализа
Линейный регрессионный анализ объединяет широкий круг задач
связанных с построением функциональных зависимостей между двумя
группами числовых переменных: хи... , Хр и уи... , yq. д™ краткОсТИ
мы объединим хи... ,хрв многомерную переменную х, а уг . у — в
переменную у, и будем говорить об исследовании зависимости между х
и у. При этом мы будем считать х независимой переменной, влияющей
на значения у. В связи с этим мы будем называть у откликом, а
х = (хи. ■. , хР) — факторами, влияющими на отклик.
Исходные данные. Статистический подход к задаче построения
(точнее, восстановления) функциональной зависимости у от х осно-
основывается на предположении, что нам известны некоторые исходные
(экспериментальные) данные (х{,у{), где у{ — значение отклика при
заданном значении фактора х{, i изменяется от 1 до п. Пару значений
(xi.yi) часто называют результатом одного измерения, an — числом
измерений.
Регрессионная модель. Мы будем предполагать, что наблюдаемое
в опыте значение отклика у можно мысленно разделить на две части:
одна из них закономерно зависит от х, то есть является функцией х;
другая часть — случайна по отношению к х. Обозначим первую через
/(х), вторую через е и представим отклик в виде
he. (8.0
где е — некоторая случайная величина. Случайное слагаемое е выра-
выражает либо внутренне присущую отклику изменчивость, либо влияние
на него факторов, не учтенных в соотношении (8.1), либо то и дру-
другое вместе. Иногда е называют ошибкой эксперимента, связывая ее
присутствие с несовершенством метода измерения у.
Применяя соотношение (8.1) к имеющимся у нас исходным данным,
получаем:
245
Предположения об ошибках. Разделение у£ на закономерНую и
случайную составляющие можно сделать только мысленно. Реально н„
Z JU в отдельности нам не известны, в опыте мы узнаем только
их сумму В связи с этим нам необходимо сделать определенные уточ-
нения относительно величин е{. В классической модели регрессионного
анализа предполагается, что:
а) все опыты были проведены независимо друг от друга в том смы-
смысле, что случайности, вызвавшие отклонение отклика от зако-
закономерности в одном опыте, не оказывали влияния на подобные
отклонения в других опытах;
б) статистическая природа этих случайных составляющих остава-
оставалась неизменной во всех опытах.
Из этих предположений очевидно вытекает, что случайные величи-
величины £\,... , £п статистически независимы и одинаково распределены.
В последние десятилетия активно развиваются методы, позволяю-
позволяющие находить решение задачи при изменении и ослаблении этих пред-
предположений (см., например, [20]).
Предположения о регрессионной функции. Для того, чтобы
задача о подборе функции отклика / была осмысленной, мы должны
определить набор допустимых функций /(х). Как правило, предполага-
предполагают, что множество допустимых функций является параметрическим се-
семейством /(х,0), где 0 6 0 — параметр семейства. Тогда соотношение
(8.2) можно переписать в виде:
У.- = /(х.-,0) + е.-, г=1,...,п, (8.3)
и восстановление зависимости между х и у оказывается эквивалентным
указанию значения в (точнее, ее оценки 0) по исходным данным (х,- ,у,-),
i = 1,... ,7i. Знание в позволит нам по заданному значению фактора х
предсказывать отклик у, точнее, его закономерную часть.
Например, в наиболее простой задаче одномерной линейной регрес-
регрессии (она подробно рассматривается в п. 8.2) мы предполагаем зави-
зависимость между х и у вида у = ax + b + е, где а и b — неизвестные
параметры. Тогда в — это двумерный параметр (а, Ь).
В этой книге мы рассмотрим широко распространенную в практи-
практических задачах ситуацию, когда функция /(х, в) линейно зависит от
параметров в, то есть /(х, в) = Л(х)в, где А(х) — некоторая известная
матрица, элементы которой зависят от х, в — вектор, составленный
из неизвестных параметров. Эта задача носит название линейного ре-
регрессионного анализа. С кратким обзором методов построения регрес-
246
„оН„ь.х зависимостей в случае, когда /(х, в) „е линейна
Лакомиться в [31], или более подробно в [28].
По »■
р планировать буду^ГриГ™^
£«*.«« «смри-е-ли». В этом случае значения факторов
„ рассматриваются как неслучайные. Более тот, сообразуясь
эКс„ериме"та. экспериментатор может выбрать его план (т.е.
X») НаИЛуЧШИМ обраЗОМ.
Z""в отличие от этой ситуации в пассивном эксперименте значения
фактора складываются вне воли экспериментатора, под действием дру-
ГAХ обстоятельств. Поэтому значения х< иногда приходится толковать
как случайные величины, что накладывает особые черты на интерпре-
интерпретацию результатов. Сама же математическая обработка совокупности
(Xi,yi)> i = 1.- • • . " от этого не меняется.
8.2. О стратегии, методах
и проблемах регрессионного анализа
Предваряя подробный разбор методов регрессионного анализа, расс-
расскажем, не вдаваясь в подробности, об общем порядке решения регресси-
регрессионных задач. При первом чтении данный параграф можно пропустить.
Простая регрессия. Самый простой случай регрессионных за-
задач — это исследование связи между одной независимой (одномерной)
переменной х и одной зависимой переменной (откликом) у. Эта за-
задача носит название простой регрессии. Исходными данными этой
задачи являются два набора наблюдений х\,Х2,. ■ ■ ,хи — значения х и
J/iiJ/2.- ■ • ,2/« — соответствующие значения у. Мы сначала расскажем о
последовательности действий при решении задач простой регрессии.
Подбор модели. Первым шагом решения задачи является предпо-
предположение о возможном виде функциональной связи между хну. При-
Примерами таких предположений могут являться зависимости: у = а + Ьх,
y=a + bx + сх2, у = ea+bx, у = 1/(а + Ьх) и т.д., где а, Ь, с и т.д. —
неизвестные параметры, которые надо определить по исходным данным.
Компьютерные программы регрессионного анализа, как правило, содер-
содержат достаточно обширные списки подобных функций или позволяют
задавать вид зависимости формулой.
Для подбора вида зависимости между х и у полезно построить
и изучить график, на котором изображены точки с координатами
247
( „ ) (х2 У2). • ■ ■ ■ (*'" »»)■ И|ЮГЛ' ПРИМеРНЫЙ °ИД 3аВ^ИМ0
иает имеете,;f из теоретических соображении или предыдущих ^
дований аналогичных данных.
Оценка параметров модели После выбора конкреТНого
да функциональной зависимости /(*,*) можно по исходным т^
да функции провести расчет (оценку) 0, то есть щ
^■в^из^стных коэффициентов (параметров). Теме****
поГостью определили подобранную регрессионную функцию:
у = f(x, в), W в — оценка 0.
Анализ адекватности модели. После подбора регрессионной щ.
дели желательно выяслить, насколько хорошо выбранная модель от,,
сывает имеющиеся данные. К сожалению, единого общего правила^
этого нет На практике первое впечатление о правильности подобранной
модели могут дать изучение некоторых численных характеристик (коэф-
(коэффициента детерминации. F-отношения, доверительных интерваловm
оценок). Однако эти показатели скорее позволяют отвергнуть совсем
неудачную модель, чем подтвердить правильность выбора функционал
ной зависимости. Более обоснованное решение можно принять, срав-
сравнив имеющиеся значения у{ со значениями yit полученными с помощь»
подобранной регрессионной функции: у{ = Дх,-, в). Разности между
наблюдаемыми и предсказанными значениями у:
Ti = Уг - in = Уг ~ /(^i. 0)i г = 1,...,п
называют остатками. Например, для линейной зависимости у = а±Ьх
значения остатков вычисляются в виде: г,- = yi — yi = г/» — (а + 6х,-), где
а и b — оценки коэффициентов а и Ь.
Анализ остатков. Анализ остатков позволяет получить представле-
представление, насколько хорошо подобрана сама модель и насколько правильно
выбран метод оценки коэффициентов. Согласно общим предположениям
регрессионного анализа, остатки должны вести себя как независимые
(в действительности, почти независимые) одинаково распределенные
случайные величины. В классических методах регрессионного анализа
предполагается также нормальный закон распределения остатков.
Исследование остатков полезно начинать с изучения их графика. Он
может показать наличие какой-то зависимости, не учтенной в модели.
Скажем, при подборе простой линейной зависимости между х и у график
остатков может показать необходимость перехода к нелинейной модели
(квадратичной, полиномиальной, экспоненциальной) или включения в
модель периодических компонент.
248
пля проверки нормальности распределения пгт
пользуется график на нормальной вероятно,--™ - «°Ъ ЧЗЩе всего
•'7а так-е критерии типа Колмогоров5^™И %™* <*". 5.2,
од обно разобранные в гл. 10. "ирнова, хи-квадрат и др.,
П0 Лля проверки независимости остатков nfiUuun
Ар„йРи критерий Дарбина-Уотсона ИХ Чп;саИнП0ЛЬЗУЮТС
Й В случае выявления сильной корреляции S? "Г"
'регрессионной модели к моделям типа ^
еда и возможно использовать ^C
удаления тренда. Эти методики подробно описаны в гл. 12 и 14
Выбросы. График остатков хорошо показывает и резко отклоня-
отклонявшиеся от модели наблюдения - выбросы. Подобным набл *™
надо уделять особо пристальное внимание, так как их присутствие мо-
жет грубо искажать значения оценок (особенно если для их получения
используется метод наименьших квадратов). Устранение эффектов вы-
выбросов может проводиться либо с помощью удаления этих точек из
анализируемых данных (эта процедура называется цензурированием)
либо с помощью применения методов оценивания параметров, устойчи-
устойчивых к подобным грубым отклонениям. Иллюстрацией эффекта выброса
является пример 8.2к, разобранный в пункте 8.7.
Множественная регрессия. В более общем случае задача регрес-
регрессионного анализа предполагает установление линейной зависимости
между группой независимых переменных xltx2i...,xk (здесь индекс к
означает номер переменной, а не номер наблюдения этой переменной)
и одномерным откликом у. Эта обширная тема, носящая название
множественной регрессии, не нашла отражения в данной книге. С
ней можно познакомиться в [28], [31]. Заметим, что для решения этой
задачи существуют мощные компьютерные процедуры, они имеются и
в разбираемых нами пакетах.
Стратегия анализа адекватности подобранной модели в задаче мно-
множественной регрессии в целом аналогична задаче простой регрессии и
сводится к детальному анализу остатков.
Замечания. 1. Имеются процедуры решения задач множественной регрес-
регрессии, реализующие автоматический выбор тех переменных, которые оказывают
существенное влияние па отклик, и отсеивание несущественных переменных.
Эти методы носят название шаговой регрессии, они весьма эффективны на
практике.
2. Наибольшие трудности в задачах поиска зависимости от нескольких
переменных возникают, когда сами эти переменные сильно взаимозависимы.
Это весьма характерная ситуация для многих экономических задач. Показателем
подобной зависимости служит матрица корреляций переменных xux2,..-,xk.
Саном простой рекомендацией при сильно зависимых переменных является
249
nTI, u? чих к проведение повторных расчетов. Затем провп„
SS'Se™ *Z - льтатов. Другой особенностью пшшС**
может являться эффект, когда каждая из переменных хих2>... ,** действуй
от,шж не только независимо от других, но и порождает совместное всад^
Zwa этого в модель, кроме переменных xltx2l...,xk можно вклю^
^совместные произведения, например, переменные *, • х2, Xl . ^ ^
тя Однако в задачах множественной регрессии лучше стремиться сократщ
общее* исло переменных, от которых будет искаться зависимость, так Как
существенно упрощает последующий анализ модели.
Нелинейная регрессия. Скажем еще несколько слов 0 задаче
нелинейной регрессии. В этом случае параметры модели Q Входят
в подбираемую регрессионную функцию Дх, в) нелинейным образом.
Поэтому нахождение оценок параметров модели в в аналитическом вцде
обычно невозможно, так что эти оценки вычисляются на компьютере
методом итеративного приближения. Используемые здесь вычислитель-
вычислительные алгоритмы довольно сложны и не всегда работают успешно. Кро-
Кроме того, огромный произвол в выборе вида самой нелинейной зависи-
мости весьма затрудняет осмысленный подбор этой зависимости. На
наш взгляд, использование методов нелинейной регрессии оправдано,
в основном, когда вид регрессионной зависимости заранее известен из
теоретических соображений.
8.3. Простая линейная регрессия
Проиллюстрируем основные идеи обработки регрессионного экспе-
эксперимента (8.3) на примере простой линейной регрессии. Так называют
задачу регрессии, в которой х и у — одномерные величины (поэтому
мы будем обозначать их х и у), а функция f(x, 6) имеет вид А + Ьх, где
в = (At b). В этом случае соотношение (8.3) принимает вид:
у,- = А + Ьх{ + е{ i = 1,... , п. (8.4)
Здесь xi,...,xn — заданные числа (значения фактора);
2/1.--- . Уп — наблюденные значения отклика; £i,... , еп — независи-
независимые (ненаблюдаемые) одинаково распределенные случайные величины.
Гауссовская модель. При решении задачи (8.4) (как и во многих
других случаях) используются два основных подхода: непараметриче-
непараметрический и гауссовский, они различаются характером предположений от-
относительно закона распределения случайных величин е. Сначала мы
рассмотрим гауссовскую модель простой линейной регрессии. В ней
дополнительно к вышесказанному предполагается, что величины е,- рас-
распределены по нормальному закону N@,a2) с некоторой неизвестной
дисперсией а2.
250
наименьших квадратов. При вы„ппо
регрессионной модели можно пуГГ М6ТОД°В 0пРе*еления
„и. Один из наиболее ес«,2^^^!^РЯМИЧНЫ-
, что при по""
"££■ ТОМ' ЧТ° ПР" та°р0Ше* ««боре е„ки ГпГС^ие™ь.Х
Дичины у, - /(х.,*) (. случае npoc^Z „Гр^сиГ"
^„Ч1шь, да - i* - tei) Должны в совокупности быть близкТк нулю
;еру близости совокупности этих величин (они обычно „азываГя
цшиниш) к нулю можно выбирать по-разному (напр„мер"»«
„„дуле... сумму МОДУЛИ и т.д.), „о наиболее простые формулы расчёт^
„даются, если в качестве этой меры выбрать сумму квадратов
п
п
}Vi A bx]2 miu
l
Определение. Методом наименьших квадратов называется
способ подбора параметров регрессионной модели исходя из ми-
минимизации суммы квадратов остатков.
Сам по себе метод наименьших квадратов не связан с какими-либо
предположениями о распределении случайных ошибок еь... , еп, он
может применяться и тогда, когда мы не считаем эти ошибки случай-
случайными (например, в задачах сглаживания экспериментальных данных).
Однако мы будем рассматривать метод наименьших квадратов в связи с
гауссовской моделью. Причины этого следующие:
t именно в гауссовской модели метод наименьших квадратов обла-
обладает определенными свойствами оптимальности (мы их обсу-
обсуждать не будем);
# в гауссовской модели получаемые с помощью этого метода оцен-
оценки неизвестных параметров обладают ясными статистическими
свойствами (которые мы обсудим).
Оценки метода наименьших квадратов. Чтобы упростить даль-
дальнейшие формулы, перепишем соотношение (8.4) в виде
yi = a + bfa - х) + е» i = l,...,n. (8.5)
где х = £ £"=1 хг, a = A + bx. Этот переход означает перенос начала
отсчета на оси абсцисс в точку х, которая служит центром совокупности
(выборки) xlt... ,хп.
Для нахождения оценок по методу наименьших квадратов нам надо
выяснить, при каких (о, Ь) достигается минимум выражения
251
частные производные по а и Ъ выражения
й относительно „.известных аиЬ:«
Ее решение (а, 6) легко найти:
а = у (где у =-
Пг=1
LAVi - У) (*«■ ~
Величины а, Ь и будут полученными по методу наименьших квадра.
опенками неизвестных нам величин а и Ь.
тов оценками неизвестных
Свойства оценок. Естественно, возникает вопрос: как соотносятся
начения а и Ь с истинными значениями а и Ъ или, другинн
наименьши
полученные значения
полученные значения а и Ь с , другинн
словами, каково качество оценок метода наименьших квадратов а и [.
Для ответа на этот вопрос укажем некоторые свойства этих оценок.
1) Ma = а и Mb = b;
2) Da = и2 In, uDb = a2/T!Li(xi ~ x)'
3 cov(a, 6) = 0;
4) случайные величины a и 6 обе распределены по нормальному
закону;
5) а и 6 независимы как случайные величины.
Доказательства утверждений 1 -3 могут быть получены прямым вычислени-
вычислением, используя выражения (8.7) и (8.8). Покажем, например, что Mb = b.
30*
f
£Li(*.-*J ~ £?-,(*<-30
поскольку величины xi,... ,хп и х не случайны и содержащие только ил
выражения можно вынести из-под знака математического ожидания. Далее,
поскольку Mei = 0 и Ml = 0, то
i^ i/l «Л/1 ^^ J/ I ^^ Cv -^~ Су I JL?\ ^^ Д/ !•
Подставляя это выражение в предыдущую формулу, находим, что МЬ = Ъ.
Заметим, что свойства 1-3 не используют предположения о нормальной
характере ошибок в модели (8.4) или (8.5). Зато свойство 4 верно только в
гауссовском случае. Доказательство свойства 4 следует из вида формул (8.7),
(8.8),_ которые по отношению к уи... , уп имеют вид линейных функций, а
линейные комбинации независимых нормальных случайных величин, как мы
отмечали ранее, сами распределены нормально.
Свойство 5 есть следствие нормальности ошибок и свойства 3. Независи-
Независимость оценок а,Ь заметно упрощает дальнейший анализ. В первую очередь ради
этого модель (8.4) была заменена на (8.5).
252
в совокупности свойства 1-4 дают важные результаты van
ощ„е качество оценок а и 6: Результаты, характери-
(8-9)
зуюь
а ~
оценка дисперсии. В модели (8.5), кроме 'а „ ь есть еще один
не„з„естныи параметр - дисперсия а „шибок наблюдения Это"
„араметр явно входит в соотношения (8.9) и тем самым влияет „а
„чность оценок. Поэтому о\ в свою очередь, требует оценивания
Кдоч к этому дает остаточная сумма квадратов
п
a-b(Xi-x)}\ (8Ю)
Можно доказать, что в гауссовской модели выражение (8.10) явля-
является независимой от а и^б случайной величиной, имеющей распреде-
распределение о2х2(.п ~ 2)- г^е X {п - 2) — распределение хи-квадрат с тг - 2
степенями свободы. Благодаря этому свойству мы можем построить для
а°- несмещенную оценку s2:
а°- несмещенную оценку s'
^2
2
Поскольку s2 не зависит от а и Ь, отношения
a — a b — b
и —
\
(8.12)
имеют распределение Стьюдента с (тг — 2) степенями свободы. Это по-
позволяет легко построить для параметров а и 6 доверительные интервалы
и указать тем самым, каковы статистические свойства погрешности при
их оценивании посредством (8.7), (8.8).
Проверка гипотез о коэффициенте наклона. Наиболее часто в
задаче простой линейной регрессии возникает вопрос о равенстве нулю
коэффициента наклона. Со статистической точки зрения это означает
проверку гипотезы Н : Ь = 0. Важность этой гипотезы объясняется
тем, что в этом случае переменная у изменяется чисто случайно, не
завися от значения х.
Против двусторонних альтернатив 6^0 гипотезу Я следует отверг-
отвергнуть на уровне значимости а, если число 0 не входит в доверительный
интервал для Ь, который мы стандартным образом строим с помощью
Указанного выше Стьюдентова отношения (8.12). Другая редакция этой
идеи, с использованием F-отношения, дана, например, в [31].
" 253
1/1,-■• • У i
' = V " ' =
Гтпит обратить внимание на сходство резул!»
ТГе встречали, имея дело с нормальной выборкой >(8.„|
тем. что ыы у^кд из ^ Оценками 2 и ПJ^
f" (у,- -уJ- ПР" этом а и s независимы каГТс1Ч
^-1 2 распределена как *У (п-1). д ^Ч
^ю записать в'виде 52 = ^ ЕГ=1 (к ~
пан с нормальной выборкой простирается и на более
гауссовские модели.
8 4. О проверке предпосылок
в задаче регрессионного анализа
Уверенность в том, что соотношение (8.4) или (8.5) и друГие пр
сылки правильно отражают условия опыта, никогда не бывает иод
Поэтому нужны средства для проверки хотя бы некоторых из основу
постулатов. Всех их из-за ограниченности информации, доставляем
единичным экспериментом, который мы обсуждаем, проверить нельзя.
Эти постулаты сложились на основе коллективного предыдущего опта
Независимость наблюдений. Наиболее фундаментальным яви-
ется предположение о том, что результаты отдельных измерений пре:-
ставляют собой независимые случайные величины. Проверить эту пред-
предпосылку статистическими средствами достаточно трудно, а при неиз-
неизвестном виде зависимости между наблюдениями — практически невоз-
невозможно. Ее выполнение должно быть обеспечено всей методикой опыта.
Одинаковая распределенность ошибок. Второе по важности
значение имеет предположение о том, что ошибки эксперимента m
случайные величины распределены одинаково. Иначе говоря, это озна-
означает, что измерения отклика имеют равную точность при всех значе-
значениях фактора — если случайную составляющую отклика мыслитьш
ошибку при его измерении. Если же эти случайные составляющие m
трактуем как выражение изменчивости, внутренне присущей перемен-
переменной у, то обсуждаемое предположение означает, что эта изменчивость
не испытывает влияния со стороны факторов. Это требование токе
трудно поддается статистическому контролю и должно поддерживаться
методикой эксперимента. В тех случаях, когда невыполнимость этого
условия ясна, классическая регрессионная схема использована быть не
может. Исключение составляет скорее теоретически мыслимый, чеи
практически возможный случай, когда известна зависимость от х рас-
распределения е. В других случаях статистическая неоднородность может
помешать применению регрессионного анализа.
254
вт функциональной зависимости.
ся предположение о виде ТзГси
еШа.ошее значение имеет правильный выбор выражения
особенно когда речь идет о прогнозе отклика вне области
проводились измерения. Важно выбрать функцию /М) ^
неР просто хорошо описывала закономерную часть отклика, но и и (ел
.физический, смысл, т.е открывала какую-то объективную закономео
„ость. Впрочем, полезны бывают и чисто эмпирические, "подгоночные,
формулы, поскольку они позволяют в сжатой форме приближенно вы-
выразить зависимость у от х. Поэтому выбор типа регрессионной зависи-
зависимости (8-3) является самой острой проблемой в любом исследовании О
том, как можно проверить его корректность, мы будем говорить ниже
на примере простои линейной регрессии (8.4).
Нормальность распределений ошибок. Остается сказать о по-
последней предпосылке, которая и выделяет гауссовский регрессионный
анализ. Речь идет о том предположении, что случайные величины
с,,... ,£п распределены по нормальному закону. На буквальном вы-
выполнении этого условия настаивать нет необходимости. Но без его
хотя бы приближенного осуществления нельзя использовать те стати-
статистические выводы, которые мы сумели сделать в п. 8.3. В случае одно-
одномерной регрессии для проверки этого условия можно воспользоваться
тем, что при справедливости предположений модели остатки т/,- - yit
где yi = a - Hxi — я), Должны вести себя практически так же, как
независимые одинаково распределенные случайные величины.
Проверка адекватности линейной регрессии. Обратимся к проверке
адекватности модели регрессии на примере простой линейной регрессии (8.4).
Основой для этого служат видимые отклонения от установленной закономерно-
закономерности, т.е. величины у< — iji, i — \,... , п, где
yi=a + b{xi-x). (8.13)
Поскольку фактор х — одномерная переменная, точки (я,-, #,■ —yCj можно
изобразить на чертеже. Такое наглядное представление наблюдений позволяет
иногда обнаружить в поведении остатков какую-либо зависимость от я. Однако
глазомерный анализ остатков возможен не всегда и не является правилом с
контролируемыми свойствами. Нужны более точные методы. Мы расскажем
об одном из таких методов, который можно применять, если при составлении
плана эксперимента предусматриваются многократные измерения отклика при
некоторых значениях факторов.
Проверка адекватности регрессионной модели при наличии повтор-
повторных наблюдений. При наличии повторных наблюдений при некоторых (а еше
лучше при всех) значениях факторов у нас появляется возможность получить
еще одну оценку величины изменчивости случайной составляющей е и сравнить
ее с полученной ранее оценкой дисперсии a .
255
п положим что в модели (8.5) при каждом значении х = х.,
Предположим, i (х и енИИ отклика. Их результаты г
проводится т "еза"" . yim. При этом уу как случайн|
удобно обозначить через», ,. У . = ^^ ^ ^ ^^У ии
Пр„
удобно обозн^жть р^; Д _ п (Можн из^и
независимы пр се ^ д при данном ^ м д в ^
ГУЭто н°ескол1 усложнило бы -дуюшие =е формулы, „е ^
принципиально.) От выборки у».. • • , У- переидем к
ГЭто
принципиально
Мы уже вспоминали, что величины (т - 1)в? . t = 1,... , п распреДелен.
как AV-1) и стохастически независимы от».-.. Объединяя, мы получщ JJ
Как мы видели в п. 8.3. другую оценку дисперсии ошибок дает остаточнав
сумма квадратов
1=1
Мы использовали формулу (8.10). Роль ?л в ней играет теперь у{., причем
£>у,.. = о2/т. Подчеркнем, что соотношение (8.16) действует, только если
регрессионная модель (8.4) или (8.5) выбрана правильно. В противном случаев
остаточную сумму квадратов, кроме случайных ошибок, входят и систематиче-
систематические, а потому она получает тенденцию к возрастанию.
Выражения (8.15) и (8.16) позволяют составить ^-отношение (как мы
поступали неоднократно, обсуждая дисперсионный анализ):
Г" Vm (it- ■ — 7/ 12
с числом степеней свободы (п — 2, п(т — 1)).
Гипотеза о линейности должна быть отвергнута, если наблюденное в опыте
значение F (8.17) оказывается неправдоподобно большим с точки зрения F-
распределения с п — 2, л(т — 1) степенями свободы.
Более подробную информацию о критериях проверки адекватности
модели, основанных на анализе остатков у{ — yit можно найти в [31].
8.5. Непараметрическая
линейная регрессия
Мы уже говорили выше, что когда есть сомнения в приложимости
гауссовской модели, вместо метода наименьших квадратов следует ис-
использовать другие. Здесь будет рассказано об одном из таких методов,
основанном на рангах наблюдений.
256
Модель. Рассмотрим схему простой линейной регрессии
Hi = А 4- Ьх.- -4- г ■ ?- _,
'•••'п' (8.18)
SS-ко (не У™ далее, £ ^^ТК
зависимости между у и х будем основывать на рангах у ЯснZ I
таКом случае ничего определенного о величине А сказать не удается так
как изменение всех у, на одну и ту же постоянную величину не изменяет
рангов ylt... , I/»- Предметом интереса остается только коэффициент
наклона Ь. Постараемся найти его оценку в схеме (8.18).
Оценка коэффициента наклона. Для дальнейшего удобно так
занумеровать наблюдения, чтобы
х\ < х2 < - • • < Хп.
При такой нумерации легче следить за поведением остатков.
Если из наблюденных величин Vi вычесть истинные значения bxit
то остатки у{ - Ьх{ = А + ег, г = 1,... , п образуют последовательность
н.о.р. случайных величин. Не зная Ь, мы будем вычитать из у{ пере-
переменную величину pxi, где /3 изменяется по нашему произволу. Остатки
у, -/За:,-, i = 1,... , 7? будут похожи на совокупность н.о.р. случайных
величин, когда /3 близко к Ь — и тем более похожи, чем ближе р к
6. Если нет, то остатки будут проявлять тенденцию к возрастанию или
убыванию вместе с номером г (это зависит от знака разности 6-/3). В
этом легко убедиться, переписав ?/,- - /fa,- в следующем виде:
Vi ~Рхг = yt - Ьхг +x{(b-P) = A + si + хг{Ь-C).
Так, при положительном значении разности {Ь — р) остатки yt - fixi
будут тем больше, чем больше номер г, учитывая, что Х{ упорядочены
в порядке возрастания.
Тенденцию изменения значений у{ - /Зж,- с изменением номера г
или отсутствие таковой можно обнаружить с помощью коэффициентов
корреляции. Если закон распределения не известен, надо использо-
использовать коэффициенты ранговой корреляции, и ниже эта возможность бу-
будет использована. (Подробнее о коэффициентах ранговой корреляции
смотри параграф 9.3.) Но прежде посмотрим, к чему приводит этот
подход при использовании обычного коэффициента корреляции Пирсо-
Пирсона (см. п. 1.8.1). Выборочный коэффициент корреляции Пирсона по
совокупности (х, yi - Рх{) имеет вид
г = .. '
9-783 257
Наименьшей
ствует значение i —
Fm решение - уже известное нам выражение (8.8). Итак,
зование коэффициента корреляции К.Пирсона приводит для Ъ к
наименьших квадратов. Поэтому можно предположить, что испс
ниё коэффициента ранговой корреляции тоже будет успешным.
Итак, для двух рядов чисел
ух - 0X1,2/2 - 0X2, ••-.!/»- 0хп
Х1,х2,...,х„ ^.19)
составим коэффициенты ранговой корреляции: р Спирмена и т КендЭл.
ла Коэффициент ранговой корреляции р Спирмена получается заменой
величии yi-0Xi и ж,- в коэффициенте выборочной корреляции-Пирсона
на их ранги. В данном случае, учитывая, что х{ упорядочены в поряд.
ке возрастания, ранг xt равен г (при условии отсутствия совпадении
между хг) Таким образом,
р=
где Л,- — ранг величины 7/,- -/5а;,-. Поскольку Яг- принимает значения от 1
до п. найдем: £Г=, (Л,- - ^J = Eii (* " ^J = 11^- Преобра-
зовав числитель выражения (8.20), окончательно запишем р в виде:
Коэффициент корреляции г Кендэлла определяется как
п(п - 1) п(п — 1)
где Р и Q — соответственно число согласованных и несогласованных
паР (?/i ~ 0Xi, Xi) и (yj - Pxj, xj) для всех i, j таких, что г < j. Здесь
пары (yi - fat, х{) и (yj - pxj, Xj) называются согласованными, если
х{ > xj и yi - pXi > Vj - pxj, либо х{ < Xj и yi - рх{ < yj -Pxj. В
противном случае пары называются несогласованными.
Величина К = Р - Q называется статистикой Кендэлла. Ее
можно записать в следующем виде, учитывая что Xi < • • • < хп:
к= Е sieufe - Рщ - vi + рхг) =
258
Чтобы подчеркнуть зависимость коэ
злее писать т(/3) и р{Р). Измеренная с
ать @) р(« еренная сZZZ££A '**"
вой корреляции зависимость меаду ^
если выбрать /3 так, чтобы
0' (8.23)
или
(824)
Чт0бы решить уравнение (8.23) или (8.24), надо представить себе зави-
зависимость т(/3), р[Р) от /3. Выясним как выглядят эти функции
При 0 отрицательных и очень больших по абсолютной величине
порЯДок следования разностей Vi - Cxit г = 1,... , п определяется ис-
исключительно числами si,... , хп и совпадает с порядком их следова-
следования. Следовательно, при таких /3 (/3 -» -оо) оба коэффициента ранговой
корреляции т(/3) и р(/3) равны единице.
Пусть теперь /3 начинает возрастать (уходит из области очень боль-
больших отрицательных чисел, приближаясь к положительной полуоси).
Первое изменение порядка следования остатков у\-Eхи... ,уп-рхп
произойдет при первом совпадении двух из них:
Vi ~ Ръ = yj - CXj (8.25)
для каких-то г, j. Оба коэффициента ранговой корреляции при этом
уменьшатся.
При дальнейшем увеличении /3 такие изменения т(/3), р(/3) будут
происходить всякий раз, как будет достигаться равенство (8.25). Сле-
Следовательно, значения /3, при которых (скачком) изменяются т(/3) и
р@). суть
p.. = VLZVL где 1 ^ г < j < n, (8.26)
если все числа xi,... t xn различны между собой. (Если среди них
есть совпадающие, в выражении (8.26) участвуют лишь такие г, j для
которых Xi - Xj ф 0. Точек изменения функций т@), р(/3) оказывается
в этом случае меньше, чем число сочетаний С^, но величины скачков
могут быть больше).
Функции т(/?), р{Р) таковы, что их симметрично расположенные
скачки равны по величине. Поэтому их графики проходят через ноль
при таком Р, что левее /3 и правее него остаются по одинаковому
количеству точек разрыва (8.22). Иначе говоря:
Л (8.27)
259
/о О7) дает оценку коэффициента наклона (новую по
*8)) Можно показать, что в условиях гауссовской ь
точна, чем (8.8). но зато (8.27) применима в гораздо
широких условиях.
' Основываясь на функцияхт(/з\
фиц м
(соответственно. ро) обозначает верхнее критическое
коэффициента ранговой корреляции г (соответственно,
Р{||}
(Дискретный характер распределения вероятностей между возможными
значениями г, р приводит к тому, что соотношения 8.28 выполняются
не для всех а. Надо либо выбрать такое а, чтобы (8.28) имело место,
либо же в качестве тп (или рп) взять минимальное значение, при
котором Р{|тК го} £ 1 -2а (Д^ Я, - аналогично).
Доверительные интервалы для b с коэффициентом доверия не мень-
меньше 1 - 2а имеют вид:
{/5:
или {/3:
(8.29)
в зависимости от выбора коэффициента ранговой корреляции.
На рис. 8.1 изображен график т(/3) при п = 5. Точки скачков
функции т(Р) выделяют доверительный интервал.
1
Те.
-v
-1
^(Р)
I f
■-■-/
• ■I ^
Р
Рис. 8.1. Доверительный интервал для коэффициента корреляции т(C) при п = 5
График функции р(/3) сложнее, так как величины его скачков не
постоянны. В дальнейшем для построения доверительного интервала
260
буДем использовать коэффициент ранговой корреляции т *
азанной причине с ним действовать проще. Об Зение'лоТ ™ "°
Joro интервала для р приведено, например, в [89 J довеРитель-
учитывая, что таблицы распределения чаще "составлены НР
дичины г. а для статистики Кендэла «, введеЩм ф°™Г *™
для которой справедливо все сказанное ранее о т(в) То ргт
тельный интервал для 6 с коэффициентом доверия 1 i" 2а имеет
{/5: \К{р)\$Ка},
где Ко есть решение уравнения Р{\К\ ^ Ка} = 1_2а Пои этом
вероятность Р рассматривается в случае справедливости выдвинутой
гипотезы о независимости двух рядов чисел (8.19). В [91] приведена
таблица вероятностей хвостов распределения статистики К для п =
4AL0. Чтобы воспользоваться этими таблицами, заметим, что К + 2
удовлетворяет соотношению Р(К ^ Ка + 2) = а/2. ' °
Затем совокупность чисел ^zEl, l<i<j< n[ надо расположить
в порядке возрастания. Мы предположим сейчас, что среди чисел
xi,..., хп нет совпадающих. Обозначим элементы этой упорядоченной
совокупности через 5A) ^ S™ ^ ••• ^ S<N\ N = 2&=И. Положим
Л/i = {N - Ка)/2, М2 = {N + Ka)/2. В этих обозначениях доверитель-
доверительный интервал для Ь (8.29) имеет явный вид
При этом P{5(Ml> < /3 < 5(М2+1>} = 1 - а. В случае больших тг
для К приходится использовать приближенное выражение, основанное
на нормальной аппроксимации распределения коэффициента ранговой
корреляции г при гипотезе независимости. Получаем, что
.. /n(n-l)Bn
а " V
V 18и1-«/2
где U\_aj2 — квантиль уровня 1 - а/2 стандартного нормального рас-
распределения, т.е. решение уравнения Ф(щ_а/2) = 1 - а/2, где Ф —
функция Лапласа Ф(и) = -4= Г e~t2l2dt.
Поправки при совпадениях. Укажем поправки, которые надо сде-
сделать при построении доверительного интервала для коэффициента 6 в
том случае, когда среди х{ имеются совпадения. Наличие совпадений
среди х{ соответствует повторным наблюдениям в этих точках. Обозна-
Обозначим через g — число групп совпадающих значений х{ (т.е. число связок
среди иксов) , а через U — число совпадающих элементов в группе с
261
, , _ 1 п Тогда значение Ка, получаемое при „™0Л1
зоЗТнор .альнойа'ппроксимации для распределения коэффиц,^
рангоГй ^реляции т при гипотезе независимости, имеет вид:
Этот результат был получен П.Сеном [1051. Соответствующие з„аче,„,я
М\ и Мг равны
МХ = [^] , Aft = [^^] + 1- (8.3,)
Ниже будет проиллюстрировано применение изложенных методов
в практической задаче.
8.6. Практический пример
В качестве примера рассмотрим использование линейного регресси-
регрессионного анализа в задаче восстановления зависимости между входом и
выходом измерительно-регистрирующей системы. Подобные задачи ши-
широко распространены в экспериментальных исследованиях, во многих
предметных областях они называются по-своему: градуировка, кали-
калибровка, тарировка и т.д. Необходимость применения статистических
методов для решения подобных задач в последнее время возросла как в
связи с усложнением средств измерений, так и в связи с повышением
требований к их точности и надежности. А использование ЭВМ зна-
значительно упростило и расширило возможности обработки результатов
подобных экспериментов.
Рассмотрим измерительно-регистрирующий тракт тензовесов, ис-
используемых для измерения сил и моментов сил, действующих на тело
при продувке его в аэродинамической трубе. Для этих измерений в
тензовесах используются тензодатчики, определенным образом распо-
расположенные на конструкции весов. В основу работы тензодатчика поло-
положен эффект изменения сопротивления чувствительного" элемента при
его сжатии или расширении. Через все тензодатчики пропускают элек-
электрический ток, а сигналы тензодатчиков (показывающие напряжения на
тензоэлементах) через усилитель и аналого-цифровой преобразователь
регистрируют с помощью компьютера.
Хотя характеристики каждого звена тензовесов можно измерить,
рассчитать на основе этих измерений свойства связи между входом и
выходом измерительной системы (т.е. между силами и моментами сил,
действующих на продуваемое тело, и напряжениями на тензодатчиках)
весьма трудно, а оценить точность этих расчетов еще труднее. Гораздо
262
проше эта задача решается с
„J тензовесы оказывается воэ а
фиксируется значение отклика на выходе системы Z СИЛ)
;:ия эталонной силы в пределах рабочего диГаЗОН т^оеГв Ты
п0ЛУчаем данные, по которым следует восстановить вид зависимости
нежду входом и выходом измерительной системы. ^вис™ости
_ 1аолица
д^ше калибровочного эксмриментар^^
31.0
29.8
29.1
29.0
29.15
28.2
266.7
269.7
270.1
270.2
266.55
270.25
В таблице 8.1 приведены данные градуировочного эксперимента
одной компоненты тензовесов, предназначенной для измерения силы
лобового сопротивления. В ходе эксперимента значения эталонной
силы х изменялись от 0 до 1 кг с шагом 0.2 кг, и для каждого значения
силы регистрировалось значение отклика у в десятках мВ. Измерения
повторялись 6 раз. В таблице приведены также средние отклики у-г.
и стандартные отклонения s?. Графическое изображение этих данных
дано на рис. 8.2.
4В8 -
388 -
28В -
188 -
В -
■^г"
^.
_
•-
.-
в.2
Рис. 8.2. Графическая зависимость щ. от х\.
Поскольку при правильном расположении чувствительных элемен-
элементов на балках усилия на тензодатчики должны линейно зависеть от
263
действующих на тело сил и моментов сил, а тензодатчики осущес
ют линейное преобразование силы в напряжения электрического
естественно искать связь между силой х и результирующим няпг
нием у в виде
то есть решать задачу простой линейной регрессии. Учитывая структу
ру экспериментальных данных, перепишем (8.32) следующим образов
yij = A + bxi + eij, £ = 1,... ,6, i = 1,... ,6. и приведем его к виду
аналогичному (8.5):
yij = a + b(xi-x)+€ij i=l,..., 6, .7 = 1,..., 6.
Отметим, что требование независимости величин etJ- должно обес-
обеспечиваться методикой проведения калибровочного эксперимента, когда
съём каждого из значений ytj осуществляется независимо от остальных
Величины etj отражают как суммарное влияние внешних факторов, так
и погрешности, возникающие в измерительно-регистрирующем тракте
Учитывая характер формирования случайных отклонений, величиные-
в рабочем диапазоне имеют обычно один и тот же закон распределения
который принято считать нормальным. Следовательно, у нас есть всё
основания для применения классического метода линейной регрессии
Запишем выражение (8.6) для случая, когда в каждой точке х-
(г = 1,... , п) сделано одинаковое число измерений у^ (j = \t.m m\
Имеем:
п т
J2 &у ~ ° " b(Xi - *)]• (8.33)
i=i j=i
Приравнивая к нулю производные по переменным а и b в выражении
(8.33) получаем:
m
тг m
(8.34)
))
Проводя суммирование в уравнениях (8.34) по индексу j, и деление
каждого из уравнений на компоненту т, имеем:
•,~a-b[xi-x)) = Ol
(8.35)
п
с* ~ x)(Vi- ~ а - b(xi - х)) = О,
264
е да. определено в (8.14).
ГД Полученная система уравнений отличается от системы
ной в п. 8-3, заменой у{ на у,. Таким образом задача простой линейной
регрессии cm наблюдениями в каждой точке щ сводится к задачё
одним наблюдением в точке а, если в качестве этого наблюдения
рассматривать величину у, = ±EJ.iI*f Оценки параметров а и 6
являющиеся решением системы (8.35), согласно (8.7), (8.8) суть
1 п 1 n m
- - 1 v^ 1 n m
а = у, гдеу=-\ у.ш = —
г _ E=i(y£--j/)(gj - ж)
(8-37)
Подставляя в (8.36) и (8.37) соответствующие значения из таблицы
8.1, получаем а = 228.711, b = 397.174.
Статистические свойства оценок а и 6 указаны в п. 8.3, а именно:
4
где erf — дисперсия ^EJLi^j- To есть af = s£, где а2 — диспе-
дисперсия e,j.
Для построения доверительных интервалов для истинных значений
коэффициентов а и 6, и проверки качества выбранной модели мы должны
построить оценки дисперсии а2 или а\. Согласно (8.11), несмещенной
оценкой о\ является:
п
1 ж—
2 =$^(М - й - fe - х)J
S =
тъ &
1=1
- - й - fe - х)J.
Производя необходимые вычисления, получаем s = 0.64526.
Таким образом, используя выражение (8.12) и положения п. 5.3,
получаем границы доверительных интервалов для а и Ь, а именно:
a-F iQ/2 j /
у/п ' у/п
.2 *l-a/2 -
где ^.^ есть квантиль распределения Стьюдента с 4 степенями свобо-
свободы при коэффициенте доверия 1 - а. Выбирая, например, а - O.Uo, по
таблице (см [16]) находим t^a/2 * 2.79. Отсюда 95% доверительные
интервалы для а и Ъ равны:
227.8 < а < 229.6, ' 394.5 < Ь < 399.9. (8-38)
265
Как указывалось в п. 8.4. для оценки адекватности выбранной щь
необходимо получить еще одну независимую от sоценку т с *
Это можно сделать, подставляя в выражение (8.15) значад,я ^
из таблицы (8.1). То есть:
Для проверки качества подобранной линейной модели составим
отношение согласно выражению (8.17):
%)]2 2
р.
\2 I y^" «,2 ■
т.
Подставляя имеющиеся значения, получаем
^ ~ A/6I3.041
Учитывая, что величина F имеет F-распределение с D,3) степе-
степенями свободы, сравним полученное значение с процентными точками
указанного распределения. По таблице [16] находим, что 2.5% точка
F распределения равна 3.2499, 5% точка равна 2.6896 и 10% точка
равна 2.1422. Мы видим, что полученное нами значение F = 1.781256
меньше приведенных процентных точек, что свидетельствует о хорошем
качестве приближения данных линейной зависимостью.
Заметим, что в рассмотренной задаче основной интерес представля-
представляет коэффициент наклона (усиления) Ь, так как значение а зависит от
регулировки аппаратуры и его можно менять по соображениям удоб-
удобства экспериментатора.
Обсуждение. Представляет интерес сравнение полученной оценки ко-
коэффициента Ь и оценки, полученной с помощью непараметрического метода,
изложенного в п. 8.4. Непараметрический метод оценки коэффициента Ь пред-
предполагает представление массива Xi в виде х\, xi, x\, xi, x\, х\, Х2,..., хь
хз, .... хз, ... , хс,.... хс, где каждое значение х{ повторяется 6 раз. Таким
образом, объем массива х равен N = 36. Рассмотрим массив:
frj = < — '-, все 1 ^ i < j < N, для которых Xi ф xj > .
I хз ~~ xi )
Объем массива fi{j в нашем случае, с учетом повторений значений в массиве
х, равен: Сзс -6Сб = 540. Согласно (8.27), новой оценкой коэффициента!)
будет являться величина C, равная:
266
„ r. дС-") обозначает fc-ый член уп
f С1-1Т показывает, что р L
"« Э = 397.174 „ m^ZZ272ZT"
модели, видим довольно хорошее соХ„Т„ ' "УЧетым
по
„ОлуЧаен ^^
An 18 «i-q/2~141.
Отсюда доверительный интервал для Ь, согласно (8.31) имеет вид: бA98> <
i у дC'") ИЛИ '
395.8<6<399.4. (8 39)
Сравнение выражений (8.38) и (8.39) показывает, что доверительный ин-
интервал, построенный непараметрическим методом, оказывается более узким
Причиной этого может быть либо действие случая, либо неполное согласие об-
обрабатываемых данных с гауссовскон моделью линейной регрессии. Чтобы в этом
разобраться, следовало бы подвергнуть анализу совокупность видимых откло-
отклонений от линии регрессии (см. п. 8.4). Но мы не станем этого делать, а просто
прервем исследование, удовлетворившись уже полученными результатами.
8.7. Регрессионный анализ в пакетах
STATGRAPHICS и STADIA
Выше на примере задачи простой линейной регрессии были разо-
разобраны основные понятия и методы решения регрессионных задач. Как
отмечалось, эти задачи весьма разнородны по своим постановкам и по
возможным алгоритмам построения оценок и проверки адекватности
моделей. Краткий обзор основных подходов к исследованию регресси-
регрессионных задач можно найти в [31]. Там же приведена краткая справка
о регрессионных программах в таких широко распространенных паке-
пакетах, как BMDP-79, SPSS, SAS, Minitab. В последние годы появилась
литература, описывающая работу некоторых отечественных пакетов,
содержащих в основном методы регрессионного анализа [28], [65], [95].
В целом отметим, что комплектация статистических пакетов регресси-
регрессионными программами сильно варьируется. В пакетах STATGRAPHICS и
STADIA представлен довольно традиционный набор регрессионных ме-
методов, позволяющий решать весьма широкий круг задач, однако считать
его полным не в коем случае не следует. В обоих пакетах полностью
отсутствуют непараметрические методы регрессионного анализа.
267
8.7.1. Пакет STATGRAPHICS
Методы регрессионного анализа в пакете представлены в „ун
К Regression analysis головного меню. Процедуры этого пункта Привед
„а рте 8 3. Опишем кратко их назначение.
REGRESSION ANALYSIS
1. Simple Regression
2. Interactive Outlier Rejection
3. Multiple Regression
4. Stepwise Variable Selection
5. Ridge Regression
6. Nonlinear Regression
Рис. 8.З. Меню процедур регрессионного анализа
1. Simple Regression (простая регрессия) — выполняет простую регрессию мй
одной независимой переменной методом наименьших квадратов. Оценивает
параметры для линейной и ряда нелинейных (сводящихся к линейной) моделей.
Работа этой процедуры разобрана в примере 8.1 к.
2. Interactive Outlier Rejection (интерактивное отбрасывание) — позволяет выбо-
выборочно исключать резко выделяющиеся наблюдения из графика простой линей-
линейной регрессии. Этой процедуре посвящен пример 8.2к.
3. Multiple Regression (множественная регрессия) — выполняет обычную регрес-
регрессию для нескольких независимых переменных методом наименьших квадратов.
Частичный разбор работы этой процедуры дан в примере 8.3к.
4. Stepwise Variable Selection (шаговая регрессия) — выполняет прямую (включе-
(включение) или обратную (исключение независимых переменных) пошаговую множе-
множественную регрессию. Описание этой процедуры дано, например в [31].
5. Ridge Regression (рндж-регрессия или гребневая регрессия) — выполняет
гребневую регрессию на стандартизированных переменных и строит график
результатов. Содержание и работа этой процедуры в книге не рассматриваются.
6. Nonlinear Regression (нелинейная регрессия) — вычисляет оценки наимень-
наименьших квадратов для параметров в заданной пользователем нелинейной регресси-
регрессионной модели (см. Г10], [28]. [31]).
Разберем на примерах работу наиболее употребительных из этих
процедур.
Пример 8.1к. С помощью метода наименьших квадратов вычислим
оценки параметров в модели простой линейной регрессии для данных
калибровочного эксперимента (табл. 8.1). Построим 95% доверитель-
доверительный интервал для среднего значения отклика.
Подготовка данных. В редакторе базы данных пакета (процедура
2. File Operations пункта A. Data Management головного меню пакета) в файле
TENZOV создадим переменные падг и otkl. Вид экрана редактора базы
данных с введенными переменными приведен на рис. 8.4.
268
для переменной nagr удобно выбрать тип с одним десятичным знаком
е т0Чкн (значение 1 в поле Туре), а для переменной otkl - с тремя
десятичными знаками после точки (значение 3 в поле Туре). В первую
временную запишем в порядке возрастания значения эталонной силы
х. цз второй строки табл. 8.1. Как было показано выше, в случае равного
чиСла наблюдений для каждого из значений независимой переменной
х. в качестве зависимой переменной можно рассматривать средние зна-
значения соответствующих откликов. Поэтому в переменную olkl запишем
значения из предпоследней строки табл. 8.1.
1 Data Editor • Maximum Rows: 6
1 File: TENZOV Number of Cols: 2
Cursor at Row:
Column:
row nagr
otkl
1
2
3
4
5
6
7
8
9
10
Length
Typ/Wth
j
r>.
r>.
0
2
4
8'
8
0
29.
110.
188.
268.
U48.
■26,
376
258 ,
758
917
642
4-I7
6 6
1/3 3/7
Рис. 8.4. Экран редактора с данными для примера 8.1к
Выбор процедуры. В меню пункта К. Regression analysis (рис. 8.3)
выберем процедуру 1. Simple Regression.
Заполнение полей ввода данных. Экран ввода данных выбран-
выбранном процедуры (рис. 8.5) содержит активные поля: Dependent vanable (зави-
(зависимые переменные), Independent variable (независимые переменные), Model
(модель), Confidence limits (доверительные границы для среднего значения
отклика), Prediction limits (доверительные границы для прогноза), Point labels
(метки точек).
Simple Regression
Dependent variable: E zov otkl
Independent variable: fpfflZ . «*
Model: Linear
Confidence limits: 6.00
Prediction limits:
Point labels: ■•,!."■
Рис. 8.5. Запрос параметров простой регрессии
269
Введем в поле Dependent variable переменную TENZOV.otkl, а в поле |nde.
nendent variable - TENZOV.nagr.
В поле Model укажем значение Unear. Описание назначения друп,х
возможных значений в этом поле смотри в комментариях.
Поле Confidence limits предполагает ввод в процентах уровня Доверия
для границ доверительного интервала для среднего отклика при за-
заданном значении х. Укажем в нем значение 95, как это требуется
в примере.
Поле Prediction limits предполагает ввод в процентах уровня доверия
для прогноза новых наблюдений. Оставим в этом поле значение 95,
выставленное пакетом по умолчанию.
Заполнение поля Point labels не обязательно. Вводимая в это поле
переменная должна содержать значения меток точек, если Вы хотите
провести интерактивную разметку точек на графике регрессии.
Результаты. После заполнения всех необходимых полей ввода
следует нажать клавишу (Ц). На экране появятся результаты обработки
(рис. 8.6) в виде двух таблиц.
Regression Analysis - Linear model: Y = A+bX
Dependent
Parameter
Intercept
Slope
Source
Model
Error
variable: TENZOV.otkl Independent
Estimate
30.124
397.174
Analysis
Sum of Squares
110423.27
2.5810491
Df
1
4
Standard
Error
0.581373
0.960106
of Variance
Mean Square
110423.27
.6452623
variable:
T
Value
51.8152
413.678
F-Ratio
171129.3
TENZOV.nagr
Prob.
Level
. ooooo
■ OOOOO
Prob. Level
. OOOOO
Total (Corr.) 110425.85
Correlation Coefficient = 0.999988
Stnd. Error of Est. = 0.803282
R-squared = 100.00 percent
Рис. 8.6. Результаты регрессионного анализа для примера 8.1к
В верхней таблице рис. 8.6 приведены оценки параметров простой
линейной модели Y = А + ЬХ и их статистические характеристики.
Строка Intercept (свободный член) относится к параметру А, а строка
Slope (наклон) — к параметру Ъ. Столбец Estimate содержит оценки этих
параметров (заметим, что в пакете простая линейная модель рассматри-
рассматривается в форме (8.4), а не в форме (8.5), и оценка А вычисляется по
формуле А = у - Ьх). Столбец Standard Error (стандартная ошибка) со-
содержит значения стандартных ошибок указанных коэффициентов. Два
последних столбца таблицы Т Value и Prob. Level содержат значения стью-
270
товых отношений (см. 8.12) для полученных оиен™ и
значимости для проверки гипотезы о пя "* МИНИмаль"
^тов нУлЮ. Полученнь/уровниГа3::5^~
оценки значимо отличаются от нуля. сворят, что обе
Таблица Analysis of Variance рис. 8.6 является базовой таблицей
ации и служит для оценки а
ой таблицей анали
за вариации и служит для оценки адекватности предлагаемой Где!
данных. Описание этой таблицы дано в примерах 6 2к и 7 2к
В случае регрессионного анализа общая вариация отклика отно-
относительного его среднего значения распадается на вариацию обусло-
обусловленную моделью, и остаточную вариацию, приписываемую случайным
ошибкам. Формальный вид этого разложения для простой линейной
модели следующий:
N N N
Х> - УJ = D4 + &* - УJ + £Ы - А - Ьх{)> ,
i=l i=l £=1
где величина в левой части называется общей вариацией или суммой
квадратов относительно среднего (Total (Conr.) Sum of Squares), первое сла-
слагаемое в правой части — суммой квадратов, обусловленной регрессией
или моделью (Model Sum of Squares), второе слагаемое — суммой квадра-
квадратов относительно модели регрессии или суммой квадратов ошибок (Error
Sum of Squares).
Для проверки гипотезы о равенстве коэффициента 6 нулю (в общем
случае — об адекватности предлагаемой модели) в пакете используется
F-Ratio (F-отношение). Оно вычисляется как частное от деления средних
квадратов относительно модели на средние квадраты ошибок. Если
6 = 0, это отношение имеет F-распределение с числом степеней свободы
1 и N - 2. Когда же 6 отлично от нуля, эта величина имеет тенденцию к
возрастанию с ростом значения 6. Полученный в разбираемом примере
минимальный уровень значимости F-отношения свидетельствует о том,
что линейная зависимость между а; и у значима, т.е. значение 6 отлично
от нуля.
Еще одним показателем качества подобранной модели традиционно
считается квадрат выборочного коэффициента корреляции Пирсона R
(Correlation Coefficient). Нетрудно показать, что R2 (R-squared) является от-
отношением суммы квадратов, обусловленных регрессией, к общей сумме
квадратов откликов, скорректированной на среднее. Другими словами,
Я2 показывает долю общего разброса у относительно среднего у, объ-
объясняемую регрессией. Величину R2 также часто именуют коэффициен-
коэффициентом детерминации и измеряют не в долях единицы, а в процентах. Чем
ближе значение R2 к ста процентам, тем лучше подобранная модель
описывает данные эксперимента.
271
Наконец, последняя характеристика экрана выдачи результатов^
Stnd. Error of Est. (стандартная ошибка оценки). Эта величина по оПре,
делению равна
^-p-ifrt
где р _ число степеней свободы суммы квадратов, обусловленных ре.
грессией. В данном случае р = 1. Другими словами, стандартная ошибка
оценки есть квадратный корень из средней суммы квадратов ошибок
Согласно формулам (8.12), она может использоваться для построения
доверительных интервалов для истинных параметров модели.
Углубленный анализ. Для построения доверительных границ для
среднего значения отклика следует обратиться к процедурам дополни-
дополнительных методов анализа простой линейной регрессии. При нажатии
(EnterJ в экране вывода результатов (рис. 8.6) происходит возврат к
экрану ввода параметров процедуры (рис. 8.5), на котором появляется
всплывающее меню дополнительных методов (рис. 8.7)
Plot fitted line
Plot residuals
Save residuals
Save predictions
график подобранной линии
график остатков
сохранение остатков
сохранение предсказаний
Рис. 8.7. Меню дополнительных методов регрессионного анализа
Процедура Plot fitted line выводит на экран график линии регрессии,
доверительные границы для среднего отклика в виде пары пунктирных
линий, ближайших к линии регрессии. Область между этими линиями
обычно называется доверительной трубкой. Пунктирные линии, более
удаленные от линии регрессии, очерчивают доверительные границы
(доверительную трубку) для прогноза значений новых наблюдений. На
рис. 8.8 приведена часть этого графика в диапазоне изменений значения
х от 0.2 до 0.3. Кроме того, в правом нижнем углу экрана с указанными
графиками пользователь может задавать значения х или у, для которых
он хочет получить соответствующие значения у или х из уравнения
регрессии. Так, введя значение х, равное 0.25 и нажав (EnterJ, из
уравнения регрессии получаем значение у, равное 129.4176. Для ввода
значения у перед ним необходимо набрать запятую.
Процедура Plot residuals полезна для представления о том, насколько
подобранная модель соответствует исходным данным и насколько вы-
выполняются условия применения метода наименьших квадратов. При
правильно подобранной модели и справедливости предположения о нор-
272
16в
146
136
1Z4
112
188 t-
8.2
0.22
8.26 e.28
Рис. 8.8. График регрессии и доверительные трубки
для среднего отклика н прогнозов новых наблюдений
в.з
малыюм распределении остатков, вычисленные остатки также имеют
нормальное распределение, хотя и являются статистически зависимы-
зависимыми. Как показывает опыт, при графическом анализе остатков послед-
последним обстоятельством можно пренебречь. Подробное описание процедур
анализа остатков дано, например, в [31]. Для более детального анали-
анализа остатков пакет предусматривает возможность сохранения остатков
(процедура Save residuals) в переменной, заданной пользователем. Некото-
Некоторые методы проверки распределения остатков на нормальность в пакете
приведены в гл. 5 и 10.
Процедура Save predictions записывает в переменную, задаваемую поль-
пользователем, вектор оцененных значений у,- = A + bxi. Эта процедура осо-
особенно полезна для мультипликативной и экспоненциальной моделей, в
которых вычисление iji требует определенных затрат.
Комментарии. 1. Длины векторов данных, вводимых в поля Dependent variable
и Independent variable, всегда должны совпадать. Это приводит к дублированию
значений х,- в независимой переменной, если в соответствующей точке имеются
повторные наблюдения yij и их число варьируется в зависимости от индекса i.
2. В поле Model могут фигурировать следующие значения (в правом столбце
указаны соответствующие им функции):
Linear (линейная)
Multiplicative (мультипликативная)
Exponential (экспоненциальная)
Reciprocal (обратная)
у = а + Ьх
у = ах
у = еах+
1/у = а + Ьх
Заметим, что вторая и третья модели сводятся к простой линейной модели
путем логарифмирования вектора у, а последняя — преобразованием 1/у компо-
компонент вектора у. Однако в последних трех моделях стандартные предположения о
характере распределения ошибок делаются уже относительно преобразованных
величин. В связи с этим вторую модель часто называют моделью с мульти-
мультипликативной ошибкой Если же мы хотим иметь во второй модели аддитив-
273
P3 Z в ояев поля Confidence limits или Predict limits значения 0 сботв "
юшие доверительные границы не строятся. еУ-
4 Процедура Plot fitted line по умолчанию строит график регрессии во
лиапазоТЗения значений гг. Для изменения этого диапазона <*
' после! построения графика регрессии использовать вызов процедур и
графического вывода (клавиша [F5JJ.
Следующий пример наглядно демонстрирует недостатки использо.
вания метода наименьших квадратов для получения регрессионных оце.
нок в случае, когда происходит нарушение исходных предпосылок мо-
модели Для этого особенно удобна процедура 2. Interactive Outlier Rejection
(интерактивное отбрасывание). В ней также решается задача простой
линейной регрессии, однако пользователь получает возможность пряно
на графике регрессии указать точки, которые он считает необходимый
удалить из расчетов, и получить на том же графике новую линию ре-
регрессии. Мы продемонстрируем работу этой процедуры на примере
П.Хьюбера [92], являющегося одним из основателей теории робастного
(устойчивого) оценивания.
Пример 8.2к. Методом наименьших квадратов вычислим оценки
параметров простой линейной регрессии, когда вектор независимых пе-
переменных х есть (-4, -3, -2, -1,0,10), а в вектор зависимых перемен-
переменных у — B.48,0.73, -0.04, -1.44, -2.32,0). Оценим адекватность подо-
подобранной модели. Проведем повторные расчеты, исключив из данных
резко выделяющееся наблюдение.
Подготовка данных. Учитывая небольшой объем данных, т
ввод будет осуществлен непосредственно с клавиатуры при заполнении
полей экрана ввода параметров процедуры (см. ниже).
Выбор процедуры. В меню пункта К. Regression analysis (рис. 8.3)
выберем процедуру 2. Interactive Outlier Rejection.
Заполнение полей ввода данных. Порядок ввода данных.этой
процедуры — такой же, как в процедуре 1. Simple Regression, разобранной
выше (рис. 8.5). Отсутствует только поле выбора модели, так как в
процедуре предполагается модель простой линейной регрессии.
В поля Dependent variable и Independent variable надо осуществить ввод с
клавиатуры значений векторов у и х. Значения компонент этих векторов
при вводе следует разделять пробелами (рис. 8.9).
Результаты. Экран вывода результатов процедуры приведен на
рис. 8.10. Он содержит график подобранной регрессии, доверительные
274
independent variable: 4.-3 ^2 - о ю
Confidence limits: JS?S7o6
prediction limits:
point labels: .
Р„с. 8.9. Запрос параметров процедуры интерактивного отбрасывания
2.Ь
l.b
ВО: -0.098333 SE: 0.74219 Т: -0 13249
Bl: -0.0B1462 SE: 0.15945 Т: -0.5109
CORR: -0.2475 HSE: 3.3051 DF- 4
POIIITS DELETEO:
Н -1 2 Sen
Рис. 8.10. Интерактивная регрессия в пакете STATGRAPHICS.
границы для среднего значения отклика и прогноза, а также точки
исходных значений.
В левом нижнем углу экрана (на рис. 8.10 — справа) приведены
оценки коэффициентов А и 6 (обозначенных через ВО и В1), их стан-
стандартные ошибки SE и значения i-статистик Стьюдента для проверки
значимого отличия коэффициентов от нуля. Значение коэффициента
множественной корреляции CORR и средняя сумма квадратов ошибок
MSE с указанным числом степеней свободы в определенной мере харак-
характеризуют качество подобранной модели.
Обратим внимание на то, что значения ^-статистик Стьюдента для
каждого из коэффициентов не позволяет отвергнуть гипотезу о равен-
равенстве их нулю. Значение коэффициента корреляции показывает, что
линейная модель довольно слабо объясняет вариацию данных. Обраща-
Обращает на себя внимание последняя точка с координатами A0,0), которая,
как будет видно ниже, и является причиной полученных неудовлетво-
неудовлетворительных результатов. Проведем повторные расчеты без учета этой
точки. Для этого подведем к этой точке с помощью клавиш управления
курсором графический курсор, обозначенный на рисунке знаком (+), и
нажмем клавишу (Г). При этом данная точка изменит свой цвет, что
означает, что она удалена из обработки. Так можно удалить произволь-
произвольное количество точек. После этого, нажав (Щ), получаем на экране на
старом графике новую линию регрессии и ее характеристики (рис. 8.11).
275
00: -2.072 SE: 0.2088 T: .„ R,o
01: -1.177 SE: 0.005243 T- i, ?
CORR: -0.99222 HSE: - - " "£
POIHTS OEI.ETED: 6
-2.4 hrl
11
H -1 2 5
Рис. 8.П. Интерактивная регрессия в пакете STATGRAPHFCS. Крестиком
помечена удаленная из обработки точка
Рис. 8.11 показывает, как сильно грубые наблюдения влияют на
расчеты методом наименьших квадратов в регрессионных задачах.
Более внимательное изучение графика данных может навести на
мысль, что простые линейные модели просто не годятся для этих дан-
пых и следует воспользоваться параболической моделью. Результаты
обработки для параболы приведены ниже в примере 8.3к. Как пишет
П.Хьюбер [92]: «Совершенно очевидно, что для того, чтобы делать
умозаключения о достоинствах или недостатках этих подгонок, приве-
приведенных данных недостаточно». Если судить по остаточной ошибке, то
следует склониться к параболической модели, которой соответствует
самое низкое значение остаточной ошибки. Однако учитывая проис-
происхождение данных (см. комментарий 1), подходящей будет подгонка
простой линейной моделью с исключением из обработки шестой точки.
Комментарии. 1. Данные примера являются искусственными. Они были
получены следующим образом: к шести точкам, лежащим на прямой у = -2-х
были добавлены случайные ошибки: с первой по пятую — нормальные ошибки
(с нулевым средним и стандартным отклонением 0.6), а к шестой точке —
большая ошибка 12.
2. Для того, чтобы обратно включить удаленную точку в обработку, подве-
подведите к ней курсор и нажмите клавишу (Г).
Следующий пример проиллюстрирует начало работы с процедурой
3. Multiple Regression. Детальный разбор проблем, возникающих в задачах
множественной регрессии, дан в [31].
Пример 8.3к. Методом наименьших квадратов вычислим оценки
параметров параболической модели регрессии у = А + Вх + Сх2 для
данных примера 8.2к.
Подготовка данных. В редакторе базы данных пакета стандарт-
стандартным образом в файле HUBER создадим переменные х и у с данными
примера 8.2к.
276
Выбор процедуры. В меню пункта к d^ -
„ряуру 3. Multiple Regression. "* Re9ression апа1У^ выберем
Заполнение полей ввода данных Экпян ВПппо
процедуры приведен на рис. 8.12. ' рЗН ввода данных указанной
Multiple Regression
Dep. var-
Ind vars.
UBER.x-2
weights- ■ • • . ■ , - -. —_
Constant. &bs. Vertical bars: gal Conf. level: §5
Phc. 8.12. Запрос параметров процедуры множественной регрессии
Поле Dep. var. предназначено для ввода зависимой переменной. В
поле Ind. vars. (независимые переменные) вводятся независимые пере-
переменные. В рассматриваемом примере это HUBER.X и HUBER.x. Последняя
переменная состоит из квадратов значений переменной HUBER.x, то есть
равна следующему вектору
16, 9, 4, 1, 0, 100
Активное поле Weights (веса) следует заполнять только в случае ис-
использования взвешенного метода наименьших квадратов. (В него вно-
вносится вектор весов той же длины, что и вектор зависимой переменной.)
Для включения в модель регрессии константы в поле Constant надо
указать значение Yes.
Поле Vertical bars позволяет задать дополнительное оформление раз-
различных графиков, связанных с процедурой регрессионного анализа вер-
вертикальными линиями. ,
Задание доверительного уровня (в процентах) при построении до-
доверительных интервалов для коэффициентов регрессии осуществляется
в поле Conf. level.
Результаты. После заполнения полей ввода следует нажать кла-
клавишу (TJF), и на экране появятся результаты расчетов для оценок коэф-
коэффициентов модели, их стандартных ошибок, значений {-статистик и их
уровней значимости (рис. 8.13).
Подробное описание всех статистик, указанных на экране, можно
найти в [31].
Углубленный анализ. После нажатия (Ж) произойдет возврат к
экрану ввода данных и параметров процедуры (рис. 8.12), на котором
появится меню углубленного анализа (рис. 8.14).
277
Independent variable
Model rating results for: HUBER.y
coefficient std. error t-value
si8-leve
CONSTANT
HUBER.x
HUBER.x
-2.266531
-0.774258
0.100071
0.154469
0.011868
0.005B92
-14.6731
-17.2561
16.9828
0.0007
O.0004
0.0004
R-SO. (ADJ.) = 0.9839 SE=
Previously: • 0.0000
0.109383 DurbWat= 3 ?Эо
o.oooooo 0;g
0.212992
о ииии 0-000000
^observations fitted, forecast(s) computed for 0 missing val. of dep. var
Рис. 8.13. Результаты вычислений процедуры множественной регрессии
Analysis of variance
Conditional sums of squares
Plot residuals
Summarize residuals
Plot predicted values
probability plot
Component effects plot
Influence measures
Correlation matrix
Generate reports
Confidence intervals
Interval plots
Save results
Рис. 8.14. Меню процедур углубленного анализа для множественной регрессии
Не разбирая работы указанных на рис. 8.14 процедур, кратко укажем
их назначение (согласно документации пакета).
Analysis of variance (анализ вариации) — проводит дисперсионный анализ мо-
модели регрессии.
Conditional sums of squares (условные суммы квадратов) — вычисляет ряд до-
дополнительных статистики дисперсионного анализа. Оценивает вклад каждой из
переменных модели в общую сумму квадратов, обусловленную регрессией.
Rot residuals (график остатков) — строит график остатков в зависимости от
указанной пользователем переменной.
Summarize residuals (анализ остатков) — вычисляет основные описательные
статистики для остатков (среднее, дисперсию, стандартную ошибку, коэффици-
коэффициенты асимметрии и эксцесса и статистику Дурбина-Уотсона).
Plot predicted values (график прогнозов) — строит график предсказанных зна-
значений в зависимости от наблюдаемых. Эта процедура полезна для выявления
случаев, в которых дисперсия зависимых переменных не постоянна.
Probability plot (график нормальной вероятности) — строит график эмпириче-
эмпирической функции распределения остатков на нормальной вероятностной бумаге.
Component effects plot (график эффектов компонент) — графически иллюстриру-
иллюстрирует вклад каждой компоненты модели в общую вариацию зависимой переменной.
Influence measures (меры влияния) — указывает число наблюдений, влияние
которых на полученные оценки модели выше определенного уровня.
Correlation matrix (матрица корреляции) — выдает матрицу коэффициентов
корреляции Пирсона для оцененных коэффициентов модели.
278
Generate reports (генерация отчета) - позволяет „п
лностью) информацию о наблюдаемых и подобранных по^пл" ИЛИ
££:стандартных х *** прогноза «^
полность) фр ых и подо
££:стандартных х *** прогноза-
Confidence intervals (доверительные интервалы)
ьных интервалов для оценок коэффициентов
и заполнении эка
Confide р интервалы) - вычислен
,ельных интервалов для оценок коэффициентов регрессии на In^T" Д°ВерИ"
Данном при заполнении экрана ввода данных „ ^^^^Г^'
У interval plots (график доверительных интервалов) -
теЛЬных ^интервалов для прогнозов относительно J
ременной.
ременной.
Save results (сохранение результатов) - позволяет сохюнип, „™ u
полученной информации в файле базы данных пакета Р ИЛИ ЧЗСТЬ
Перечень этих процедур показывает, что построение множественной
регрессионной модели может включать в себя много различных аспектов
„требует высокой квалификации исследователя. Обсуждение вопросов
связанных с множественной регрессией, довольно подробно дано в [31].'
Комментарии. Задание сложных моделей множественной регрессии тре-
требует привлечения ряда специфических операторов преобразования независимых
переменных. Их назначение и работа подробно описана в документации пакета.
8.7.2. Пакет STADIA
В пакете широко представлены различные методы регрессионного
анализа, включая простую, множественную, пошаговую, нелинейную
регрессию и др. (см. меню Статистические методы на рис. 1.17). Следует
сразу обратить внимание на не совсем традиционную классификацию
регрессионных моделей в пакете.
Для общего обозначения моделей данных, обрабатываемых метода-
методами регрессионного анализа, в справочнике пакета используется термин
Экспериментальные зависимости. Последние делятся в пакете на однопараме-
трические и многопараметрические, линейные и нелинейные по пара-
параметрам. При этом под однопараметрической зависимостью понимается
произвольная функция у = /(ж), где х — простая действительная пе-
переменная. Это определение может привести к путанице, так как число
параметров в подобной зависимости может быть любое. В частности,
все полиномиальные модели при этом попадают в процедуру «Простой
регрессии». Скорее, эти зависимости следовало бы назвать одномерны-
одномерными или однофакторными. Более подробно анализ списка данных моделей
(рис. 8.17) дан в комментариях к примеру 8.1 к.
Пример 8.1к. Методом наименьших квадратов вычислим оценки
параметров в модели простой линейной регрессии для данных кали-
калибровочного эксперимента (табл.-8.1). Построим 95% доверительную
трубку для среднего значения отклика.
279
STADIA 6.0: Icnz.std
0 29.375i.
О 2. 110 258,
0 4l 188.758'.
D
m
Рис. 8.15. Данные для примера 8.1 к
Подготовка данных. Введем в электронную таблицу пакета
данные таблицы 8.1 в переменные nagr и otkl (см. рис. 8.15).
Выбор процедуры. В меню Статистические методы (рис. 1.17) в ра3деле
Регрессионный анализ выберите пункт L = Простая регрессия/тренд.
Заполнение полей ввода данных. В появившемся на экране
запросе Переменные регрессии (рис. 8.16) укажите в качестве Y-переменной
переменную otkl, а в качестве Х-переменной — переменную nagr. Для
этого следует выделить с помощью мыши нужную переменную в поле
Переменные и нажать соответствующую кнопку со стрелкой вправо. После
нажатия кнопки запроса I Утвердить | программа выдаст меню моделей
регрессии (рис. 8.17), отнесенных в пакете к однопараметрическнм.
Выберите в нем пункт 1=линейная или просто нажмите клавишу Q).
Переменные регрессии
Переменные У-перененн8Я
lolkl
Х-псрененные
Все
№
nagr
Отненвтъ]
Выберите X н Yпеременные
Регрессия
-Модели
]=яинсйна^"
1 2=пабо(?ояо" ~~-
1=лолнном. гп=\
4=степснн 1/2..
f ".'Jijjpf Приг^^м j ' _
• =CTCJlfilHp5r.
~7=стспвШ|вя
j i В=эк«1ОненпГ"
i . 9=экспонснтв
Г A=3Kcn~Diieinii^*~.
1 В=экспоненттГ
| fT О=ги"пебвопо
Е=гйпёпБолв ""
Т=гнп."сййоя"|Г
Н=гнпсЬола~"."
1 1="г"нпепбояв
i 1 J=OtiTHHVft>
! _J(=dnTHHviio
M=CHHVcdxa
1
Y=o«b*x D
J£=a+b"x*cV2 I
|3 Y=cyM(oI'x-|) Я
V^8*b"SQR(xl II
Y=o*b*LN(x) jjl
Y=B»x*b 1]
Y=B*b"x*c Ш
Y=e-(B*b'x) ffi]
Y=e-(B*b/x) III
У=с*(а*Ьэ8ОР(х)| ffl
Y=c-(B*b*x»cV2| 1
Y=Bib"c*(c"x| 1
Y=e*b/x
Y=1/(B*bVl
Y=1flBtb/xJ
Y=1/(B*b'SQR(x|]
Y=1flB*b»LN(x|)
Y=B*1/(b*c»xJ
У=1/(в*Ьэх*сэх*г|
Y=X/(B*bmxic*x*2|
Y=B*b/[1+e-(c*d*x))
Y=B«b"x+c»SIN(dte"x)
Pnc. 8.16. Запрос выбора
переменных регрессии
Рис. 8.17. Меню моделей
однопараметрической регрессии
280
Экран вывода
ф модели, их стандартные оши ки *
ошений для проверки гипотез об отличии
ЗНЗЧИМ0сти *"
::;1Тое от нУлЯ. ^^ «^z:^zz
дИСперсионного анализа (см. пример 6.2к), показыва ющуюкаГоб^
вар„аиия отклика распределяется между вариацией, обусло ленной Г-
де„ной моделью, и вариацией остатков. Третий блок информации содер-
содержит абсолютную величину коэффициента множественной корреляции
а коэффициент детерминации FT2, несмещенную оценку коэффициента
детерминации R 2прив, а также F-отношение и его уровень значимости
для проверки гипотезы о соответствии выбранной модели наблюденным
данным. Сравнивая полученный уровень значимости с пятипроцентным
процедура делает заключение об адекватности модели.
Модель: линейная Y - aO+al*x
Коэфф. а0 al
Значение 30.124 397.17
Ст.ошиб. 0.58137 0.96011
Значим. 0.0001 0.0001
Источник Суы.квадр. Степ.ев Средн.квадр.
Регресс. 1.1042Е5 1 1.1042Е5
Остаточн 2.581 4 0.64526
Вся 1.1043Е5 5
Множеств R ГГ2 Ял2прив Ст.ошиб. F Значим
0.99999 0.99998 0.99997 0.80328 1.17113Е5 О
Гипотеза 1: <Регрессионная модель адекватна экспериментальным даиным>
nagr-0.75 У°328
Рнс. 8.18. Результаты расчетов процедуры простой линейной регрессии
Процедура также предлагает пользователю рассчитать с помощью
подобранной модели значение зависимой переменной для указанно-
указанного значения независимой переменной Для этого в окне Интерполяция
(рнс. 8.19) следует указать требуемое значение переменной падг, напри-
например 0.75 и нажать кнопку 1 Утвердить |. Рассчитанное значение отклика
помещается в окно результатов (рис. 8.18).
[-Интерполяция
Введите значение переменной
падт =
0.75
Утвердить] | X Отненть)
Рнс. 8.19. Запрос вычисления
значения зависимой переменной
Чго дпльше?
-Анвлнз-
1=АНпянз остатков
|Г .,2=nponi03HDQPDHHPL.J
шагоп=
швг=
3=Выбрвтъ новую нопеяь
<Ёвс>=Закрнчнтъ анализ
Рнс. 8.20. Меню дополнительных
возможностей процедуры регрессии
281
Далее процедура предлагает построить график экспериментальна
точек и регрессионной кривой (рис. 8.21, левая часть). Построений
график при этом может быть сохранен в отдельном графическом окНе
Содержание окна сохраняется в течение всего сеанса работы с пр
мой и может быть просмотрено по требованию пользователя.
Рис. 8.21. Пакет STADIA. График экспериментальных
точек и регрессионной кривой. Справа — график прогноза
Дополнительные возможности. Затем пользователю предлага-
предлагается меню дополнительных возможностей процедуры (рис. 8.20).
Результаты расчетов процедуры 1 = Анализ остатков представлены на
рис. 8.22. Кроме значений экспериментальных данных, они содержат
подобранные значения модели, остатки и их стандартизированные зна-
значения, а также стандартные ошибки остатков и доверительные интер-
интервалы для них (в виде допустимого отклонения для 95% уровня дове-
доверия). Процедура также позволяет вывести график остатков и сохранить
остатки в отдельной переменной базы данных пакета.
Хэксп
0
0.2
0.4
0.6
0.8
1
Уэксп
29.375
110.26
188.76
268.92
348.54
426.42
Урегр
30.124
109.56
188.99
268.43
347.86
427.3
остаток
-0.74895
0.69916
-0.23572
0.48839
0.6785
-0.88138
Ст.остат
-1.0424
0.97312
-0.32809
0.67976
0.94436
-1.2267
Ст.ошиб
0.99159
0.9142
0.87294
0.87294
0.9142
0.99159
Довер.инт
2.7544
2.5394
2.4248
2.4248
2.5394
2.7544
Рис. 8.22. Результаты анализа остатков
Процедура 2 = Прогнозирование позволяет получить прогноз вперед с
заданным числом точек прогноза и шагом прогноза (см. рис. 8.23).
Хпрогн
1.1
1.2
1.3
1.4
1.5
1.6
1.7
1.8
1.9
2
Упрогн
467.02
506.73
546.45
586.17
625.89
665.6
705.32
745.04
784.76
824.47
Ст.ошиб
1.
1.
1.
1.
1.
1.
1.
1.
1.
1.
Рис. 8.23.
Довер.инт
2.8929
3.0485
3.2187
3.4014
3.5945
3.7966
4.0063
4.2224
4.4439
4.6702
0415
0975
1588
2245
2941
3668
4423
5201
5999
6813
Результаты вычисления прогноза
282
На рис. 8.23 приведены результаты расчетов этпй „
„е точек прогноза 10 и шаге прогноза 0.1 Первое "If" "РИ ™'
;»,е максимального значения наблюденной^авитшй пТ" т>>°
Увел„чины шага прогноза. В столбце Доверь фигурн^еТвГлГиГГ
„устимого отклонения от прогноза при 95% уровне ловйпн.п
2*. -роит график прогноза, он приведенГриеТгТспр^вГ^3
J°Z!ГоГ"Ы е^ГвьТ^""* ' —«• « —мой
2. Большинство функций, обрабатываемых noouenvnnu п™п
ской регрессии (см рис. 8.17). являются ^^SS^Z^SZS^
в „их параметров. В таких случаях для решения задачи регрессии возможныТва
подхода. Наиболее общий из них сводится к применен ^Нелинейного метод
наименьших квадратов для нахождения оценок неизвестных параметров в °ю
дели (8-3) с аддитивной ошибкой. Другой, частный метод, основан на преобра-
преобразовании векторов зависимой и независимой переменных таким образом чтобы
преобразованная функциональная зависимость была линейной относительно па-
параметров. Например, для функции у = 1/(а + Ь,/£) преобразование вектора у
вида щ = 1/2/. переводит ее в линейную относительно параметров функцию
Аналогичные преобразования допустимы для большинства функций, указанных
в списке (кроме функций 7, С, I. Ц М) . Для этих функций программа сначала
осуществляет необходимые преобразования векторов независимой и зависимой
переменных х и у, а затем применяет к преобразованной модели стандартный
метод наименьших квадратов для нахождения оценок параметров. Но в связи с
этим следует помнить, что требования аддитивности, одинаковой распределен-
распределенное»! и нормальности случайной ошибки е* относятся к преобразованной моде-
модели, а не к первоначальной. Более того, за исключением нескольких частных слу-
случаев, сформулировать статистические требования к характеру случайной ошиб-
ошибки в исходной модели крайне трудно. Поэтому последующий анализ остатков
для первоначальной модели не имеет смысла и необходимо исследовать остатки
преобразованной модели. Мы специально обращаем на это внимание, так как
процедура однопараметрическои регрессии выводит график и предусматривает
возможность сохранения остатков только для первоначальной модели.
Для зависимостей с номерами 7, С, I, L, М, не допускающих сведения к
линейным относительно параметров функциям, программа использует нелиней-
нелинейный метод наименьших квадратов. Для этих зависимостей дальнейший анализ
остатков можно проводить стандартными способами.
3. Чтобы пользователю было легче выбрать наиболее подходящую зависи-
зависимость, во встроенном справочнике пакета STADIA дается краткая классифи-
классификация различных функциональных зависимостей, представленных в процедуре
простой регрессии, с точки зрения скорости изменения (поведения производ-
производных), максимумов, асимптот, периодичности и т.п.
4. Пакет STADIA позволяет использовать и другие модели однопараме-
однопараметрическои регрессии. Выбрав пункт О=Общая/нелиннейная модель в меню выбора
статистических методов. Вы можете задать вид зависимости формулой.
Пример 8.3к. Методом наименьших квадратов вычислилм)ценки
>аметров параболической модел
данных примера 8.2к из п. 8.6.1.
параметров параболической модели регрессии у = А + Вх + их для
283
STAOIA CO: hubcr.std
■• x " - Г
-1'
2.40
0.73,
-1.44J
OL -2-321 I
iol о I
, , p
Рис. 8.24. Данные для примера 8.3к
Подготовка данных. На рис. 8.24 приведен экран редакт
данных пакета с введенными данными примера. ЗЬ|
Выбор процедуры. В меню Статистические методы (рис. 1.17) в
Регрессионный анализ выберите пункт L = Простая регрессияДренд. Так жРЭЗАеле
примере 8.1 к, укажем в ответ на запрос программы номера незави ^
и зависимой переменных. Из меню моделей регрессии (рис Tj0"
выберем нажатием кнопки {2} параболическуго модель.
Результаты. На рис. 8.25 приведены результаты
цедуры.
ПРОСТАЯ РЕГРЕССИЯ, eannrhuber.std
Переменные: х1. х2
Модель: парабола Y = аО+а1«х+а2«х
Коэфф. аО al a2
Значение -2.2665 -0.77426 0.10007
Ст.ошиб. 0.15447 0.044868 0.058925
Значки. 0.0006 0.0004 0.0004
Источник Сун.квадр. Степ.св Средн.квадр
Регресс. 13.947 2 б 9734
Остаточн 0.1361 3 0.045366
Вся 14.083 5
8.25.
выЧ„сле,„„, „роиедуры лараCм„чмк0.
Так„м же. „аи . „р,
Глава 9
Независимость признаков
Во многих практических задачах мы исследуем nfi™,™,.,
т несколькими (двумя „ли более) признака^ If^l^Z
насколько эти признаки связаны между собой. Например, у каждого
человека есть возраст и место рождения, уровень образования и годовой
доход, пол и социальная принадлежность, и т.п. Вопрос состоит в том
можно ли по степени выраженности одного признака судить о выражен-
выраженности другого, либо же эти признаки следует считать проявляющимися
независимо (в вероятностном смысле). Ответы на такие вопросы мо-
могут иметь значительную практическую ценность. Например, если мы
установим, что признаки «профессия» и «политические убеждения» за-
зависимы, то окажется, что социологические опросы по предсказанию ре-
результатов парламентских выборов следует проводить с учетом профес-
профессиональной принадлежности опрашиваемых — это позволит уменьшить
размер представительной (репрезентативной) выборки.
9.1. О шкалах измерений
Измерения. Прежде чем говорить о зависимости или независи-
независимости признаков, надо эти признаки измерить. Это может быть не-
нетривиальной задачей: действительно, как измерить «профессию», «по-
«политические убеждения» или «степень доверия»? Поэтому сначала мы
обсудим вопрос о шкалах измерений, в которых измеряются различные
признаки.
«Измерить все, что измеримо, и сделать измеримым все, что таковым
еще не является» — такую программу точному естествознанию наметил
Г.Галилей еще в 17 веке. Галилей ясно понимал, что измерения соста-
составляют основу наших знаний о природе. Но чем дальше, тем большее
место измерения занимают и в науках о человеке и обществе, поставляя
твердую основу для дальнейших исследований. Разумеется, в гумани-
гуманитарных науках измерения более сложны, чем в естественных. Дело не
только в том, что трудным может быть процесс измерения. Сложности
касаются, в основном, истолкования результатов измерений. Например,
в психологии многое приходится измерять с помощью психологических
тестов, а по своему содержанию тестовый балл очевидно отличается от
результатов измерения с помощью секундомера или линейки. Впрочем,
285
и между двумя последними тоже есть серьезная формальная разни
о чем будет сказано позже. Осознание подобных различий привеЛо,
понятию шкалы измерений.
Непрерывные и дискретные шкалы. Начнем с того, что имеется
общего у всех видов измерений - их результатом всегда является
число будь то школьная оценка, тестовый балл, календарная дата
температура тела, расстояние на местности и т.д. Что же касается ^
различий, то первым бросается в глаза различие в «запасе» возможных
значений при разных измерениях. Так, школьные оценки (у нас) могут
принимать только 4 значения B, 3, 4 и 5). Тестовым баллом может
быть любое целое число (из того промежутка, который определяется
количеством вопросов и тем, как оцениваются ответы). Показателем
температуры может быть любое действительное число (если отвлечься
от пределов, которые задают физические соображения), и т.д. Итак,
шкалы измерений могут иметь различные множества значений. С
этой позиции различают шкалы конечные и бесконечные, дискретные
и непрерывные.
Запас допустимых операций в шкале. Но главные различия шкал
не в этом. Важнее то, что по отношению к результатам измерений в
разных шкалах осмысленными являются разные арифметические дей-
действия. Рассмотрим, например, измерение времени. Каждому моменту
времени соответствует календарная дата, скажем, число t. (В разных
календарных системах данному моменту времени могут соответствовать
разные числа, но сейчас это не имеет значения, поскольку далее мы
будем говорить о каком-нибудь одном календаре, хотя бы о привычном
григорианском.) Пусть t и s — даты двух событий, два числа. Нам
понятно, что означает их разность (t — s) — это временной интервал
между событиями. Следовательно, операция вычитания допустима в
шкале измерения времени, потому что приводит к осмысленному ре-
результату. Можно также сравнить числа t и s по величине (по принципу
больше-меньше) — таким путем мы узнаем, какое из событий про-
произошло раньше, какое позже. Следовательно, в этой шкале операция
сравнения чисел является допустимой. Но в комбинациях типа t + s,
2t, ts и т.д. мы никакого смысла не находим. Поэтому эти операции в
данной шкале допустимыми не считаются.
Сказанное об измерении времени полностью приложимо, например,
к измерению температуры. Но в случае измерения длины (и других
размеров) положение оказывается иным. Пусть х и у — длины двух
предметов, скажем, труб или рельсов. Нам понятно, что означает не
только х - у, но и 2х, х + у и многое другое. Например, х + у есть длина
286
гпубы, которую можно получить, соединив трубы шин» ~
J В этой шкале запас допустимых опера ^ГеГо богаТ™ * "
Порядковые шкалы. Для изучения психических „ ф„ЗИЧеск„х ха
ктеристик человека, например, его способностей к уметанной
ИЛи
за
той
к уме в
^зическои деятельности, нередко прибегают к специально орган зо-
зонным пробам или испытаниям, называемыми тестами Результатом
такого теста является число, называемое тестовым баллом: При
мене выбранного теста другим, предназначенным для измерения
Же характеристики, тестовый балл данного испытуемого, скорее всего
изменится. Но что-то при таком изменении должно сохраниться ведь
объект измерения тот же, что и прежде. В частности, должно сохра-'
ниться соотношение между тестовыми баллами, которые получают в
этих условиях два испытуемых. Если два теста измеряют одну и ту же
характеристику (мы признаем, что это ситуация скорее воображаемая,
чем реальная), тот из испытуемых, кто обладает этой характеристикой
в большем мере, получит и большие тестовые баллы. Для тестовых
баллов, как и для школьных оценок, осмысленными (допустимыми) ока-
оказываются только их сравнения. Операции вроде сложения и вычитания
для этих шкал не имеют смысла. Например, нельзя сказать, что школь-
школьник, получивший четверку, знает предмет на единицу лучше, чем тот,
кто получил тройку, ибо для знаний нет единицы измерения. Мы можем
лишь сказать, что первый ученик знает предмет лучше, чем второй.
Описанные шкалы, в которых существен лишь взаимный порядок,
в котором следуют результаты измерений, а не их количественные
значения, часто называют порядковыми, или ординальными шкалами.
Номинальные шкалы. Еще одним важным видом шкал являют-
являются номинальные шкалы. В них числа служат только для различения
отдельных возможностей, заменяя названия и имена. Никаких содержа-
содержательных соотношении, кроме х = у или х Ф у, между значениями в этих
шкалах нет. Конечно, выбор чисел вместо названий или других способов
идентификации не обязателен. Но бывает, что к нему приходится прибе-
прибегать поневоле. Например, в полиграфии и текстильном деле используют
сотни цветов и оттенков. Они должны быть стандартизованы и иметь
отличительные обозначения. Существуют альбомы, содержащие такие
цветовые образцы. Указывать и называть какой-либо цвет можно только
с помощью его номера в таком альбоме, поскольку существующие в
языке названия цветов слишком малочисленны и неопределенны.
Виды шкал. Мы уже ввели два вида шкал: порядковые и номи-
номинальные. Кроме того, мы будем рассматривать еще и количественные
шкалы, такие как описанные выше шкалы времени, температуры, длины
287
и тд С помощью принципа, положенного в основу классиф„к
шкал'(те объема допустимых операции над числами), мы ^
проводить тонкие различия между шкалами. Однако с позиции ^
стики это пока не оправдано, так как статистические методы еЩе *
имеют столь тонкой приспособленности. Они разработаны для 6oflMll*
групп шкал: количественных, порядковых и номинальных, которы^
и будем рассматривать далее.
Замечание Классификацию шкал измерений можно обсудить и с
точки зрения (разумеется, родственной первой) - в зависимости от i
хаоактера тех соглашений, которые приходится делать при создании
шкалы Д™ календаря, например, надо выбрать начальный момент от»
бГет Учитываться время (вперед, в будущее, и назад в прошлое). F
содержание измерения от этого не должно зависеть В частности, раз,10С11
двух дат не меняется при перемене начала отсчета (в отличие от их суНмц
например). Именно поэтому вычитание в этой шкале является допустнной
операцией. Подробнее мы развивать данную тему не будем и ограничив
этими беглыми замечаниями.
В дальнейшем мы рассмотрим, как решаются вопросы о статисти-
статистической независимости признаков в трех шкалах: номинальной, поряд-
порядковой и количественной.
9.2. Инструменты и стратегия
исследования связи признаков
Классификация типа данных. Методы определения связи при-
признаков заметно отличаются в зависимости от вида шкалы измерении
этих признаков:
• для изучения связи признаков, измеренных в номинальной шка-
шкале, например, признаков вида «да или нет», применяются табли-
таблицы сопряженности, статистика Фишера-Пирсона X2, различные
меры связи признаков (коэффициенты Юла, Крамера, Чупрова
и др.) и логарифмически линейные модели (см. п. 9.3);
• для признаков, измеренных в порядковой шкале —данных типа
«лучше - хуже», тестовых баллов и т.д., — применяются ран-
ранжирование и коэффициенты корреляции Спирмена и Кендэла
(см. п. 9.4);
• для данных, измеренных в количественных шкалах, применяют-
применяются коэффициент корреляции Пирсона и модель простой линей-
линейной регрессии.
Таким образом, первым шагом анализа является классификация
типа данных, то есть отнесение их к .той или иной шкале измерений -
288
И3 НИХ
номинальной, порядковой или количественной (см п 9 \)
этом первом шаге на практике часто делаются ошибки
«ляется вычисление и сравнение средних зняи! - Тип
Lep школьных оценок. Эти данныйZZ7nlZ
второй операция усреднения не иМеет ясного см2а
Проверка гипотезы об отсутствии связи признаков. Следующим
шагом исследования является проверка гипотезы об отсутствии Зз'
(независимости) между признаками. Методы подобной проверки доволь
но хорошо проработаны как с теоретической, так и практической точки
зрения. Гипотеза об отсутствии связи отвергается в случае, когда стати-
стика фишера-Пирсона X принимает неоправданно большие значения
„л„ соответствующие коэффициенты корреляции заметно отклоняются
от нуля. Эти вопросы подробно разбираются в пунктах 9.3 —9.5.
Замечание. Следует помнить, что коэффициенты корреляции не всегда
позволяют отличить зависимость от независимости. В первую очередь это
относится к сложным типам зависимости.
Оценка силы связи. Если гипотеза о независимости признаков
отвергается, то обычно имеет смысл выяснить степень силы связи при-
признаков. Для этого используются различные меры связи — обычный
коэффициент корреляции для признаков, измеренных в количественных
шкалах, ранговые коэффициенты корреляции Кендэлла и Спирмена для
признаков, измеренных в порядковых шкалах, и различные показатели
типа ^-коэффициента, коэффициента А Гудмена-Краскела и др. Если
модуль меры связи лежит в интервале от 0.8 до единицы, то это свиде-
свидетельствует о сильной связи признаков, если он находится в интервале
[0.3, 0.7] — о неярко выраженной связи, а меры связи, близкие к ну-
нулю, означают отсутствие зависимости или очень слабую зависимость
признаков.
9.3. Связь номинальных признаков
(таблицы сопряженности)
Наиболее типичной ситуацией, в которой встречаются номиналь-
номинальные признаки, является обработка социологических анкет. В ходе со-
социологического обследования появляются тысячи анкет, содержащие
различные комбинации таких признаков, как профессия, образование,
пол, предпочтительный вид отдыха, использование свободного време-
времени и т.п. Эти комбинации появляются с разной частотой. Возникает
необходимость осмыслить этот хаос, связать один признак с другим.
289
Ю—783
Иногда такие признаки связаны жестко: если профессия -
или сталевар, то пол. несомненно, мужской. Тем самым по
рым значениям признака «профессия, можно узнать значение
.пол» Другая крайность - отсутствие связи, т.е. зависимости
признака от другого. (Если глаза серые, то каков пол?)
Исследователя в подобных задачах обычно интересует, насколько
точно можно предсказать значение одного признака по значению ДруГ(,
го Если точное предсказание невозможно, надо указать распределе
вероятностей между возможными значениями второго признака n№
данном значении первого. Этой проблеме должна предшествовать болеБ
простая- надо сначала проверить, существует ли вообще какая-либо
связь между этими признаками, или же они ведут себя независимо друг
от друга? Статистический способ ответа на этот вопрос основан На
изучении выборки (см. п. 1.8), т.е. конечной совокупности объекту
наудачу извлеченных из генеральной совокупности.
Пример. Рассмотрим пример, подробно описанный в [72]. в котором ка-
каждый испытуемый мог выбрать инструкцию, регламентирующую его дальней-
шую работу. Предварительно у каждого испытуемого был определен тип нерв-
ной системы. Результаты этого опыта приведены в следующей ниже таблице
которая заодно дает пример таблицы сопряженности признаков.
Таблица 9,1
Предпочтение различных видов инструкций в группах высокореактивных
(+Р) и низкореактивных (-Р) индивидов (по Чижковской, 1974)
Вид инструкции
Детальная, подробно регламентирующая
последовательные действия
Итоговая, обобщенная, краткая
В сумме
Груп
+Р
63
34
97
пы испытуемых
-Р
42
56
98
В сумме
105
90
Здесь каждый признак (свойства нервной системы, свойства инструкции)
имеет два уровня, вместе они образуют таблицу размера 2x2 (как говорят,
два на два). В каждой из ее четырех клеток показано, сколько раз встречалась
данная комбинация признаков. На полях таблицы указаны суммарные значения
(т.е. сколько раз встретился тот или иной уровень признака). Общее количеств)
испытуемых (в данном случае 195) помещено в правом нижнем углу таблицы.
Оно получается как сумма чисел, стоящих на полях. Аналогично устроении
более сложные таблицы сопряженности, с большим числом факторов и уровнен.
Для данного примера естественен вопрос: есть ли связь между свойствами
нервной системы и предпочтением того или иного вида инструкций? Еслнбы
связь существовала и была совершенно твердой, в таблице 2 на 2 ненулевые
клетки располагались бы только на диагонали (одной или другой). При связи
не столь сильной некоторое число наблюдений попадает и во внедиагональ-
290
*" ТеНДенция"
нЫе клетки. Чем слабее связь, тем менее четко прояв;
Присутствует ли эта тенденция в приведенной таблице/
Статистическая независимость признаков н*
в противовес представлению о взаимосвязи признак™*? ° Т°Г°' ЧТ°
зУ отрицающую эту связь. Это гипотеза о Г!^ВВедем гипоте"
(в дальнейшем — «нулевая» гипотеза Яо).
(вдало.-;— ,-- .«„ulcad nQh Уточним задачу огоан
чнваясь (Для простоты двумя признаками. Пусть признак А имеет
градаций (или уровней), которые мы назовем А, А, А
Подразделяется на . градаций *, В2,..., Д п ^м ^
ре каждый из двух признаков (вид инструкции, тип нервной системы)
имел по два уровня.
Определение. Признаки А и В называют независимыми если
(при случайном выборе объекта) оказываются независимыми собы-
события «признак А принимает значение А^ и «признак В принимает
значение Bj», притом для всех пар г, j.
Если сказать короче, то признаки А и В называются независимыми,
если (при случайном выборе объекта):
P(AiBj)=P(Ai)P(Bj) (9.1)
для всех Аг и Bj. Иначе говоря, независимость признаков означает, что
значение, принятое признаком А, не влияет на вероятности возможных
значений признака В, т.е.:
= Р{В5) (9.2)
для всех пар А^ Bj.
Непосредственно проверить соотношения между вероятностями
(9.1) или (9.2) мы не можем, поскольку этих вероятностей не знаем.
Таблица сопряженности. Предположим, однако, что в нашем
распоряжении имеется выборка из интересующей нас генеральной со-
совокупности. По этой выборке мы можем определить частоты событий
А{ и Bj по отдельности и в любых комбинациях.
Обозначим через п^ частоту события AiBj, т.е. количество объектов
выборки, обладающих комбинацией уровней Аг и Bj признаков А и В.
Ясно, что число появлений признака Д- (частота события Ai) равно:
3 =
3
Обозначим эту сумму через щ.. Аналогично, частота появления
равна
(9-4)
291
Сделаем общее соглашение: пусть замена индекса точкой
чает результат суммирования по этому индексу. Тогда: 3hQ~
t=l
обозначает общее число наблюдений, т.е. объем выборки. Часто вм
п.. мы будем писать просто п. ст°
Выборочные частоты обычно представляют в виде таблицы, Пп
денной ниже. е"
Определение. Таблицу 9.2 называют таблицей сопряженно
признаков А и В. и
Таблица сопряженности признаков А и В
Таблица 9.2
А \ В
А1
А2
At
Аг
Bi
пи
пг1
в2
П12
П22
П{2
ПГ2
П.2
nij
K2j
П-ij
nrj
n.j
Ba
Пи
n2s
nra
n.s
Щ.
n2.
n,-. %
nr.
п..
Введем аналогичные обозначения и для вероятностей. Положим
Ру = P{AiBj).
Теперь
3=1
(96)
Гипотеза о независимости признаков в принятых обозначениях запи-
записывается так:
Pij=Pi-Pj (9.7)
для всех пар (г, j), i = 1,... , г, j = 1,... , s.
Ожидаемые частоты. Мы хотим знать, выполняются ли соотно-
соотношения (9.1) или (9.7) для наших признаков. Судить об этом можно,
основываясь на выборочных частотах, представленных в таблице сопря-
Гп " п РИ Ш°М °бъеме выб°Рки эти част°™ близки к вероят-
вероятностям. Потому для частот из таблицы 9.2 соотношения (9.1) и (9.7)
приближенные равенства (если, конечно, гипотеза о
Выполните 1бР ' 0СТаеТСЯ НаЙ™ СПОСОб, Чтобы СУДИТЬ О ТОН,
выполняются эти приближенные равенства или нет.
292
Итак, по теореме Бернулли, при п
оо:
п
Pij\
п
— _> р
п ^Jl
(9.8)
о
том
а поэтому для независимых признаков: n£j ~ щ.щ/п.
Определение. Величины п, „..,/„ называются ожидаемыми на-
стотами (имеется в виду, ожидаемыми при выполнении гипотезы).
При выполнении гипотезы ожидаемые частоты не должны сильно
сличаться от наблюдаемых частот щ. Наша задача сейчас состоит в
■ом, чтобы решить, выполняются ли в действительности (для наблюда-
наблюдаемой таблицы) эти приближенные соотношения.
Ожидаемые частоты полезно ввести в исходную таблицу, чтобы
иметь возможность сравнить их с наблюдаемыми. Скажем, приведенная
выше таблица 9.1 принимает вид: )
Таблица 9.3
Предпочтение различных видов инструкций в группах высокореактивных
(+Р) и низкореактивных (-Р) индивидов (с ожидаемыми частотами)
Вид инструкции
Детальная
Краткая
Тип испь
+Р
63 / 52.2
34 / 44.8
97
туемого
— Р
42 / 52.7
56 / 45.2
98
105
90
195
Если видимые различия между наблюдаемыми частотами и частота-
частотами, рассчитанными на основании гипотезы о независимости признаков,
можно объяснить случайными колебаниями (т.е. действием случайной
изменчивости), то отвергать гипотезу независимости нет оснований.
(В просторечии даже говорят, что гипотеза Яо принимается.) Итак,
осталось условиться, как сопоставлять два ряда частот, как измерить
различие между ними.
Сопоставление ожидаемых и наблюдаемых частот. Вопрос о
сравнении наблюденных в опыте частот с теми, которые предписывает
теория (ради проверки этой теории) возникает не только при анализе
таблиц сопряженности, но и во многих других задачах. Со времени
К.Пирсоиа (начало века) и Р.Фишера (двадцатые годы) стал общеприня-
общепринятым следующий способ сопоставления наблюдаемых частот с частотами,
рассчитанными по модели (их также иногда называют теоретическими;.
Чтобы сформулировать критерий Пирсона-Фишера в общем и легко
запоминающемся виде, обозначим наблюдаемые частотьгчерез Н ожи-
ожидаемые, или теоретические, частоты обозначим буквой Т. Если модель
293
гоавильно описывает действительность, числа Я и Т должны быть 6щ
ки друг к другу. Следовательно, сумма квадратов отклонений (я *
нёдолжна быть большой. Разумно в общую сумму отдельные спагад^
вноГть с различными весами, поскольку чем больше Г, тем больше*
может от него отклоняться за счет действия случая, без отступле„„й;
модели Поэтому в качестве меры близости наблюдаемых „ „«„^
частот разумно рассмотреть величину:
(Я - ТJ
где сумма берется по всем ячейкам таблицы сопряженности. В Дан.
ном случае X2 есть мера согласия опытных данных с теоретической
моделью. 2
Если в конкретном опыте величина X оказывается чрезмерно боль-
шой, приходится признать, что ожидаемые частоты слишком сильно
отличаются от наблюдаемых. Тем самым .гипотеза, на основании кото-
рой были рассчитаны ожидаемые частоты, оказывается в противоречии
с опытом. Поэтому ее следует признать неправильной и отвергнуть.
Остается лишь разобраться в том, какие значения для X2 надо
считать чрезмерно большими (неправдоподобно большими), а какие
нет. Для этого надо знать распределение случайной величины Л как
в случае, когда гипотеза верна, так и в случае ее нарушения. Ответ в
первом случае дает приводимая ниже теорема. После ее обсуждения
мы рассмотрим и второй вопрос.
Теорема (К.Пирсон, Р.Фишер). Если верна модель, по которой
рассчитаны теоретические частоты Т, то при неограниченном ро-
росте числа наблюдений распределение случайной величины X2 стре-
стремится к распределению хи-квадрат. Число степеней свободы этого
распределения определяется как разность между числом событий
и числом связей, налагаемых моделью.
Число степеней свободы распределения хи-квадрат. В нашем
примере число событий — это число ячеек в таблице сопряженности,
т.е. число событий вида A{Bj. Оно равно rs. Подсчитаем число связей.
Во-первых, Y^ijKij = n (одна связь). Во-вторых, определяя щ. (ип.Д
мы воспользовались соотношениями
и
J ^ 1 = 1
Число таких независимых соотношений равно г - 1 для первой группы
соотношений и s - 1 для второй. Действительно, хотя число соотно-
соотношений в первой группе равно г, любое одно из них (благодаря суще-
294
ствованию соотношения £ n{j = „) явля
^г"гободы
)
другая форма статистики X2. Для статистики X2
другая форма, порой более удобная для расчетов:
|. (9Л0)
Сумма снова берется по всем ячейкам таблицы сопряженности При
гипотезе статистика У распределена в пределе так же, как и X2 т е по
закону хи-квадрат. Правило для подсчета числа степеней свободы X2
действует и для У2. Вообще величины X2 и У2 при расчетах мало
отличаются друг от друга, если гипотеза верна, т.е. если наблюдаемые
частоты близки к ожидаемым.
Пределы использования аппроксимации распределения для
статистик X2 и У2. Как было сказано, распределение хи-квадрат явля-
является предельным для случайных величин X2 и У2. Поэтому использо-
использовать его как приближение для реальных распределений X2, У2 можно
только при большом числе наблюдений п. Считается достаточным, что-
чтобы по всем ячейкам теоретические частоты были бы не меньше 5. Есть
данные, что это ограничение в задаче независимости признаков можно
снизить до 3, так что должно выполняться соотношение: щ.п.^/п ^ 3.
Требования к ожидаемым частотам определенно смягчаются при увели-
увеличении числа степеней свободы.
Независимые признаки. Посмотрим, как выглядят общие ре-
результаты Пирсона-Фишера применительно к задаче о независимости
признаков. Составим статистики:
Г (911)
£=1 j=l
После упрощений они выглядят так:
Х2 =
295
у2 = 2
П{-ln ni- ~ 4^ n-j ln n-j + n Ь n
Теорема Пирсона-Фишера утверждает, что если признаки Д „ fi
(имеющие г, 5 уровней соответственно) независимы, то статистики *а
У2 имеют (приближенно, при большом числе п) распределение *„'
квадрат с (г - 1)(в - 1) степенями свободы.
Зависимые признаки. Чтобы понять, как ведут себя статистики
X2 (ипи У2) при больших 71, когда гипотеза независимости неверна, Над0
преобразовать выражение (9.11) и затем воспользоваться свойствами
(9.8). Получим, что:
Если гипотеза Яо неверна (и только тогда), правая часть (9.13)
отлична от нуля. В этом случае X2 стремится к бесконечности (при
п _> оо). Следовательно, при большом конечном п для зависимых
признаков мы будем получать в опытах большое значение величины
X2. Аналогичное рассуждение верно и для Y2. Таким образом, при
больших п:
• для независимых признаков статистика X2 распределена (прак-
(практически) по закону хи-квадрат;
• для зависимых признаков X2 неограниченно возрастает при
увеличении п.
Поэтому большие (неправдоподобно большие для хи-квадрат) зна-
значения X2 указывают на взаимную зависимость признаков.
Правило проверки гипотезы о независимости. Какие же зна-
значения X2 (или У2) надо считать настолько большими, что они несо-
несовместимы с гипотезой Яо? Очевидно те, появление которых при гипо-
гипотезе маловероятно, т.е. те, которые превосходят критические значения
распределения хи-квадрат, соответствующие выбранному уровню зна-
значимости. Итак, для проверки гипотезы о независимости признаков надо
вычислить одну из статистик X2 или У2 и сравнить ее значение с со-
соответствующими критическими значениями распределения хи-квадрат,
взятыми из таблиц.
Продолжение примера. В примере, приведенном выше, расчет
дает X2 = 9.58. Число степеней свободы для таблицы 2x2 равно
1. Верхние процентные точки распределения хи-квадрат (*2) с одной
степенью свободы таковы:
296
Мы видим, что P{X2 > X2} < 0.005. Это значит
получить чисто случайно для независимых признаков такое ж *""""
опыте или даже большее значение, не превышает 0.005. МожнТсчитать
_~,.™<v что в нашем поимепе ппиэио,,,, и ^читать
„„«те или д ие, не превыш ть
„„этому, что в нашем примере признаки „е являются независимыми
т.е. связь между ними проявляется. (Иногда гов
значима.)
являются независимыми
говорят, что данная таблица
Таблицы 2x2. В частном случае таблиц сопряженности, когда
признаки А и В принимают только по 2 значения Ль А2 и В,. B2
(обычно первое из них — наличие признака, а второе — его отсутствие)
атистика X2 упрощается:
пр
(обычно первое
статистика X2 упрощается:
n12n2iJ
Щ.П2.П.1П.2
В этой ситуации статистики X2, Y2 имеют распределение х2 с одной
степенью свободы (если признаки независимы).
Видимо, лучшее согласие с предельным распределением имеет мо-
модифицированная статистика:
П1.П2.П.1П.2
(Это X2 с поправкой на непрерывность; иногда говорят — с поправкой
на группировку).
Меры связи признаков. Как всегда в статистике, принятие какой-
либо гипотезы не означает ее доказательства. Оно означает лишь, что
имеющиеся данные и принятые методики проверки не позволяют от-
отвергнуть гипотезу. Вполне возможно, и так часто и бывает, что при уве-
увеличении числа наблюдений гипотезу (в данном случае независимости)
придется отклонить. Для статистики X2 (по закону больших чисел)
это будет означать, что
n
lim -Х< = ^
Pi-V-j
настолько отличается от нуля, что этого не может скрыть свойственная
X2 случайная изменчивость. Участвующая в этом выражении сумма
квадратов естественно должна рассматриваться как одна из характери-
характеристик различия между таблицами ||p,j || и \\pi-Pj II-
В реальных задачах исследователя интересует взаимодействие при-
признаков. Если признаки оказались взаимосвязаны (гипотеза об их неза-
297
виснмости проверена и отвергнута) исследователя интересует си
связи Для описания такой связи было предложено много р^
к эффициентов, называемых мерами связи. К сожалению, ни оди^
них не может передать всей сложной картины взаимодействия, осо^
но лля таблиц с большим числом признаков и уровней признаков \
связи с этим и, главное, с появлением более точных методов ана^
таблиц сопряженности (например, логарифмически линейных м»
интерес к этим мерам связи заметно снизился.
Мы немного расскажем об этих мерах на примере таблиц 2x2, щ,
которых они полезнее, чем для более сложных. Самый старый из них»
коэффициент связи Юла A900, 1912):
ПцП22 - ^12^21
Пц7?22 +П\2П21
С РОСТОМ П (fl -> 00) Q -» (РПР22 - Pl2P2lV(pllP22 +P12P21).
Используется также мера связи tp = у/^Х2, вероятностный смысл
которой был отмечен ранее.
Кроме этих, были предложены коэффициенты Крамера, Чупрова,
А-меры и т-меры Гудмена и Краскела и другие. Подробную информацию
по изложенным выше вопросам можно найти в [6], [40], [64], [78], [82|.
9.4. Связь признаков,
измеренных в шкале порядков
Ранги. Обсуждая измерения в порядковых (ординальных) шкалах,
мы убедились, что реальным содержанием этих измерений является тот
порядок, в котором выстраиваются объекты (по степени выраженности
измеряемого признака). Предположим, к примеру, что для изучения
двигательных возможностей группы детей мы предложили каждому
ребенку сложить что-то определенное из кубиков и палочек. Ясно,
что время, затраченное на выполнение задания, тем больше, чем менее
развиты способности к тонким движениям рук и пальцев. Поэтому
упорядочение испытуемых по затраченному времени совпадает с до
упорядочением по развитию этих способностей. При другом подобном
задании затраченное время будет другим, но порядок сохранится (за
вычетом влияния на результат случайных обстоятельств).
Сказанное означает, что для пас имеют значение не столько ре-
результаты (числа) Хь..., Хп измерения определенного признака Л для
объектов 0A),..., О(п), сколько ранги г1}...,гп чисел
(Здесь п — ранг Xt среди чисел Хи ..., Хп.)
298
Независимость признаков. Представим себР
„рпо с двумя разными признаками А и В ичмоп ЧТ° Теперь мы имеем
^ово* шкале. Нас ^^Щ«
признака на степень выраженности другого Если т! ВеЛИЧИНа одного
„знаки естественно назвать «™JLZZ ~ZZ" ""'
„^зависимости порядковых признаков (гипотезу ЛГп Зу °
"I3,, „„„ячи предложил психолог Ч.Спирмен в 1%0 г РШМ РеШе"Ие
для тех же объектов. Каждый объект О(г), г = 1,... , п, теп^рь
теризуется парой чисел {XitY-) - своими значениями признаков Л и
Вш От чисел Уь..., У„ так же как ранее для признака А) переходим
к их рангам 5Ь..., sn. (Здесь Si — ранг У,- среди УЬ...,УП). Будем
считать, что среди чисел Х1}...,ХП (и среди чисел Уь...,уп) нет
повторяющихся, так что переход к рангам вопросов не вызывает. Для
измерений в непрерывных шкалах эта ситуация типична.
Замечание. Ранговые последовательности могут возникать и иначе, не-
непосредственно. Ч.Спирмен, например, обсуждал связь между способностями к
музыке и математике. Группу детей мы можем упорядочить дважды — сначала
по успехам в музыке, затем — в математике. (В школьном классе мы можем
попросить учителей составить два таких списка). Места, которые займет ученик
N в обоих списках, и будут его рангами г, s.
Распределение набора рангов для независимых признаков.
Теперь каждому объекту O(i) приписана пара натуральных чисел
(г,-, sj. Если признаки А и В взаимосвязаны, то порядок, в кото-
котором следуют числа жь..., жп, в определенной степени влияет на по-
порядок, в котором следуют числа yi,..-,yn- Иными словами, после-
последовательность рангов Г1,...,гп в какой-то мере влияет на ранговую
последовательность sb ..., sn. Чем более тесно связаны эти признаки,
тем в большей степени последовательность ri,...,rn предопределяет
последовательность sb..., sn.
Если же признаки такой связи не проявляют, то порядок среди игре-
игреков случаен по отношению к порядку среди иксов. В этом случае все
п! перестановок чисел 1, 2,..., п, которые могут выступать как ранги
si,...,sn, оказываются равновозможными, т.е. равновероятными при
любом порядке чисел п,..., г„. Это центральный момент обсуждения:
при гипотезе Яо и любом наборе гц...,гп все возможные последо-
последовательности «,,...,«„ равновозможны (т.е. вероятность распределена
между ними равномерно).
Вторым важным моментом является выбор меры сходства для двух
наборов рангов. Здесь много математических возможностей. Наиболее
299
чисел гж
популярны две меры сходства, которые приводят к коэффициент
ровой корреляции Спирмена и Кендэлла, соответственно С этими £
ыми коэффициентами мы уже встречалисЬ в параграфе g 4 ^
с той меры, которую предложил Ч.Спирмен.
Коэффициент Спирмена. Близость двух рядов
Sl>...,sn отражает величина
S = f> - SiJ.
Она принимает наименьшее возможное значение S = 0 тогда и только
тогда когда последовательности полностью совпадают. НаибольШее
возможное значение S = Цп*-п) величина 5 принимает, когда эти
последовательности полностью противоположны. (Это значит, чтодля
п = 1 значение з{ = п\ для г,- = 2 соответствующие s,- = п^{
и т.д.). Кроме степени сходства последовательностей (n,..., rj н
(si,'..., sn). на 5 оказывает влияние также и численность группы п.
Чтобы 'ослабить влияние переменной п, переходят к коэффициенту
ранговой корреляции Спирмена:
65
Р = 1 п
Коэффициент р по абсолютной величине ограничен единицей: |р|$
1. Свои крайние значения р = ±1 он принимает в указанных выше
случаях полной предсказуемости одной ранговой последовательности
по другой.
Заметим, что значение 5" не зависит от первоначальной нумерации
объектов. В качестве таковой часто удобно выбрать упорядочение по од-
одному из признаков. Тогда последовательность рангов по этому признакI
превратится в последовательность 1, 2,...,п. Вторую последователь-
последовательность обозначим, скажем, z\,..., zn. При этом
п
Коэффициент Кендэлла. Другой коэффициент ранговой корреля-
корреляции получил популярность после работ М.Кендэлла, в особенности по-
после выхода его книги [40]. Этот коэффициент в качестве меры сходства
между двумя ранжировками использует минимальное число перестано-
перестановок соседних объектов, которые надо сделать, чтобы одно упорядочение
объектов превратить в другое.
Для определения коэффициента ранговой корреляции по Кендэллу
сначала введем статистику Кендэлла К. Выберем в качестве первона-
300
«вльной нумерации упорядочение объектов по поизня™ а
/сопоставляя A, 2,.... п) и [ги z2 Л п У "ПОДСЧИТаем
числу инверсий в ряду (* :Т'п °Ka3blBae™, что Я
одна инверсия, D прежде 1) - еще одна и D поежГ. 91 и
р элемент последовательности дает три инверсии 1'""
читаем число инверсии которые образует второй элемент n
«дьностн: C прежде 1), C прежде 2) - итого две инв £
как полагается, стоит прежде 2 и потому пара A,2) инверсии не обя-
обязует. Всего инверсии в данном случае 3 + 2 = 5. Таким образом К = 5
Наименьшее возможное значение К = о, наибольшее К = п(п - П/2
Как и для S. эти значения получаются при полном совпадении и полной
противоположности ранговых последовательностей. Чтобы ослабить
влияние п на величину К, от К переходят к коэффициенту ранговой
корреляции г (по Кендэллу):
АК
т = 1
п(п -1)"
Как ир.г может изменяться от -1 до +1; свои крайние значения
г принимает в указанных выше случаях.
Распределение коэффициентов корреляции р и т. Мы уже
отмечали, что в случае независимых признаков вероятность между все-
всеми п! возможными значениями (z\,..., zn) распределяется равномерно.
Это дает возможность (по крайней мере принципиальную) рассчитать
закон распределения вероятностей между возможными значениями р
или г в условиях Hq. Для малых значений п это несложная задача, но с
ростом п число комбинаций п!, которые надо учесть, быстро увеличива-
увеличивается. (Например, 10! = 3628800). Тем не менее, составлены достаточные
для практических нужд таблицы распределений случайных величин р
итв случае Яо. Для небольших п эти таблицы точные, для других
значений — приближенные (о чем ниже). Правильнее сказать, что в
сборниках статистических таблиц приводят обычно распределения не
самих риг, а определяющих их статистик S и К (либо их вариантов).
Проверка независимости признаков. Теперь обсудим, как с по-
помощью коэффициентов ранговой корреляции можно проверить гипотезу
Яо о независимости признаков. Для этого надо знать характер рас-
распределения вероятностей для этих коэффициентов р и т при Яо и при
отступлении от Яо.
Вероятность распределяется на отрезке [-1, 1]. При Яо распреде-
распределение этих величин симметрично и концентрируется около нуля 1тем
сильнее, чем больше п). Если признаки зависимы, распределение веро-
301
ятностей может быть иным. Поведение коэффициентов ранговой КОр.
реляции в эТ0М случае легко проследить лишь для наиболее просто£
«ипа связи - монотонной (положительной или отрицательной). д,*
монотонной положительной связи значение одного признака тем ^
ше чем больше значение другого (при отрицательной - НаобОр0т)
Такая альтернатива независимости легко обнаруживается с пОмОЩЬ10
коэффициентов ранговой корреляции, абсолютное значение которого
в этом случае должно быть близко к единице. Если же зависимость
между признаками более сложная, ее влияние на ранжировки может
быть не столь простым. Поэтому с помощью коэффициентов ранговой
корреляции далеко не всякую зависимость можно отличить от незав.,.
симости Все же мы можем сказать, что появление в эксперименте
больших (по модулю) наблюдаемых значений коэффициентов ранговой
корреляции свидетельствует против гипотезы независимости в пользу
связи между признаками (положительной либо отрицательной, смотря
по знаку коэффициента).
Для проверки Но надо вычислить выборочное значение коэффищ.
ента ранговой корреляции и сравнить его с критическим значением
для данного уровня значимости, которое следует извлечь из таблиц.
Гипотезу Но надо отвергнуть (на выбранном уровне значимости), если
полученное в опыте значение коэффициента ранговой корреляции пре-
превосходит критическое (по модулю).
При больших п критические значения не табулированы, их при-
приходится вычислять по приближенным формулам. Как правило, в та-
таблицах критических значений такие формулы приводятся. Они осно-
ваны на том, что при Но и больших п случайные величины у/п-1р
и x/win+s) r РаспРеДе-лены (приближенно) по стандартному нормаль-
нормальному закону N@, 1).
Дополнительную информацию по изложенным в этом пункте вопро-
вопросам можно найти в [25], [82], [89], [91].
9.5. Связь признаков
в количественных шкалах
9.5.1. Коэффициент корреляции
Количественные шкалы. Количественными шкалами мы будем
называть шкалы отношений и интервальные:
• интервальной шкалой называют такую шкалу с непрерывным
множеством значений, в которой о двух сопоставляемых объек-
302
тах можно сказать не только, одинаковы п
в номинальных шкалах), не только в к ИЛИ разлИчны (как
выражен (как в порядковых шкалах^ ™ ""* ПрИЗНак более
признак выражен; '• Н0 и на<*олько более этот
шкалой отношений называют такую шкагш , UQ
жеством значений, в которой о двух с27 С НепреРЬ1вным мно-
Можно сказать не только, ЬЕ£££££%£
■»
Примером интервальной шкалы является измерение времени или темпа»
туры. Сопоставляя календарные даты двух событии, можно сказ ть сЗо
лет. дней, часов и т.д. прошло между ними. т.е. насколько одно событие
произошло позже (раньше) другого. Чтобы задать интервальную шкалу наш
выбрать начальную точку отсчета и единицу измерения. В температурной шкале
Цельсия начало отсчета - нуль градусов - температура замерзания воды- за
сто единиц принят интервал температур от замерзания до кипения воды (при
нормальном давлении). Однако отношения измерений не всегда имеют смысл
так. мы не можем сказать, что температура в десять градусов Цельсия «в два
раза больше» температуры в пять градусов.
Если же пулевая точка шкалы выбрана не условно, а имеет естественный
«физический» смысл, то по результатам измерения можно сказать, во сколько
раз один объект превосходит другой по степени выраженности измеряемого при-
признака. Таковы большинство шкал, применяемых в физике и технике: измерение
массы, длины и т.п. Эти шкалы называются шкалами отношений.
Независимость признаков. Обсудим, как выразить числом сте-
степень взаимной зависимости или установить взаимную независимость
двух признаков, измеренных в количественных шкалах. Предположим,
что есть некая генеральная совокупность, каждый элемент которой
обладает двумя количественными признаками, скажем А и В. Станем
наудачу извлекать объекты из этой совокупности. Обозначим через а и
/? значения, которые при этом принимают признаки А и В. Ясно, что
а и Р — это случайные величины.
Определение. Признаки, измеренные е количественной шкале,
называются независимыми, если независимы (статистически) слу-
случайные величины а и р.
Как говорилось в гл. 1, случайные величины а и /? статистически
независимы (для краткости — просто независимы), если независимы
любые события U и V, которые выражаются с помощью а и /?, соответ-
соответственно. Для независимости а и р достаточно (и необходимо), чтобы бы-
были независимы все события вида U = (ai < а < а2), V - (h < Р < Ь2),
гДе <ц < а2, Ь < Ь2 - произвольные числа. Напомним, что неза-
303
висимыми считаются такие события U. V, что P{UV) = P{U)p
"ательно, условие независимости а и Р выглядит так: *
Р(п1 <а<а2,Ь1<Р<Ь2)= Р{Ы < « < <^) ^(h < /? < Ь2). (9.14)
В основу статистических проверок независимости признаков можно
положить проверку того или другого следствия из соотношения (9.14).
Коэффициент корреляции. Из главы 1 мы знаем, что для незав„.
симых случайных величин а, C их ковариация
равна нулю а для зависимых случайных величин она может (хотя и не
обязательно) отличаться от нуля. Поэтому ненулевое значение кова-
риации означает зависимость случайных величин. Однако обращение
в нуль ковариации не гарантирует независимости: бывают зависимые
случайные величины, ковариация которых равна 0 (упражнение: приду,
майте пример). Кроме того, ковариация вообще может не существовать
(так же как и математические ожидания). Так что обращение в нуль
ковариации признаков не является достаточным для их независимости,
а только необходимым (и то лишь если ковариация существует).
Однако использование ковариации в качестве меры связи признаков
не совсем удобно, так как при переходе к другим единицам измерения
(например, от метров к сантиметрам) ковариация тоже изменяется. По-
Поэтому в качестве меры связи признаков обычно используют не cov(a,j9),
а безразмерную величину — коэффициент корреляции р(а,р):
cov(Q> Р)
р
Свойства коэффициента корреляции мы уже описывали в главе 1.
Напомним, что коэффициент корреляции может принимать значения от
-1 до 1, при этом он может быть равен -1 или 1, лишь если случайные
величины а и /3 линейно связаны, т.е. существуют такие числа t, k, что
Р(C = ta + к) = 1. Для независимых случайных величин коэффициент
корреляции (если он существует) равен нулю.
Выборочный коэффициент корреляции. Чтобы вычислить р по
формуле (9.15), надо знать ковариацию и дисперсию признаков. На
практике.они обычно неизвестны. Информация о признаках а, /3 обычно
представлена выборкой (аь fa),..., (an> pn)t которую получают, нау-
наудачу отбирая п объектов и измеряя значения их признаков.
По выборке можно найти выборочный аналог теоретического коэф-
коэффициента корреляции — коэффициент корреляции выборки, или вы-
выборочный коэффициент корреляции. Как мы говорили в главе 1, его
304
uunumioT, заменяя усреднения по генеральной ™.,
веские ожидания) усреднениями по выб0 ° "Й™""" (матеМа"
*„ дисперсий, согласно п. 1.8, суть: Оборонные аналоги
Как обычно, черта сверху означает усреднение по выборке Выбо-
Выборным аналогом для Map служит а/3 = Ly* oR ~ T
Писать выборочный коэффициент корреля"^ ад "^
записать выборочный коэффициент корреляции"!»
(9.16)
Можно г выразить и по-другому, например:
r= £L,(o,-g(g!-g__ ft
В силу закона больших чисел г -> р при неограниченном росте
объема выборки, т.е. при п -» оо. Более того, центральная предельная
теорема позволяет заключить, что случайная величина л/п(г~р) рас-
распределена приблизительно нормально, причем асимптотическое среднее
этого нормального закона равно 0. Можно указать и асимптотическую
дисперсию, но выражение ее довольно сложное. Практически им не
пользуются. К вопросу о предельном распределении г мы еще вернемся.
9.5.2. Нормальная корреляция
Коэффициент корреляции не всегда выполняет свою роль измерите-
измерителя связи между признаками, так как случай р = 0 еще не означает ста-
статистической независимости а и р. Но если совместное распределение
пары случайных величин (а, 0) оказывается нормальным, то равенство
р ~ 0 влечет за собой статистическую независимость а и р.
Общее условие независимости признаков. Укажем, как выра-
выражается независимость случайных величин в терминах их совместной
и частных плотностей. Пусть совместная плотность пары случайных
величин (а, р) есть р{х, у). Тогда плотность распределения случайной
величины q (частная плотность) есть
Г (
Loo
305
Аналогично, плотность распределения 0 равна
рОО
Р2{у) = I P\P^i У) V-X-
J—oo
Напомним определение независимости случайных величин Q „ д
для любых чисел а < Ь, с < d
Если записать вероятности этих событий через соответствую^
плотности, мы получим следующее условие независимости а и /3:
(х, y)dxdy = / Pi{x)dx I p2(y)dy.
а с
Отсюда можно заключить, если привлечь более глубокие сведения
из интегрального исчисления, что необходимым и достаточным уело-
вием независимости служит условие равенства совместной плотности
произведению частных плотностей:
р(х, у)=Р\{х)р2{у)
Условие независимости нормальных признаков. Обратимся к
виду общей плотности двумерного нормального распределения, как она
дана в п. 2.5, либо к двумерной плотности в стандартизованных коор-
координатах, и сравним ее с произведением частных (одномерных) плотно-
плотностей, которые тоже нормальны (см. п. 2.5). Сопоставляя их, мы можем
убедиться, что двумерная нормальная плотность представляется в виде
произведения частных плотностей тогда и только тогда, когда р~0.
Итак, для пары признаков, имеющих совместно двумерное нормаль-
нормальное распределение, условие р = 0 (некоррелированность признаков)
эквивалентно их независимости. Поэтому проверка гипотезы о не-
независимости признаков, совместное распределение которых является
двумерным нормальным, сводится к проверке гипотезы #0 : р = 0.
Проверка независимости. В гауссовском случае, когда коэффици-
коэффициент корреляции р = 0, распределение выборочного коэффициента г из-
известно достаточно хорошо. Это распределение симметрично и сконцен-
сконцентрировано около нуля (тем сильнее, чем больше п). Поэтому гипотезу
Но следует отвергнуть, если выборочное значение г (которое отличается
от гипотетического /9 = 0 только за счет действия случайности) слишкоы
далеко (неправдоподобно далеко) отклоняется от нуля, т.е. \г\ превос-
превосходит критическое значение (для выбранного уровня значимости).
306
расЧет квантилей для г основан на том что ел -
„^чаемая из г монотонным преобразована, „0 фо™ Ве™ЧИНа *■
Г
пр„ гипотезе Яо подчиняется распределению Стьюдента с т = п-2 сте
пенями свободы. Поэтому квантиль уровня q распределения г "скажем
Глв) получится преобразованием квантили уровня q распределен я
Стьюдента с т степенями свободы (скажем, tm,4) по формуле
Таблицы процентных точек (критических значений) для г приведены
во многих сборниках таблиц по математической статистике, в частно-
частности, в [16]. Однако эти процентные точки можно рассчитать и самостоя-
самостоятельно, имея в распоряжении таблицу квантилей или процентных точек
соответствующего распределения Стьюдента.
Доверительные интервалы для р. Для двумерного нормального
распределения коэффициент корреляции не только решает вопрос о том,
зависимы признаки или нет, но и измеряет степень их связи. Поэтому в
нормальном случае нужно не только уметь проверять гипотезу Н : р = О,
но и указывать доверительные пределы для истинного р (особенно если
выборка показывает, что истинное р ф 0, т.е. признаки связаны). Для
этого надо знать, каково распределение г не только при р = 0, но при
произвольном р.
Для больших п и малых по абсолютному значению р выборочный
коэффициент корреляции г можно считать распределенным нормально
с математическим ожиданием р и дисперсией A — р2J/{п - 1). Для
указанной выше цели этот факт использовать трудно в связи с тем, что
неизвестное значение р входит в выражение не только среднего, но и
дисперсии. Р.Фишер предложил преобразовать г так, чтобы асимпто-
асимптотическая дисперсия преобразованной величины практически перестала
зависеть от р. Вот это «преобразование Фишера»:
1, 1+г
1,
z = - In
2 1 -г
Распределение случайной величины z хорошо аппроксимируется
нормальным распределением со средним
> 1, 1 + Р , Р
Cln +
307
и дисперсией 1/(п-3). Иначе говоря, случайная величина ,..
распределена приблизительно по закону ЩО, 1). Считают, что
20 распределение z можно для практических целей считать »-,
(с указанными параметрами).
Величина р/B(п - 1)) мала по сравнению с 1/^Гз. Поэтому
ею обычно пренебрегают, когда речь идет об оценивании р т Оцщ
выборке Но при соединении результатов, полученных по нескольку
выборкам, это слагаемое все же может оказывать влияние.
Доверительные пределы для р (при данных значениях г, пи коэфф,,.
циенте доверия) получают из стандартного нормального распределения
путем обращения преобразования Фишера. В [16] такие доверительные
пределы указаны явно.
9.6. Замечания о связи признаков,
измеренных в разных шкалах
Нередки случаи, когда вопрос о независимости или связи возника-
возникает для признаков, измеряемых в шкалах различных видов, например,
номинальной и порядковой, порядковой и количественной и т.п. На-
Например, соединение номинального и количественного признаков часто
встречается при анализе факторных таблиц. Там вопрос о независимо-
независимости истолковывается как отсутствие влияния номинального признака на
количественный. Многие ситуации такого рода описаны в [36], [82J.
В общем случае, к сожалению, методы анализа связи признаков
становятся гораздо сложнее, чем приведенные выше. Для упрощения
исследования часто приходится одну из шкал измерений приходится по-
понижать до уровня другой, а затем использовать стандартную методику.
При подобном понижении, несомненно, происходит некоторая потеря
информации, зато последующий анализ становится проще и ясней.
9.7. Анализ таблиц сопряженности
и коэффициенты корреляции
в пакетах STADIA и STATGRAPHICS
9.7.1. Пакет STADIA
Пример 9.1к. Проведем анализ таблицы сопряженности для данных
о предпочтении различных видов инструкций в зависимости от типа
нервной системы (табл. 9.1). Проверим гипотезу о независимости этих
признаков.
308
Подготовка ванных. В редакторе базы ланныг
зрения из табл. 9.1, как это показано „а рис "с, ГпГет поеТ """""
„данные уже сведены в таблицу сопряженно™, тесТГ™'
„атр„це размера т х и, где столбцы отвечают Р1ич„Ым Г"
„ервого признака, а строки - различным значениям второго при- нака
Пр„ этом каждый элемент матрицы указь,Вает числ0 объектов с данным
с0Четанием признаков. Другая возможная форма ввода данных "о,™
„„„ не сведены в таблицу сопряженности, описана в комментариях
ТвВлнца naiinux
—
63 «2 I ' ' П
-^—«—ijzn
н
Рис. 9.1. Пакет STADIA. Экран блока редактора
данных с загруженной таблицей сопряженности
Выбор процедуры. В меню Статистические методы выберем пункт
А=Кросстабуляция (см. рис. 1.17).
Результаты. Выдача результатов процедуры включает 6 таблиц,
соответствующих по размеру матрице кросстабуляции, в которых при-
приведены следующие данные:
1) наблюденные частоты признаков жч-;
2) процентные частоты признаков для рядов;
3) процентные частоты признаков для столбцов;
4) процентные частоты признаков для всей таблицы;
5) ожидаемые частоты признаков в случае их независимости Е^;
6) остаточные частоты xij — Ejj.
Далее выдаются значения статистики хи-квадрат, ее уровень значи-
значимости, число степеней свободы для проверки гипотезы о независимости
признаков, а также ряд статистик, используемых для оценки различ-
различных аспектов понятия связи между двумя номинальными переменными.
Указанные результаты приведены на рис. 9.2-9.3. Полученный уро-
уровень значимости @.0019) статистики хи-квадрат позволяет отвергнуть
гипотезу о независимости признаков. Кроме того, процедура предлагает
графическое представление матрицы кросстабуляции.
В наши задачи не входит подробный разбор назначения всех пред-
представленных мер связи признаков (см. [6], [40], [64]. [78]). Отметим лишь
удобство и исчерпывающий характер работы этой процедуры.
Замечание. Если исходные данные не сведены в таблицу кросстабуляцни.
а представляют собой значения парных переменных для п объектов тс. проие
сама выполняет предварительное кросстабулирование. Критерием запуска
309
Переменных=2 Иэмерений-4
КРПССТАБУЛЯЦИЯ. Файл:сп1гп
КР0С Наблюденные частоты признаков:
jii 1П5
63 «I 105
34 • 561 90
97 981 195
Процентная встречаемость признаков по рядам:
60 40
37.778 62.222
Процентная встречаемость признаков по столОцаы:
64.948 42.857
35.052 57.143
Общая процентная встречаемость признаков:
32.308 21.5381 53.846%
17 436 28.7181 46.154%
-I
49.744% 50.266%
Рнс. 9.2. Результаты вычисления частот признаков
Ожидаемые частоты признаков:
52.231 52.769
44.769 45.231
Остаточные частоты признаков (набл-ожид) :
10.769 -10.769
-10.769 10.769
Хи-квадрат =9.5729, Значимость-0.0019, степ.своб ° 1
Гипотеза 1: <Есть связь между признакаыи>
Козфф. Фи -0.22157
Коэфф.сопряж. Пирсона =0.21632
V-коэфф. Граыыера °0.22157
Ламбда Гудмана и Крускала: симыетр, ряд, столО -0.18717, 0.15556, 0.21649
Тау-Ь Кендала =0.22157
Тау-с Кендала =0.22091
Гамма Гудмана и Кендала «>0.42373
d(x,y) Соммера-0.22222, 0.22091
Рис. 9.3. Результаты проверки гипотезы о независимости признаков
этого преобразования является наличие в матрице только двух переменных с
числом значений больше 5. Поэтому во избежание коллизии таблицы кросста-
буляцни, имеющие для одного признака две градации, а для другого — больше,
необходимо размещать в матрице данных горизонтально. Исходные парные пе-
переменные должны иметь целочисленные положительные значения, максималь-
максимальное из которых не превосходит п, где п — число значений, в противном случае
операция кросстабулирования будет прервана с ошибкой. Кросстабулирование
можно произвести также и самостоятельно посредством одноименной операции
в блоке «Преобразования данных*.
Следующий пример посвящен задаче выявления связи признаков,
измеренных в порядковых или количественных шкалах.
Пример 9.2к. С помощью коэффициентов корреляции Спирмена,
Кендэлла и Пирсона выясним связь между скоростями реакции на звук
и на свет по данным табл. 3.1.
310
Подготовка данных. Указанные данные
„ами в примере З.Зк. (Экран редактора базы д
„ных таблицы 3.1 приведен „а рис. 3.5.)
i, они находится в двух переменных sound „
РаСсматРнва"™ь
коэфф~
Заполнение полей ввода данных. Порядок работы двух указан-
указанных выше процедур совпадает. В окне Анализ переменных (р„с 9 4) на™
выбрать переменные для анализа. Для этого следует выделить'мышью
в поле Переменные переменные sound и light и, нажав кнопку со стрелкой
вправо, перенести их в поле Для анализа. Затем надо нажать кнопку
запроса I Утвердить |.
Г1 Лнплиэ переценим*
Переменные Дпя анализа
I Ытвсрй"нтъ| || Ощенить)
ВыБсритс переменные
для анализа н нажните <Enlcr>
Рис. 9.4. Запрос выбора переменных для анализа
Результаты. На рис. 9.5 представлены результаты процедуры 9
= Корреляция (независимость).
НЕПАРАМЕТРИЧЕСКАЯ КОРРЕЛЯЦИЯ. Файл: sound.std
Переменные: sound, light
Кендал°О.22059, Z=1.2358, Значиыость-0.1082, степ.своО=»17
Гипотеза 0: <Нет корреляции между выборками>
Спирмен°0.27696, Z=1.0844, Значиыость=0.139, степ.сво0°1/
Гипотеза 0: <Нет корреляции ыекду выборками>
Рис. 9.5. Результаты непараметрическон проверки независимости признаков
Они включает значения коэффициентов Кендэлла и Спирмена, зна-
значения их нормальной аппроксимации Z и уровни значимости, вычислен-
вычисленные с помощью указанной нормальной аппроксимации, для проверки
311
гипотезы о равенстве коэффициентов нулю против односторонних аль.
теонатив (Для получения уровня значимости критерия против Дву
сторонних альтернатив следует увеличить полученный выше ур^
значимости вдвое.) Запись степ.своб= трактуется как объем анализиру.
емых переменных.
Сравнивая полученные уровни значимости с пятипроцентным, си-
система выдает заключение о принятии или отвержении гипотезы о ра.
венстве коэффициентов нулю.
На рис. 9.6 представлены результаты процедуры 3 = Корреляция.
ПАРАМЕТРИЧЕСКАЯ КОРРЕЛЯЦИЯ. Файл: sound.std
Переменные: sound, light
Коэфф. корреляции^.21324 Т: =0.84531. Значимость^. 5841. степ.своб = 15
Гипотеза 0: <Коэффициент корреляции не отличен от нуля>
Рнс. 9.6. Результаты параметрической проверки независимости признаков
Процедура вычисляет значение коэффициента корреляции Пирсона,
статистику Стьюдента, используемую для проверки гипотезы о равен-
равенстве нулю коэффициента корреляции и ее уровень значимости. Сравни-
Сравнивая полученный уровень значимости с пятипроцентным, система выдает
заключение о принятии или отвержении гипотезы о равенстве коэф-
коэффициентов нулю.
9.7.2. Пакет STATGRAPHICS
Пример 9.1к. Проведем анализ таблицы сопряженности для данных
о предпочтении различных видов инструкций в зависимости от типа
нервной системы (табл. 9.1). Проверим гипотезу о независимости этих
признаков.
Подготовка данных. Объем данных этого примера невелик и
будет введен в процедуру непосредственно с клавиатуры, как это по-
показано на рис. 9.8.
Выбор процедуры. В головном меню пакета выберем пункт P. Cat-
Categorical Data Analysis (анализ категорий), а в появившемся на экране меню
(рис. 9.7) — процедуру 2. Contingency Tables (таблицы сопряженности).
Назначение других пунктов этого меню смотри в комментариях.
Заполнение полей ввода данных. В поле ввода данных Table matrix
(матрица данных) надо ввести данные из табл. 9.1, как это показано
на рис. 9.8. Оператор пакета RESHAPE превращает вектор данных в его
правой части в матрицу с числом строк и столбцов, указанных в его
левой части.
312
1.
2.
3.
4.
5.
6.
Рис. 9.7.
Crosstabulation
Contingency Tables
Contingency Tables
Table matrix: [2 £~R~ESNa№ 6d ■ •* 4Tj.
Рис. 9.8. Ввод данных для анализа таблицы сопряженности
Результаты. После заполнения полей ввода и нажатия клавиши
@ на экран выводятся значение статистики хи-квадрат (Chi-sqTre) ее
число степеней свободы (D.F.) и уровень значимости (Sintafаюк
значения различных мер связи признаков (рис. 9 9) Описана
статистик можно найти в [6], [40], [64], [78], [82].
Summary Statistics for Contingency Table, гр^ -,)
Chi-square D.F. Significance
9.57290
8.70462
Statistic
1.97470E-3
3.174O4E-3 with Yates correction
With rows With columns
Symmetric dependent dependent
Lambda 0.18717 0.15556
Uncertainty Coeff. 0.03580 0.03587
Somers D 0.22157 0.22091
Рис. 9.9. Результаты проверки сопряженности признаков
0.21649
0.03572
0.22222
После нажатия (Enter) будет продолжен вывод результатов работы
процедуры (рис. 9.10).
Summary Statistics for Contingency Tables (Page 2)
Statistic
Value Significance
Contingency Coeff.
Cramer's V
Conditional Gamma
Kendall's Таи В
Kendall's Таи С
0.21632
0.22157
0.42373
0.22157 0.00203
_ . „ 0.22091
Рис. 9.10 Результаты проверки сопряженности признаков (продолжение)
Полученный уровень значимости статистики хи-квадрат (менее
0.002) говорит, что гипотеза о независимости признаков должна быть
отвергнута.
313
Комментарии. I. Процедура 1. CrosstabulaHori1(кросстабуляция) (рис. 9|„
позволяет сформировать и проанализировать таблицу сопряженности из д '
ных имеющих несколько (до девяти) факторов классификации. Разобра.5
процедура^ Contingency Tables является частным случаем указанной выше прОце
дуры Тогда данные уже оформлены в виде таблицы сопряженности. Це
2 Более детальный анализ многофакторнои таблицы с целью полученНй
описания взаимосвязей факторов осуществляет процедура 4. bg-Unear Дла^
(лог-линейный анализ).
Следующий пример посвящен задаче выявления связи признаков
измеренных в порядковых или количественных шкалах.
Пример 9.2к. С помощью коэффициентов корреляции Спирмена,
Кендэлла и Пирсона выяснить связь между скоростями реакции на звук
и на свет по данным табл. 3.1.
Подготовка данных. Указанные данные уже рассматривались
нами в примере З.Зк. Вид экрана редактора базы данных с частью
введенных данных таблицы 3.1 приведен на рис. 3.5. Как и прежде
будем считать, что данные находятся в двух переменных sound и Gghl
файла SPEEDR.
Выбор процедуры. Для вычисления ранговых коэффициентов
корреляции Спирмена и Кендэлла выберем в головном меню пакета
пункт R. Nonparametric Methods (непараметрические методы), а в меню
указанного пункта (рис. ЗЛО) — процедуру 5. Rank Correlation Coefficients
(коэффициенты ранговой корреляции).
Для вычисления коэффициента корреляции Пирсона следует вы-
выбрать в головном меню пакета пункт Q. Multivariate Methods (многомерные
методы), а меню этого пункта — процедуру 1. Correlation Analysis (корре-
(корреляционный анализ).
Заполнение полей ввода данных. Порядок ввода данных в обе
указанные процедуры почти полностью совпадает и будет разобран на
примере процедуры 5. Rank Correlation Coefficients. На рис. 9.11 приведен
экран ввода данных, который предлагает ввести в поле Data vectors ана-
анализируемые вектора данных. Поле Missing values (пропущенные значения)
предназначено для указания режима обработки пропущенных значений
в векторах данных, в нем может фигурировать один из двух возможных
режимов: Listwise или Pairwise. Их различия описаны в комментариях. При
сравнении только двух векторов данных оба режима приводят к одно-
одному и тому же результату. В поле Procedure указывается, какой именно
коэффициент ранговой корреляции будет вычисляться. (Для процедуры
1. Correlation Analysis это поле отсутствует.)
314
Data
vectors:
•: PEEDB, BDUnd
-PEEOR,light
"sja.
an
Hissing values:
procedure: § ea
Рис. 9.11. Запрос параметров процедуры ранговой корреляции
Chisquare Test
Spearman Rank Correlations
sound
light
sound
1.0000
( 17)
1.0000
.2761
( 17)
. 2695
light
.2761
< 17)
.2695
1.0000
< 17)
1.0000
Coefficient (sample size) significance level
Рис 9.12. Результаты вычисления коэффициента корреляции Спнрмена
Результаты. На рис. 9.12-9.14 приведены результаты работы про-
процедур при вычислении коэффициентов корреляции Спирмена, Кендэлла
и Пирсона соответственно.
Kendall Rank Correlations
sound
light
sound
1.0000
( 17)
1.0000
. 2222
( 17)
.2073
light
.2222
( 17)
.2073
1.0000
( 17)
1.0000
Coefficient (sample size) significance level
Phc. 9.13. Результаты вычисления коэффициента корреляции Кендэлла
Sample Correlations
sound
light
sound
1.0000
( 17)
.0000
.2132
( 17)
.4112
light
.2132
( 17)
.4112
1.0000
( 17)
.0000
Coefficient (sample,size) significance level
Рис. 9.14. Результаты вычисления коэффициента корреляции Пирсона
Форма выдачи результатов этих процедур, как видно из рис. 9.12-
9-14, одна и та же Она включает в себя матрицу корреляции, элемента-
315
ми которой служат коэффициенты корреляции для различных сочетаний
переменных. Первые строки (для каждой переменной) содержат зна^
ния коэффициентов корреляции, далее в скобках - число наблюдеНмй
участвовавших в обработке, а в третьей строке - уровень значимости
полученного коэффициента корреляции в случае справедливости гиПо.
тезы о равенстве нулю коэффициента корреляции. Уровень значимости
указан против двусторонних альтернатив. Из определения коэфф„ш,
ента корреляции следует, что коэффициент корреляции переменной с
самой собой всегда равен единице. Так как порядок переменных при
вычислении коэффициента корреляции не существен, то выводимая ма-
матрица коэффициентов корреляции всегда будет симметричной. Поэтому
в случае двух переменных информативным является только одно значе-
значение коэффициента корреляции из четырех, присутствующих в матрице.
Полученные значения коэффициентов корреляции (и их уровни зна-
значимости) не позволяют отвергнуть гипотезу о равенстве их нулю.
Заметим, что использование выданного процедурой уровня значимо-
значимости коэффициента корреляции Пирсона для дальнейших статистических
выводов в разбираемом примере неправомерно. Это связано с тем, что
анализируемые данные не являются независимыми, а имеют структуру
парных данных.
При завершении работы процедур пакет предлагает сохранить вычи-
вычисленную матрицу корреляций в базе данных для дальнейшего использо-
использования ее в процедурах факторного анализа и метода главных компонент.
Комментарии. 1. Обе описанные процедуры позволяют вычислять коэффи-
коэффициенты корреляции для всех возможных пар переменных, указанных в поле Dab
vectors. Результатом подобных вычислений является корреляционная матрица.
2. При одновременном анализе более двух переменных представим их для
удобства в виде матрицы, столбцами которой являются указанные переменные.
Режим обработки пропущенных значений Listwise соответствует игнорированию
всех строк в матрице данных, в которых есть хоть одно пропущенное значе-
значение. Режим обработки пропущенных значений Pairwise осуществляет попарное
исключение данных с пропусками из тех переменных, корреляция которых вы-
вычисляется. Тем самым в обработке может участвовать больше данных, чем
в первом случае.
Глава 10
-■ ч
Критерии согласия
Во многих статистических задачах мы предполагаем, что некотооые
случайные величины имеют заданное распределение (нормальноеэк
п0ненциальное и т.д.) с известными или неизвестными параметрами
этого распределения, и далее исходя из этого допущения мы делаемТе
Или иные выводы. Например, мы можем предположить, что рассеяние
пуль при стрельбе описывается нормальным распределением, а время
службы электрической лампочки - экспоненциальным. Чем лучше мы
знаем законы изменчивости данных, их распределения вероятностей
тем точнее и надежней могут быть наши статистические выводы
Однако при этом, естественно, возникает вопрос: насколько на-
наши предположения о распределении случайных величин соответствуют
экспериментальным данным? Более реалистично поставить этот вопрос
иначе: не вступает ли принятая статистическая модель в противоречие
с имеющимися данными? Для решения этой задачи придуманы разные
способы, иначе говоря, статистические критерии. Чтобы выделить такие
критерии из остальных, их часто называют критериями согласия.
Определение. Критериями согласия называют статистиче-
статистические критерии, предназначенные для обнаружения расхождений ме-
между гипотетической статистической моделью и реальными данны-
данными, которые эта модель призвана описать.
В этой главе рассказано о некоторых распространенных критери-
критериях согласия — омега-квадрат, хи-квадрат, Колмогорова и Колмогорова-
Смирнова. Особое внимание уделено случаю, когда' необходимо про-
проверить принадлежность распределения данных некоторому параметри-
параметрическому семейству, например, нормальному. Эта весьма распростра-
распространенная на практике ситуация из-за своей сложности исследована не до
конца и не полностью отражена в учебной и справочной литературе.
10.1. Введение
Критериями согласия называют статистические критерии, предна-
предназначенные для проверки согласия опытных данных и теоретической
модели. Лучше всего этот вопрос разработан, если наблюдения пред-
представляют случайную выборку. Теоретическая модель в этом случае
описывает закон распределения. В дальнейшем мы будем обсуждать
317
„мемно эту задачу, как потому что она важна и сама по себе, так
потому, что к ней удается свести многие другие проблемы согласия. Н
Теоретическое распределение. Мы будем называть теореТиЧе
ским то распределение вероятностей, которое управляет случайным в*
бором Представления о нем может дать не только теория. Источниками
знаний здесь могут быть и традиция, и прошлый опыт, и предьщущне
наблюдения. Надо лишь подчеркнуть, что это распределение ДОлжно
быть выбрано независимо от тех данных, по которым мы собираемся его
проверять. Иначе говоря, недопустимо сначала «подогнать* по выборке
некоторый закон распределения, а потом пытаться проверить согласие
с полученным законом по этой же выборке1.
Простые и сложные гипотезы. Говоря о теоретическом законе
распределения, которому гипотетически должны бы следовать элементы
данной выборки, надо различать простые и сложные (т.е. составные)
гипотезы об этом законе:
• простая гипотеза прямо указывает некий определенный закон
вероятностей (распределение вероятностей), по которому воз-
возникли выборочные значения;
• сложная гипотеза указывает не единственное распределение, а
какое-то их множество (например, параметрическое семейство).
Например, для ошибок округления при измерении расстояний с по-
помощью линейки со шкалой 1 см мы можем предположить, что их распре-
распределение — равномерное на отрезке от —0.5 см до 0.5 см. Эта гипотеза
является простой, так как она указывает единственное теоретическое
распределение. А при исследовании мощности выпущенных с завода
электрических лампочек мы можем предположить, что эта мощность
описывается нормальным распределением с неизвестными средним и
дисперсией. Эта гипотеза — сложная, она представляет собой двухпа-
раметрическое семейство распределении.
Естественно, что методы проверки согласия с простыми и сложны-
сложными гипотезами должны быть различны. Мы начнем с простых гипотез
(пп. 10.2-10.4), хотя на практике они встречаются реже, чем сложные:
ведь в большинстве случаев теоретические соображения или традиция
не идут далее указания типа распределения (нормальный, показатель-
показательный, пуассоновский и т.п.), параметры которого остаются неопределен-
неопределенными. В пп. 10.5-10.6 мы рассмотрим случай сложных гипотез.
Однако можно случайным образом разбить выборку на две части, по одной «подо-
«подогнать» закон распределения, а по другой — проверить его.
318
Ю.2. Критерии согласия Колмогорова и
омега-квадрат в случае простой Sre".
_ _ _ _ • ж __
Простая гипотеза. Мы будем рассМатривать с
е данные являются числам Г
данные являются числами, иначе говоря
величинами. Как говорилось в гляий i л'
чо"-— „ "ODC ii Ра»-11иеделенир ппып
мерных случайных величин может быть полностью описано уГзаниеМ
пх функции распределения. И многие критерии согласия основаны н
проверке близости теоретической и эмпирической (выборочной) функ-
функций распределения. v "*У"к
Пусть мы имеем выборку размера п. Обозначим истинную функ-
функцию распределения которой подчиняются наблюдения, G(x) эмпириче-
эмпирическую (выборочную) функцию распределения - Fn{x), а гипотетическую
функцию распределения — F{x). Тогда гипотеза Я о том, что истинная
функция распределения есть F(x), записывается в виде
Л" = G(.) = F(-).
Как проверить гипотезу Я? Если Я верна, то Fn и F должны про-
проявлять определенное сходство, и различие между ними должно убывать
с увеличением п. Действительно, как говорилось в п. 1.8, вследствие
теоремы Бернулли Fn{x) —» F(x) при п -» оо. Для количественного
выражения сходства функций Fn и F используют различные способы,
о которых будет говориться ниже.
Статистика Колмогорова. Для выражения сходства функций мож-
можно использовать то или иное расстояние между этими функциями. На-
Например, можно сравнить Fn и F в равномерной метрике, т.е. рассмо-
рассмотреть величину:
Dn= sup \Fn(x)-F(x)\. A0.1)
—оо<г<сю
Определение. Статистику Dn называют статистикой Кол-
Колмогорова.
Очевидно, что Dn — случайная величина, поскольку ее значение
зависит от случайного объекта Fn. Если гипотеза Я справедлива и
п -» оо, то Fn{x) -+ F{x) при всяком х. Поэтому естественно, что
при этих условиях Dn -> 0. Если же гипотеза Я неверна, то Fn -* G
и G ф F. а потому sup.^^ | Fn(x) - F(x) \ -* sup, | G(x) - F(x)\.
Эта последняя величина положительна, так как G не совпадает с F.
Такое различие в поведении £>„ в зависимости от того, верна Я или
нет, позволяет использовать Dn как статистику для проверки Я.
Как всегда при проверке гипотезы, следует рассуждать так, как
бы гипотеза была верна. Ясно, что Я должна быть отвергнута,
319
если полученное в эксперименте значение статистики Dn кажется не-
неправдоподобно большим. Но для этого надо знать, как Распредел
статистика Dn при гипотезе Я : F = G при данных п и G.
Замечательное свойство Dn состоит в том, что если G = F, т.е. ecj]H
гипотетическое распределение указано правильно, то закон распределе.
ния статистики £>„ оказывается одним и тем же для всех непрерывных
функций G. Он зависит только от объема выборки п.
Доказательство этого факта основано на том, что статистика A0.1) не изме-
изменяет своего значения при монотонных преобразованиях оси х. Таким преобраз0.
ванием любое непрерывное распределение G можно превратить в равномерное
на отрезке [0, 1]. При этом Fn() перейдет в функцию распределения выборки
из этого равномерного распределения.
Таблицы. При малых п для статистики Dn при гипотезе Я со-
составлены таблицы процентных точек. Например, в [16], табл. 6.2, они
доведены до п = 100. При больших п распределение Dn (при гипотезе
Я) указывает найденная в 1933 г. А.Н.Колмогоровым предельная теоре-
теорема. Она говорит о статистике y/nDn (поскольку сама величина Dn -»o
при Я, приходится умножать ее на неограниченно растущую величину,
чтобы распределение стабилизировалось).
Асимптотическое приближение. Теорема Колмогорова утвер-
утверждает, что при справедливости Я (и если G непрерывна) величина
P(y/nDn < z) при n-юо имеет предел, и дает его выражение:
оо
lim PiJJLDn <z) = l + 2Y"(-l)fce-2fcV2 • A0i)
В сборниках таблиц можно найти значения функции A0.2) (см.,
например, [16], табл. 6.1).
Алгоритм проверки гипотезы. Как же использовать статистик)'
Колмогорова A0.1) для проверки простой гипотезы Н : G = F? По
исходной выборке надо вычислить значение статистики Dn. Для этого
годится простая формула
Здесь через ж(!), а;^),..., Ж(п) обозначены элементы вариационного ря-
ряда, построенного по исходной выборке. Полученную величину Dn затем
надо сравнить с извлеченными из таблиц критическими значениями.
Гипотезу Я приходится отвергать (на выбранном уровне значимости),
если полученное в опыте значение Dn превосходит выбранное критиче-
критическое значение, соответствующее этому уровню значимости.
320
Критерий омега-квадрат. Другой популярный кшг. -
м измеряя расстояние между F u 1? Г кРИтеРии согласия
;rj::rr^метрике-
«со
>■ A0.4)
для вычисления и% по реальной выборке можно использовать фор-
формулу: •*• н
При справедливости гипотезы Я : F = G и непрерывности функции
G распределение статистики c£, так же, как распределение статистики
д,, зависит только от п и не зависит от G.
Таблицы. Так же, как для Dn, для ц£ при малых п имеются
таблицы процентных точек, а для больших значений п следует исполь-
использовать предельное (при п —» оо) распределение статистики пш%. (Здесь
снова приходится умножать на неограниченно растущий множитель:
в данном случае — на п.) Предельное распределение было найдено
Н.В.Смирновым в 1939 г. Приводить его здесь нет необходимости.
Достаточно сказать, что для него составлены подробные таблицы и
вычислительные программы (см., например, [16], табл. 6.4а).
Состоятельность. Отметим важное с теоретической точки зрения
свойство критериев, основанных на Dn hw^: они состоятельны против
любой альтернативы G Ф F.
Определение. Статистический критерий для проверки гипоте-
гипотезы Н называют состоятельным против альтернативы Н', если
вероятность с его помощью отвергнуть Н, когда на самом деле
верна Н', стремится к 1 при неограниченном увеличении объема
наблюдений.
Состоятельный против всех альтернатив критерий, в принципе, при
большом числе наблюдений, способен обнаружить любое отступление
от гипотезы. Таким образом, состоятельность критериев Колмогорова
и омега-квадрат означает, что любое отличие распределения выборки
от теоретического будет с их помощью обнаружено, если наблюдения
будут продолжаться достаточно долго.
Замечание. Практическую значимость свойства состоятельности не сле-
ДУ" преувеличивать. Во-первых, трудно рассчитывать на получение большого
числа наблюдений в неизменных условиях. Во-вторых, теоретическое предста-
представление о законе распределения, которому должна подчиняться выборка, всегда
321
имеет характер математической модели, т.е. является в какой-то мере Прнблн
женным Поэтому точность статистических проверок должна бытьсопоставн*
Гточностьо которую мы ожидаем от математической модели в целом и в*
Гх (Скажем представление о том. что наблюдения независимы и „J*
ей менный" кон распределения, является частью математической мод^
"™не менее свойство состоятельности статистического критерия (как „ £
"ской оценки параметра) всегда является ценным и желательным.
Тем
тистической
10.3. Практический
пример (закон Менделя)
Прекрасный пример применения наделе критерия Колмогорова был
дан самим А.Н.Колмогоровым спустя несколько лет после открытия
этого критерия в небольшой заметке 1940 года «Об одном новом под.
тверждении законов Менделя» в [43]. Мы воспроизведем изложение
этой работы по брошюре В.Н.Тутубалина [74].
Законы, открытые монахом Г.И.Менделем в 1865 г. в результате
восьмилетних опытов на крошечной (менее четверти сотки) делянке,
являются одним из краеугольных камней современной теории наслед-
наследственности. Мендель проводил опыты по гибридизации (скрещиванию)
различных сортов гороха — с желтыми и зелеными зернами, — и об-
обнаружил, что в при таком скрещивании первое поколение гибридов
все имеет желтые зерна, а в следующем, втором, поколении снова
появляются растения с зелеными зернами, причем соотношение коли-
количеств растений с желтыми и зелеными зернами — 3 : 1, а колебания
этого соотношения вызываются случайными причинами. Ту же карти-
картину Мендель обнаружил и для других свойств гороха. Кроме того, он
установил, что различные свойства растений передаются по наследству
независимо друг от друга.
Работы Менделя намного опередили свое время. Лишь в 1900 г. его
законы были заново переоткрыты, а затем были найдены публикации
Менделя, описывающие эти законы. В начале XX века законы Менделя
были объяснены и обобщены исходя из генетической .теории наслед-
наследственности. Однако в России в 30-50 гг. генетика была объявле-
объявлена буржуазной лженаукой, занимающиеся ею ученые преследовались,
а официальная биологическая школа Т.Д.Лысенко старалась показать,
что генетические законы, в частности законы Менделя, не действуют
вообще. Так, Н.И.Ермолаева пыталась опровергнуть законы Менделя
(журнал «Яровизация», 1939, 2B3), с. 79-86), рассматривая гибриды
второго поколения не в совокупности, а по «семействам» — группам
растении, выросших в одном ящике из плодов одного растения первого
поколения. При обработке данных по отдельным «семействам» было
322
п6наРужено, что отношение числа растений со слак,. i
SEkdm к общему числу растений-гибрвдов в'ппг (Рецес^вным)
"колеблется и никогда не совпадает в то^о ти? П°К°ЛеНИЯ СИЛЬ"
е^ем соотношением 1/4. Отсюда HjCS~мни«М»-
Гд!пЫсенко делали вывод, что законы СГне" Г2Г
гд,ш«"~ ™ вь,вод, что законы тенделя не выполняются "
Однако А.Н.Колмогоров показал, что DP4V "
н.И.Ермолаевой можно объяснить как раз на основе~ёйшеТГ
дели Менделя. Если для к семейств численностью щ 1 ! Г
елейности проявления рецессивного признака - д. ц0 V' "
классической теоремы Муавра-Лапласа (част„огО случая це'нтр^'ьно^
предельной теоремы) следует, что нормированные величины
-Р)
имеют приблизительно нормальное распределение с параметрами @ 1)
Здесь р = 1/4. а точность упомянутой нормальной аппроксимации впол-
вполне достаточна при пг порядка нескольких десятков. Поэтому на совокуп-
совокупность pi, /4Si ■ • ■ i м£. можно смотреть (если модель Менделя верна) как
на выборку, теоретическое распределение которой есть стандартный
нормальный закон.
Рис. 10.1. Эмпирическая и теоретическая функции распределения: слева —
для первой выборки (к = 98), справа — для второй выборки (к = 123)
А.Н.Колмогоров рассмотрел две наиболее многочисленные серии
опытов Н.И.Ермолаевой, которым соответствуют две выборки размером
в к = 98 и к = 123 наблюдения. Эмпирические и теоретические функ-
функции этих распределений воспроизведены на рис. 10.1 соответственно
(рисунки скопированы из цитированной работы). Для количественного
измерения согласия между эмпирической и теоретической функциями
распределения (при числе наблюдений порядка 100) можно использо-
использовать статистику Колмогорова. Для первой выборки А.Н.Колмогоров
получил VkDk = 0.82, для второй - VkDk = 0-75. При выполне-
выполнении гипотезы о справедливости законов Менделя вероятности получить
такое же или большее расхождение между выборочным и теоретиче-
теоретическим распределением равны 0.51 для первой выборки и 0-63 для второй
I,. 323
выборки Мы видим, что эти вероятности отнюдь не малы, поэТому
отвергать статистическую гипотезу, а вместе с нею и закон Менд^
нет никаких оснований.
Таким образом, чисто статистическое исследование превращает Дан
ные, казавшиеся опровержением законов Менделя, в их существенное
подтверждение.
10.4. Критерий согласия хи-квадрат
К.Пирсона для простой гипотезы
Теоретики предложили много статистических критериев, аналог^,
ных Dn и и%. При всей привлекательности их с математической точки
зрения"надо" отметить, что требование непрерывности теоретического
распределения F(-) позволяет прилагать их не ко всем выборкам. На-
пример, вне поля их действия остаются выборки из дискретных рас-
распределений. Поэтому надо познакомиться с более универсальным кри-
критерием К.Пирсона A900), опирающимся на теорему, также носящую
имя К-Пирсона. (С обобщением этой теоремы мы встречались ранее
в параграфе 9.3.)
Теорема К.Пирсона относится к независимым испытаниям с конеч-
конечным числом исходов, т.е. к испытаниям Бернулли (в несколько рас-
расширенном смысле). Она позволяет судить о том, согласуются ли на-
наблюденные в большом числе испытаний частоты этих исходов с их
предполагаемыми вероятностями. Вот ее точная формулировка.
Теорема К.Пирсона. Пусть п — число независимых повторений
некоего опыта, который заканчивается одним из г (г — натуральное
число) элементарных исходов, скажем, А\,..., Ат. Пусть р\,..., рг —
вероятности этих исходов, причем pi + ■■• +рг = 1. Обозначим через
mi,...,mr количества опытов, заканчивающихся, соответственно, ис-
исходами Ai,..., Аг. (Ясно, что mx + ... + mr = п.) Введем случайную
величину
- У4 (m* ~ ПР^2
hi n&
hi
Тогда справедливо следующее утверждение: при п -* оо случай-
случайная величина \2 асимптотически подчиняется распределению х2 (хи"
квадрат) с (г - 1) степенями свободы.
Гипотеза. Теорему К.Пирсона можно использовать для проверки
гипотезы о том, что вероятности pi,...,pr приняли определенныезна-
324
чения rf. - •' Рг ■ Л«ее будем называть это гипотезой Я-
рассмотрим статистику:
i=l ■"''*
Определение. Статистика X2 называется „питистикой хи-
квадрат Пирсона для простой гипотезы. эпикой хи
Ясно, что £ представляет собой квадрат некоего расстояния ме-
т двумя r-мерными векторами: вектором относительных частот
(?,-^)и вектором вероятностей (#,...,#). От евклидового
расстояния это расстояние отличается лишь тем, что разные координа-
координаты входят в него с разными весами.
Свойства. Обсудим поведение статистики X2 в случае, когда ги-
гипотеза Я верна, и в случае, когда Я неверна. Если верна Я, то асим-
асимптотическое поведение X2 при п -> оо указывает теорема К.Пирсона.
Чтобы понять, что происходит с A0.6), когда Я неверна, заметим, что
по закону больших чисел mi/n -» pt при п -+ оо, для г = 1,... , г.
Поэтому при п —> оо:
Эта величина равна 0, только если pi = р° для всех г. Поэтому если
Я неверна, то X2 —* оо (при п —> оо).
Правило проверки гипотезы. Из сказанного следует, что Н долж-
должна быть отвергнута, если полученное в опыте значение X2 слишком
велико. Здесь, как всегда, слова «слишком велико» означают, что на-
наблюденное значение X2 превосходит критическое значение, которое в
данном случае можно взять из таблиц распределения хи-квадрат, Иначе
говоря, вероятность Р(х2 ^ X2) — малая величина и, следовательно,
маловероятно случайно получить такое же, как в опыте, или еще боль-
большее расхождение между вектором частот и вектором вероятностей.
Предостережение. Асимптотический характер теоремы К.Пирсона, ле-
лежащий в основе этого правила, требует осторожности при его практическом
использовании. На него можно полагаться только при больших п. Судить же о
том, достаточно ли п велико, надо с учетом вероятностей pi Pr- Поэтому
нельзя сказать, к примеру, что ста наблюдений будет достаточно поскольку
не только п должно быть велико, но и произведения npi,.. ■, npr (ожидаемые
частоты) тоже не должны быть малы. Поэтому проблема применимости iап-
iаппроксимации х2 (непрерывное распределение) к статистике X , распределение
325
кптооой дискретно, оказалась сложной. Совокупность теоретических и ЭКсП
Гнтальных доводов привела к убеждению что эта аппроксимация при**
если все ожидаемые частоты nPi > 10. Если число г (число различных
ходов) возрастает, граница для nPi может быть снижена (до 5 или да»*
3 Тсли порядка нескольких десятков). Чтобы соблюсти эти требования, 1°
практике порой приходится объединять несколько исходов, т.е. переход,^
схеме Бернулли с меньшим г.
Другие применения критерия хи-квадрат Пирсона. Описан^
способ для проверки согласия можно прилагать не только к испытаниям
Бернулли, но и к произвольным выборкам. Предварительно их наблюде-
ния надо превратить в испытания Бернулли путем группировки. Делак)т
это так: пространство наблюдений разбивают на конечное число не-
пересекающихся областей, а затем для каждой области подсчитывают
наблюденную частоту и гипотетическую вероятность.
В данном случае к перечисленным ранее трудностям аппроксимации
прибавляется еще одна — выбор разумного разбиения исходного про-
пространства. При этом надо заботиться и о том, чтобы в целом правило
проверки гипотезы об исходном распределении выборки было достаточ-
достаточно чувствительным к возможным альтернативам. Наконец, отметим, что
статистические критерии, основанные на редукции к схеме Бернуллн,
как правило, не являются состоятельными против всех альтернатив. Так
что такой метод проверки согласия имеет ограниченную ценность.
10.5. Критерии согласия
для сложной гипотезы
Постановка задачи. Более трудной, но и более важной для прило-
приложений задачей является проверка гипотезы о том, что данная выборка
подчиняется определенному параметрическому закону распределения,
например нормальному закону. Параметры этого закона остаются не-
неопределенными, так что эта гипотеза сложная.
Пустьxi,..., хп — выборка из распределения с функцией распреде-
распределения F(x,6). Здесь 6 — неизвестный параметр, не обязательно скаляр-
скалярный. Обозначим его истинное значение через в°. Сейчас мы не можем
сравнить выборочную функцию распределения Fn(a;) и теоретическую,
поскольку эта последняя нам не вполне известна: в ее выражение
F(x,e°) входит неопределенный параметр в°. Мы, однако, можем най-
найти для 0° приближенное значение, основываясь на выборке xi,...,xn-
Для этого можно использовать разные методы оценивания (см. главу
4), но наиболее ясные и в определенном смысле наилучшие результаты
получаются, если использовать метод наибольшего правдоподобия.
326
Статистики. Итак, пусть вп — оценка на fi
бия по выборке о*,..., *„ для неизвестного параГтТЛ ПраВДОПОД°-
„„я №,»)• ТепеРь *ля вычисления статистики КолСр^Т^Гп'
fB;^0) MbI можем использовать F(x,6n) и ввести мод Л вместо
Dn=suP\F(x)-F{xA)l A07)
Аналогично, модифицированная статистика омега-квадрат есть-
г+со
Свойсгва. Свойства статистик Ьп и й^ во многом повторяют
отмеченные ранее свойства статистик Dn и WJ. В частности v^D
и И неограниченно возрастают, если проверяемая гипотеза неверна"
Поэтому эту гипотезу следует отвергнуть, если наблюденное значение
у/nDn (или пЯп, если применяется модифицированный критерий омега-
квадрат) неправдоподобно велико, например, превосходит критическое
значение, о котором будет сказано ниже.
Важно отметить, что статистика Dn распределена иначе, чем Dn
A0.1), а статистика ш\ — иначе, чем а£ A0.4). Причина в том, что
из-за подбора вп по выборке функции Fn(x) и F(x,6n) (в случае, если
гипотеза о типе распределения верна) оказываются ближе друг к другу,
чем Fn{x) и F(x, в°). Поэтому при справедливости гипотезы статистика
Д,, как правило, будет принимать существенно меньшие значения, чем
Д,. Аналогично соотносятся ££ и и\.
Таблицы. Поскольку статистики A0.7), A0.8) при справедливости
гипотезы имеют иные распределения, чем статистики Dn и ш^, для
их применения необходимы новые таблицы распределений или хотя
бы таблицы критических значений. К сожалению, модифицированные
статистики A0.7), A0.8) не обладают столь привлекательным свой-
свойством «свободы от распределения выборки», как их прототипы, поэтому
для каждого параметрического семейства распределений нужны свои
таблицы. Более того, распределения A0.7), A0.8) могут зависеть и от
истинного значения неизвестного параметра (параметров). К счастью,
для так называемых «масштабно-сдвиговых» семейств, к которым отно-
относятся нормальное, показательное и многие другие практически важные
распределения, этого последнего осложнения не возникает.
Таблицы распределений статистик A0.7), A0.8) к настоящему
моменту составлены для многих семейств (смотри, например, [6Ь\1
Большинство из них рассчитаны методом случайных испытании ^ме-
^методом Монте-Карло). Автор большинства этих расчетов М.Стефенс
327
(M Stephens) заметил, что зависимость результатов от объема т
резко уменьшается, если вместо Dn, шп использовать их нес^
преобразованные варианты. Стефенс утверждает, что для этих fo
зависимость от п практически перестает сказываться, начиная с n J
Ниже приводятся некоторые таблицы Стефенса. -
Таблица Юл
Модифицированные критерии для проверки нормальности,
оба параметра неизвестны.
Статис- Модифицированная
тика форма
Ol: Ol{l + °-£)
Верхние процентные точки ~"~
0.15 0.10 0.05 0.025 п01
0.775 0.819 0.895 ^ЭбТТозГ
0.091 0.104 0.126 0Л48~~0Л7Г
Таблица 10.2
Модифицированные критерии для проверки экспоненциальности,
параметр неизвестен.
Статис-
Статистика
Dn:
01:
Модифицированная
форма
(*.-¥)-
(\/г1 + 0.26+$§)
Я A + *?)
Верхние
0.15 0.10
0.926
0.149
0.990
0.177
процентные точки
0.05 0.025 0.01
1.094
0.224
1.190
0.273
1.308
0.337
Приближенные формулы. Предельное (при п —> сю) распреде-
распределение nu% известно, но вычисляется довольно сложно. Предельное
распределение для yfnDn найти не удалось, есть лишь приближенные
формулы для критических значений, основанные на асимптотических
разложениях. Сравнение расчетов по этим формулам с упомянутыми
ранее таблицами показало их хорошее согласие. Как уже говорилось,
для каждого параметрического семейства критические значения надо
рассчитывать особо. Например, для нормального закона, оба параметра
которого оцениваются по выборке,
Km P
п—»оо
sup
> z
ехР 1-73
для больших z > 0 (т.е. для z -> сю).
Если же математическое ожидание известно и равно, скажем, а,
то по выборке приходится оценивать только дисперсию. В этом случае
для больших z > О
-ф
328
Эти приближенные формулы дают
Э;Рй и больших объемов
10.6. Критерий согласия хи-квадрат
Фишера для сложной гипотезы
Для проверки сложных гипотез может быть использована и соот-
соответствующая модификация критерия хи-квадрат К.Пирсона. Главные
заслуги здесь принадлежат Р.Фишеру. Приведем одну из его теорем
(сохраняя обозначения из теоремы К.Пирсона). Близкая к этой теорема
упоминалась в 9.2.
Теорема Фишера. Пусть п — число независимых повторений
опыта, который может заканчиваться одним из г (г — произвольное1
натуральное число) элементарных исходов, скажем, Аи..., Аг. Пусть
вероятности этих элементарных исходов известны с точностью до неко-
некоторого неопределенного, скажем, fc-мерного параметра в = @i,..., 6k).
Тогда эти вероятности являются функциями от в: Р(Л) = Pi{Q)- Мы
будем предполагать, что функции pi(fl),..., рг(в) заданы, дифферен-
дифференцируемы, ^[=iPi(^) = 1 Для всякого 0, а параметр в изменяется в
ограниченной области пространства. Тогда при п—юо статистика:
A0.9)
1=1
асимптотически распределена по закону х2 с т — к — 1 степенями сво-
свободы.
Существует много вариантов этой теоремы. Например, такое же,
как выше, предельное распределение имеет статистика
о хр \т - npijen)]2 A010)
h т{0«) '
где вп - оценка наибольшего правдоподобия для параметра в, найден-
найденная по частотам ть ..., тг. Поэтому значение A0.10) в ^«шеи
можно использовать вместо A0.9). Далее, знаменатели nVi в (ШУМ
A0.10) можно заменить на mit i = 1, - - , г, и это не отразится на асим-
асимптотическом распределении Х\ Есть и другие возможности. Много
интересного об этом можно узнать в книге С.Рао \Ь6\.
329
Определение. Статистика X2 из A0.9) (и ее варианты) Назы
вается статистикой хи-квадрат Фишера для сложной гипотезы.'
Гипотеза и ее проверка. Статистику A0.9) (и ее варианы
можно использовать для проверки описанной выше сложной гипотезы о
параметрическом виде вероятностей в схеме Бернулли
Я : P{Ai) = Pi@), • • •, P{Ar) = МО),
где pi(-)i- • • iPr(-) — заданы, а параметр в изменяется в заданной огра-
ограниченной области. Это можно делать так же, как мы делали с помощью
статистики X2 в случае простой гипотезы. А именно, по наблюденным
частотам mi,..., mr надо вычислить значение X2 A0.9) либо A0.10)
и затем сравнить его с критическими значениями распределения х2 с
числом степеней свободы (г -к- 1), либо вычислить Р{х2 ^ X2). Од.
нако для использования аппроксимации хи-квадрат для распределения
X2 необходимо, чтобы число наблюдений было достаточно велико, и
тем самым ожидаемые частоты тер,-@) не были малыми (см. предосте-
предостережение п. 10.4).
Другие применения. Как следует из формулировки теоремы, объ-
объект ее применения — испытания с конечным числом исходов. Чтобы
использовать ее в условиях другого эксперимента — например, для
проверки гипотезы о типе непрерывного или дискретного распределе-
распределения с бесконечным (или конечным, но большим) числом исходов —
этот эксперимент надо предварительно превратить в схему Бернулли.
Раньше уже говорилось, как это делается обычно — путем разбиения
выборочного пространства на непересекающиеся области. Параметри-
Параметрический (зависящий от параметра 6) закон распределения вероятностей
во всем пространстве, соответствие которого нашей выборке мы хотим
проверить, превращается при этом в параметрическое распределение
вероятностей между выбранными г областями.
Понятно, что результат последующего применения критерия хи-
квадрат (принять гипотезу, отвергнуть гипотезу) сильно зависит от опи-
описанного перехода. К этому следует добавить условие применимости рас-
распределения х2 как аппроксимации для распределения X2, которое тре-
требует, чтобы ожидаемые частоты были достаточно большими. (Условие
на ожидаемые частоты часто приходиться заменять требованием, чтобы
не были малы наблюдаемые частоты mi,..., тпг.) Становится ясно, что
подготовка к применению критерия хи-квадрат в несвойственных ему
условиях составляет деликатную и не всегда простую проблему. Воз-
Возникает даже опасность невольной подгонки выбираемого разбиения к
желательному результату. Поэтому, строго говоря, разбиение прострет
330
ыетры
И
н0сть
ства на области должно идти вне зависимости от
гС0ЭКСПеримента, т.е. вне влияния подлежащей сЖГ^
Проверка нормальности. Как же после всех этих ппрпп,
яий можно применить теорему Фишера к провеоке п пР Р6Же*
:боркиР Обсудим это на примере но^ьГГ cVp ГеГ пГ
ры которого (а, аг) неизвестны. наделения, napa-
Итак, есть выборка xu...,Xn большого объема, проверить нормаль
н0сть которой мы хотим с помощью A0.9) или A0.10) или их модифи-
модификаций. Прежде всего мы должны разбить числовую прямую на г неП -
ресекающихся областей а еще прежде - выбрать само число г Сейчас
существует убеждение (подкрепленное асимптотическими исследовани-
исследованиями), что против гладкой альтернативы лучше брать г небольшим -
несколько единиц. Если же конкурируют с нормальным распределением
все другие возможности, число г стоит взять таким большим, какое
позволяет последующее использование аппроксимации хи-квадрат.
Допустим, что г уже выбрано, и можно переходить к разбиению
пространства на области. При этом надо позаботиться о том, чтобы
ожидаемые частоты этих областей были достаточно велики для того,
чтобы для X2 действовала аппроксимация х2- Поскольку истинное рас-
распределение вероятностей неизвестно, приходится опираться на какую-
либо его оценку. В данном примере — на оценку Ф (^) истинной
функции распределения Ф[^).
Чтобы не ломать бесплодно голову над вопросом, какими должны
быть вероятности этих областей, а точнее в данном случае — их
приближенные значения, возьмем их одинаковыми. Иными словами, в
качестве границ интервалов используем решения уравнений
к (\
Заметим, что в качестве оценки функции распределения можно исполь-
использовать и выборочную функцию распределения Fn{x), и другие возмож-
возможности. В этом случае границами интервалов разбиения будут служить
выборочные квантили (порядковые статистики).
После того, как мы определили интервалы разбиения числовой пря-
прямой, подсчитываем частоты mi,..., m,, по которым будем вычислять
потом статистику X2 A0.9) или A0.10) или какую-либо эквивалентную.
Следует подчеркнуть, что согласно теореме Фишера, для вычисления
Участвующих в этих формулах вероятностей р,-@) следует использо-
использовать частоты пц,..., шг, и только их. Никакой другой информацией
пользоваться нельзя! Нельзя, например, использовать х, s в качестве
оценок а и а2, по которым затем вычислять ре (в). Причина та, что есте-
331
ственные оценки х, s2 составлены по всей выборке, а должны бь.ть ^
по частотам пц.
Можно даже сказать, какие последствия повлечет за собой наРУш,
ние этого запрета. Статистика X2 не будет (асимптотически) следОв
распределению Х2 с г-3 степенями свободы: ее функция распредели
пройдет несколько ниже. Не будет она следовать и распределению^
с г - 1 степенями свободы (как было бы при точно известных параМе.
трах) Ее функция распределения пройдет несколько выше. В качестве
иллюстрации на рис. 10.2 приведем графики функций распределения
хи-квадрат с 8, 10, 18 и 20 степенями свободы. Графики, соответству.
ющие первым двум распределениям, выделяют область в которой будет
проходить график функции распределения X2 при г = 11, если для
вычисления р,-@) использовались оценки х, s2. Последние два графика
задают область нахождения функции распределения X2 при г = 21.
0.8 -
0.6 -
0.4 -
0.2 -
О -•-■*■ —
.0 10 20 30 40 50
Рис. 10.2. Функции распределения хи-квадрат с 8, 10, 18 и 20 степенями свободы
При больших г относительное различие между квантилями распре-
распределений х2 с (г - 3) и (г - 1) степенями свободы невелико. Поэтому
последствия такой ошибки не опасны. Но при малых г следует дей-
действовать «по теории».
Из-за всех этих сложностей, условий и оговорок можно сделать
вывод, что для проверки гипотезы о нормальности выборки критерий
Р.Фишера подходит плохо. Правильнее вместо этого использовать мо-
модификации критериев Колмогорова или омега-квадрат. (Начинать же
проверку нормальности надо с глазомерного метода, использующего
нормальную вероятностную бумагу, о чем подробно рассказывалось в
главе 5.) Но для многих распределений вероятностей (например —дис-
—дискретных) другой возможности, чем обсуждаемый критерий хи-квадрат
Фишера, просто нет.
332
10.7. Другие критерии согласия
Критерии согласия для
Пуассоновского распределения
укажем, наконец, еще одну возможность для проверки согласия
которой тоже часто пользуются. Состоит она в том, чГпровТряют
не „сходную гипотезу целиком, а какое-либо ее следствие ZPo
считается важным. Скажем, для нормальной случайной велич.2 £
коЭффициент асимметрии ны ?
равен нулю. Поэтому коэффициент асимметрии выборки
EILifoi-aK
~з A0.12)
тоже должен быть близок к нулю, если эта выборка — нормальная.
Чтобы судить о том, значимо ли отличается от нуля выборочное
значение A0.12), и тем самым, не нарушено ли обязательное для
нормального закона соотношение A0.11), надо знать, как распределена
статистика A0.12) при гипотезе. Для малых выборок исследование
подобных вопросов возможно далеко не всегда и, во всяком случае,
требует особого рассмотрения в каждом случае. Иное дело большие
выборки.
Есть стандартная методика, которая позволяет справиться с этой
задачей. Покажем ее действие на другом примере, поскольку о нор-
нормальном законе говорилось уже слишком много. Посмотрим, как можно
проверить согласие выборки с распределением Пуассона (см. п. 2.2).
Для случайной величины f, распределенной по Пуассону,
так как для распределения Пуассона D£ = М£ = А, где А — пара-
параметр распределения. Поэтому если выборка xi,...,xn извлечена из
пуассоновской генеральной совокупности, то отношение
S2/x, гДе52
Должно быть близким к 1. Ниже пойдет речь о том, как это проверить.
Предостережение. Но сначала одно замечание общего характе-
характера: такие проверки никак не могут доказать соответствия выборки
теоретическому закону даже при неограниченном возрастании числа
наблюдений. Причина в том, что соотношение типа A0.11) и (ю.,3)
не являются характеристическими: даже если A0.11) справедливо, Он
не означает, что i непременно распределено нормально. Это свойств
необходимо для нормальности распределения, но не достаточно. To*,
самое можно сказать о A0.13): это необходимое, но не Достаточно,
условие для того, чтобы распределение было пуассоновским. После
этого обсуждения обратимся к изучению свойств статистики (Ю.14)
Объем выборки п будем считать большим.
Распределение статистики критерия. Воспользуемся тем, ЧТо
при п -» оо случайные величины S2-D£ux-M£ стремятся к0 (закон
больших чисел). Поэтому для пуассоновской выборки:
S2 Dj + {S2 - Dj) _ Щ
Многоточие заменяет случайную величину, убывающую как тг\
Раскрыв скобки, получаем, что:
= 1 +
Исследуем при п —юо поведение выражения ^р2, главной случай-
случайной составляющей дроби S2/x. Без ущерба для точности вывода вместо
52 можно взять случайную величину:
Тогда вместо S2 - х появляется:
t=l
В силу центральной предельной теоремы эта сумма независимых и
одинаково распределенных случайных величин распределена приблизи-
приблизительно нормально, с математическим ожиданием: M[(i - AJ -£] =0
и дисперсией IJD[(£ - ЛJ - Q = ±М[Ц - АJ - С]2. Для вычисления
последнего выражения надо знать, что четвертый и третий центральные
моменты пуассоновского распределения равны соответственно
МЦ - АL = ЗА2 + А, М(С-АK = А.
334
После этого подсчет дает, что £>[(£ _ АJ _ f] __
Г 0014) /г распределена ^
Критерий проверки гипотезы. Зная pacnD
A0.14) в случае справедливости нулевой гипотезы^"^ СТатистики
выборки к распределению Пуассона, можно указать "РеИнадлежности
с вероятностью приблизительно, скажем, 0.99 должно попарь отнГе'
ние S2/x в случае справедливости гипотезы: датьотноше
Г\ ш
< «0.995, (Ю.15)
где ча обозначает квантиль уровня а стандартного нормального рас-
распределения.
Если мы хотим использовать это соотношение для практической
проверки гипотезы о пуассоновском распределении выборки, надо заме-
заменить неизвестное значение А его оценкой по выборке. Как отмечалось
ранее в главе 4, для больших выборок наилучшей является оценка наи-
наибольшего правдоподобия, которая для пуассоновского распределения
равна х. Следовательно, надо проверить по выборке, выполняется ли
соотношение:
S2/x-
< uo.995 = 2.58, т.е.
< 3.6.4. A0.16)
Если это неравенство не выполняется, гипотезу о том, что выборка
извлечена из распределения Пуассона, следует отвергнуть на уровне
значимости (примерно) 0.01. Понятно, что при другом уровне значи-
значимости в правой части A0.15) будет стоять другая квантиль и поэтому
правая часть A0.16) тоже будет другой.
Обсуждение и обобщения. Поскольку этот способ проверки при-
приближенный, то чем большего объема окажется выборка в нашем распо-
распоряжении, тем точнее будет соблюден номинальный уровень значимости.
К сожалению, трудно сказать определенно, начиная с какого п результат
такой проверки заслуживает доверия; по-видимому, для этого требуется
не менее сотни наблюдений.
Подобным образом может быть проверено любое свойство теорети-
теоретического распределения, если только мы располагаем достаточно боль-
большой выборкой. Главное здесь — выбор самого свойства. Эта харак-
характеристика распределения должна быть существенна для дальнейшего.
Как правило, знания о типе распределения нужны для того, чтобы на
их основе сделать по выборочным данным те или иные выводы. Неред-
Нередко оказывается, что для справедливости этих выводов особенно важны
335
лишь некоторые свойства теоретического закона распределения. ИМен
но эти свойства и надо в первую очередь проверить.
Например, при применении критерия Стыодента к выборкам, Не
сколько отличающимся от нормальных, результаты будут близки к'пра
вильным (для больших выборок), если коэффициенты асимметрии и
эксцесса такие же, как у нормального закона. Поэтому в проверку
на нормальность в этом случае надо включить вычисление выборочных
коэффициентов асимметрии и эксцесса и их значимости. Критерии
проверки нормальности, опирающиеся на эти коэффициенты, подробно
изложены в [16].
10 8. Критерии согласия в пакетах
STADIA и STATGRAPHICS
В этом параграфе мы покажем, как процедуры проверки согласия
могут быть реализованы в статистических пакетах. Мы будем интере-
интересоваться в первую очередь типичными ситуациями, но не обойдем и те
тонкости, которые отмечали в этой главе. Как будет видно, порой они
бывают существенны для правильных статистических выводов. В раз-
разбираемых ниже примерах особое внимание будет обращено, во-первых,
на чувствительность поведения статистик Колмогорова и хи-квадрат к
«грубым» ошибкам в наблюдениях, и, во-вторых, на важность правиль-
правильного определения минимальных уровней значимости этих критериев
для сложных гипотез.
10.8.1. Пакет STADIA
Пример 10.1к. Проверим согласие распределения выборки диа-
диаметров головок заклепок (табл. 1.1) с нормальным распределением,
используя критерий Колмогорова. Проведем аналогичные расчеты для
«цензурированной» выборки.
Подготовка данных. Данные этого примера уже рассматривались
в примерах 1.1 к и 5.1 к. Там же описан ввод (загрузка) данных в редактор
базы данных пакета в переменную d (рис. 1.16). Как отмечалось в
примере 5.1 к, указанная выборка содержит одно резко выделяющееся
наблюдение, равное 14.56. Удалив это значение, поместим оставшиеся
данные в переменную dc.
Выбор процедуры. В меню Статистические методы (рис. 1.17) в разделе
Распределения и частоты выберем пункт U = Согласие распределений.
336
Выберите переменную
ДЛЯ ВНВЛНЗВ Н НВЖННТС <ЕШСГ>
Рис. 10.3. Окно выбора
переменной для анализа
Рис. 10.4. Запрос типа распределения
Для проверки согласия
Заполнение полей ввода данных. В появившемся окне Анализ
переменной (рис. W.6) задайте переменную для анализа Для этого в
поле Исходи, перем. выделите мышью переменную d и, нажав кнопку
запроса со стрелкой вправо, перенесите ее в поле Для анализа. Затем
нажмите кнопку запроса | Утвердить |. На экране появится запрос типа
распределения вероятностей (рис. 10.4). Нажмите в нем кнопку 1 =
нормальное (можно нажать клавишу (Т)).
Результаты. Выдача результатов процедуры (рис. 10.5) содержит
в строке Распределение нормальное: 13.42, 0.1345 оценки среднего и стандарт-
стандартного отклонения выборки, а также значение статистик Колмогорова и
омега-квадрат для сложной гипотезы, их уровни значимости и объем
выборки в графе степ. своб. Сравнивая полученные уровни значимости
с 5%, система выдает заключение Гипотеза 1: Распределение отличается от
теоретического для каждого из указанных выше критериев.
СОГЛАСИЕ РАСПРЕДЕЛЕНИЙ. Файл: diamz.std
Распределение иорнальное: 13.422, 0.13445
Колмогоров^. 07175. Значимость^). 016229. степ.своб = 200
Гипотеза 1: Распределение отличается от теоретической»
0мега-квадрат=0.28287. 3начиность=0.00035817, степ.своб = 200
Гипотеза 1: Распределение отличается от теоретической»
Рис. 10.5. Результаты проверки согласия для исходных данных
Причиной отвержения гипотезы о нормальном характере (по всей
выборке) данных, как это будет показано ниже, явилось одно «грубое»
(аномальное) наблюдение. Механизм влияния этого наблюдения на
вычисляемые характеристики критериев следующий. «Грубое» наблю-
наблюдение заметно исказило значение оценки максимального правдоподобия
Дисперсии выборки (сравните значения оценок стандартного отклоне-
отклонения на рис. 10.5 и 10.7), и тем самым повлияло на значения подобран-
подобранной, согласно гипотезе, функции нормального распределения П^Ь
где вектор 0 = (х, s2) Эффект этого влияния хорошо виден на рис. ш.ь
^ часть), где приведены графики эмпирической и подобранной ги-
337
Рнс. 10.6. Пакет STADIA. Графики эмпирической н
подобранной гипотетической функции распределения: слева —
исходные данные; справа — «цензурнрованныео данные
потетической функций распределения для исходных данных. Указанные
графики выводятся при ответе © на запрос программы Вывести график.
Проведем расчеты значений статистик Колмогорова и омега-квадрат
для «цензурированных» данных. На рис. 10.7 приведены результаты
процедуры в этом случае.
СОГЛАСИЕ РАСПРЕДЕЛЕНИЙ. Файл: diamz.std
Распределение нормальное: 13.416. 0.10765
Колмогоров^.045714, Значимость^.47567. стел.своб = 199
Гипотеза 0: Распределение не отличается от теоретического>
Онега-квадрат=О.036583, Значимость^.82347, степ.своб = 199
Гипотеза 0: Распределение не отличается от теоретической^
Рнс. 10.7. Результаты проверки согласия для цензурнрованных данных
Как видно из полученных результатов, данные без резко выделя-
выделяющегося значения («цензурированные»), не противоречат гипотезе о
нормальности распределения. Графики эмпирической и подобранной ги-
гипотетической функций распределения для «цензурированных» данных
приведены на рис. 10.6 (правая часть).
Комментарии. Для нормального распределения расчеты статистик Колмо-
Колмогорова и омега-квадрат включены также в процедуру 2=Гистограмма и нормальность.
Ее работа будет разобрана в примере 10.2к.
В следующем примере будет рассмотрена реализация критерия со-
согласия хи-квадрат для сложной гипотезы. В качестве выборочных дан-
данных будет использован тот же массив диаметров головок заклепок.
Пример 10.2к. Проверим согласие распределения выборки диа-
диаметров головок заклепок (табл. 1.1) с нормальным распределением,
используя критерий хи-квадрат. Проведем аналогичные расчеты для
«цензурированной» выборки.
Подготовка данных ~ такая же, как в примерах 1.1 к и 10.1к.
Выбор процедуры. В меню Статистические методы следует выбрать
пункт 2 = Гистофамма/нормальность. Работа этой процедуры, объединяющей
338
„
^
есколько различных задач, рассматривалась
^построении таблицы табуляции частот?™^
Заполнение полей ввода данных На
Анализ переменной (рис. 10.3), в котором следует вХатьТГ" °КН°
для анализа. Далее последует запрос пакетао nwfuzZ * ™УЮ d
^х (рис. 10.8). Зададим число «^%£££»^
левую границу группировки данных - 13.1 и правуюrpaHTvJfi'
как это показано на рис. 10.8. V У границу _ 14.6,
1 нстогрвннв-
Чнсло ннтсрввлов=
Лсввя грвннцв=
Првввя грвннца=
13.1
14.6
Швьрпнть
Рис. 10.8. Задание интервалов группировки
Диапазон группировки наблюдений здесь выбран исходя из мини-
минимального A3.13) и максимального A4.56) элементов выборки. Число
интервалов группировки выбрано так, чтобы длина интервала группи-
группировки составила 0.1. Напомним, что в выборке есть одно резко выде-
выделяющееся наблюдение, которое мы расцениваем как грубо ошибочное.
Если мы хотим включить в обработку и его, то трудно говорить о каком-
то оптимальном выборе разбиения данных. Все выборочные значения,
кроме «грубого», сосредоточены в интервале A3.13, 13.69). Поэтому
правая половина указанного диапазона группировки содержит всего од-
одно наблюдение. Это влечет за собой образование (даже при малом
числе интервалов группировки) таких интервалов, ожидаемая частота
попадания в которые будет мала (такие интервалы будут располагаться
на правом конце диапазона). Из-за этого возникает проблема аппрок-
аппроксимации распределения статистики критерия с помощью распределения
хи-квадрат, о чем будет подробнее сказано ниже.
Результаты. Экран вывода результатов процедуры при введенных
параметрах группировки представлен на рис. 10.9. (Описание формы
экрана выдачи результатов дано в примере 1.2к.)
Как видно из таблицы, представленной на рис. 10.9, процедура уве-
увеличивает на единицу введенное число интервалов группировки за счет
Добавления справа от указанного правого конца диапазона бесконечного
полуинтервала. Полученное значение статистики хи-квадрат столь ве-
велико, что даже при весьма приблизительном характере аппроксимации
е* Распределения нулевая гипотеза должна быть отвергнута. Конечно,
339
ГИСТОГРАММА И ТЕСТ НОРМАЛЬНОСТИ. Файл: diamz.std
х_лев Х-стакд Частота % Накопл. %
13Л -2-3913 J 3 зб 3
13.3 -U.tfUJ/ " 9„ 15с 77 Ч
13.5 0.58387 36 1J J|| ||J
"•^ г714 0 0 199 99.5
л1 я 2 8152 0 0 199 99.5
13.8 г. та* _ -nq _q _
1 Л л Ч02Й 0 0 199 99.5
14 4.3028 « g
14.1 5.0466 0 0 199 99.5
14.2 5.7904 0 0 199 99.5
14.3 6.SJ41 «
...
}J:S !:Si? 1 0.5
0 и азу аа.э
о
}J:S
Колыо^оров-0867175, значиыость-0.016229, степ.сноб - 200
Гипотеза 1: Распределение отличается от нормального>
Онега-квалрат-0.282В7, Значиыость-0.00035817, степ.своб - 200
Гипотеза 1: Распределение отличается от нормального
Хи-квадрат=511.55, 3начиыость-0, степ.своб ° 13
Гипотеза 1: <Распределение отличается от нормального>
Рис. 10.9. Результаты проверки нормальности распределения
это происходит из-за присутствия аномального значения, о котором мы
так много говорили.
Приведем результаты применения процедуры для «цензурирован-
ных» данных (рис. 10.10) при следующих параметрах: диапазон группи-
группировки A3.1, 13.7), число интервалов группировки — 6.
0ГРАН1
Х-лев
13.1
13.2
13.3
13.4
13.5
13.6
13.7
ЧА И ТЕСТ
Х-станд
-2.9331
-2.0015
-1.0755
-0.11658
0.78237
1.7113
2.6401
НОРМАЛЬНОСТИ. Файл:
Частота
6
24
67
58
36
8
%
3.0151
12.06
33.668
29.146
18.09
4.0201
diamz.
Накопл.
6
30
97
155
191
199
std
3.
15
48
77
%
0151
.075
.744
.889
95.98
100
Колногоров=0.045714, Значимость^.47567, степ.своб = 199
Гипотеза 0: Распределение не отличается от нормального
Онега-квадрат=О.0365832. Значимость^.81358, степ.своб = 199
Гипотеза 0: Распределение не отличается от нормального
Хи-квадрат=2.0531, Значимость^.7259. степ.своб = 4
Гипотеза 0: Распределение не отличается от нормального>
Рис. 10.10. Результаты проверки нормальности распределения для
цензурированных данных
Обратим внимание на то, что при составлении статистики хи-
квадрат (при вычислении ожидаемых частот) в процедуре используются
обычные оценки х и s2. (По теории надо вычислять оценки параметров а
и ст2 по наблюденным частотам.) Поэтому истинный уровень значимости
несколько отличается от указанного на экране 0.7259. Как отмечалось
выше, аппроксимация распределения статистики в этом случае отлича-
340
eTcfl от распределения хи-квадрат. Приближенный
определении (для «цензурирование да„„ь*)Тодет
Комментарии. Критерий согласия
представлен в пакете только для
Ю.8.2. Пакет STATGRAPHICS
Пример Ю. 1к. Проверим согласие распределения выборки диа-
диаметров головок заклепок (табл. 1.1) с нормальным распределением
используя критерии Колмогорова. Проведем аналогичные расчеты для
«цензурированной» выборки.
Подготовка данных. Данные этого примера уже рассматривались
в примерах 1.1 к, и 5.1 к. Они находятся в переменной d файла D1AMZ
базы данных пакета. Пусть «цензурированные» данные находятся в
переменной dc того же файла.
Выбор процедуры. В пакете не вычисляется уровень значимости
критерия Колмогорова для сложной гипотезы. (Для ряда распределений,
представленных в пакете, до сих пор теоретически неизвестно, как это
сделать.) В этой ситуации мы попробуем выяснить, в каких случаях
результаты критерия Колмогорова для простой гипотезы могут быть
полезны при проверке сложной гипотезы.
В головном меню пакета выберем пункт Н. Distribution Function. Его
меню описано в пункте 2.7.2. Выберем в этом меню процедуру 1. Dis-
Distribution Fitting.
Заполнение полей ввода данных. Экран ввода данных в эту
процедуру представлен на рис. 4.7. Порядок его заполнения описан
в примере 4.1 к.
Результаты. После заполнения полей ввода и нажатия клавиши
(Ж) на экран выводятся оценки параметров распределения (для нор-
нормального распределения — среднее значение и стандартное отклоне-
отклонение). Если мы готовимся проверить простую нулевую гипотезу, то их
можно изменить согласно выдвинутой гипотезе. Если мы проверяем
сложную гипотезу, этого делать не надо, так как для подбора гипоте-
гипотетического распределения используются полученные по выборке оценки.
После нажатия клавиши (те) на экране появляется меню, представлен-
представление на рис. 10.11.
341
Distribution Fitting
Data vector: AH .0
Distributions available:
A) Bernoulli
B) Binomial
C) Discrete uniform
D) Geometric
E) Negative binomial
F) Poisson
Distribution number:
Mean:
Standard deviation:
G) Beta
(8) Chi-square
(9) Erlang
A0) Exponential
A1) F
A2) Gamma
4B'
A3) Lognormal
A4) Normal
A5) Student's t
A6) Triangular
A7) Uniform
A8) Weibuii
Histogram
Chi-stuare test
K-S test
Tail areas
Critical values
Рис. 10.П. Меню функций распределения для проверки согласия
В указанном меню надо выбрать процедуру K-S test (критерий
Колмогорова-Смирнова). На рис. 10.12 представлены результаты по-
полученных расчетов. Они включают значение статистик Колмогорова-
Смирнова D+ (Estimated KOLMOGOROV statistic DPLUS) и D~ (Estimated KOL-
MOGOROV statistic DMINUS), а так же значение статистики Колмогорова Dn
(Estimated overall statistic DN) и минимальный уровень значимости последней
статистики в случае простой гипотезы (Approximate significance level).
Estimated KOLMOGOROV statistic DPLUS = 0.0717387
Estimated KOLMOGOROV statistic DMINUS = 0.0612956
Estimated overall statistic pN = 0.0717387
Approximate significance level = 0.25474
Рис. I0.I2. Результаты проверки согласия для исходных данных
Попытка использовать полученный уровень значимости для сложной
гипотезы приведет в данном случае к ошибочному принятию нулевой
гипотезы. Правильный уровень значимости статистики Колмогорова
в случае сложной гипотезы равен 0.01605 (он был вычислен пакетом
STADIA, см. рис. 10.5). Поэтому гипотезу о нормальности на самом
деле надо отвергнуть.
Приведем результаты расчетов статистики Колмогорова для «цензу-
рированных» данных (рис. 10.13).
Estimated KOLMOGOROV statistic DPLUS = 0.0457847
Estimated KOLMOGOROV statistic DMINUS = 0.0342026
Estimated overall statistic DN = 0.0457847
Approximate significance level = 0.999972
Рис. 10.13. Результаты проверки согласия для цензурированных данных
342
В этом случае вычисленный уровень зня
зы @.999972) более чем вдвое превышает упГГ™ ДЛЯ Простой гип^е-
ной гипотезы @.4584). Как видно, представлю НЬЗначимос™ Для слож-
в отличие от аналогичной процедуры пакета STAniV3*676 nP°ueWPa.
уровни значимости и для исходных данных ' дает Ощибочные
данных. Поэтому полагаться на нее не след" ^ *ЦензуРиРованных»
Укажем ситуацию, когда результаты расчетов этой „
же могут быть использованы для статистических ПРОЦ(*УРЬ' все
Заметим, что уровень значимости статистики ^~—ЫВ°дав ° согласии-
«.пптРЧЫ ВСРГЛЯ MPHhlJJP vnnnim n
Заметим, ур начимости статистики к« ии,
гипотезы всегда меньше уровня значимости ^Т" *"" СЛ°ЖН°Й
СТОЙ гипотезы. Таким образом, если полынный ZT™ *** ПР°"
для простой гипотезы мал, то уровень значиГсТИJ?г 3?ачимос™
еще меньше и эту гипотезу следует отверг ? В ппЖН°Н ГИПОтезы
обращаться к таблицам -ответе^" »™
Комментарии. В документации пакета не пепЯРТГ
„ро^согласия для простой и сложной поДГГ
р^
Пример 10.2к. Проверим согласие распределения выборки диа-
диаметров головок заклепок (табл. 1.1) с нормальным распределением,
используя критерий хи-квадрат. Проведем аналогичные расчеты для
«цензурированной» выборки.
Подготовка данных. Смотри примеры 1.1 к и 10.1 к.
Выбор процедуры. На первом этапе порядок действий совпадает с
описанным в примере 10.1 к. В меню рис. 10.11 надо выбрать процедуру
Ctii-square test (критерий хи-квадрат).
Заполнение полей ввода данных. На рис. 10.14 приведен экран
ввода параметров табуляции разбираемой процедуры. Его подробное
описание дано в примере 1.2к (рис. 1.26).
Tabulation Input Panel
Primary Variable Secondary Variable
i ■ ■
тУРе Continuous1 Type
Lower limit 13.1 . ■: Lower limit
Upper limit 14.6 " Upper limit
«o. of classes d , .". No- of classes
Length = 200 Length =
Hinimurn = 13.13 Minimum =
Haximum = 14.56 Maximum =
Рис. 10.14. Запрос параметров группировки для критерия хи-квадрат
В качестве параметров группировки выберем те же параметры, что
11 при анализе этих данных в пакете STADIA.
343
Chisquare = 11.9999 with 3 d.f. Sig. level = 7.38343E-3
Рис. 10.15. Результаты проверки согласия по критерию хи-квадрат
Результаты. На рис. 10.15 приведен экран выдачи результатов
для критерия хи-квадрат.
В двух первых столбцах таблицы результатов Lower Limit и Upper limit
указаны нижние и верхние границы интервалов группировки. В столб-
столбце Observed Frequency представлены наблюдаемые частоты, а в столбце
Expected Frequency — частоты подобранного гипотетического распределе-
распределения. Столбец Chisquare содержит значения слагаемых выражения A0.12)
для каждого интервала группировки. Нижняя строка экрана выдачи
результатов включает значение статистики хи-квадрат, число степенен
свободы d.f. и уровень значимости Sig. level.
Обратим внимание на ряд существенных моментов в работе этой
процедуры.
Во-первых, число интервалов группировки, указанное пользовате-
пользователем, корректируется с учетом обеспечения условий применимости ап-
аппроксимации распределения статистики с помощью распределения хи-
квадрат. Так, вместо 15 введенных интервалов группировки (рис. 10.14),
сформировано только 6. В данном случае все наблюдения, лежащие пра-
правее значения 13.6, были включены в один интервал группировки.
Во-вторых, для вычисления частот гипотетического распределения,
так же как и в пакете STADIA, используются оценки х и s2. Как от-
отмечалось выше, уровень значимости подобной статистики лежит где-то
между квантилями распределения хи-квадрат с (г-3) и (г-1) степенями
свободы, где г — число интервалов группировки. То есть уровень зна-
значимости полученной статистики лежит в интервале @.007383, 0.0348).
Указать его точнее трудно. При этом, например, не ясно, следует ли
отвергнуть гипотезу на однопроцентном уровне значимости.
Приведем результаты расчетов критерия хи-квадрат для «цензури-
рованных» данных (рис. 10.16), используя в качестве областей группи-
группировки разбиение интервала A3.1, 13.7) на 6 равных частей.
344
square
Test
Lower
Limit
t or below
a 13.300
13.400
13.500
13.600
Upper
Limit
13.300
13.400
13.500
13.600
Observed Expected
Frequency Frequency Chisquare
30
67
58
36
8
28.1
59.8
67.9
34.5
8.7
.1336
.8605
1.4482
.0624
.0506
2.55532 with 2 d.f. Sig. level = 0.278689
p 10 16. Результаты проверки согласия по критерию хи-квадрат
для цензурнрованных данных
случае интервал для уровня значимости статистики хи-
В ЭТ°* ь @ 2787, 0.6348). В любом случае нет основания отвергать
квадрат е
елевую гипотезу.
J арнтарии. Процедура позволяет получить значение статистики хи-
Комментари v гипотезы. Для этого в поля параметров семеи-
квадрат для провар v ^ необходимо ввести значения, соответствующие
ства распределении \у
простой гипотезе. вня значимости полученной статистики
ri&°i-^oi~ «el -J^^^T чГо
свободы распределения хи-квадрат равным [г 1), где г
группировки, установленное самой процедурой.
Глава 11
Временные ряды:
теоретические основы
11.1. Введение
'Уго такое временной ряд. Временной ряд — это последователь-
последовательность чисел; его элементы — это значения некоторого протекающего
во времени процесса. Они измерены в последовательные моменты вре.
мени, обычно через равные промежутки.
Как правило, составляющие временной ряд числа — элементы
временного ряда, — нумеруют в соответствии с номером момента
времени, к которому они относятся (например, хг, х2, ж3 и т.д.).
Таким образом, порядок следования элементов временного ряда весьма
существен.
Почти в каждой области знания встречаются явления, которые важ-
важно изучать в развитии во времени или пространстве. И почти всегда в
закономерное течение явления вмешивается случай в виде случайных
импульсов, случайных помех, случайных ошибок и т.д. Поэтому изуче-
изучение временных рядов — это составная часть прикладной статистики (и
довольно важная ее часть).
Расширения понятия временного ряда. Понятие временного
ряда часто толкуют расширительно. Например, одновременно могут
регистрироваться несколько характеристик упомянутого процесса. В
этом случае говорят о многомерных временных рядах. Если измерения
производятся непрерывно, говорят о временных рядах с непрерывным
временем, или случайных процессах. Наконец, текущая переменная
может иметь не временной, а какой-нибудь иной характер, например
пространственный (тогда говорят о случайных полях).
Примеры временных рядов. Данные типа временных рядов ши-
широко распространены в самых различных областях человеческой дея-
деятельности. В экономике это ежедневные цены на акции, курсы валют,
еженедельные и месячные объемы продаж, годовые объемы производ-
производства и т.п. В метеорологии типичными временными рядами являются
ежедневная температура, месячные объемы осадков, в гидрологии -
периодически измеряемые уровни воды в реках. В технике времен-
346
о
различных параметров
,t,P пяды возникают в результате
Дологических процессов.
Т Нарис 11.1 приведены примеры различных временных п«пп /
аглядности последовательные измерения состяШ № (для
J на графиках соединены линиями) С0СТавляю^ временной
Рис. 11.1. а) - урожайность зерновых культур в СССР с 1945 по 1989 гг.
в ц/га; б) - курс доллара на торгах ММВБ с 1.03 по 31.08 1994 г. в рублях;
в) - ежемесячные продажи шампанского за 7 последовательных лет; г)
среднечасовая нагрузка телекоммуникационного канала Москва - Париж в течеии
2-х недель (в Кбит/сек); д) - гауссовский «белый шум» с параметрами и и
Видно, что поведение временных рядов может быть весьма различ-
различным. Так, динамика урожайности зерновых в СССР 1ряд а>; имей
347
скорее всего линейный тренд, отклонения от которого можно считать
независимыми случайными величинами. Курс доллара на торгах ММВБ
весной-летом 1994 г. (ряд б)) также содержит линейный тренд, 0днаКо
отклонения от него имеют более сложную статистическую структуру
чем в предыдущем случае. График ежемесячных продаж шампанского
(ряд в)) содержит явно повторяющиеся годовые циклы с возрастающей
амплитудой. Среднечасовая загрузка телекоммуникационного канала
Москва-Париж в течение двух недель (одна неделя равна 168 часам)
февраля 1996 г. (ряд г)) имеет ясные суточные циклы. Кроме суточных,
этот ряд содержит и недельные циклы, но на приведенном графике они
заметны мало, так как недостаточно длителен интервал наблюдения.
Ряд д) создан датчиком нормальных случайных чисел на компьютере и'
служит примером чисто случайного процесса без внутренних законо-
закономерностей и зависимостей.
Измерение значений временного ряда. Чаще всего значения
временного ряда получаются непосредственной записью значений неко-
некоторого процесса через определенные промежутки времени. Например,
если ежесуточно в определенное время записывать показания термо-
термометра, то получится временной ряд со значениями температуры в том
месте, в котором находится термометр.
Иногда значения элементов временного ряда получаются накапли-
накапливанием некоторых данных за определенный промежуток времени (на-
(например, суммарное число посетителей магазина за день), усреднением
(средняя температура за день) и т.д.
11.2. Анализ временных
рядов и его разделы
Анализ временных рядов. Исследование временных рядов отли-
отличается от других задач анализа данных как кругом представляющих
интерес вопросов, так и методами, применяемыми для. исследования.
Поэтому наука об исследовании временных рядов — анализ времен-
временных рядов, — образует самостоятельную и весьма обширную область
статистики. ' !
■ ■
Разделы анализа временных рядов. Временные ряды, возника-
возникающие в различных предметных областях, имеют различную природу,
поэтому для их изучения оказались эффективными разные методы. Ис-
Исследователи придумывали и развивали многочисленные методы анализа,
подходящие для изучения временных рядов в разных предметных обла-
областях. И в результате анализ временных рядов превратился в довольно
348
разветвленную науку. Вот только некоторые из Run
;ов исследование которых можно рассматривать как Временных Ря"
раздел теории анализа временных рядов: сам°стоятельный
ф стационарные случайные процессы, то ее
сти случайных величин, вероятностные с ТЬиПОСЛедовательно'
изменяются во времени. Стаиипиапи^,л - которых не
широко применяются в радиотехнике трпп процессы
жидкости и газа, океанологии, метеорологии и т д •
. диффузионные процессы возникли при изучении процесса диф-
фузии, то есть взаимопроникновения различных жидкостей или
газов. Эти процессы используются при построении моделей
непрерывных процессов, в которых существенна случайная со-
составляющая;
• точечные процессы используют для описания таких явлений,
как поступление вызовов или заявок на обслуживание, момен-
моментов несчастных случаев, стихийных и техногенных катастроф,
каких-либо приметных явлений и т.п. Они широко применяют-
применяются в таких разделах статистики, как теория очередей, теория
массового обслуживания и т.д.
Всех этих обширных разделов анализа временных рядов в данной
книге мы касаться не будем. Вместо этого мы хотим рассказать о
тех прикладных аспектах анализа временных рядов, которые полезны
и важны при решении практических задач в экономике, финансах, а
также в различных гуманитарных науках. В частности, мы расскажем
о методах подбора математической модели для описания временного
ряда, об изучении взаимозависимостей временных рядов, выявления в
них периодических и других составляющих, прогнозировании поведения
временных рядов и т.д.
Как мы будем рассказывать об анализе временных рядов. В
этой главе (главе 11) мы обсудим основные понятия статистической
теории временных рядов. Мы расскажем о структуре временных рядов;
о вероятностных предпосылках для их анализа; о детерминированных
компонентах временных рядов и о причинах, их порождающих; о кор-
корреляционной структуре ряда; о случайной составляющей временного
ряда и ее описании и т.д. В главе 12 обсуждаются вопросы прикладно-
прикладного анализа временных рядов, а в главе 13 мы опишем, как различные
практические задачи анализа временных рядов решаются с помощью
статистических пакетов Эвриста и SPSS. Наконец, в главе 14 мы вновь
возвратимся к теории и расскажем о некоторых математических моде-
моделях временных рядов, важных для прикладного анализа.
349
Мы будем стараться вести изложение на уровне, доступном шир0
кому читателю. Наш рассказ мы сопроводим обсуждением примерОв
(как тех, что привели на рис. 11.1, так и многих других).
Литература. Те читатели, которые захотят глубже изучить те0.
ретические или прикладные аспекты анализа временных рядов, могут
обратиться к литературе. По большинству разделов анализа временных
рядов существует множество книг разной степени подробности и мате-
матической сложности. Одни из этих книг рассчитаны на математиков,
другие — на практических работников и инженеров. Укажем некоторые
наиболее известные из этих книг:
• в области теории временных рядов — [5], [75], [38], [96], [98]
[18];
• в области общего прикладного анализа — [11], [12], [15], [39]
[68], [9];
• в области прикладного спектрального анализа — [29], [58];
• в области радиотехнических приложений — [47], [24];
• в области экономических приложений — [101], [52] и др.
11.3. Цели, этапы и методы
анализа временных рядов
Цели анализа временных рядов. При практическом изучении
временных рядов исследователь на основании наблюденного отрезка
временного ряда (конечной длины) должен сделать выводы о свойствах
этого ряда и о вероятностном механизме, порождающем этот ряд. Чаще
всего при изучении временных рядов ставятся следующие цели:
• краткое (сжатое) описание характерных особенностей ряда;
• подбор статистической модели (моделей), описывающей вре-
временной ряд;
• предсказание будущих значений на основе прошлых наблюде-
наблюдений;
• управление процессом, порождающим временной ряд.
На практике эти и подобные цели достижимы далеко не всегда и да-
далеко не в полной мере. Часто этому препятствует недостаточный объем
наблюдений (недостаточная длительность); еще чаще — изменяющаяся
с течением времени статистическая структура временного ряда. Из-за
этих изменений значение прошлых наблюдений обесценивается, и они
уже не помогают предвидеть будущее.
350
Стадии анализа временных рядов. Обычнп
«И*» временных рядов последовательно „рохОд,тсХ^еТ
. графическое представление н описание „„ведения времеГГго
• выделение и удаление
рда, зависящих от времени:
составляющих;
. выделение и удаление низко- или высокочастотных составляю
щих процесса (фильтрация); «*.г«»вляю-
. исследование случайной составляющей временного ряда остав-
оставшейся после удаления перечисленных выше составляющих-
. построение (подбор) математической модели для описания'слу-
чайнои составляющей и проверка ее адекватности;
. прогнозирование будущего развития процесса, представленного
временным рядом;
• исследование взаимодействий между различными временными
рядами.
Методы анализа временных рядов. Для решения указанных вы-
выше (а также многих других) задач исследователями предложено боль-
большое количество различных методов. Отметим из них наиболее рас-
распространенные:
• корреляционный анализ позволяет выявить существенные пе-
периодические зависимости и их лаги (задержки) внутри одного
процесса (автокорреляция) или между несколькими процессами
(кросскорреляция);
• спектральный анализ позволяет находить периодические и ква-
квазипериодические составляющие временного ряда;
• сглаживание и фильтрация предназначены для преобразования
временных рядов с целью удаления из них высокочастотных или
сезонных колебаний;
• модели авторегрессии и скользящего среднего оказываются
особенно полезными для описания и прогнозирования процес-
процессов, проявляющих однородные колебания вокруг среднего зна-
значения;
• прогнозирование позволяет на основе подобранной модели пове-
поведения временного ряда предсказывать его значения в будущем.
Как уже говорилось, в этой книге мы расскажем не обо всех из этих
методов, а лишь о тех, которые наиболее важны для экономических
и гуманитарных наук.
351
11.4. Детерминированная и случайная
составляющие временного ряда
Следуя основной идее статистики, при анализе временного ряда
видимую его изменчивость стараются разделить на закономерную и слу.
чайную составляющие. Закономерные изменения членов временного
ряда следуют какому-то определенному правилу и поэтому предсказуе.
мы. Эта составляющая xt может быть вычислена при каждом t как не-
некоторая функция от текущего момента t Эта функция может зависеть
помимо t, также от некоторого набора параметров. Когда эти параметры
неизвестны, их приходится оценивать по имеющимся наблюдениям -
как, например, бывает в случае регрессии.
Изменчивость, оставшаяся необъясненной, иррегулярна и хаотич-
хаотична. Для ее описания необходим статистический подход (за неимением
лучшего).
Определение. Под закономерной (детерминированной) соста-
составляющей временного ряда xi,...,xn мы будем понимать числовую
последовательность d\^..tdn, элементы которой а\ вычисляются
по определенному правилу как функция времени t.
Детерминированная составляющая часто отражает действия каких-
либо определенных факторов или причин. Так, у временных рядов из
различных областей техники детерминированная составляющая обычно
обязана своим возникновением действиям физических законов или усло-
условиям эксплуатации оборудования. Например, если значения временного
ряда соответствуют положениям маятника в определенные моменты вре-
времени, то в качестве детерминированной компоненты ряда можно взять
решение дифференциального уравнения движения маятника в эти мо-
моменты времени. В экономических и многих других приложениях матема-
математические модели изучаемых процессов нам обычно не известны, так что
тенденции, отраженные в поведении временного ряда, нам приходится
выявлять по наблюдаемым значениям временного ряда. Например, при
изучении данных о месячном производстве молока в России (рис. 11.2)
мы можем пытаться описать закономерную часть данного временного
ряда в виде комбинации линейной функции (в течение последних лет
производство молока, нашедшее отражение в статистической отчетно-
отчетности, постепенно уменьшалось) и периодической функции с периодом
12 месяцев. Эта периодическая компонента отражает влияние времени
года на производство молока. ч
Для многих рядов в экономике и социальных науках причины, поро-
порождающие их закономерные составляющие, могут не быть столь ясными.
352
5008 f-
4008 -
3000 "
2000 -
1000 -
о -
Рис. 11.2. Ежемесячное производство молока
в России с 01.1992 по 10.1996 (в тыс. тонн)
Тем не менее, их совокупное влияние может быть устойчивым в течение
достаточно длительных промежутков времени. Это обеспечивает воз-
возможность прогноза для подобных временных рядов. Если мы полностью
выявим закономерную составляющую в поведении временного ряда, то
оставшаяся часть выглядит хаотично и непредсказуемо. Ее обычно
именуют иррегулярной, или случайной компонентой временного ряда.
Обозначим эту случайную компоненту через ei,...,e(,...,en.
Для описания и анализа случайной компоненты временных рядов
обычно используют понятия и методы теории вероятностей и матема-
математической статистики.
Аддитивная и мультипликативная модели. Формы разложения
(декомпозиции) временного ряда на детерминированную и случайную
компоненты могут различаться. Укажем наиболее простых из них.
Определение. Аддитивной моделью временного ряда называет-
называется представление ряда в виде суммы детерминированной и случай-
случайной компонент, а именно:
V Г) л. 7? (] 1 \)
при « =
или
Определение. Мультипликативной моделью временного ряда
называется представление ряда в виде произведения детерминиро-
детерминированной и случайных компонент, а именно:
xt = dtx£t при t = l,...,n imi x = DxE
Мультипликативные модели часто бывают удобны при анализе эко-
комических временных рядов.
•2
783
353
Если в приведенном выше соотношении перейти к логарифмам То
мы вновь получим формулу A1.1) - но не для самих xt, a WHx
логарифмов.
) ПРИ i = 1,..., n
Указанное соотношение объясняет распространенность логарифм,,,
ческих шкал при анализе экономических временных рядов.
11.5. Тренд, сезонная
и циклическая компоненты
Способы описания детерминированных компонент временного р?ща
сильно зависят от области приложений. При выборе модели детермини-
детерминированной компоненты должны прежде всего учитываться содержатель-
ные соображения, то есть те объективные факторы и закономерности,
которые приводят к ее формированию.
В экономических (и многих других) приложениях в детерминирован-
детерминированной компоненте временного ряда dt обычно выделяют три составляющих
части: тренд tru сезонную компоненту st и циклическую компоненту
ct. Для простоты изложения мы рассмотрим только аддитивную модель
временного ряда. Мы можем записать:
dt = trt + st + cu при £ = 1,...,п.
Замечание. В последнее время к указанным трем компонентам все чаще
добавляют еще одну компоненту, именуемую интервенцией. Под интервенци-
интервенцией понимают существенное кратковременное воздействие на временной ряд.
Примером интервенции могут служить события «черного вторника», когда курс
доллара за день вырос почти на тысячу рублей. С анализом интервенций можно
познакомиться в [9].
Термины «тренд», «сезонная компонента» и «циклическая компонен-
компонента» не имеют однозначных общепринятых определений. Чаще всего рас-
расхождения относятся к определению тренда и циклической компоненты
и связаны с различными традициями в разных науках. Мы определим их
в виде, наиболее часто используемом в экономических приложениях.
Тренд. Анализ временного ряда обычно начинается с выделения
именно этой компоненты. Ее присутствие или отсутствие наглядно по-
показывает график временного ряда. Выделение тренда позволяет перейти
к дальнейшей идентификации других компонент ряда.
Определение. Трендом временного ряда trt при t = 1,.. - ,п назы-
называют плавно изменяющуюся, не циклическую компоненту, описыва-
354 '
юЩУю чистое влияние долговременных фактопш «ы,л
созывается постепенно. факторов, эффект которых
В экономике к таким факторам можно отнести:
, изменение демографических характеристик ппп
рост населения, изменение стпукт„п1. П0ПУляции, включая
, ^'FJ^ypbl ВОЗрасТНОГО СПГтяпа nf.
менение географического расселения и т - LUCTaBa, из-
# технологическое и экономическое развитие-
, рост потребления и изменение его структуры
Действие этих и им подобных факторов происходит постепенно
поэтому их вклад исследователи предпочитают описывать с помощью
гладких кривых, просто задающихся в аналитическом виде. Мы опишем
некоторые модели тренда в следующем параграфе.
Сезонная компонента. Сезонная компонента отражает присущую
миру и человеческой деятельности повторяемость процессов во време-
времени. Она часто присутствует в экономических, метеорологических и
других временных рядах. Сезонная компонента чаще всего служит глав-
главным источником краткосрочных колебаний временного ряда, так что ее
выделение заметно снижает вариацию остаточных компонент.
Определение. Сезонная компонента st временного ряда при t =
1,...,п описывает поведение, изменяющееся регулярно в течение
заданного периода (года, месяца, недели, дня и т.п.). Она состоит
из последовательности почти повторяющихся циклов.
Типичным примером сезонного эффекта является объем продаж в
декабре каждого года в преддверии Рождества и нового года. В то же
время пик объема продаж товаров для школьников приходится на нача-
начало нового учебного года. Объем перевозок пассажиров городским транс-
транспортом имеет два характерных пика утром и вечером, причем период
вечернего пика продолжительней, а сам пик менее высокий. Сезонные
эффекты присущи многим сферам человеческой активности: многие ви-
виды продукции имеют сезонный характер производства, потребление то-
товаров также имеет ярко выраженную сезонность. На графике месячных
объемов продаж шампанского в течение 7 лет (рис. 11.1 в) видно, что пик
реализации приходится на декабрь, а спад на жаркие летние месяцы.
В некоторых временных рядах сезонная компонента может иметь
плавающий или изменяющийся характер. Классическим примером по-
подобного эффекта является праздник Пасхи, сроки которого изменяются
из года в год. Поэтому локальный пик объемов междугородных пе-
перевозок во время пасхальных каникул является плавающим сезонным
эффектом.
355
12*
Главная идея подхода к анализу сезонных компонент заключается
в переходе от сравнения всех значений временного ряда между Собо|}
к сравнению значений через определенный период времени. Это позво
ляет заметно снизить оценку вариации временного ряда около своего
среднего значения. Так, при изучении динамики месячных объемов про-
продаж за несколько лет данные декабря одного года обычно сравнивают с
данными декабря предыдущего года, а не с данными других месяцев рас-
рассматриваемого года. Методы анализа сезонных эффектов и выделения
сезонных компонент рассмотрены в пункте 12.3.2.
Циклическая компонента занимает как бы промежуточное положе-
положение между закономерной и случайной составляющими временного ряда.
Если тренд — это плавные изменения, проявляющиеся на больших вре-
менных промежутках, если сезонная компонента — это периодическая
функция времени, ясно видимая, когда ее период много меньше общего
времени наблюдений, то под циклической компонентой обычно подра.
зумевают изменения временного ряда, достаточно плавные и заметные
для того, чтобы не включать их в случайную составляющую, но такие,
которые нельзя отнести ни к тренду, ни к периодической компоненте.
Определение. Циклическая компонента ct временного ряда опи-
описывает длительные периоды относительного подъема и спада. Она
состоит из циклов, которые меняются по амплитуде и протя-
протяженности.
Изучение циклической компоненты полезно для прогнозирования
(особенно краткосрочного).
Замечание. Выделение в экономических временных рядах циклических
компонент связано с тем, что экономическая активность не растет (или спада-
спадает) постоянными темпами. Она состоит из периодов относительных подъемов
и спадов. Считается, что причиной циклических изменений в экономических
показателях является взаимодействие спроса и предложения. Играют роль и
другие факторы: рост и истощение ресурсов, увеличение размеров капитала,
используемого в бизнесе, продолжительно действующие неблагоприятные (ли-
(либо благоприятные) для тех или иных отраслей сельского хозяйства погодные
условия, изменения в правительственной финансовой и налоговой политике и
т.п. Влияние всех этих факторов приводит к тому, что циклическую компо-
компоненту крайне трудно идентифицировать формальными методами, исходя только
из данных изучаемого ряда. Поэтому для ее анализа обычно приходится при-
привлекать дополнительную информацию в виде других временных рядов, которые
оказывают влияние на изучаемый ряд, например, учитывать информацию типа
налоговых льгот, перенасыщенности рынка и т.п.
Методы определения циклической компоненты в экономических вре-
временных рядах и связанные с ней индексы деловой активности относят-
356
к эконометрии и выходят за рамки
й книге. Более подробно об этом
Ц.6. Модели тренда
Простейшие модели тренда. Приведем модели трендоо наиболее
чаСто используемые при анализе экономических временных l"e а Так
же во многих других областях. Во-первых, это простая линеЕ мод^ь"
^t = bo + bi-i, (П2)
которая, несмотря на свою простоту, оказывается полезной во многих
реальных задачах. Если нелинейный характер тренда очевиден то
может подойти одна из следующих моделей:
. полиномиальная: trt = Ьо + М + b2t2 + • ■ • + bnt", где значение
степени полинома п в практических задачах редко превышает 5;
• логарифмическая: trt = ехрF0 + bit). Эта модель чаще всего
применяется для данных, имеющих тенденцию сохранять посто-
постоянные темпы прироста;
• логистическая: trt = 1+b°e_ci;
• Гомперца: log(trt) = a - Ъ • г1, где 0 < г < 1.
Две последние модели задают кривые тренда S-образной формы.
Они соответствуют процессам с постепенно возрастающими темпами
роста в начальной стадии и постепенно затухающими темпами роста в
конце. Необходимость подобных моделей обусловлена невозможностью
многих экономических процессов продолжительное время развиваться
с постоянными темпами роста или по полиномиальным моделям, в связи
с их довольно быстром ростом (или уменьшением).
Первое представление о возможном характере тренда дает графиче-
графическое представление временного ряда. Так, график роста урожайности
зерновых культур (рис. 11.1а) позволяет предположить наличие ли-
линейного тренда в этом временном ряде. Аналогичное предположение
очевидно справедливо и для ряда роста курса доллара весной и летом
1994 г. (рис. 11.16).
При прогнозировании тренд используют в первую очередь для долго-
долговременных прогнозов. Точность краткосрочных прогнозов, основанных
только на подобранной кривой тренда, как правило, недостаточна. Ме-
Методы выделения и удаления тренда подробно рассматриваются в пункте
12.3.1, а также в главе 8.
О временных рядах в технических приложениях. В технических
приложениях мы часто знаем физические законы или технические ха-
357
пактеристики механизмов, генерирующих исследуемые временные Ря
ды Это, разумеется, существенно облегчает исследование. Мы рассмо.
трим только один тип моделей временных рядов, часто испоЛьзуеМый
в технических приложениях - полигармоническую модель. О Других
моделях временных рядов, возникающих в технических приложениях,
Вы можете узнать в [47], [24].
Полигармоническая модель. Простейший вариант полигармонн-
ческой модели временного ряда — это косинусоидальная модель:
xt — acos(wt + 6) +et (ИЗ)
Здесь детерминированная компонента представляет собой косинусо*
идальную функцию с амплитудой о, частотой ш, периодом 2к/ш и фазой
в. Величины а, шив в выражении A1.3) являются константами.
Комментарий. В технических приложениях часто рассматриваются моде-
модели типа A1.3), в которых амплитуда а является случайной величиной с нулевым
средним или фаза в является случайной равномерно распределенной величи-
величиной в интервале @, 2тг). Такой подход, превращающий процесс A1.3) и ему
подобные в стационарные процессы, часто обусловлен необходимостью обосно-
обоснования возможности применения методов исследования стационарных процессов
к процессам типа A1.3).
Круг данных, описываемых чисто косинусоидальной моделью A1.3),
невелик. Во-первых, часто встречаются периодические зависимости,
которые описываются не косинусоидальной, а более сложной функцией.
Во-вторых, обычно в изучаемом процессе можно выделить не одну, а
несколько периодических компонент с разными периодами.
Как известно из математического анализа, любую гладкую пери-
периодическую функцию G(i) с периодом р (то есть функцию, для кото-
которой G{t + kp) = G(t) для любого целого к) можно представить в виде
ряда Фурье: ■ i
v
G{t) = Y^ <h cos(jut + Oj), A1.4)
где ш = 2n/p называется основной (Найквистовой) частотой, a,j, 6j —
некоторые параметры. Частоты ju называются гармониками основной
частоты.
Функцию, являющуюся суммой нескольких периодических функ-
функций с разными периодами, можно задать в виде G{t) = £fc Gk(t) =
!>2j,kajkC0stibJkt + 6jk). Таким образом, получаем следующее обобще-
обобщение модели A1.3).
358
Определение. Говорят, что временной
гармонической моделью, если он представлен в
3,k
& cos( Ш+ejh)
A1.5)
на рис
= 2v/pk. a Et является белым шумом (см. п. 11.7).
Пример ряда, описываемого полигармонической моделью, приведен
•5 ' .
Рис. 11.3. а) — 500 значений ряда, описываемого полигармоннческой
моделью xt = 2cos(^t + f) + cos^t) + Et. где et — белый шум с
дисперсией 0.16; б) — детерминированная компонента этого ряда
Если периоды pk известны, то для определения величин ад. и
можно использовать методы линейного регрессионного анализа. Если
периоды pk не известны, для их определения используют методы спек-
спектрального анализа. Мы практически не будем затрагивать этот вопрос
в настоящей главе, так как он требует достаточно высокой математи-
математической подготовки читателей, и ограничимся лишь кратком рассказом
об одном из его простейших случаев — периодограмме (см. п. 11.10).
Наиболее полный обзор современного состояния методов прикладного
спектрального анализа на русском языке дан в [58]. Этим методам
посвящено много различной специальной литературы: [29], [39], [68],
[38], [96], [47], [24].
Исторически анализ временных рядов из различных областей дея-
деятельности, включая экономику, начинался в конце прошлого и начале
этого века именно с подбора полигармонических моделей для их опи-
описания. Однако с середины этого века стали появляться более простые
модели и методы анализа временных рядов, включая линейные параме-
параметрические модели типа авторегрессии-скользящего среднего, на которых
и будет в основном сосредоточено наше внимание.
359
11.7. Модели случайной компоненты
Прежде чем перейти к вопросам практического анализа временных
рядов кратко остановимся на математических основаниях этого знали-
за При первом чтении этот параграф можно пропустить (тогда к нему
время от времени придется возвращаться впоследствии).
Случайные процессы. Практический опыт показывает, что обычно
временной ряд не удается полностью описать одной лишь детермини-
рованной компонентой. В нем, как правило, присутствует и нерегу-
нерегулярная, случайная компонента. Ее поведение нельзя точно предсказать
заранее. Для ее описания приходится привлекать понятия из теории
вероятностей.
Для описания нерегулярной компоненты и всего временного ряда в
целом используют понятие случайного (стохастического) процесса
или случайной последовательности (как процесса от целочисленного
аргумента). Ниже будут приведены некоторые сведения из теории слу-
случайных процессов, необходимые для понимания процедур прикладного
анализа временных рядов. Более подробное изложение математической
теории случайных процессов можно найти в [18], [75], [38], [96].
Определение. Случайным процессом X(t), заданном на множе-
множестве Т, называют функцию от t, значения которой при каждом
t e T является случайной величиной.
Выделяются случайные процессы с непрерывным временем (когда Т —
интервал на числовой оси, например) и с дискретным временем (когда Т —
натуральный ряд или его часть, например). Последние чаще называют случай-
случайными последовательностями.
Если Т — конечное множество, то случайный процесс — это просто сово-
совокупность случайных величин. Для статистического описания такой совокупно-
совокупности надо указать распределение вероятностей в конечномерном пространстве.
Для этого можно использовать многомерную функцию распределения или плот-
плотности, если распределение непрерывное.
Если Т — бесконечное множество, то для описания бесконечной сово-
совокупности случайных величин (которые в этом случае и составляют случайный
процесс) применяется следующая конструкция.
Определение. Говорят, что случайный процесс X(t) задан, если для
каждого t из Т определена функция распределения величины X(t):
Ft(x) = P{X{t)^x), (П.6)
для каждой пары элементов tut2 из Т определена функция распределения
двумерной случайной величины (Ar(£i), X(t2))
*ti.ta(si, x2) = Р(Х(и) < ц, Х(Ь) ^ х2),
360
, вообще для любого конечного
При том распределения A1-6)-A1.
In
- ФУ" ™™ ice'/' ~ " I8> НаЗЫ8аЮТ В°"счн°меР'«« Распределен,,™,, слу-
чайного процесса. j
На практике общее определение случайного процесса используется
редко. Чаще случайные процессы задают с помощью предположений
типа независимости приращений, марковского свойства траекторий и
т.д. Примеры подобных определений будут даны чуть позже.
Гауссовские случайные процессы. Важным классом случайных
процессов являются нормальные (гауссовские) случайные процессы.
Все конечномерные распределения этих процессов являются нормаль-
нормальными. (Определения одномерного и двумерного нормального распреде-
распределений даны в пунктах 2.4 и 2.5. Аналогичным образом можно опреде-
определить многомерные нормальные распределения.) Для полного описания
нормальных случайных процессов достаточно указать его двумерные
распределения. Если эти распределения должным образом согласованы,
то с их помощью можно задать любые конечномерные распределения
вида A1.8). Это обстоятельство играет важную роль в прикладном
анализе гауссовских процессов, позволяя ограничиться исследованием
математического ожидания и корреляционной функции процесса.
Белый шум. Математически простейшей моделью случайной ком-
компоненты временного ряда является последовательность независимых
случайных величин. Независимость двух случайных величин была опре-
определена ранее (смотри, например, п. 1.6). Аналогично определяется и
независимость произвольного числа случайных величин. С помощью
функций распределения независимость последовательности случайных
величии определяется так:
Определение. Пусть Т - множество типа t = 0,1,2,....или
t = 0,±1^2,... Случайный процесс X(t) называется последова-
последовательностью независимо распределенных случайных величин, если
для любых наборов чисел ti}t2,---^n
Из A1.9) следует, что для последовательности независимых лу
чайных величин все ее конечномерные распределения определяются j
помощью одномерных распределений A1.6).
Определение. Белым шумом называют временной ряд (случац.
ный процесс) с нулевым средним, если составляющие его случайные
величины X{t) независимы и распределены одинаково (при всех t).
Это так называемый белый шум в узком смысле. Белый шум в
широком смысле будет определен позже, после определения свойства
стационарности в широком смысле. В определение белого шума часто
включают предположение о нормальности распределения величин X(t)
Другими словами, гауссовский белый шум — это последовательность
независимых нормально распределенных случайных величин со средним
О и общей дисперсией (скажем, а2).
Последовательности независимых случайных величин далеко не все-
всегда адекватно описывают случайные компоненты временных рядов. Те-
Теорией и практикой для описания случайных последовательностей выра-
выработаны и более сложные модели. Некоторые из них мы упомянем ниже,
а более подробно рассмотрим в дальнейшем.
Процессы скользящего среднего. Для этих процессов часто упо-
употребляют аббревиатуру МА — от английского moving average (движу-
(движущееся среднее). Это сокращение стандартно используется в англоязыч-
англоязычной литературе и статистических пакетах.
Пусть ei,£2, • - - ,£п, ■ ■ ■ — независимые одинаково распределенные
случайные величины (белый шум).
Определение. Процессом скользящего среднего (первого поряд-
порядка) со средним \i (сокращенно МАA)) называют процесс X(t):
X(t)=et + eet-.l+fj.1 A1.10)
где в — некоторый числовой коэффициент, а \х — константа.
Заметим, что у процесса скользящего среднего A1.10) статистиче-
статистически зависимыми оказываются только соседние величины X{t-l) uX{t).
Значения процесса, разделенные промежутком времени 2 и более, ста-
статистически независимы, ибо в их формировании участвуют разные сла-
слагаемые et. По этой причине процессы скользящего среднего являются
непосредственным и простейшим обобщением процессов белого шума.
Описание процессов скользящего среднего второго и более высоких
порядков, а также свойств этих процессов, будет дано в гл. 14.
Процессы авторегрессии. Для них часто употребляют аббревиа-
аббревиатуру AR — от английского autoregression.
362
Определение. Процессом авторегрессии (
гпедним значением ц (сокращенно AR(l)) L ° п°Рядка) со
процесс X(t), удовлетворяющий соотношений ^ СЛутйнЬ1й
^w-^*-wt-i)-.rt+fti A
где Ф и М ~~ некот°рые числа.
Члены процесса авторегрессии, разделенные промежутком времени
h > о, не становятся независимыми, как бы „н бьГЛ0 Jm™ ~
зависимость между ними быстро убывает с ростом h если Ы < Т
Именно такие процессы авторегрессии обычно встречаются в приклад-
прикладных задачах. v
Процессы авторегрессии порядка 2 и выше будут определены в
главе 14. Там же мы обсудим их свойства и области приложений.
Марковское свойство. Поведение многих процессов в будущем
определяется только их состоянием в настоящем и воздействиями на
процесс, которые будут оказываться в будущем. А предыдущее развитие
процесса (то есть его состояние до настоящего времени) при этом
несущественно. Такие процессы называются марковскими. Дадим
этому понятию более строгое определение.
Пусть t,teT — произвольный момент времени, который мы назо-
назовем «настоящим». Пусть А — произвольное событие, выраженное через
случайные величины X(s), где s ^ t — 1. Это событие, относящееся к
прошлому последовательности Х(-). Пусть В — произвольное событие,
относящееся к будущему процесса'А"(-), т.е. событие В выражается
через случайные величины X(s), где s ^ t + 1. Рассмотрим условные
вероятности событий Л, Б и АВ при фиксированном значении X(t).
Обозначим эти условные вероятности через P(A\X(t)), P(B\X(t)) и
P(AB\X(t)).
Определение. Случайная последовательность X{t), t e T назы-
называется марковской, если для любых А, В и t
P(AB\X(t)) = P(A\X(t))P(B\X(t)).
Нередко марковскому свойству последовательности Х(-) дают не-
несколько иное определение (впрочем, эквивалентное приведенному).
Определение. Случайная последовательность X{t), t G Т назы-
называется марковской, если для любых А, В и t
P(B\X(t),A) = P(B\X(t)).
В обычных обстоятельствах нет возможности проверить, обладает
нян нет наблюдаемый временной ряд этим свойством. Марковское
363
свойство для временного ряда обычно постулируют, когда физическая
природа ряда дает для того основания.
В статистическом анализе марковское свойство процесса редко Ис
пользуется непосредственно. Обычно оно служит для вывода Урав.
нений описывающих изменения во времени каких-либо его СреднИх
характеристик (например, математического ожидания). Среди матема-
математических моделей временных рядов, которых мы далее касаемся, мар.
ковским свойством обладает процесс авторегрессии первого порядка
(см. п. 14.1). Процесс авторегрессии X(t) произвольного порядкар^
тоже можно представить как марковский, если его состоянием в момент
t считать набор (X(t), X(t - 1),..., X(t - р - 1)).
Стационарность. В теоретических исследованиях и практических
задачах важную роль играют последовательности случайных величин,
вероятностные свойства которых не изменяются во времени. Такие
случайные последовательности называют стационарными. Их можно
использовать для описания временных рядов, течение которых стабили-
стабилизировалось и происходит в неизменных условиях.
Определение. Случайный процесс X(t) называется стационар-
стационарным, если для любых п, ti, t2,... ,tn и г распределения случайных
величин (X(ti),..., X{tn)) и (X(ti + т),..., X{tn + г)) одинаковы.
Это означает, что функции конечномерных распределений A1.8) не
меняются при сдвиге времени, т.е.
В частности, образующие стационарную случайную последовательность
случайные величины ХA),ХB),.. .,X(t),... распределены одинаково
(но независимыми они, вообще говоря, не являются).
Этот вид стационарности называют также стационарностью в уз-
узком смысле. Другой вид стационарности — стационарность в широ-
широком смысле, — мы введем после того, как для случайных последова-
последовательностей мы определим их числовые характеристики.
Определенный ранее процесс белого шума является стационарным
(в узком смысле). '
11.8. Числовые характеристики
временных рядов
Числовые характеристики временных рядов вводятся в полной ана-
аналогии с числовыми характеристиками случайных величин (см. п. 1.5).
364
Математическое ожидание (первый момент
иесса Х@ - это функция m{t), такая шоТ °ЛуТйног°
KK?0 являшся ~ z:x
являшся
функцию m(t) часто называют средним значением процесса X(t\
Она используется для описания систематического u™J! W'
^пример, для случайного процесса, допуск~ ГГ~
тнвной модели A1.1), среднее значение равно *rt + St + Ct ЗамеТ1Т
чт0 под словом «усреднение* здесь понимается усреднени 'случайной
величины X(t) при неизменном t, а не усреднение по времени хотя
такое тоже бывает. Ниже мы более подробно коснемся этого вопроса.
Ковариационная функция случайного процесса X(t) (кратко
cov(X(t), X(s))) — это величина
B(s, t) = cov(X(t), X(s)) = M[(X(t) - m(t))(X(s) - m[s))}.
Она является функцией пары переменных (t, s). Иногда ее именуют
функцией вторых центральных моментов.
Значение ковариационной функции при t = s задает дисперсию
случайного процесса DX(t) = cov(X(t)} X(t)). Квадратный корень из
cov(X[t), X(t)) называют стандартным отклонением c(t) случайного
процесса X(t):
a{t) =
Корреляционная функция случайного процесса X(t) — это
величина:
corr{X(t), X(s)) =
Как и ковариационная функция, корреляционная функция также
зависит от пары переменных (t, s).
При фиксированных t и s corr(X{t)} X(s)) по определению являет-
является коэффициентом корреляции (см. п. 1.6) случайных величин X(t) и
A'(s), и для него выполняются свойства 1—4 п. 1.6. Из определения
cov(A'@, *(«)) и согг(Х(£), X(s)) следует их симметрия относитель-
относительно t и s:
cov(X(t),X(s)) = cov(X(s),
сотт{ХA), X{s)) = con(X(s), X{t))
COTT{X(t), X[S)) = CQTT(X{S), A[t))
Заметим, чТо функции m(t), B(s,t) могут и не существовать: как
знаем, не всегда случайные величины имеют математическое ожи-
365
I
дание и дисперсию. Но в статистической практике такие временны,
ряды, для которых m{t) и B(s,t) не существуют, встречаются редко
Поэтому в дальнейшем к средним значениям временных рядов и и*
ковариационной или корреляционной функциям мы будем обращаться
без особых оговорок.
Ковариационная и корреляционная функции играют важную роль
в теоретическом и в практическом анализе случайных процессов и
временных рядов. Ниже мы обсудим их свойства, а также способы
оценивания этих функций по наблюдениям (см. п. 11.10). А сейчас
вернемся к свойству стационарности (см. п. 11.7) и с помощью функций
m(t) и B(s,t) дадим ему другое определение.
Из определения стационарности, данного выше, следует, что дЛя
любых s, t и любого г:
m(t + T) = m(t), B(s + t, t + т) = B(s, t). (И 12)
Положив т = -t, мы получаем, что
m(t) = m@), B(s, t) = B{s - t, 0).
Отсюда следует, что у стационарного процесса функции m(t) и
a{t) постоянны, а ковариационная функция B(s}t) реально зависит не
от пары (s, t), как в общем случае, а от \s — t\. Точно так же мож-
можно убедиться, что и корреляционная функция стационарного процесса
является функцией \s — t\.
Рассмотрим t = s + к, к > 0. Положим по определению
г(к) = согг(Х@, X(s)) = corr(X(t), X(t + к)).
Автокорреляционная функция. Автокорреляционной функ-
функцией стационарного процесса X(t) называют функцию r(k) =
corr(X(t), X(t + к)), где к > 0 — целое число.
Величину к часто называют задержкой, или лагом. Она указывает
расстояние между членами временного ряда, для которых вычисляется
коэффициент корреляции.
11.9. Процессы, стационарные ,.
в широком смысле :
Вообще говоря, выполнение свойства A1.12) не гарантирует того,
что процесс X(t) является стационарным в смысле приведенного выше
определения стационарности в узком смысле. Тем не менее, свойство
A1.12) определенно отражает некую неизменность во времени свойств
процесса X(t). Поэтому принято следующее
366
Определение. Случайный процесс X{t) называв
НЫМ в широком смысле, если его среднеезначение^ СтпЦионаР-
а ^вариационная функция B(S) t) зависит moZn ПОСтоянно>
между аргументами, т.е. от \t - s|. т™ько от расстояния
Свойство стационарности в широком смысле игп
при нахождении оценок числовых характеристик важнУю Роль
П11 lill i «чсппЫJv иЯПОи
■ ij-iu''
можно
^у
Определение. Временной ряд (случайный процесс) XU) назы-
называют белым шумом (в широком смысле), если для любого t выпол-
выполняется MX(t) = 0 и
cov{X{s),X{t)) = {a^ Когда s = t'
I 0, когда s^t.
Из этого определения видно, что этот белый шум является стацио-
стационарным (в широком смысле) случайным процессом. На практике разли-
различие между двумя видами белого шума (в широком и в узком смысле) не
всегда проводятся четко. В дальнейшем, говоря о белом шуме в связи с
прикладными исследованиями, мы чаще всего будем иметь в виду белый
шум именно в только что введенном широком смысле.
Хотя на практике процессы белого шума в чистом виде встречаются
не часто, они играют фундаментальную роль как в теории, так и в при-
прикладном анализе временных рядов. Типичным для такого анализа явля-
является, например, процесс «выбеливания» временного ряда, т.е. исклю-
исключения из него тренда, циклической, сезонной и прочих компонент, так
чтобы остаток статистически не отличался от процесса белого шума.
Гауссовские процессы. Ясно, что стационарный в узком смысле
случайный процесс является одновременно и стационарным в широком
смысле, если существуют функции двух первых моментов. Уже отмеча-
отмечалось, что обратное, вообще говоря, неверно.
Одно из исключений составляют нормальные, или гауссовские слу-
случайные процессы, то есть процессы, конечномерные распределения ко-
которых A1.8) являются гауссовскими. Для гауссовских процессов лю-
любые конечномерные распределения определяются через функции m[t)
и B{s, t). Поэтому гауссовские процессы, стационарные в широком
смысле, одновременно являются стационарными в узком смысле. с?то
весьма важное и полезное обстоятельство, так как на практике проверка
стационарности в узком смысле не осуществима. Судить о стационарно-
стационарности в ш„р0КоМ смысле значительно проще. Для этого существуют раз-
367
личные статистические критерии, базирующиеся на одной реализации
случайного процесса. Наиболее важные из таких критериев основаны
на выборочных оценках автокорреляционной функции и спектральной
плотности (см. [96]).
Замечание. Для некоторых протекающих во времени процессов NQAejl
гауссовского случайного процесса дает приемлемое по качеству описание к
сожалению, в полном объеме проверить по наблюдениям, верна ли эта модель
невозможно. Поэтому гауссовский случайный процесс представляет собой, в
первую очередь, удобный математический объект.
Преобразование процесса в стационарный. Наиболее распро-
распространенным случаем нарушения стационарности на практике является
изменение среднего значения m{t) с изменением времени L В тех
случаях, когда m(t) удается тем или другим способом оценить, пре-
преобразование Y{t) = X(t) - m{t) превращает процесс в стационарный.
Далее Y{i) изучают как стационарный, используя для этого его спе-
специфические свойства.
11.10. Оценки числовых
характеристик временных рядов
В каждый фиксированный момент времени t случайный процесс
X(t) является случайной величиной. Следовательно, для построения
оценок его моментов m(t) и B(s, t) теоретически можно использовать
те же методы, что и для обычных случайных величин. Напомним
(см. п. 1.8.1 и п. 4.3), что при этом требуется некоторая совокупность
независимых реализаций этой случайной величины X, полученных при
повторении опыта в неизменных условиях. Другими словами, нужна
выборка xi,...,xfc. Применение этой методики к случайному процессу
X(t) требует от нас набора реализаций (траекторий) этого процесса
@
В технических приложениях возможности для независимых повто-
повторений опыта иногда имеются. Скажем, изучая колебания напряжения
в электрических сетях в течение суток, мы можем считать временные
ряды, полученные в разные сутки, независимыми реализациями одно-
одного случайного процесса. Для большей уверенности, что повторения
наблюдений произведены в неизменных условиях, можно сопоставлять
данные за определенные дни недели (за вторники, например), отдельно
по разным сезонам и т.д.
Однако в экономических, социальных, демографических и подобных
процессах мы обычно имеем"дело с единственной траекторией развития,
повторить которую невозможно. Поэтому при изучении статистических
368
свойств таких процессов приходится обходиться этпй о -
ной реализацией. Зато длина ее может расти ч " единствен"
математических результатов о временных рядах от ЧИТельная ча"ь
ным рядам, наблюдаемым на растущем интервале ГремеГгГтТпР"
формулируются в виде предельных теорем при Г -> Z Мнп ?' I' "
скне, технические и естественнонаучные поил™™ физиче"
;:;„ нуждаются именно в такой пост^^^^^
Впрочем, для упомянутых экономических сошапии^
меннЫх рядов эти результаты дают не очень ГгГГпеУвых Ги
ряды обычно довольно коротки. Во-вторых, они не стационарны так как
условия, в которых они протекают, изменяются с течением времени
ПоэтомУ наблюдения даже из относительно недавнего прошлого порой
мало что говорят о современных тенденциях.
По единственной реализации процесса X(t) мы не можем составить
оценки для его среднего, дисперсии, ковариации и т.д., как мы сделали
бы это, располагая выборкой. Но некоторые похожие средние величины
составить можно.
Оценка среднего значения. Имея ряд x(U),...,x(tn) последова-
последовательных наблюдений случайного процесса X{t), можно составить «сред-
«среднее по реализации»: т = £ Y%=1 х(и). В теории временных рядов для
наблюденных значений x(ti),... ,x(tn) используют более короткую фор-
форму записи хь..., х„. В этих обозначениях среднее по реализации есть
т = —
Оказывается, при некоторых условиях это среднее может служить
оценкой математического ожидания процесса X(t). Первым из таких
условии является стационарность случайного процесса X(t) (в широком
смысле). Поскольку для стационарного процесса все моменты времени
равноправны и его числовые характеристики неизменны во времени, в
качестве оценки m(t) = т естественно рассмотреть именно т. Легко
убедиться, что т как оценка т для стационарных процессов является
несмещенной, т.е. Mm = т.
Рассмотрим вопрос о точности этой оценки. Естественно, хоте-
хотелось бы, чтобы эта оценка т приближалась к неизвестному истинному
значению с ростом числа наблюдений п, то есть была бы состоятель-
состоятельной (см. п. 4.5). Так как отклонение оценки от истинного значения
можно описать с помощью ее дисперсии, то для состоятельности до-
достаточно, чтобы
при п-»оо.
369
К сожалению, одна лишь стационарность случайного прОцесса
обеспечивает выполнения (I I.14). Простейший и отчасти вырожден^
пример стационарного процесса, для которого не выполняется свойство
A1 14), устроен следующим образом. Рассмотрим стационарный про-
процесс для которого с вероятностью единица X{t) - Х{\) для любого t
Ясно, что траектории этого процесса являются константами. При этом-
щ = xi Dm = const.
В более общем случае типичным примером невыполнения условия
A1.11) являются смеси, т.е. процессы, у которых различные участки
траекторий сформированы при разных условиях. Более подробно модель
таких процессов описана в [96].
Хоть мы и говорили о том, что предельные теоремы математической
теории мало полезны для интересующей нас области приложений, все
же приведем одно из достаточных условий для выполнения A1.14).
Теорема Слуцкого. Для стационарного в широком смысле слу-
случайного процесса X{t) оценка его среднего значения A1.13) состо-
состоятельна тогда и только тогда, когда:
1 "-1
->0 при тиоо, A1.15)
где п — автокорреляционная функция процесса.
Мы не будем более подробно обсуждать этот результат. Обратим
внимание лишь на то, что для выполнения A1.15) достаточно, чтобы
rt —> 0 при t —> oo. Последнее замечание позволяет на практике судить
о том, можно ли использовать осреднение по одной реализации для
получения состоятельных оценок его характеристик. Таким образом
теорема Слуцкого подчеркивает важность анализа поведения автокор-
автокорреляционной функции случайного процесса.
Еще два замечания о точности приближения оценки т к истинному
значению. Первое из них касается скорости сходимости т к т. Можно
показать, что стандартное отклонение т при больших п пропорцио-
пропорционально l/л/п, то есть увеличение точности оценки обратно пропорци-
пропорционально квадратному корню из объема наблюдений. Второе замечание
относится к случаю, когда объема временного ряда недостаточно для
получения достаточно точной оценки среднего значения. Определим
величину Т в виде:
оо
k=0
370
, что указанная сумма конечна. Величина Т называв
« и *ает представление о порядке LmZll РЫеНем
г на которых сохраняется заметная кор~ „ГГ^Г
£( + ). Если объем п рассматриваемой реализапиТ W W И
Меньше Г, то оценка т считается весьма неточной Т вРемен«°™ Р™
^зволяет также указать более точну.^ЛХГГГГ
д именно, эта скорость пропорциональна
Выборочная автокорреляционная функция. В главе 9 (п 9 S П
была подробно разобрана оценка коэффициента корреляции (9 17) папь
тайных величин, построенная по выборкам. Методика получения
оценок значении автокорреляционной функции r(k) во многом напоми-
напоминает случаи двух выборок. Разберем ее устройство на оценке гA) -
корреляции между соседними членами временного ряда Xt и Х|+1. (На-
(Напомним, что большие буквы X мы используем для обозначения случай-
случайного процесса, а малые буквы я; — для обозначения реализации этого
случайного процесса.)
Образуем из временного ряда жь s2l...,a;n совокупность из п- 1
пар: (я?1, яг), (^г, хз)|-.-,(^п-ь хп). Первый элемент каждой пары,
в силу стационарности, мы можем рассматривать как реализацию слу-
случайной величины Xt, а второй — как реализацию случайной величины
Xt+i. Тогда, согласно (9.17) оценка коэффициента корреляции между
Xt и Xt+i может быть записана в виде:
ri =
где
n-l
соответственно оценки средних значений величин Xt и
При больших значениях п, учитывая что хщ « гB) « я и п
1, выражение A1.16) часто заменяют гораздо более простым:
A1.17)
Аналогичным образом может быть определена оценка корреляции
между Xt и Xt+k или к-го члена автокорреляционной функции г*.
г к =
371
Обратим внимание читателя, что точность приближения (ц 18)
заметно снижается с ростом лага к, как в силу ухудшения точности
использованных выше замен, так и в силу уменьшения числа наблю
дений используемых для вычисления оценки гк Поэтому на практике
обычно ограничиваются изучением небольшого числа первых членов
автокорреляционной функции. Вряд ли имеет смысл рассматривать
оценки гк при к > п/4.
Функцию ffc аргумента к при к = 1,2,... называют выборочной
автокорреляционной функцией или, если не возникает недора3уМе.
пий, просто автокорреляционной функцией. (При к = 0 гк по опре-
делению равно 1 и это значение обычно исключают из рассмотрения
как не несущее никакой информации.) В англоязычной литературе
эту функцию также называют сериальной корреляцией. График выбо-
выборочной автокорреляционной функции называют коррелограммой. На
этом графике (см. рис. 11.3) кроме значений самой функции, обычно
указывают доверительные пределы этой функции в предположении, что
значения автокорреляционной функции равны 0 для всех к ф 0 Бо
указывают доверительные пределы этой функции в предположении, что
значения автокорреляционной функции равны 0 для всех к ф 0. Более
подробно об интерпретации графика выборочной автокорреляционной
функции будет рассказано ниже при рассмотрении роли коррелограммы
в практическом анализе временных рядов (см. п. 12.4.2).
1
B.5
0
-0.5
-1
—
-
■- ....о.п„
——•—1—'—■—'—■—1 1 •
D.n.e..-.tJ._..e._..B,.tr.o..D.w.[]
■ 1 ■ ■ 1 1 1 ■ ■ . 1 1 L_
1 1 1 - | F 1 1 1 1
..».D..n.xy._..D.rT.e :
■ -* ->—
0 5 10 15 ZB •" 25
Рис. 11.3. Коррелограмма с доверительными интервалами (при
равенстве нулю автокорреляционной функции для всех к ф 0)'
^ Свойства. Изучение свойств выборочных оценок автокорреляцион-
автокорреляционной функции временного ряда — в общем случае довольно сложная и
до конца не решённая задача.
М.Бартлетом в 1946 г. для случая бесконечного дискретного времен-
временного ряда (-со < t < оо) было указано выражение дисперсии оценки
372
- пЛЯ гауссовского процесса:
г t=oo
№=»,£.[г?+г-*Гн* ~ *****+
Этот результат показывает, что мы не можем оценить
оТрезку временного ряда дисперсию оценки тк, Г ,Г
/бесконечного неизвестного ч„сла автокорр^ций " Z
практике приходится довольствоваться лишь приближений/,
ражения lM-i»J-
Другая проблема изучения свойств совокупности оценок п. связана
с тем, что оценки с различным лагом * кодированы между cofcft
Это заметно затрудняет интерпретацию коррелограммы Не касаясь
более подробно этих и других проблем (см. [29], [38]), укажем свойства
оценок тк для наиболее простого и практически важного случая А
именно, рассмотрим свойства оценок автокорреляций для временного
ряда, являющегося стационарной последовательностью независимых
нормально распределенных случайных величин или. другими словами,
гауссовским белым шумом (см. п. 11.7). В этом случае для любых к, не
равных нулю, по определению гк = 0. Таким образом, все слагаемые,
стоящие под знаком суммы в выражении A1.19), равны нулю, кроме
Гд = 1. Отсюда дисперсия rjt равна:
Dfk = -
п
Обратим внимание на то, что оценка тк в форме A1.18) является
смещенной. Можно показать, что Mrk ~ -~, однако величина этого
смещения стремится к нулю с ростом объема изучаемого ряда и не
столь существенна в прикладном анализе.
Другим важным свойством оценки гк является ее асимптотическая
нормальность при п —* оо.
Таким образом, для каждого отдельного значения г^- мы мо-
можем указать приблизительный 95% доверительный интервал в виде:
-1/n ± Цфъ. Границы этого доверительного интервала обычно нано-
наносятся на график коррелограммы и называются доверительной трубкой.
Они в определенной мере позволяют судить о том, насколько изучаемый
процесс напоминает белый шум. Указание 95% доверительных границ
Для каждого коэффициента автокорреляционной функции в отдельности
"е означает, что с 95% вероятностью все рассматриваемые оценки rk
одновременно попадают в доверительную трубку. Так. рассматривая 2U
первых оценок rk для гауссовского белого шума, довольно часто можно
наблюдать, что одна или две из оценок выходят за границы довери-
373
тельной трубки. Это обстоятельство также затрудняет интерПретацИ|0
коррелограммы.
Периодограмма. Завершая рассказ об оценках основных числовые
характеристик временного ряда, кратко остановимся на периодогрсщ
ме — характеристике, особенно полезной для анализа временных радов"
допускающих представление в виде полигармонических моделей (Пи1
Многие временные ряды, возникающие в физических и технически*
приложениях, удобно рассматривать не во временной области значений
аргумента, а в частотной. Этот переход можно совершить с помощью
периодограммы. Ее назначение — обнаружение периодических соста-
составляющих в рассматриваемом ряде. Первое представление о наличии
таких составляющих может дать обычный график. Если стационарный
временной ряд на графике ведет себя более гладко и регулярно, чем
гауссовский белый шум (см. рис. 11.1д), то можно предположить, что
в нем есть периодические составляющие.
В настоящее время определение периодограммы часто использует
понятие спектральной плотности, но так как это понятие не рассматри-
рассматривается в настоящей главе, мы дадим определение периодограммы в том
виде, как оно было предложено А.Шустером в 1898 г.
Пусть xt — временной ряд с нулевым средним, a t пробегает целые
числа от 1 до п. Рассмотрим ковариацию ряда xt с рядами cosB7rt/A)
и sinB7rt/A), где А — некоторая фиксированная величина, обычно
именуемая периодом, или длиной волны. Пусть:
2,А 2тг£ 2^ . 2тг£
А= - ) xtcos—-, В = - > a;tsm
Введем величину 52(А):
Определение. График зависимости S2(X) от длины волны А
называется периодограммой.
По замыслу, функция 52(А) должна принимать большие значения
(иметь локальные максимумы — пики) для тех значений А, которые
являются периодами для имеющихся у ряда xt периодических соста-
составляющих. Практически это далеко не так, и часть максимумов 52(Д)
к реальным периодам ряда xt не имеет отношения. Вообще анализ
периодограммы очень часто ведет к ложным выводам, и потому к нему
надо подходить с осторожностью. Эти вопросы подробно освещены в
литературе по спектральному анализу временных рядов. (Смотри, в
частности, критический анализ в [58] и в гл. 4 книги [75])
374
Глава 12
Временные ряды:
практический анализ
12.1. Порядок анализа временных рядов
Кратко опишем общий порядок прикладного статистического анали-
анализа временных рядов. Обычно целью такого анализа является построе-
построение математической модели ряда, с помощью которой можно объяснить
поведение ряда и осуществить прогноз его дальнейшего поведения.
Построение и изучение графика. Анализ временного ряда обыч-
обычно начинается с построения и изучения его графика. Если нестацио-
нестационарность временного ряда очевидна, то первым делом надо выделить и
удалить нестационарную составляющую ряда. Методы, используемые
для этого, описаны в п. 12.3. Процесс удаления тренда и других компо-
компонент ряда, приводящих к нарушению стационарности, может проходить
в несколько этапов. На каждом из них рассматривается ряд остатков,
полученный в результате вычитания из исходного ряда подобранной мо-
модели тренда, или результат разностных и других преобразований ряда.
Кроме графиков, признаками нестационарности временного ряда могут
служить не стремящаяся к нулю автокорреляционная функция (за ис-
исключением очень больших значений лагов) и наличие ярко выраженных
пиков на низких частотах в периодограмме.
Подбор модели для временного ряда. После того, как исход-
исходный процесс максимально приближен к стационарному, можно при-
приступить к подбору различных моделей полученного процесса. Цель
этого этапа — описание и учет в дальнейшем анализе корреляцион-
корреляционной структуры рассматриваемого процесса. При этом на практике
чаще всего используются два типа моделей: параметрические модели
авторегрессии-скользящего среднего (ARMA-модели) и полигармониче-
полигармонические модели (см. п. 11.6). ARMA-модели мы будем рассматривать
в главе 14, а описание способов подбора полигармонических моделей
можно найти в книгах [29], [58], [68], [96].
Модель может считаться подобранной, если остаточная комп0"ент*
Ряда является процессом типа белого шума (см. п. 11.7, ll.yj. поел
подбора модели обычно выполняются:
375
. оценка дисперсии остатков, которая в дальнейшем может быть
использована для построения доверительных интервалов Прс,
гноза;
• анализ остатков с целью проверки адекватности модели.
Прогнозирование или интерполяция. Последним этапом анализа
временного ряда может быть прогнозирование его будущих (экстру
ляция) или восстановление пропущенных (интерполяция) значений н
указания точности этого прогноза на базе подобранной модели. Обра-
тим внимание, что хорошо подобрать математическую модель удается
не для всякого временного ряда. Нередко бывает и так, что для описания
подходят сразу несколько моделей. Неоднозначность подбора модели
может наблюдаться как на этапе выделения детерминированной компо-
компоненты ряда, так и при выборе структуры ряда остатков. Поэтому ис-
исследователи довольно часто прибегают^ методу нескольких прогнозов,
сделанных с помощью разных моделей.
Методы анализа. Перечислим основные группы статистических
приемов, используемых для анализа временных рядов:
• графические методы представления временных рядов и их со-
сопутствующих числовых характеристик;
• методы сведения к стационарным процессам;
• методы исследования внутренних связей между элементами вре-
временных рядов.
Ниже будет подробно рассказано о каждой из этих групп методов.
12.2. Графические методы
анализа временных рядов
Зачем нужны графические методы. В выборочных исследова-
исследованиях простейшие числовые характеристики описательной статистики
(среднее, медиана, дисперсия, стандартное отклонение, коэффициенты
асимметрии и эксцесса) обычно дают достаточно информативное пред-
представление о выборке. Графические методы представления и анализа
выборок при этом играют лишь вспомогательную роль, позволяя лучше
понять локализацию и концентрацию данных, их закон распределения.
Роль графических методов при анализе временных рядов совершен-
совершенно иная. Дело в том, что табличное представление временного ряда
и описательные статистики чаще всего не позволяют понять характер
процесса, в то время как по графику временного ряда можно сделать
376
довольно много выводов. В дальнейшем они могут быть пп
чнены с помощью расчетов. у ть проверены и
вре-
наличие тренда и его характер;
• наличие сезонных и циклических компонент-
. степень плавности или прерывистости изменений последова
тельных значении ряда после устранения тренда По этомУ
показателю можно судить о характере и величине корреляции
между соседними элементами ряда.
Так графический анализ ряда обычно задает направление его даль-
дальнейшего анализа.
Построение и изучение графика. Построение графика временно-
временного ряда — совсем неузкая простая задача, как это кажется на первый
взгляд. Современный уровень анализа временных рядов предполагает
использование той или иной компьютерной программы для построения
их графиков и всего последующего анализа. Ряд полезных рекомендаций
при построении графика вручную даны в [76]. Большинство статистиче-
статистических пакетов и электронных таблиц снабжено теми или иными методами
настройки на оптимальное представление временного ряда, но даже при
их использовании могут возникать различные проблемы, например:
• из-за ограниченности разрешающей способности экранов ком-
компьютеров размеры выводимых графиков могут быть также огра-
ограничены;
• при больших объемах анализируемых рядов точки на экране,
изображающие наблюдения временного ряда, могут превратить-
превратиться в сплошную черную полосу.
Для борьбы с этими затруднениями используются различные спосо-
способы. Наличие в графической процедуре режима «лупы» или «увеличе-
«увеличения» позволяет изобразить более крупно выбранную часть ряда, однако
при этом становится трудно судить о характере поведения ряда на всем
анализируемом интервале. Приходится распечатывать графики для от-
отдельных частей ряда и состыковывать их вместе, чтобы увидеть картину
поведения ряда в целом. Иногда для улучшения воспроизведения длин-
длинных рядов используется прореживание, то есть выбор и отображение
"а графике каждой второй, пятой, десятой и т.д. точки временного ря-
И- Эта процедура позволяет сохранить целостное представление ряда
" полезна для обнаружения трендов. На практике полезно сочетание
377
обеих процедур: разбиения ряда на части и прореживания, так как он„
позволяют подметить разные черты в поведении временного рЯда.
Еще одну проблему при воспроизведении графиков создают выбро
сы — наблюдения, в'несколько раз превышающие по величине боль
шинство остальных значений ряда. Их присутствие тоже приводит к
неразличимости колебаний временного ряда, так как масштаб изобра.
жения программа автоматически подбирает так, чтобы все наблюде-
наблюдения поместились на экране. Выбор другого масштаба на оси оРдННат
устраняет эту проблему, но резко отличающиеся наблюдения при этом
остаются за границами экрана.
Дадим еще несколько полезных советов по построению и офорМле.
нию графика временного ряда:
• внимательно следите за масштабом представления данных по
каждой из осей, так как они, как правило, различаются. Многие
программы автоматически используют экспоненциальную форму
записи для обозначения делений осей, например 0.241Е+03 вместо
241, что не всегда удобно и оправданно;
• не забывайте указывать, какие величины отображает каждая
из осей и их единицы измерения. Это особенно важно при
представлении экономических временных рядов, где наряду с
равномерными шкалами часто используются логарифмические
шкалы;
• точки на графике временного ряда обычно соединяют отрезками
прямых линий. Однако в некоторых ситуациях эти линии могут
вносить существенное искажение в представление о поведении
ряда. Поэтому полезно построить график временного ряда с
линиями между точками и без них, и внимательно изучить оба
этих графика;
• наличие не слишком густой координатной сетки облегчает вос-
восприятие графиков.
Вспомогательные графики. При анализе временных рядов часто
используются вспомогательные графики для числовых характеристик
ряда:
• график выборочной автокорреляционной функции (коррелограм-
мы) с доверительной зоной (трубкой) для нулевой автокорреля-
автокорреляционной функции;
• график выборочной частной автокорреляционной функции (см.
п. 14.3) с доверительной зоной для нулевой частной автокорре-
автокорреляционной функции;
• график периодограммы.
378
Первые два из этих графиков позволяют судить 0 свячи ,
тИ) соседних значении временного ряда они исп ^ависимо-
^араметрических моделей ав™Регрессии-скользящ^^
е иодограммы позволяет судить о наличии гар7Юн„чГсГх°; H"*
^х во временном ряде. Эти граф„к„ и свойствГсооТ^ "
фикций рассмотрены в параграфе 12.4. СООтветствующих
учитывая, что многие методы анализа временных ПаПп
на работу с рядами с нормально ^Je^^Z
пА в процедуры анализа временных рядов обычно включают РазГчНыё
графики на нормальной вероятностной бумаге. Самый распространен
ный из них подробно описан в главе 5. н^Фанен-
12.3. Методы сведения к стационарности
После изучения графика временного ряда обычно пробуют выделить
во временном ряде тренд, сезонные и периодические компоненты. По-
После их исключения временной ряд должен стать стационарным. Кроме
того, для облегчения дальнейшего анализа иногда используются пре-
преобразования значений временного ряда (точнее, той шкалы, в которой
они измерены) — это позволяет приблизить распределение значений
временного ряда к нормальному или сделать дисперсию этих значений
более постоянной (иначе говоря, стабилизировать дисперсию).
В п. 12.3.1 мы рассмотрим методы оценки и удаления тренда, а
в пп. 12.3.2—12.3.4 — оценки и удаления сезонных эффектов и ци-
циклических компонент временного ряда. В п. 12.3.5 рассматриваются
преобразования шкалы измерений временного ряда — переход к лога-
логарифмической шкале и преобразование Бокса-Кокса.
12.3.1. Выделение тренда v
Метод наименьших квадратов. Для оценки и удаления трендов из
временных рядов чаще всего используется метод наименьших квадра-
квадратов. Этот метод подробно обсуждался в гл. 8 при рассмотрении задач
линейного регрессионного анализа.
Говоря языком регрессионного анализа, значения временного ряда
xt рассматривают как отклик (зависимую переменную), а время t — как
фактор, влияющий на отклик (независимую переменную):
xti=f(tue) + eit < = l,...,n
г*е / - функция тренда (она обычно предполагается гладкой) 6 - не-
неизвестные нам параметры (параметры модели временного ряда;, а е{
379
независимые и одинаково распределенные случайные величины, рас.
пределение которых мы предполагаем нормальным. Метод наименьших
квадратов состоит в том, что мы выбираем функцию тренда так, чтобы
min
в
Для временных рядов типично, что статистические предпосылки ре.
грессионного анализа, как они перечислены в (8.2), (8.3), выполняются
не полностью. Это особенно касается предположения о независимости
случайных отклонений. Для временных рядов характерна именно вза-
имная зависимость его членов (по крайней мере, не далеко отстоящих
по времени). Тем не менее, оценки тренда и в этих условиях обычно
оказываются разумными, если выбрана адекватная модель тренда и если
среди наблюдений нет больших выбросов. Упомянутые выше наруше-
нарушения предпосылок регрессионного анализа сказываются не столько на
значениях оценок, сколько на их статистических свойствах. Так, прн
наличии заметной зависимости между членами временного ряда оценки
дисперсии, основанные на остаточной сумме квадратов (8.10), дают не-
неправильные результаты. Неправильными оказываются и доверительные
интервалы для коэффициентов модели, и т.д. В лучшем случае их можно
рассматривать как очень приближенные.
Это положение может быть частично исправлено, если применять
модифицированные алгоритмы метода наименьших квадратов, такие как
взвешенный метод наименьших квадратов [37], или метод наименьших
квадратов для коррелированных наблюдений [20]. Однако для этих
методов требуется дополнительная информация о том, как меняется
дисперсия наблюдений или их корреляция. Если же такая информация
недоступна, исследователям приходится применять классический метод
наименьших квадратов, несмотря на указанные недостатки.
Пример 1. Проиллюстрируем применение метода наименьших ква-
квадратов для данных об урожайности зерновых в СССР, представленных
в табл. 1.2 и на рис. 11.1а. Визуальное изучения графика данных по-
позволяет предположить, что тренд этого ряда может быть задан в виде
прямой линии trt = bo + bi-t.C помощью метода наименьших квадратов
по формулам, аналогичным (8.7) и (8.8), находим, что
u). A2.D
380
в ф муле A2.2) в качестве независимой пере„е„ной ф
время t. ^ * ' пиру
Для данных рассматриваемого ряда Ьо = 5.868 к = п оъ
коэффициент 6о показывает среднюю урожайность зерновых
1i A945 г.) момент времени рассматриваемого ряда ГкпТ
ет оценку среднегодового прироста урожайноеTill^
езультатов процедуры выделения тренда а также
naeToucnrwj -г-" -т"|'ича урижаиност]
результатов процедуры выделения тренда, а такж. Дй,1Ь
ряда, приведены в главе 13, где рассматривается решение этой задачи
с помощью статистических пакетов ЭВРИСТА и SPSS.
анализ
4.5 -
Z.S -
B.S -
-1.5 -
-3.5 -
В 18 28 38 4В 50
Рис. 12.1. График ряда остатков, полученный в результате
удаления из ряда урожайности зерновых в СССР линейного тренда
На рис. 12.1 дан график остатков временного ряда после удаления
из него подобранной модели тренда trt — 5.868 + 0.275 ■ t. Дальнейший
анализ полученного ряда (см. главу 13) показывает, что его уже можно
рассматривать как последовательность независимых случайных вели-
величин. Более того, для описания остатков можно применять гауссовскую
модель, согласно которой их совокупность можно рассматривать как
выборку из некоторой нормальной совокупности (с нулевым средним).
Последнее означает, что на базе подобранной модели тренда и модели
случайной составляющей (независимые ошибки) можно осуществлять
прогноз будущих значений ряда и строить доверительную зону для про-
прогноза, используя оценку (8.11) дисперсии остатков.
Пример 2. Поведение случайной компоненты, которое мы наблюда-
наблюдали в примере 1 — это скорее исключение, чем правило. Чтобы убедиться
8 этом, рассмотрим поведение случайной компоненты у курса доллара
весной и летом 1994 г. (рис. 11.16). График этого ряда позволяет
предположить, что его тренд также описывается простои линейной
381
висимостью. Найдя с помощью метода наименьших квадратов значения
оценок коэффициентов Ьо = 1675.33 и Ъг = 3.722, и, вычтя знаЧеНИя
тренда из рассматриваемого временного ряда, получим остаточную ком-
компоненту. Ее график приведен на рис. 12.2.
40
30
Z0
1U
0
-10
-20
-30
-40
-■
—i
.'....'........'-■•■
Мл
■ y-V
т—•—' "~~
■ ■ ■ '
:,м
........... ...
Л
f
""'"""' i j
IS.Л
1
1—i ■—j J
•-
■-j
60
80
100
120
140
0 ZO 40
Рис. 12.2. График ряда остатков, полученный в результате
удаления из ряда курса доллара линейного тренда
Даже визуальный анализ показывает, что остатки ведут себя не как
последовательность независимых одинаково распределенных случайных
величин (сравните рис. 12.2, например, с графиком гауссовского белого
шума на рис. 11.1д). Действительно, приведенные на рис. 12.3 гра-
графики выборочной автокорреляционной функции и выборочной частной
автокорреляционной функции (см. п. 14.3) показывают, что соседние
значения этого ряда сильно зависимы при значениях лага от 1 до 5. При
дальнейшем увеличении значения лага зависимость исчезает. Как сле-
следует интерпретировать графики указанных функций и что они означают,
мы подробно расскажем ниже в п. 12.4.
1
0.S
в
-O.S
-1
п
"' "•.
t ■
Hfln "
■Iod°-ooooo°oodd \
а)
10 is
1
0.S
в
-0.5
-1
-
-
-
J0O.0.0
-
-
Г t
■
б)
1,1 —*-
Рис. 12.3. а) выборочная автокорреляционная функция ряда остатков,
полученный в результате удаления из ряда курса доллара линейного
тренда; б) - выборочная частная автокорреляционная функция того же ряда
382
ЛУ7КЦИЙ хаРак"
Замечание. Как будет показано ниже
точной автокорреляционной и частной ^то
Ж) для процессов авторегрессии первого поря^аТ, " ЛУ7КЦИЙ хаРак"
нх процессов значение в момент времени t Ц1™ IU и 141>- у
!пРПЫДУШий момент вРемени с некоторым весовым SI И3 их ЗНачения в
ЙГэтот коэффициент равняется примерно 0 7 "и НФРФИШШНТ°М (в данном
^авки - белого шума. Р U'7' и независимой случайной
разностные операторы
удаления ^
^вадр у ^J^S^^
меТОдов. Одним из них является метод перехода от ncxoZrfZ
к pfliy разностей соседних значений ряда. В более общем виде Га
11Дея описывается с помощью применения к ряду разностных операто-
операторов различных порядков. Эти методы сведения временного ряда к ста-
стационарному являются частным случаем общего метода, предложенного
Дж.Боксом и ГДженкинсом в 1970 году [15]. В целом, мы относимся
к разностным методам критически, но считаем нужным упомянуть о
них. Они часто обсуждается в литературе и представлены во многих
статистических пакетах.
Определение. Процедура перехода от ряда xt при t = 1,...,п
кряду yt = xt - xt-i = Vxt при t = 2,...,n называется взятием
первых разностей, а оператор V называется простым разностным
оператором первого порядка.
Заметим, что длина ряда первых разностей yt на единицу меньше,
чей длина исходного ряда xt. Покажем, как действует разностный
оператор на временном ряде хи содержащем простой линейный тренд
trt = bo + h ■ t:
yt - Vxt = xt- xt-i =
= bo + bit + £t-bo~bi(t-l)-et-i =b1+Et-£t-i A2.3)
Из A2.3) видно, что в отличие от ряда zt, преобразованный ряд
lit уже не содержит тренда, однако структура случайной компоненты в
нем уже другая. Так, если et была последовательностью независимых
случайных величин, то последовательность et—et-ъ t = 2,...,n, этим
свойством уже не обладает. Корреляция между соседними членами этой
последовательности равна —0.5.
Итак, удалить линейный тренд из временного ряда можно разными
способами: с помощью метода наименьших квадратов или с помощью
простого разностного оператора первого порядка.
На рис. 12.4 приведен график ряда, полученного в результате при-
применения разностного оператора V к ряду урожайности зерновых. №*-
иейшне исследования показывают, что в данном случае проще анализи-
383
ровать ряд остатков, полученный после удаления линейного тренда Мр
тодом наименьших квадратов (рис. 12.1), чем ряд первых разностей Дв
общем случае, к сожалению, нельзя сказать, какой из этих двух Мето
удаления тренда предпочтительней. Все зависит от заранее неизвестно»,
структуры случайной компоненты временного ряда et. Так, длЯ времен
ного ряда с независимыми приращениями проще анализировать рЯдего
первых разностей. Он будет представлять из себя просто белый щум
7
S
3
1
-1
-3
-S
-
—
'i ,
Im
1 1 11
Л Mi д. .If | L
Ili
: •
\ r
V
X
i .. 1 1 1 i 1 1 i 1 i—i 1—1—1—1—1—1—1—1—1—1 1 1 I. i
:—
—
8 10 28 38 18 58
Рис. 12.4. Ряд первых разностей для урожайности зерновых
Аналогичным образом можно ввести разностный оператор второго
и более высоких порядков. Так, простой разностный оператор второго
порядка преобразует ряд xt к ряду yt, где
yt = V2xt = V(Vzt) = V(xt - xt-i) = Vxt - Vrct_! =
= xt - 2xt-i + xt-2-
Часто для записи разностных операторов используют оператор В
«сдвига назад»: Bxt = xt-i. При этом
V2xt = A - BJxt, Vkxt = A -
kxt.
= (Г- B)xt,
Ясно, что длина ряда Vkxt на к единиц меньше длины исходного ряда.
Простые разностные операторы более высоких порядков позволяют
удалять из ряда полиномиальные тренды соответствующих порядков.
Возможно, разностные операторы действительно пригодны для уда-
удаления трендов, особенно если не видна подходящая аналитическая мо-
модель тренда. Беда же метода разностных операторов в том, что не
всегда ясно, как приложить к исходному временному ряду результаты
статистического анализа его разностей. В частности, это относится к
законам распределения ошибок. К тому же эти разности могут иметь (и
384
„асто имеют) гораздо более сложную стэтистичр
пнисходный ряд. Рассмотрите, например, пеовы^п СтруктУРУ- "еже-
аегорегрессии первого порядка. (Об авторегрессТсГ.Т И " Г""*"
12.3.2. Выделение сезонных эффектов
Многие временные ряды, особенно экономически гп„
ные компоненты. Сезонные компоненты ряда Z*£**»" Сезо«-
^рес сами по себе, так и выступать в р! ме^ХГфГГрГв
обоих случаях задача исследователя - выделить и устранить!" из Гяда
для этого есть несколько способов. Их выбор обычно определяется
моделью подбираемого временного ряда. Ниже мы рассмотрГдве на„
более распространенных модели описания экономических временных
рядов. Первая из них включает-в себя тренд (trt\ сезонную U) и
случайную (£t) компоненты: J u
Вторая модель, кроме перечисленных выше компонент, включает еще
и циклическую компоненту (ct):
xt =trt + st + ct + et A2.5)
Циклическая компонента q в экономических временных рядах отражает
периоды роста и спада экономической активности различной амплитуды
к продолжительности. (Более подробно о каждой из компонент модели
временного ряда рассказано в п. 11.5.)
Сезонные эффекты на фоне тренда. Предположим, что рассма-
рассматриваемый временной ряд rci,..., хп может быть описан аддитивной мо-
моделью A2.4). Пусть р — период последовательности st, так что st = st+p
для всякого t. Наша задача — оценить значения st по наблюдениям хь
при том, что величина р известна.
Для этого сначала мы должны оценить тренд trt. Это можно сделать
с помощью метода наименьших квадратов или его модификаций. Обо-
Обозначим через trt полученную оценку тренда. Обычно она выражается в
виде некоторой достаточно гладкой функции зависящей от времени t и
одного или нескольких неизвестных параметров. Оценки этих параме-
параметров и дает метод наименьших квадратов. Наиболее распространенные
функции тренда приведены в п. 11.6.
Затем для каждого сезона i,l^i<P, рассмотрим все относящиеся
к нему разности
Xi-trU Xi+p-iri+p, ...,Xi+mp-tri+mp-
„ , 385
«-783
(для простоты изложения мы предполагаем, что в Рассматривав,
ряде содержится целое число периодов, т.е. п = (т+ 1)р.) Кгщ^ «
этих отклонений х{ от £г{ можно рассматривать как результат влиЯН|1
сезонных изменений. Усреднение этих разностей дает нам 0Це '
сезонной компоненты «,. В качестве простейшей оценки можно взЯТь
простое среднее, т.е. положить
тп
* = 1'""'Р A27)
В качестве других оценок s{ можно взять взвешенное среднее, Цен3у.
рированное среднее, медиану и т.д. Перечисленные средние уменьшают
влияние резко выделяющихся наблюдений.
Часто бывает желательно, чтобы сумма сезонных эффектов равня-
равнялась нулю. Тогда переходят к скорректированным оценкам сезонных
эффектов в виде
1 р
*? = *--$>• 02.8)
В практических задачах распространена ситуация, когда сезонные
колебания пропорциональны среднему значению процесса в рассматри-
рассматриваемый момент времени. Для описания подобных данных можно ис-
использовать одну из следующих моделей:
xt = trt ■ st + et
xt = trt ■ st ■ Et-
Первая из них является смешанной мультипликативно-аддитивной
моделью, вторая — мультипликативной моделью временного ряда. Для
модели xt = trt • St + et при оценке сезонных эффектов вместо сово-
совокупности A2.6) рассматривают совокупность A2 9) частных отделения
Xi+ip на tri+ip, выраженных в процентах.
^■-100% при / = 0,1,2,...,ш A2.9)
В этом случае оценкой сезонной компоненты или сезонным индексом
называют величину:
где !<«<„
Так же, как и в случае аддитивной модели, вместо среднего арифме-
арифметического в правой части A2.10) может фигурировать взвешенное или
386
курированное среднее, медиана или другие 6n™
ш выбросам оценки. Сезонные индексы A2 юТп УЛСТ0ИЧИВЫе * гру-
при анализе экономических временных рядов п™° ° попУляРНь.
> для мультипликативной модели будет рассмотрена н'иж""^ """
обшей ситуации. v «"рена ниже в более
° На практике считается, что оценки сезонных эффект* и
Точны. если число периодов в исследуемом сезонн °* Нед0СТат0ЧН0
еньше пяти-шести. Это означает; напримерТчТпшТ
Личных данных для достаточно точной оценки^ сезонных
необходимы, как минимум, наблюдения за пять-шесть лет
удаление сезонной компоненты. Получив оценки сезонных эф-
эффектов A2.7), в аддитивной модели легко провести удаление этих эФ
фектов из рассматриваемого ряда, вычитая их из начальных значений
ряда. Подобная процедура часто носит название сезонного выравнива-
выравнивания ряда или сезонной коррекции ряда. Еще одно название этой про-
процедуры - сезонная декомпозиция. Для мультипликативно-аддитивной
модели эта процедура сводится к делению значений исходного ряда на
соответствующие сезонные индексы и умножению на 100%.
Проиллюстрируем оценку сезонных индексов и их использование
при прогнозировании на основе данных о производстве молока в России.
Пример. В таблице 12.1 и на рис. 12.5 приведены величины
месячного производства молока (в тыс. тонн) в России с января 1992 г.
по октябрь 1996 г. (по данным ЦСУ Госкомстата России).
Таблица 12.1
Производство молока в России с января 1992 г.
по октябрь 1996 г. (тыс. тонн в месяц)
Месяц \ год
январь
февраль
март
апрель
май
июнь
июль
август
сентябрь
октябрь
ноябрь
декабрь
1992
2015
2123
2624
2891
3335
4071
4040
3392
2467
2092
1494
1562
1993
1759
1773
2361
2649
3203
3936
3861
3321
2438
1760
1299
1345
1994
1510
1484
1988
2211
2559
3209
3204
2687
2031
1506
1050
1054
1995
1172
1226
1651
1859
2392
2864
2714
2420
1925
1338
984
1020
1996
1038
1104
1439
1521
1827
2446
2369
2081
1577
1081
График ряда показывает, что производство молока имеет тенденцию
сокращению, обусловленную сокращением поголовья молочного ста-
13»
387
да и подвержено сильным сезонным колебаниям с максимумом ПрОнз
водства в летние месяцы и минимумом — в зимние. При этом величина
сезонных колебаний пропорциональна среднему уровню производства.
г—I • ' ' ! ' " " ..Л.....' '. '■ '■ '......' '■ : ......".._' ! I
5BD8
4808 -
3898 -
2888 -
1888 -
Рис. 12.5. Ежемесячное производство молока
в России с 01.1992 по 10.1996 (в тыс. тонн)
Оценим сезонные индексы этого ряда и проведем выравнивание ряда
с учетом сезонности. Для описания тренда используем линейную модель
trt = а + Ь • t, где t = 1,2,..., 58. Оценки неизвестных коэффициентов а
и b методом наименьших квадратов есть: о = 2841.1 и 6 = —23.63. Таким
образом, в каждой точке t можно вычислить trt = a + b-L Подобранная
модель тренда описывает общую тенденцию поведения ряда. Но сделать
на базе этой модели достаточно точный прогноз ежемесячного произ-
производства молока в следующем году нельзя, учитывая большую сезонную
изменчивость ряда. Для построения месячного прогноза необходимо
оценить сезонные эффекты, или сезонные индексы.
На графике 12.5 видно, что величина сезонных колебаний пропор-
пропорциональна среднему уровню производства. Поэтому для описания се-
сезонных колебаний следует использовать мультипликативно-аддитивную
или мультипликативную модель. Воспользуемся первой из этих моде-
моделей. Для получения оценок сезонных индексов используем формулы
A2.9) и A2.10).
ф В таблице 12.2 приведены в процентах значения отношений xt/tn
для каждого месяца t. Обратим внимание на то, что полученные для
каждого месяца индексы в таблице 12.2 довольно устойчивы. Так,
производство молока в июне в среднем на 155% превышает среднего-
среднегодовой уровень, а в октябре — составляет только 75% от него. Для
получения сезонных индексов производства молока A2.10) для каждого
388
Значения
с данными
Та6лн«а >"
январь
февраль
март
апрель
май
июнь
июль
август
сентябрь
октябрь
ноябрь
декабрь
71.52
75.99
94.72
105.26
122.48
150.82
150.99
127.90
93.86
80.31
57.88
61.07
69.42
70.63
94.95
107.55
131.30
162.93
161.41
140.22
103.97
75.82
56.54
59.15
67.10
66.65
90.23
101.45
118.70
150.50
151.95
128.88
98.53
73.91
52.13
52.95
59.59
63.09
86.01
98.05
127.76
154.93
148.71
134.34
108.28
76.28
56.86
59.75
]996_
61.67
66.52
87.96
94.34
115.00
156.29
153.69
137.107
105.54
73.51
месяца следует провести усреднение данных по строкам таблицы 12.2.
Полученный результат приведен в таблице 12.3.
Таблица 12.3
Сезонные индексы производство молока в России (в %)
Месяц
январь
февраль
март
апрель
май
июнь
июль
август
сентябрь
октябрь
ноябрь
декабрь
Индекс
по всем
данным
65.86
68.58
90.77
101.33
123.05
155.09
153.35
133.69
102.04
75.97
55.85
58.23
Индекс
по данным
1992-1995 гг.
66.96
69.23
91.84
103.64
126.01
156.18
154.83
134.46
102.64
77.73
56.80
• 59.31
Для проведения сезонного выравнивания каждое значения исходно-
исходного ряда следует разделить на соответствующий ему сезонный индекс
и умножить полученный результат на 100%. Полученный результат
приведен на рис. 12.6. Как видно из графика, выровненный ряд имеет
ярко выраженную тенденцию линейного убывания.
л Замечание. Для прогнозирования поведения Расс7ГГ
*ыть применены и другие методы. В частности, можно описывать
*». использующей простые и сезонные разностные, операторы.
389
50B8 -
4808 -
зова -
Z808 -
•10ВО "
В 12
Рис. 12.6. Сезонное выравнивание ряда производства молока в России
этот пример, как иллюстрацию вычисления сезонных индексов, мы не касаемся
в нем вопросов выбора наилучшей модели. Эта обширная тема, требующая
определенной подготовки, выходит за рамки данной книги.
Прогнозирование. Посмотрим к каким результатам привела бы
эта методика, если бы мы хотели получить прогноз на 1996 г. поданным
1992-1995 гг. Учитывая устойчивое поведение сезонного индекса в
данной задаче, мы проведем его оценку по данным за 4 года. (Вдругщ
задачах такой объем данных может быть недостаточным.) Повторим
описанные выше действия для данных 1992-1995 гг. Подобранная
модель линейного тренда trt имеет вид:
trt = 2899.9 - 26.64 • t
A2.11)
Ее коэффициенты в целом не сильно отличаются от коэффициентов,
полученных выше по всем данным. (Следует учитывать, что оценка
b по всем данным несколько завышена. Это связано с отсутствием
данных последних двух месяцев 1996 г., которые с учетом сезонности
являются обычно самыми низкими в году. Здесь уместно заметить, что
использование метода наименьших квадратов для подбор модели тренда
сезонных рядов с незавершенными циклами, как это было сделано выше,
обычно влечет за собой подобные смещения оценок. Поэтому лучше
этого избегать или использовать устойчивые методы оценивания.)
Оценки сезонных индексов для данных 1992-1995 гг., рассчитанные
по A2.9), приведены в таблице 12.4. Сравнение данных таблиц 12.2 и
12.4 показывает, что они хорошо согласуются между собой. Для полу-
получения сезонного индекса st усредним по строкам данные таблицы 12.4.
Полученный результат приведен в третьем столбце табл. 12.3. Из этой
390
Месяц \ год
—
январь
февраль
март
апрель
май
июнь
июль
август
сентябрь
октябрь
ноябрь
декабрь
1992
———^—»^в___
70.13
74.58
93.05
103.50
120.54
148.57
148.89
126.25
92.74
79.44
57.31
60.54
J993
68.88
70.16
94.43
107.09
130.89
162.62
161.29
140.30
104.17
76.06
56.79
59.49
^Таблица 12.4
J994
67.59
67.23
91.16
102.64
120.29
152.75
154.47
131.23
100.50
75.52
53.37
J995
61.22
64.95
88.71
101.34
132.32
160.80
154.69
140.06
113.16
79.90
59.71
62.91
таблицы видно хорошее согласие сезонных индексов, что говорит об
устойчивости этого показателя.
Для осуществления прогноза ряда на 10 месяцев 1996 г. следует
сначала рассчитать предварительный ежемесячный прогноз progt по
подобранной модели тренда A2.11). А именно, вычислить значения
trt для следующих 10-ти значений t, то есть для t = 49,50,51,...,58
Результаты этого прогноза приведены во втором столбце таблицы 12.5.
Для получения окончательного прогноза ряда надо скорректировать
предварительный прогноз с помощью полученных сезонных индексов,
вычислив {progt • st)/l00 для указанных выше значений L Результаты
этой процедуры приведены в третьем столбце табл. 12.5. В четвертом
столбце таблицы приведены реальные данные за 10 месяцев 1996 г.
Наглядное сравнение прогноза с реальными данными дано на рис. 12.7,
где пунктирной линией обозначены реальные данные за 1995-1996 гг.,
а сплошной линией — построенный прогноз на 1996 г.
В табл. 12.5 и на рис. 12.7 видно хорошее согласие прогноза с
реальными данными в первые 5 месяцев. Относительная погрешность
прогноза здесь не превышает 3%. В последующие 4 месяца прогноз
ниже реальных данных на 6-10%. Относительная ошибка прогноза
в последний, 10-ый месяц не превышает 3%. Заметим, что наиболь-
наибольшие различия прогноза с реальными данными наблюдаются в летние
месяцы, сезонный индекс которых подвержен наибольшим колебаниям
(см. табл. 12 2 и 12.4). Эти колебания из года в год имеют порядок
Ю-20%. С учетом этого, можно признать в целом хорошее согласие
прогноза с реальными данными.
Аналогичным образом можно осуществить прогноз на 1997 г. по
Данным 1992-1996 гг. Говорить о достоверности подобного прогноза
можно лишь при сохранении общих тенденций, наблюдаемых в предыду-
391
2900 h
zsaoh
Z100 Ь
1700
1380 b
90Я h
36 1Z
Puc. 12.7. Производство молока в России за
1995-1996 гг. и прогноз на 1996 г. (в тыс. тонн)
Таблица 12.5
Прогноз производства молока в России на 1996 г.
(в тыс. тонн), и его сравнение с реальными данными
Месяц
январь
февраль
март
апрель
май
июнь
июль
август
сентябрь
октябрь
Тренд
15Э5
1568
1541
1515
1488
1461
1435
1408
1381
1355
Прогноз
на 1996 г.
1068
1085
1415
1569
1875
2282
2221
1893
1418
1053
Реальные
данные
1038
1104
1439
1521
1827
2446
2369
2081
1577
1081
щие годы. Для более аргументированных прогнозов необходимо привле-
привлечение дополнительной информации (например, о тенденциях изменения
поголовья молочного стада).
12.3.3. Метод скользящих средних
При наличии в ряде циклической компоненты расчет сезонных эф-
эффектов несколько отличается от описанного выше. В этом случае для
выяснения сезонных вкладов в виде A2.6) или A2.9) необходимо оце-
оценить не только тренд, но и циклическую компоненту. Проще всего
одновременно оценить тренд и циклическую компоненту можно с поно-
392
^ скользящего среднего. Этот метод полезен и тогпя
тренда не ясна. Рассмотрим его подробнее. ' КОГда
О методе скользящих средних. Метод
н из самых старых и широко известныу ™Л г ЬЗЯЩИх средних —
SU ряда. Он основан на переходе S£^J~Г ^
средним значениям на интервале времени, длина котпппг Р*ИХ
нее. При этом сам выбранный интервал времени ГпТ ВЫбраНа За'
раНПолучаемый таким образом P^JZ^ZT^Г'
разд0 более гладко, чем исходный ряд, за с?^»"^
„сходного ряда. Таким образом эта процедура дает представлениеоб
общей тенденции поведения ряда. Ее применение особенно полезно
для рядов с сезонными колебаниями и неясным характером тренда В
частности, переход к ряду скользящих средних может быть исполь-
использован для выявления сезонной компоненты (или сезонного индекса)
временного ряда.
Вид средних. Применяя метод скользящих средних, можно исполь-
использовать различные виды усредения значений ряда: среднее арифметиче-
арифметическое (простое или с некоторыми весами), медианы и др. К сглаживанию
с помощью медианы (медианное сглаживание) прибегают тогда, когда
среди наблюдений есть выбросы (резко выделяющиеся данные).
Примеры для обсуждения. Мы дадим формальные определения
метода скользящих средних, используя для их иллюстрации два сле-
следующих примера. В первом из них величина интервала сглаживания
равна 7, по числу дней недели. Во втором примере величина интервала
сглаживания равна 12, что соответствует двенадцати месяцам года. Это
типичные интервалы сглаживания в экономических временных рядах.
Для ежеквартальных данных подходящим может оказаться сглажива-
сглаживание с интервалом 4, для почасовых данных, собираемых круглосуточ-
круглосуточно, сглаживание с интервалом 24, и т.д. Вообще говоря, величину
интервала сглаживания целесообразно выбирать равным или кратным
периоду сезонности. При этом каждый интервал вычисления сколь-
скользящего среднего будет содержать данные, отвечающие всему периоду
(периодам) сезонности.
Пример 1. На рис. 12.8а приведен среднесуточный трафик (ве-
(величина загрузки) телекоммуникационного канала Париж-Москва сети
Internet за четыре последовательных недели (февраль 1996 г.). Этот гра-
график характеризует интенсивность (в килобитах в секунду) получения
""формации западными пользователями с российских компьютерных
серверов по указанному каналу. Из графика видно, что в ^e^e дни
"едели (субботу и воскресенье) происходит уменьшение загрузки кана
393
ла в другие дни загрузка повышается. Кроме того, вероятно, иМеет Ме.
сто плавный рост объема загрузки с начала месяца к его концу. Таким
образом, можно предположить, что рассматриваемый временной Ряд
имеет тренд и сезонную компоненту с периодом сезонности р = 7 дНей
'-. ■- эв
_i- В
20
15
1 J ! J
; ! i i
.L_
WJ.
Рис. 12.8. Среднесуточный трафик в Кбит/сек
телекоммуникационного канала Париж-Москва в феврале 1996 г.:
а) исходный ряд; б) исходный ряд и его скользящее среднее
Пример 2. На рис. 12.9а приведен график ежемесячных продаж
шампанского за ряд лет. На графике отчетливо прослеживаются сезон-
сезонные колебания с пиками в декабре каждого года и спадами в летние
месяцы. Период сезонности этих данных равен 12.
12 -'-
9 "
6 -
аI
. / f
i
h И
1 Л У /Л
>л/ «/у ■ 1
i |
i
.1 i
!
/Li
и
f i(
i
! 1
I /
iH
\\ \
1 \
\
A -
4
i
j—i—^ ^
!
I
i
re
IBS
Рис. 12.9. Месячный объем продаж шампанского за ряд лет:
а) исходный ряд; б) исходный ряд и его скользящее среднее
Вычисление скользящего среднего. Дадим формальное опре-
определение скользящего среднего сначала для интервалов сглаживания,
длина которых выражается нечетными числами. Причина, по которой
четные и нечетные длины рассматриваются порознь, выяснится чуть
ниже. Пусть р = 2т + 1. Обозначим через xt результат усреднения
элементов ряда
Xt+m.
394
Если обсуждаемое среднее есть среднее арифметическое1
Лля
медианного сглаживания
для четных р = 2т определение несколько сложнее п
тон_ чт0 вычисленное по аналогичным формулам (Г реднеГари*
веское, медиана и т.д.) усредненное значение нельзя Гост!
какому-либо определенному моменту времени L Например Z
арифметическое e^i М с«№вало бы сопоставить моменту вре-
цени t = Bm+ l)/2, но такого момента во временном ряде нет А это
сильно осложняет дальнейшее выделение сезонных эффектов
Поэтому при четном интервале сглаживания 2т в усреднении задей-
задействуют не 2т, а 2т+1 значений временного ряда, но значения на краях
интервала сглаживания берут с весами 1/2. Так, при использовании для
усреднения среднего арифметического получается следующая формула:
1/1 1 \
Xl = 2т" \2Х1~Ш + Xl~m+l + ''" + si+m-i + 2^+т) A2.12)
Выражение A2.12) задает величину простого скользящего среднего
f; для / = m + l,m + 2, ...,n-m при четной величине интервала
сглаживания р = 2т.
Свойства скользящего среднего. Скользящее среднее, сглаживая исход-
исходный ряд, дает представление об общей тенденции поведения ряда — его тренде
н циклической компоненте. Сделаем несколько замечаний о его свойствах.
1. При применении метода скользящих средних выбор величины интервала
сглаживания должен делаться из содержательных соображений и привязывать-
привязываться к периоду сезонности для сезонных данных. Если процедура скользящего
среднего используется для сглаживания, несезонного ряда, то чаще всего вели-
величину интервала сглаживания выбирают равной трем, пяти или семи. Чем больше
интервал усреднения, тем более гладкий вид имеет график скользящих средних.
2. Соседние члены ряда скользящих средних сильно коррелированы, так как
в их формировании участвуют одни и те же члены исходного ряда. Это может
приводить, к тому, что ряд скользящих средних может содержать циклические
компоненты, отсутствующие в исходном ряде. Это явление носит название
эффекта Слуцкого-Юла (см. [39], [38]).
3. В качестве метода усреднения, кроме упомянутых выше среднего арифме-
■ического и медианы, можно рассматривать взвешенные СК0ЛЬЗЯЧ"е^™^
ЗДа значения исходного ряда суммируется с определенными «^"^5
процедуры целесообразны, если изменение временного Р^^^са Он
ино нелинейный характер. Мы не будем более касаться этого вопроса, ин
подробно изложен, например, в [38].
395
Оценка сезонных компонент. Предположим, что наблюдаемый
временной ряд имеет структуру xt = trt+ct+st+et, ™e*rt+Ct
и циклическая составляющая, st — сезонная составляющая, а е, ^
случайная составляющая ряда. Пусть р — период последовательности
st так что st = st+P для всякого t. Пусть величина р нам известна. Мы
хотим оценить значения st по .наблюдениям xt.
Порядок оценки сезонных компонент в этом случае, в целом, ана-
аналогичен рассмотренному в п. 12.3.2. Только вместо оценки тренда ме-
методом наименьших квадратов мы будем использовать скользящее сред,
нее в качестве совместной оценки тренда и циклической компоненты
Обозначим через xt скользящее среднее с периодом р, построенное по
ряду xt. Для упрощения обозначений начнем нумерацию величин xt c
единицы, так что ряд из скользящих средних есть: жь ж2, ..., хк. Соот-
ветственно изменим нумерацию исходного ряда так, чтобы величине j,
соответствовал член xt. (При этом приходится отбросить [р/2] первых
членов исходного ряда, для которых значения xt не определены. Здесь
через [р/2] обозначена целая часть от деления р пополам.)
Ради простоты предположим, что к = (т + 1)р, где m — положи-
положительное целое число. (Обратим внимание, что общая длина п исходного
ряда при этом равна п = (т + 2)р при четном р и n = (m + 2)p-i
при нечетном р.) Для каждого сезона г, 1 ^ г ^ р, рассмотрим все
относящиеся к нему разности
Х{ 3?£, Xi^.p iCj-j-p, . . . , Xi^-rnp Xi^-mp. A2.13)
Каждое из этих отклонений х{ от xi можно рассматривать как
результат влияния сезонных изменений. Усреднение этих разностей
дает нам оценку сезонной компоненты s£. В качестве простейшей
оценки можно взять простое среднее, т.е. положить
для г = 1,... ,р A2.14)
Как и выше (см. 12.7), вместо простого среднего можно взять
взвешенное среднее, цензурированное среднее, медиану и т.д., для
уменьшения влияния резко выделяющихся наблюдений.
Для мультипликативной модели временного ряда, когда xt = *гг
ct-SfSt целесообразно перейти к логарифмам yt = logxt. Тогда
Vt = dt+ 9t+n+6u где dt = \ogtrt, gt = logctl rt = logst, 6t = log«-
К ряду yt можно применить изложенную выше методику, начиная с
вычисления скользящих средних и кончая составлением оценки г,-для
г£. Оценкой для исходной величины s,- = eVi будет служить efi, если
396
ш% - натуральный логарифм х, либо S, = цл о
Этичные. 10 'ес™ наши логарифмы
удаление сезонной компоненты Оно ппов
разобранном выше случае. Для аддитивной моделиТп* ^ **' КаК И в
мпоненты сводится к вычитанию оцененной *""* Сб30НН0Й
Г сходного ряда. Для мультипликаций ZZV^^^
гнии значений
Пример оценки и удаления сезонных компонент с помощью скользя
^его среднего рассмотрен ниже в главе 13 (пример 13.2к).Тот прИмер
решается с помощью компьютерных программ SPSS и Эвриста.
12.3.4. Сезонные разностные операторы
Еще один способ удаления сезонных компонент из ряда основан
на использовании специальных разностных операторов, которые назы-
называются сезонными. Использование этих операторов особенно распро-
распространено в линейных моделях временных рядов типа авторегрессии-
скользящего среднего (см. главу 14).
Пусть х\,..., хп — реализация временного ряда, ар — период его
сезонности.
Определение. Процедура перехода от ряда xt (при t = 1,... ,п)
к ряду yt = xt — xt-p = Vpxt (при t = p+ 1,...,n) называется
взятием первой сезонной разности, а оператор Vp называется
сезонным разностным оператором с периодом р.
Преобразование xt — xt-p может быть также записано с помощью
оператора сдвига назад В в виде:
yt = xt- xt-p = A - Bp)xt
На рис. 12.10 изображен результат применения сезонного оператора
Vi2 к ряду месячных продаж шампанского за 7. лет. Длина полученного
рада сократилась на 12. Разброс значений полученного ряда суще-
существенно сократился и в нем уже не просматриваются периодические
колебания. # ,
Для этого ряда теперь можно попытаться подобрать, например, ли-
линейную параметрическую модель типа авторегрессии-скользящего сред-
среднего (см. гл 14) В случае успешного подбора модели можно осуще-
осуществить прогноз для ряда разностей. Этот прогноз может быть пересчи-
•ан и для исходного ряда.
397
2.9 r"
1.9 "
0 2G 48 68 OB
Рис. 12.10. Ряд сезонных разностей для продаж шампанского
Другим способом устранения сезонности может служить метод наи-
наименьших квадратов, в котором используется полигармоническая модель
A1.5) для описания периодически повторяющихся сезонных эффектов.
Сравнивая эти два подхода устранения сезонных эффектов, заметим,
что метод сезонных разностей значительно проще и наглядней.
Сезонные операторы более высоких порядков. Как и в случае
с простыми разностными операторами (см. п. 12.3.1), иногда бывают
полезны сезонные операторы более высоких порядков. Так, сезонный
оператор второго порядка с периодом р задается соотношением:
V2xt = Vp(Vpa;t) = Vp(xt - xt-p) = xt- 2xt-p + xt-2p
или, с помощью оператора сдвига назад В:
V2pxt = A - BPJxt = A - 2£Р + B2?)xt.
Смешанные разностные операторы. Выше указывалось, что
простые и сезонные разностные операторы могут быть использованы
соответственно для удаления тренда и сезонной компоненты из вре-
временного ряда. Если временной ряд одновременно содержит обе эти
компоненты, то их удаление возможно с помощью последовательного
применения простых и сезонных операторов. Нетрудно убедиться, что
порядок применения этих операторов не существен:
VVp:ct = V(xt - xt.p) = (Xt - ц-О - xt-p - xt-p-i) = VpVst.
Замечание. Существуют и другие методики оценивания и учета сезон-
сезонных эффектов. Часть из них опирается на совместное использование методов
однофакторного анализа и анализа временных рядов. Другие используют обоб-
обобщенные сезонные модели процессов авторегрессии-скользящего среднего. Ш
не будем останавливаться на этих вопросах.
398
12.3.5. Преобразование шкалы
К преобразованиям значений временного ряда (ТОЧш>р
маниям той шкалы, в которой измерены значения врем7н
прибегают обычно по двум причинам: либо для того Г
распределение к нормальному (например, избавиться^ ег,
сти), либо для того, чтобы сделать дисперсию временного
постоянной (иными словами, стабилизировать дисперсию
_п I
Пусть переменная гс употребляется для записи значений временного
ряда. Рассмотрим преобразование х в у по правилу „ = /(ал Z f "Г
значает некоторую определенную функцию. (Обычно / -- монотонная
функция; тогда от значений у можно однозначно вернуться к значениям
х) Применяя преобразование / к каждому члену ряда xtt мы получим
новый временной ряд yt = /(a;t).
Логарифмическое преобразование. Чаще других используемое
преобразование — логарифмическое, когда
у = log re, либо у = log(a: + с),
где с — некоторая постоянная величина, выбор которой находится в
распоряжении исследователя. При логарифмическом преобразовании
yt = log(xt + с).
Логарифмическое преобразование можно применять только к по-
положительным величинам. В тех случаях, когда часть членов ряда xt
отрицательна, перед переходом к логарифмам ко всем членам ряда при-
прибавляют постоянную с, добиваясь того, чтобы xt + с> 0 при всех t
Посмотрим, как действует логарифмическое преобразование на
практике. Скошенные (асимметричные) распределения довольно ча-
часто появляются в экономической статистике. Типичным примером явля-
являются данные о душевом доходе: лиц с небольшими и средними дохода-
доходами гораздо больше, чем лиц с высокими доходами. А этих последних
значительно больше, чем лиц с очень высокими доходами. Примерная
гистограмма распределения доходов приведена на рис. 12.11а. Проло-
Прологарифмируем данные о доходах и вновь построим гистограмму. Она
приведена на рис. 12.116. Видно, что в логарифмической шкале распре-
распределение доходов близко к нормальному (гауссовскому)-
Логарифмическое преобразование может оказаться полезным и при
некоторых нарушениях стационарности наблюдаемого ряда. Допустим,
что мы наблюдаем процесс xt = bt -zt, где zt - стационарный ряд а *
некоторая положительная неслучайная последовательность. Обозначив
399
o.u
0.15
О.И
O.W "
0.06
0.Ш
0.101- —
CIS -
COT
0.06
О.Ш Г
1.3
S.3
1.1
Рис. I2.ll. Гистограмма данных о доходах: а) исходная шкала,
б) логарифмическая шкала (для наглядности на график (б)
наложена функция плотности нормального распределения)
Dzt через <т2, получим, что Dxt = a2b\ изменяется во времени.
к логарифмической шкале yt = logzt дает
Переход
При этом ряд logzt — стационарный, его дисперсия во времени не
изменяется. Это позволяет применить метод наименьших квадратов для
выделения тренда logfct из ряда yt.
Примером временного ряда, дисперсия которого изменяется со вре-
временем, является ряд продаж шампанского (рис. НЛ.в). На рис. 12.12
приведены данные о продажах шампанского в логарифмической шка-
шкале. Видно, что логарифмирование устранило рост размаха сезонных
колебаний значений ряда.
0.5 -
О -
0 12 24 36 48 6G 72 84
Рис. 12.12. Данные месячных продаж шампанского в логарифмической шкале
Преобразование Бокса-Кокса. Логарифмическое преобразование
является частным случаем некоторого семейства преобразований, кото-
которое ввели Дж.Бокс и Д.Кокс в 1964 г. [97]. С тех пор эти преобразования
приобрели популярность. Преобразования, образующие это семейство,
400
зависят от параметра А, А > 0. Если вернуться
„,,й 2/ = /(*)• то можно сказать, что теперь v 1*Т\Т "РОбразова-
А> 0 исследователь может выбрать по своему«Г™ ]> ГДе Значение
предложили следующую формулу У Усмотрению. Бокс и Кокс
f(x, А) = ( & )А
llog
при
при
Л>0
IT
Нетрудно убедиться, что при фиксированном \ *
монотонно возрастает с ростом х, и что f(x Tl ФуНКЦИЯ ^ Л)
по х, но и по А, если А ^ 0. Д ' } непРеРывна не только
3 —
Рис. 12.13. Характер преобразования Бокса-Кокса
при различных значениях параметра Л
Как видно из рис. 12.13, преобразование Бокса-Кокса при А < 1 рас-
растягивает расстояния между малыми значениями и сжимает его между
большими по величине значениями данных. При А > 1 наблюдается
обратная картина.
Следует заметить, что применение преобразования Бокса-Кокса к
временным рядам может порождать определенные трудности в их даль-
дальнейшем анализе. Дело в том, что показатель степени А существенно
влияет на корреляционную функцию процесса и способен значительно
Усложнить дальнейший подбор модели ряда.
Ряды, имеющие отрицательные значения. Подобно логарифмическому,
преобразование Бокса-Кокса можно применять только к положительным: чи-
- Если часть членов ряда xt отрицательна, прежде чем применить к ряду
401
преобразование Бокса-Кокса, ко всем членам ряда прибавляют постоянную с
Члены преобразованного ряда получают по формуле
\SCl "т* CJ ~~* *■
Л
если выбранное А > 0. Для А = 0 преобразование Бокса-Кокса действует Как
уже упомянутое логарифмическое: yt = log(zt + с).
12.4. Методы исследования структуры
стационарного временного ряда
12.4.1. Цели и методы анализа
Цели анализа. В предыдущих параграфах этой главы мы рас-
рассматривали методы выделения из временного ряда детерминированной
компоненты — тренда, сезонной и циклической компонент. После уда-
ления детерминированной компоненты временной ряд должен свестись
к стационарному процессу. Так что следующим шагом после выделения
детерминированной компоненты должен быть анализ остатков, то есть
изучение ряда, полученного из исходного временного ряда после ис-
исключения детерминированной компоненты. При этом могут ставиться
следующие цели.
1. Описание ряда с помощью той или иной модели, которая от-
отражает зависимость между его соседними элементами. На ба-
базе построенной модели можно осуществлять прогноз будущего
поведения ряда.
2. Уточнение оценки дисперсии временного ряда. Эта оценка важ-
важна для прогнозирования, так как исходя из нее вычисляется ши-
ширина доверительной трубки прогноза. Привычные оценки диспе-
дисперсии, которые мы использовали в регресионном анализе (глава
8), — например, нормированная сумма квадратов отклонений
элементов реализации от их среднего, — рассчитаны на незавн-
мые случайные величины. Для статистически зависимых данных
такие оценки дисперсии временного ряда могут как сильно пре-
превышать истинное значение сг2, так и быть значительно меньше.
3. Проверка стационарности остатков (при нестационарности под-
подбор детерминированной компоненты нуждается в уточнении).
Методы анализа. В качестве модели стационарных временных
рядов чаще всего используются процессы авторегрессии, скользящего
среднего и их комбинации. Этим моделям посвящена глава 14.
402
А для проверки стационарности ряда остатков и
СИИ на практике чаще всего используются выбиЖГя ^ ДИСПе"
пионная (коррелограмма, см. п. 11.10) и частые о аВт°к°Рреля-
;нкиия. В пп. 12.4.2 и 12.4.3 мы расСМ0^
графиков этих функций. РИМ методы интерпретации
Замечания. 1. Для выяснения статистически
Гп1ИпрГоГного Р№ может также быгь «-
гЛсГ
2. Методы исследования структуры стационампт в
од„ой реализации наиболее успешно Zo^^Z^T° № П°
{деленных процессов. Это объясняется те, ЧРТvзшZ Т™™ РЗС"
Ьнарности в широком смысле, которая ^У££%££*»£;
ТИОа °ТВ УЗК°М СМЫСЛ
12.4.2. Интерпретация графика коррелограммы
Анализ коррелограммы — это порой довольно непростая задача. О
причинах возникающих при этом трудностей уже говорилось в п. 11.10.
Здесь мы кратко остановимся на типичном поведении коррелограммы
для некоторых классов временных рядов.
Для начала рассмотрим поведение коррелограммы для некоторых
нестационарных рядов. В этом случае следует помнить, что коррело-
коррелограмма практически не несет никакой информации о статистической
зависимости или независимости членов временного ряда, однако она
может отражать причины нарушения стационарности. Именно с этой
точки зрения мы и рассматриваем два следующих примера.
Наличие тренда. Для временного ряда, содержащего тренд, корре-
коррелограмма не стремится к нулю с ростом значения лага к. Ее характерное
поведение изображено на рис. 12.14, где кореллограмма построена для
ряда урожайности зерновых (рис. 11.1а).
Наличие сезонных колебаний. Для ряда с сезонными колеба-
колебаниями коррелограмма также будет содержать периодические всплески,
соответствующие периоду сезонных колебаний. Это позволяет устана-
устанавливать предполагаемый период сезонности. Однако, как было сказано
в п. 11.10, отдельные редкие выхода графика коррелограммы за границы
Доверительной трубки могут наблюдаться и у белого шума. 1ипичное
поведение коррелограммы для ряда с сезонными колебаниями приве-
приведено на рис. 12.15 где она построена для данных месячных продаж
шампанского в логарифмической шкале (рис. 12.12) после удаления из
них линейного тренда.
403
B.S
■c.s
Рис. 12.14. Коррелограмма ряда урожайности зерновых:
а) исходный временной ряд; б) его коррелограмма
0.5
-в-5
б)
Рис. 12.15. Коррелограмма ряда месячных продаж шампанского
в логарифмической шкале (после удаления линейного тренда): 4
а) преобразованный ряд продаж шампанского; б) его коррелограмма
Перейдем к рассмотрению коррелограмм стационарных случайных
процессов. В этом случае коррелограмма показывает коррелированность
значений временного ряда при различных расстояниях между ними.
Коррелограмма белого шума. Как указывалось выше, автокор-
автокорреляционная функция rfc белого шума равна нулю для всех к ф 0. На
рис. 12.16 изображена типичная коррелограмма белого шума. Как ука-
указывалось в п. 11.10, для гауссовского белого шума можно указать 95%
доверительный интервал для каждого конкретного значения г* в виде
—1/п ± 2/у/п. Он изображен на графике коррелограммы пунктирными
линиями. Если выборочные оценки корреляционной функции попадают
в указанные доверительные интервалы, то можно предположить, что
значения процесса являются белым шумом. Однако, как уже говори-
говорилось, довольно часто одно или несколько значений выборочной авто-
автокорреляционной функции белого шума могут выходить из указанных
пределов. Особенно часто этот эффект можно наблюдать при наличии
относительно небольшого числа наблюдений.
404
B.S
~U JJ' -•.s
р„с. 12.16. Коррелограмма белого шума: а) „сходный ряд; б") е^р^^
Коррелограмма процессов скользящего среднего Тоаекто
р„и многих стационарных случайных процессов выглядят гораздо более
гладко, чем траектории белого шума. Это связано с наличием положи-
положительной корреляции между двумя или несколькими соседними членами
подобных рядов. Если же корреляция между соседними членами ряда
отрицательна, то траектории подобных процессов будут более изломан-
изломанными, чем траектории белого шума. Простейшим примером процессов,
у которых зависимы одно или несколько соседних значений, являются
процессы скользящего среднего. Определение процесса скользящего
среднего первого порядка было дано в п. 11.7. Более подробно свойства
этих процессов рассматриваются в п. 14.4. Здесь мы приведем вид
типичных графиков этих процессов и их автокорреляционных функций.
Пусть £!,...,£„ — гауссовский белый шум. Обозначим через X(t)
процесс скользящего среднего первого порядка (кратко МАО)) с коэф-
коэффициентом в и средним равным нулю. Согласно A1.10):
Нетрудно убедиться, что у этого процесса зависят между собой только
соседние значения X(t) и X(t - 1). При этом их корреляция гу равна:
в
1 + 0
На рис. 12.17 приведены графики ста значений реализации процесса
скользящего среднего с коэффициентом в = 0.75 и его коррелограммы.
На рис. 12.18 приведены аналогичные графики при в = -0.75.
На графиках видно, что хотя полученные оценки значений тк при
* = 2,3... не равны нулю, они значимо не отличаются от нулевых
значений, так как попадают в 95% доверительный интервал, который
построен в предположении равенства нулю соответствующих значении
автокорреляционной функции. -
Для процессов скользящего среднего второго nop^.JK будет
показано ниже в п. 14.4, отличаются от нуля только значения 7 2 и г2,
405
-г.7 - —
'°l
Рис. 12.17. Коррелограмма МАA) процесса при
в = 0.75: а) исходный ряд; б) его коррелограмма
4.V -. -
O.S
б)
IB
Рис. 12.18. Коррелограмма МАA) процесса при
в = —0.75: а) исходный ряд; б) его коррелограмма
а все последующие значения rjt при к = 3,4,.... равны нулю. Наконец,
для процессов скользящего среднего порядка q отличны от нуля толь-
только первые q значений автокорреляционной функции. Строя графики
коррелограмм для подобных процессов, мы можем на основании ука-
указанного свойства сделать предварительный вывод о возможном порядке
процесса скользящего среднего, который может быть использован для
описания наблюденного ряда.
Указанное правило хорошо, если подобранный порядок модели
скользящего среднего невелик, скажем от одного до четырех-пяти. Од-
Однако на практике часто встречаются стационарные процессы с автокор-
автокорреляционной функцией заметно отличной от нуля даже при больших
задержках. Следуя сформулированному правилу, их можно пытаться
описать процессами скользящего среднего высоких порядков. Это при-
приводит к большому числу коэффициентов процесса скользящего среднего,
которые подлежат дальнейшей оценке. При этом точность этих оценок
заметно снижается. Практическая ценность таких многопараметриче-
многопараметрических моделей скользящего среднего невелика. В этой ситуации лучше
попытаться описать временной ряд с помощью модели авторегрессии.
406
ЕсЛи и эта попытка не увенчается успехом - пеоейти
ва„ным моделям авторегрессии-скользящего сое™ n K комби"иро-
еМ типичное поведение автокорреляционной LZ™ ПроиллюстРирУ-
оцеСсов авторегрессии. пункции и ее оценки для
Коррелограмма процессов авторегрессии п
*де, ft.-,*.- гауссовский белый шум. Няп^Г"'. ™ И ^
первого
)tj (i2i6)
где е, не зависит от X(t - 1). Как указывалось в „. ц.7, члены даже
этОго простейшего процесса не становятся независимыми с ростом
промежутка времени между ними. Однако при определенных условия"
на коэффициенты эта зависимость быстро убывает
В общем случае свойства этих процессов подробно разбираются на-
нами ниже в пп. 14.1-14.3. Здесь же мы приведем два типичных графика
поведения выборочных автокорреляционных функций этих процессов
Как будет показано ниже в п. 14.2 и 14.3 автокорреляционные функции
этих процессов с ростом лага либо просто экспоненциально затухают
либо представляют из себя экспоненциально затухающие синусоидаль-
синусоидальные волны.
На рис. 12.19 приведены графики ста значений реализации процесса
авторегрессии второго порядка:
X{t) = фхХ(Ь - 1) + ф2Х{1 - 2) + £(. A2.17)
{ )
при ф\ = 0.7 и ф2 = 0.25. Здесь автокорреляционная функция процесса
и соответственно коррелограмма экспоненциально затухают с ростом
лага
лага.
D.5
-S.5
-1
ue
Рис. 12.19 Коррелограмма ARB) процесса при фх - 0.7
<h = 0.25: а) исходный ряд; б) его коррелограмма
На рис. 12.20 приведены графики ста значений
процесса A2.17) при ф, = 0.7 и ф2 = '0.25. А
407
o.s
-fl.S
: DDDDDD
6)
3DD
Q--Q.U
10
Рис. 12.20. Коррелограмма ARB) процесса при ф\ = 0.7,
ф2 — -0.25: а) исходный ряд; б) его коррелограмма
функция этого процесса и соответственно коррелограмма ведут себя с
ростом лага как экспоненциально затухающая синусоида.
Замечание. Вид выборочных автокорреляционных функций процесса
A2.16) для различных значений ф приведен на рис. 14.1 главы 14. На этом ри-
рисунке видно, что при ф = ±0.75 значения оценок автокорреляционной функции
Ffc довольно сильно отличаются от нуля даже при к = 15. '
12.4.3. Интерпретация графика
частной автокорреляционной функции
Выборочная частная автокорреляционная функция. Для того,
чтобы по полученной реализации процесса подобрать модель авторе-
авторегрессии, необходимо предварительно указать возможный порядок этой
модели. Приведенные примеры авторегрессионных процессов показы-
показывают, что непосредственно из вида выборочной автокорреляционной
функции этот вывод сделать довольно трудно. Эту задачу значительно
облегчает специально преобразованная автокорреляционная функция.
Она называется частной автокорреляционной функцией. Расскажем,
как следует интерпретировать поведение этой функции.
Замечание. Формальное определение частной автокорреляционной функ-
функции мы отложим до главы 14, так как это определение довольно сложно и осно-
основано на моделях авторегрессии. Однако при практическом анализе временных
рядов это определение и не нужно — графики автокорреляционной функции
и частной автокорреляционной функции строит статистическая программа, а
человеку нужно лишь знать, как их интерпретировать.
Обозначения. Для краткости мы будем использовать сокращения:
АКФ — автокорреляционная функция, ЧАКФ — частная автокорреля-
автокорреляционная функция.
Обозначим через фкк значения ЧАКФ для каждого значения лага
/с = 1, 2,.... Оценку этой функии по реализации временного ряда будем
408
обозначать через фкк при fc = О, 1, 2,....
ф каждого значения к по абсолютной ветчине мрш..
•* "*• "icnbuie единицы
Процессы авторегрессии первого порядка v*
. п. 14.3, для процессов авторегрессии первого 'п™ П°Ка3аН° НИЖе
1Я только значение ^lif а все остальные значки °ТЛИЧН0 от
шы нулю. Для выборочной частной автоко ^ ~ '
,. Это означает, что все ее значения, начиная со-
значимо не отличаться от нуля, то есть попадать в° """"
доверительный интервал.
График ARA) проц _
ЧАКФ
График ARA) процесса
» u a ц
Рис. 12.21. График ARA) процесса (значение ^ равно
0.75, его выборочная автокорреляционная функция (АКФ) и
выборочная частная автокорреляционная функция (ЧАКФ)
Это и видно на рис. 12.21. Здесь значения выборочной ЧАКФ (в
отличие от выборочной АКФ), начиная со второго, малы и значимо
неотличимы от нуля. Таким образом, по поведению выборочной ЧАКФ
легче выяснить вид модели временного ряда.
Замечание. Стоит заметить, что при малых значениях коэффициента
$ для того, чтобы отличить процесс от белого шума, требуется достаточно
много наблюдений. Так, из рис. 12.22, на котором представлен ARA) процесс
с ф - -0.25, видно, что для этого оказалось недостаточно ста наблюдений.
Все значения выборочных автокорреляционной и частной автокорреляционной
функций здесь попали в доверительные трубки для предположения, что процесс
является белым шумом.
Процессы авторегрессии второго порядка. Для процесса авто-
авторегрессии второго порядка отличны от нуля только первые два значе-
значения ЧАКФ. На рис. 12.23а и 12.236 изображены выборочные ЧАКФ
процессов, представленных на рис. 12.19 и 12.20.
Процессы скользящего среднего. Для процессов скользящего
среднего (МА-процессов), в отличие от процессов авторегрессии, ЧАКФ
при больших значениях лага к не обращается в ноль, а экспоненциально
Убывает. Мы не будем останавливаться на этом ^J^
проиллюстрируем поведение выборочной ЧАКФ для
409
АКФ
График ARA) процесса
со о»
1
o.s
о
-ал
-1
»•:
D ]
ЧАКФ
Т1
п и
Рис. 12.22. График ARA) процесса (значение ф
равно -0.25), его выборочная АКФ и выборочная ЧАКФ
I
D.S
е
-0.5
-I
•
п
д-псг—°
D = DO.D.D._
-
а)
D.S
-0.S
б)
Ц 15 10
U Ц
Рис. 12.23. Выборочная ЧАКФ ARB) процессов:
а) фу = 0.7, ф2 = 0.25; б) ^ = 0.7. ^2 = -0.25
-O.S
e.s
-B.S
-Л
—„Ч.-
б)
U U
Рис. 12.24. Выборочная ЧАКФ MAR(I) процессов: а) в = 0.75; б) в = -0.75
приведенных на рис. 12.17 и 12.18. На рис. 12.24 приведены выборочные
ЧАКФ МАA) процессов при в = 0.75 и 0 = -0.75.
Глава 13
Анализ временных
рядов на компьютере
13.1- О выборе пакетов
для описания в этой книге
Методы анализа временных рядов широко представлены во мно
г„х универсальных статистических пакетах, включая разобранные в
предыдущих главах STADIA и STATGRAPHICS. Но анализ временных
рядов - это очень специфическая область статистики, отличающаяся
по кругу задач и методов их решения, а также по кругу пользовате-
пользователей, применяющих эти методы. Поэтому для анализа временных рядов
имеются также и специализированные статистические пакеты. В этой
главе мы рассмотрим способы решения рассмотренных выше задач в
специализированном статистическом пакете ЭВРИСТА и универсаль-
универсальном статистическом пакете SPSS. Выбор данных пакетов обусловлен
следующими причинами.
Пакет ЭВРИСТА является одним из лучших специализированных
отечественных пакетов для анализа временных рядов. Его функцио-
функциональные возможности значительно шире стандартных процедур анализа
временных рядов универсальных статистических пакетов. Пакет по-
постоянно совершенствуется и пополняется, он хорошо зарекомендовал
себя во многих организациях, в том числе активно работающих на фи-
финансовом рынке. Более подробная информация об этом пакете дана в
приложениях 1 и 3, а также в [9].
Универсальный пакет SPSS занимает одно из первых мест в мире
среди программ статистической обработки данных (см. приложения 1
и 3). Отечественным специалистам ранние версии SPSS в основном
были известны как мощный инструмент обработки социологических и
психологических данных. В связи с этим мы решили показать этот
пакет с менее известной его стороны. Другими аргументами выбора это-
го пакета было желание показать более подробно Windows-интерфейс
современного статистического пакета, а также познакомить пользовате-
пользователя с англоязычной терминологией в области анализа временных рядов.
ИГ наконец, нам хотелось дать пользователям представление о более
широком круге статистических пакетов.
411
13.2. Анализ временных рядов в SPSS
13.2.1. Обзор возможностей
Возможности в области анализа временных рядов. Пользова-
Пользователи, знакомые с ранними и неполными версиями пакета SPSS, чаще
всего имеют совершенно неадекватное представление о возможностях
этого пакета в области анализа временных рядов. Во-первых, РанНие
версии SPSS использовались, в основном, специалистами в области
психологии, биологии и социологии, где задачи анализа временных ря.
дов менее характерны. Во-вторых, современные версии пакета имеют
модульную структуру (см. приложения 1 и 3), в которой анализ вре-
временных рядов выделен в отдельный модуль SPSS Trends. При отсут-
отсутствии этого модуля возможности в области анализа временных рядов
будут ограничены только процедурами регрессионного анализа базового
модуля пакета SPSS Base.
Кратко перечислим основные процедуры пакета SPSS в области
анализа временных рядов:
1. Regression (Регрессионный анализ) — позволяет выделять и удалять
широкий набор моделей трендов;
2. ARIMA (Модели авторегрессии-проинтегрированного скользящего среднего) —
вычисляет оценки параметров для сезонных и несезонных моделей,
а также строит доверительные интервалы для прогноза. Процедура
допускает пропущенные значения во временных рядах и выполняет
анализ интервенций;
3. EXSMOOTH (Экспоненциальное сглаживание) — включает широкий круг
методов экспоненциального сглаживания для сезонных и несезонных
рядов с трендом;
4. SEASON (Сезонные составляющие) — оценивает мультипликативные или
аддитивные сезонные составляющие для сезонных временных рядов;
5. SPECTRA (Спектральный анализ) — производит разложение временного
ряда на гармонические составляющие. Вычисляет и выводит на гра-
график одномерную и двумерную периодограмму и оценку спектральной
плотности. Позволяет использовать различные спектральные окна;
6. AREG (Авторегрессионный анализ) — оценивает регрессионную модель,
когда ошибки близких по времени значений ряда коррелируют ме-
между собой;
7. Х11 ARIMA — оценивает сезонные факторы для процессов типа
авторегрессии-проинтегрированного скользящего среднего.
412
Пакет также выполняет широкий круг nDVrHY
^нераиию временных рядов, вычисление оценок ?°ЦеДУР* HanP™ep,
, частной автокорреляционной функции, nocronLu РрбЛяционной
графиков временных рядов и т.д. v ние Различных типов
Командный макроязык и система меню Ппр^по
неров в пакете SPSS, сделаем одно важное замечав "п" ""S разбоР "Р"'
оазвитым командным макроязыком, позволяющим созлява! SS обладает
Юностью описывающие все этапы анализа. Только ВпаНДНЫефайлы-
ерсиях пакета появилась возможность проводит^Г^,1* Windows"
редактирования и анализа данных в режиме меню-ориентироВ"нногпГ Т'
^диалоговыми окнами. Мы ограничим свой рассказnnu!ННОГоинтерфей-
ачинаюших пользователей пакета, только работой S „ТрТ^Т* на
Зет проиллюстрирован довольно типичный ^Zo^ZrZltT^ 3a°AH°
ачинаюших пользователей пакета, только ра
Зет проиллюстрирован довольно типичный
Мистических пакетов. Однако, работая в Sm^^T^Z
решении задачи с использованием меню-ориентированного ш ерфейсаодТ
временно происходит создание командного файла решаемой задачи ШнТиз
удобств и достоинств командного языка заключается в том, что при решении
однотипных задач нет необходимости каждый раз заполнять поля ввода и на
страивать режимы работы процедур. Можно просто запускать однажды сфор-
сформированный командный файл. При этом можно практически ничего не знать
о самом командном языке SPSS.
13.2.2. Подбор тренда и прогнозирование
Рассмотрим эти задачи на следующем примере.
Пример 13.1к. Для данных урожайности зерновых культур в СССР
подобрать модель тренда с помощью процедур регрессионного анализа и
построить на базе подобранной модели прогноз на несколько лет вперед.
Подготовка данных. Пусть данные таблицы 1.2 находятся в тек-
текстовом (ASCII) файле zemo.txt в виде двух столбцов, первый из которых
содержит значение года, а второй — значение урожайности. Для загруз-
загрузки этих данных в пакет SPSS выберем в меню пакета пункт FILE, а в нем
подпункт Read ASCII Data.... На экран будет выведен запрос открытия фай-
файла, его вид — такой же, как в большинстве Windows-программ. Только
в нижней части запроса имеется переключатель File Format) (Формат фай-
файла), позволяющий выбирать между фиксированным (Fixed) и свободным
(Freeiield) форматами файла. Установим значение этого переключателя
Щ выбрав фиксированный формат файла. Этот формат предполагает,
что значения каждой переменной в строках файла записаны в тех же
голбцах, что и в первой строке файла. Затем щелкнем мышью кноп-
*У запроса Щ1п¥1 (Определить) и перейдем к определению формата
^писи переменных в файле. На экране откроется диалоговое окно
413
в
Udiiii: tixvd Variables
File: C:\MAKAR\BOOK1DATAVZERNO.DAT
Denned Variables:
Ыате: |zernD
Recjird:
SJert Column:
End Column:
О
g
13
fData Typc-
123=123.1.23=1.23
Numeric as Is
В
1 1-5 dale
-Value Assigned Id Blanks for Numeric Variables -
® System mlsBlna О Value: |
I Be
[cii
с
set .
В Display summary table
S Display warning message (or undefined data
Рис. 13.1. Окно определения переменных фиксированного
формата процедуры загрузки текстовых файлов в SPSS
Define Fixed Variables (Определить переменные фиксированного формата),
см. рис. 13.1. --
В этом окне необходимо задать имена переменных. В нашем случае
мы создали переменные date и zemo, а также указали начальную и
конечную колонки столбца, в котором лежит каждая переменная, и
формат этой переменной. Завершив описание переменных, щелкнем
мышью кнопку окна [Ж]- Произойдет загрузка данных в SPSS и они
отразятся в электронной таблице пакета (рис. 13.2).
1zemo
■'1:
2
3
__ 4
■5
6-
dale -
1945
1946
1947
1948
1949
1950
zemo
5.Б
4.6
7.3
6.7
6.9
7.9
Рис. 13.2. Таблица SPSS с данными об урожайности зерновых
Комментарий. При загрузке ASCII-файлов могут возникнуть две пробле-
проблемы. Первая — несовпадение разделителя целой и дробной части числа в исход-
исходном файле и в установке в Windows. (Обычно для этих целей используется либо
точка либо запятая.)_ При этом не происходит корректной загрузки данных в
SPSS. Для исправления ситуации обратитесь в пункт Стандарты (Windows Inter-
International Settings) Панели Управления (Control Panel) и поменяйте тип десятичного
414
в пункте Формат чисел. Вторая проблема
образине чисел в электронной таблице. дЛ Z4*4™*
2 „тесь в пункт меню SPSS 1Ш\^^З^
2 значение поля Decimal Places. Это значение з^^™ В ВЫве^нГ,
5 десятичной части числа в электронной таб!ще ПМИШ1Й. отведенных
Построение графика. Анализ временного п
е„„я графика. Возможности SPSS по построенной ГоГ, ° П0СТР0"
фнков очень широки, их описание занимает в докук!Р ТШ Гра"
Урании. Мы не будем вдаваться в детали о^
б;ем излагать лишь общий порядок действий и
результаты
Для построения графика временного ряда в пункте меню Graphs (Д„а
граммы) можно выбрать один из двух возможных типов процедур SimDe
Sri*!** (Пробои график рассеивания) или Sequence (График последова
тельности). В этой задаче будет рассмотрена работа процедуры Simple
Scatteptot. Ее диалоговое окно приведено на рис. 13.3.
Si i|iic Scaller|ilul
□
lyear
gel Markers by:
I
Label Cases by:
OK
Beset
["Template
D Use chart spccillcallons Irom:
.tilr:...
lilies...
Рис. 13.3. Диалоговое окно процедуры Simple Scatterplot в SPSS
Выделяя щелчком мыши требуемые переменные и нажимая соот-
соответствующие кнопки запроса В, присвоим значения переменных date и
кто осям X и Y соответственно. Подобный простой способ выбора пе-
переменных используется практически во всех процедурах SPS^"^ р^е
Других статистических пакетов под Windows (STADIA, STATGKAFH-
ICS). На рис. 13.4 изображен полученный результат (после небольшого
Дополнительного оформления)
415
Урожайность зерновых в СССР с 1945 по 1989 гг (ц/га)
19»
Рис. 13.4. График урожайности зерновых в SPSS
zcmo
Cuivc Lblinidliun
gcpcndcniftii:
Сивс Labels:
I
J
Help
В Include constant In cquntlon
HPIjjlmodcIo
BLJncnr П Quadratic
DLogerllhmlc Dfiublc
П Inyeroc П Ромсг
□ Compound D Growth
□ S П Exponential
D Logistic
Upper |k>uiiiI: I
П Display ANOVA table
.'■ S((VE.-
tHO
Рис. 13.5. Диалоговое окно процедуры Curve Estimation в SPSS
Выбор процедуры. На графике рис. 13.4 видно, что анализируе-
анализируемые данные содержат линейный тренд. Для его идентификации следует
выбрать в меню пакета пункт Statistics (Статистика), и далее в открыв-
открывшемся подменю — пункт Regression (Регрессия). Здесь в еще одном
подменю можно выбрать один из двух методов: Unear Regression (линейная
регрессия) или Curve Estimation (оценка кривой).
Процедура Linear Regression предоставляет широкие возможности при
анализе адекватности классической модели простой и множественной
линейной регрессии, включая выделение возможных «выбросов», про-
проверку нормальности и некоррелированности остатков. А процедура Сим
Estimation больше нацелена на выделение различных кривых трендов. По-
Поэтому мы продолжим свой анализ с помощью процедуры Curve Estimation,
диалоговое окно которой приведено на рис. 13.5.
416
Задание параметров процедуры, В окне «.„«
1|ЕСТ„ переменную zerno в поле Dependent^) (зависит» СЛедует пеРе~
того надо выделить ее щелчком мыши и нажать Г ПеРеДе"ная). ДЛЙ
,м образом в поле Independent (независимая переменна^ АнаЛ0ГИЧ-
Переменную date. В примоугольнике Models (модели) 1,1 Д° "°Местить
йОдель Linear, а также укажем включение константы Т, ЛИнейнУЮ
новив флажок include constant in equator, Затем нажмем кно^Гн"^
Замечание. Поле независимой переменной мож.т ™
яым. поставив переключатель типа независимой переменной?0"™ Незапол"е"-
ГэТом случае зависимая переменная будет трис^™'SSSS
Модели тренда. Дадим формулы моделей тренда nnu
прямоугольнике Models на рис. 13.5. Пусть , - неГиГГ
ЙЛИ время. 6,- и ь - константы (параметры моделей). Тогда
моделей можно записать так: д
linear (линейная): у = 6о + Ь\х;
Logarithmic (логарифмическая): у = bo + bi \\\(х);
Inverse (обратная): у = b0 + (bi/x);
Quadratic (квадратичная): у = Ьо + Ьгх + Ь2х2;
Cubic (кубическая): у = Ьо + Ьгх + 62я2 + Ь3г3;
Power (степенная): у = Ьо ■ (rcbl) или Щу) = 1п(Ь0) + ^ Ь(ж);
Compound (показательная): у = bo(bi)x или \п{у) = Ы(Ьо) ■ [\n[bi)]-x\
S (S-образная): у = e^+b>/x) или ln(t/) = Ьо + Ь^х;
Logistic (логистическая): у = l/[l/u + bQ • (bf)) или ln(l/j/ - 1/u) =
\n{b0) + [Inih)] ■ х\
Growth (роста): j/ = eFo+bix) или ln(?/) = bo + bia:;
Exponential (экспоненциальная): у = &o-(eblX) или ln(y) = lDF0)+bi-a;.
Замечание. Кнопка I Save | диалогового окна (рис. 13.5) позволяет со-
сохранить п виде отдельных переменных значения подобранной модели Predicled
tfues, остатки Residuals и доверительные интервалы Prediction intervals, которые будут
помешены в электронную таблицу пакета.
Результаты. После выполнения процедуры Curve Estimation в окне
Output вывода результатов появится ряд вычисленных статистических
характеристик, включая коэффициент корреляции R, коэффициент де-
детерминации R2, таблицу анализа вариации, значения оценок коэффи-
коэффициентов модели и их статистические характеристики (рис. 13.6). Од-
Одновременно график ряда с подобранной кривой тренда будет помешен
вокно Chart Carousel (рис. 13.7)
Результаты расчетов (см. рис. 13.6) показывают, что линейная мо-
Д** тренда объясняет примерно 83% общей вариации данных, а по-
поденные оценки коэффициентов модели значимо отличаются от нуля.
417
Dependent variable.. ZERNO
Deletion of Hissing Data
.91521
.83760
.83383
1.60940
Hechod.. LINEAR
Hulciple R
R Square
Adjusted R Square
Standard Ecroc
Analysis of Variance:
DF Sub ot Squares
Regression
Residuals
1
43
574.46135
111.37777
Hean Square
571.46135
2.59018
F -
221.78428
Variable
YEAR
(Constant)
ZERNO
SignlC F = .0000
Variables in Che Equation
В SE В Веса
.275112
-528.949728
.018473
36.337744
.915207
14.892
-14.556
Sig T
.0000
■ OODD
Рис. 13.6. Результаты работы процедуры Curve
Estimation в окне выдачи результатов в SPSS
1980
1990
Рис. 13.7. Окно Chart Carouse! с результатами
работы процедуры Curve Estimation в SPSS
В частности, значение коэффициента В при переменной year (то есть
средний прирост урожайности за год), равен примерно 0.275 (ц/га).
Анализ остатков. Дальнейший анализ модели связан с исследо-
исследованием остатков. Выясним два вопроса: можно ли считать остатки
некоррелированными и насколько их распределение согласуется с нор-
нормальным.
Замечание. Учитывая небольшую длину исследуемого ряда, вряд ли
можно ожидать здесь высокой точности и достоверности результатов. Однако
подобный анализ позволит понять, как далеко мы могли отклониться от условии
применения метода наименьших квадратов для удаления тренда, и, тем самым,
насколько можно верить полученным результатам.
418
Проверка коррелированности остатков и
, одним из результатов работы процедуры Curve bZ* упомин^сь,
нйе новой переменной егг_1, в которой хранятся п ЯВЛяется с°*
гТсгг DunrwHun ifnnnoir.i^ L" Остатки nnnnfir.» «
ирио^г" ---гг- -г '"'^ши остатков R
родним из результатов работы процедуры Curve bZ* упомин^сь,
1ние новой переменной егг_1, в которой хранятся nfT ЯВЛяется со*
,0Дели. Д^я выяснения коррелированности остатки* ПОдобРа»ной
..автокорреляционной функции. Это можно сделать IT1™ °Ценки
роиеДУРУ Autocorrelations из пункта Time Series меню Granfe ^ ai"^
проиеДУРы приведено на рис. 13.8. н
>. вызвав
окно
[-Display
В Autocorrelations
EPorJlol oulocorrelollonB
□ Natural log transform
П Difference: J7]
□ St ocon oily dlttcrcncK ГП
Current Periodicity: None
Рис. 13.8. Диалоговое окно процедуры Autocorrelations в SPSS
В окно Variables (переменные) поместим переменную епг_1 со значени-
значениями остатков. С помощью кнопки I Options I зададим максимальное число
лагов Maximum Numbers of Lags равным 10, учитывая небольшую длину из-
изучаемого ряда. Затем нажмем кнопку [Ж]. Программа выведет график
автокорреляционной функции (коррелограмму), см. рис. 13.9. Из графи-
графика видно, что у нас нет основания считать остатки коррелированными,
так как полученные оценки лежат внутри доверительного интервала для
нулевых значений автокорреляционной функции.
Результаты расчетов процедуры помешаются в окно Output
(см. рис. 13.10). Здесь приводятся значения оценок автокорреляци-
автокорреляционной функции, их стандартные ошибки и доверительные интервалы.
Замечание. Процедура Autocorrelations позволяет вычислять автокорреляци-
автокорреляционную и частную автокорреляционную функцию не только для исходного ряда,
но и для прологарифмированного ряда или ряда простых и сезонных разностей.
Все указанные настройки задаются в окне Transform (преобразования;.
Еще одна проверка коррелированности остатков Другой
способ проверки некоррелированности остатков - статистика Дурбина-
уотсона. Она предназначена для проверки нулевой гипотезы Яо, о.том,
"о все автокорреляции rk = 0, против альтернативы: rk - г•при тг
■И < 1. Эта альтернатива соответствует предположению, что ошибки
14*
419
Автокорреляционная функция остатков
для ряде урожайности зериооых
CotCCcifnt
Б С
Lag Number
Рис. 13.9. График автокорреляционной функции
остатков для ряда урожайности зерновых в SPSS
Lag
l
2
3
4
5
6
7
В
9
10
Plot
Corr.
.015
.272
.004
.096
-.059
.011
-.107
-.097
-.0B7
-.017
Synbols:
Err.
.119
.149
.160
.160
.161
.161
.162
.163
.161
.165
Standard errors a
TocaJ
. cases:
52
-.75 -.5 -.25
—I 1 1-
.25 .5
.75
* Ж
Box-LJung
• Oil
3.611
3.642
4.120
4.306
4.312
4.951
5.494
5.940
5.95B
Prob.
.916
.162
• 303
.390
.506
.634
.666
.704
.746
.619
СоврисаЫе firsc lags: 44
Рис. 13.10. Результаты расчетов процедуры
Autocorrelations в окне вывода результатов в SPSS
образуют процесс авторегрессии первого порядка с коэффициентом г. В
SPSS эту статистику вычисляет процедура Linear Regression меню Statistics.
Для остатков ряда урожайности зерновых эта статистика равна 1.96419.
Таблицы процентных точек этой статистики приведены в документации
модуля SPSS Trends (см. также [31]). В данном случае нулевая гипотеза
должна быть отвергнута для двусторонних альтернатив, если значение
статистики Дарбина-Уотсона попадает в одну из областей (-оо, 1.48) и
B.52, оо). Полученное значение статистики в эти области не попадает.
Таким образом по результатам двух тестов у нас нет оснований считать
остатки коррелированными.
Проверка нормальности распределения остатков. Для про-
проверки соответствия распределения остатков нормальному распределе-
распределению построим график остатков на нормальной вероятностной бумаге.
Для этого надо в пункте меню Graphs выбрать процедуру Normal P-P (гра-
420
нормальной вероятностной бумаге)
Р" (Рис 13-11) необходимо Указать в
менную.
e;yfo переменную.
^ Этой
обрабатыва-
сгг_2
m 2
lcl_2
progzern
sep_2
ud_2
year
zerno
-Transform"
D Moturnl log transform
D Standardize values
D Efflcrencc: [Г
О fJcnsonolly dilrcrcncc: |T
Current Periodicity: None
fipUons.... 1
Рис. 13.11. Диалоговое окно процедуры Normal P-P в SPSS
Результаты работы процедуры приведены на рис. 13.12. Они показы-
показывают, что при хорошем согласии распределения данных с нормальным
распределением «на хвостах» (зоны в районе нуля и единицы на графи-
графике), а также в центре, есть определенные отклонения в промежуточных
зонах. Подобные отклонения не сильно влияют на точность получен-
полученных результатов. Поэтому результаты, полученные с помощью метода
наименьших квадратов, можно считать приемлемыми.
График остатков на нормальной бумаге
для рцда урожайности зерновых
Рис. 13.12. Результаты процедуры Normal P-P в SPSS
Замечания. 1. Процедура Norm* P-P (см. рис. 13.11
"ость проводить различные преобразования указанной
«логарифмической шкале, стандартизировать значения
Мть простые и сезонные разностные операторы.
421
2 Малый объем наблюдений, естественно, не позволяет сделать обоснован
ных выводов о распределении остатков. Строя график остатков на нормальной
вероятностной бумаге, мы прежде всего пытаемся выяснить, насколько сильно
нарушается предположение о нормальности. Если эти нарушения невелики
то полученные выводы можно считать достаточно надежными. В противном
случае возникает вопрос о целесообразности применения выбранного метода
обработки и замене его на методы, не чувствительные к распределению данных
и устойчивые к различным отклонениям.
13.2.3. Устранение сезонной компоненты
Рассмотрим эту задачу на следующем примере.
Пример 13.2к. Для данных месячных продаж шампанского постро-
построить оценки сезонной компоненты и провести сезонную коррекцию ряда.
Подготовка данных. Пусть данные о месячных продажах шам-
панского находятся в файле bubbly.sav в формате пакета SPSS в виде
переменной bubbly. Для загрузки данных в электронную таблицу SPSS
с помощью меню в пункте File выберите команду Open и в выведенном
подменю укажите тип открываемого файла Data. В запросе открытия
файла выберите файл bubbly.sav. Содержимое этого файла появится в
электронной таблице пакета.
Для анализа сезонных временных рядов SPSS требует, кроме вво-
ввода самого ряда, дополнительного задания специальной переменной, ко-
которая указывает структуру периодичности ряда или его календарную
структуру. Без этого анализ сезонных эффектов в SPSS будет не-
•доступен. Для задания указанной переменной в меню Data выберите
процедуру Define Dates (Определение календарных дат). Ее диалоговое
окно приведено на рис. 13.13.
Define Dnlcs
£asco Are:
Yunis. inunllir. Q
Ycnrc, quarters, months
Days
Weeks, days
Weeks, work daysEJ
[Weeks, woik days[EJ
Hours
Days, hours
Days, work hour(8]
Weeks, days, hours
Weeks, work days, hours
Periodicity at
higher level
Ycnr:
Month:
[Г
fleect
Cancel j
Current Dotes:
None
Рис. 13.13. Диалоговое окно задания типа календарных дат в SPSS
В поле Cases Are: (наблюдения являются) приведен обширный список
различных типов календарных переменных. Из них нам следует выбрать
422
(годы, месяцы), так как изучаемый по,,
ГГсячных наблюдений за ряд 1е"в£»£■»-ирезуль-
*'°ие является) для выбранного типа Л ^ b; (пеР«*
2 год и месяц наблюдения, как эГпо«Р~
рте этой операции SPSS создаст тр".™ l
J.„ date, и поместит их в электронную табл1Щу (см
1:bubbty ЩЦ
1:bubbty
, I
2
3
А
Ь
ь
7
. 8
9
10
11
12
13
14
bubbly
2.В15
2.Б72
2.755
2.721
2.946
Э.ОЭБ
2.2В2
2.212
2.922
4.301
5.7Б4
7.312
2.541
2.475
V63I_ 1
19Б1]
19Б1
19Б1
19Б1
19Б1
1961
19Б1
1961
19Б1
19Б1
19Б1
19Б1
19Б2
19Б2
толШ
А
г
3
4
5
Б
7
В
9
10
11
12
1
i
<JI2_ I
JAN1SG1 j
FEB1961
МАП19Б
APR 1361
MAY19B
JUN1961
JUL196I
AUG 19Б1
SEP 1961
ОСТ 1961
NOV19E1
DEC 1961
JAN196Z
FEB1362
Рис. 13.14. Электронная таблица SPSS с
вновь созданными календарными переменными
Выбор процедуры. Для оценки сезонных эффектов выберите в
меню программы пункт Statistics, в появившемся подменю — пункт Time
Series (временные ряды), и затем еще в одном появившемся подменю —
пункт Seasonal Decomposition. Диалоговое окно выбранной нами процедуры
приведено на рис. 13.15. Оно требует указания анализируемой пере-
переменной bubbly в окне Variable(s), типа модели временного ряда: Multiplicative
(мультипликативная) или Additive (аддитивная), а также указания типа
взвешивания точек в скользящем среднем Moving Average Weight. Учитывая,
что сезонная вариация данных растет с ростом времени, выбираем муль-
мультипликативную модель временного ряда. Так как величина период
12 месяцев, - четная, указываем в типе взвешивания:^^
Ь/-5 (веса крайних точек равны 0.5). Заполнив поля ввода, как показано
на рис. 13.15, нажмем Щк] для запуска процедуры.
Результаты. Процедура сезонной декомпозиции создает четыр
новые переменные:
• saLl — оценки сезонных эффектов;
423
Suanuiinl Decuiii|iuBlllun
Г Model' ■
® Multiplicative О Additive
fMovIno Aveinge Welghl
О All polnle equal
OlEndpolnlE weighted by .51
Cancel
Help
Current Periodicity: 12
В Qicplay caccwiBC listing
Рис. 13.15. Диалоговое окно процедуры сезонной декомпозиции в SPSS
1:bu
I
" 2
3
4
6
6
1
8
9
10
It
'12;
13
•14
bbf/
ОпЬЬГ/
2.B15
2.Б72
2.755
2.721
2.946
3.03Б
2.202
2.212
2.922
4.301
5.7Б4
7.312
2.541
2.475
айв
19Б1
1961
19Б1
19Б1
19Б1
19Б1
19Б1
19Б1
19Б1
19Б1
1961
19Б1
19Б2
19Б2
rrrcntn_
1
2
3
4
5
6
7
e
9
10
ii
12
1
2
JAN19E1
FEB 19Б1
МАН19Б
АРП19Б1
MAY 196
JUN19E1
JUL1961
AUG19E1
SEP19E1
ОСТ19Б1
NOV19E1
DEC 1961
JAN19E2
FEB19Б2
err_i
1.01944
1.03B29
.96677
.97110
.975B6
.9Б1Б0
.B151B
1.43449
.61350
.96БВ9
.97774
1.00ВБ0
.9B934
.9В24Б
3.B000B
3.77009
3.32225
3.22230
3.17550
3.43123
3.13072
5.9B323
3.1 БВ32
3.55972
3.33071
3.47404
3.43091
3.49213
.74ОБ2
.70B74
•В292Б
.64443
.92773
.BB4B1
.72B91
.ЗБ970
.9222Б
1.20B24
1.7305Б
2.1047Б
.74062
.70674
3.72839
З.Б3107
Э.43Б44,
3.31 B19
3.25406
Э.5Б79Б
3.B4054
4.17097
3.B9470
З.БВ161
Э.40Б54
3.44413
3.46787
3.5544Б
Рис. 13.16. Электронная таблица SPSS с результатами
работы процедуры сезонной декомпозиции
• sas_1 — скорректированный с учетом сезонных эффектов вре-
временной ряд;
• stC-1 — тренд и циклическая компонента скорректированного
временного ряда;
• егг_1 — иррегулярная компонента скорректированного времен-
временного ряда (иными словами — случайная ошибка).
Эти переменные загружаются в электронную таблицу (рис. 13.16).
Кроме того, значения этих переменных, а также вычисленные скользя-
скользящие средние и промежуточные результаты расчетов сезонных индексов,
выводятся в окно Output (рис. 13.17).
424
of SEASON procedure tor verier
< Ml <*„„ i
!"«? ' • «■*« Эта ?-в1 1-038
W !«? « Эта ?
SIS J:Si : .: S:£ ;•* "«
jSS J:SJ .:,« «:.,. ?1- :£ ;s S
5-Й i:»u, 5:S S:S ss « tS ,•»
^ig61 4.301 3.485 123.428 12O.B24 '^ »•»« .813
^1961 5.764 3.542 162.737 П3.О56 J'!" 3'6B2 .967
DEC 1961 7.312 3.5B5 203.96S 210.476 Vlll 3l407 -"8
^1 1962 2.541 3.624 70.121 74.062 з"£? ''W 1-О0Э
ГЕВ1962 2.475 З.бЗб 6В.070 70.674 J'S, ^-46в -989
^1962 3.031 3.645 83.152 B2.926 з"б55 Л" -9в2
т19ег 3.266 з.бво вв.741 В4.44з з'ви з'ппп -991
Ш1962 3.776 3.732 101.170 92.773 4 070 31ос 1'Ив
да1962 3.230 3.821 64.541 В6.4В1 з^БО ^ООЗ TlZ
Рис. 13.17. Результаты расчетов процедуры сезонной декомпозиции
13.3. Анализ временных
рядов в пакете ЭВРИСТА
13.3.1. Общие сведения о пакете
Основные возможности. Кратко перечислим основные функцио-
функциональные возможности Windows-версии пакета Эвриста в области ана-
анализа временных рядов и в смежных областях. Меню статистических
методов пакета включает следующие процедуры:
1. Предварительный анализ — вычисляет основные описательные ста-
статистики ряда, осуществляет различные преобразования ряда (удаление
среднего, преобразование Бокса-Кокса, сезонные и несезонные разно-
разности), проверяет гипотезы о случайности и нормальности выборки (кри-
герии повторных точек, хи-квадрат, Колмогорова-Смирнова) и др.;
2. Анализ тренда — оценивает тренд методом простой линейной или
нелинейной регрессии, методом скользящего среднего, а также удаляет
тренд из временного ряда и предоставляет другие полезные сервисные
возможности;
3. Прогнозирование — строит прогнозы с помощью сглаживания мето-
*>'■' Брауна и сезонного сглаживания Хольта-Уинтерса, а также стр
* прогнозы на базе подобранных моделей простои и полиномиальной
Рарессии и моделей типа авторегрессии-скользящего среднего,
|ЛГ
4 Спектральный анализ — оценивает спектральную плотность и авто-
автокорреляционную функцию с помощью различных периодограмм;
5. АРСС модели — идентифицирует сезонную и несезонную модель
авторегрессии-скользящего среднего (АРСС), используя выборочные
автокорреляционную и частную автокорреляционную функцию. Авто-
Автоматически подбирает порядок этих моделей с помощью различных кри-
критериев, подгоняет сезонную модель АРСС и показывает соответству-
соответствующую ей спектральную плотность, автокорреляционную функцию или
таблицу параметров и др.;
6. Кепстральный анализ — строит оценку кепстра для исследования ряда
на наличие в нем эхо-эффекта, а также удаляет эхо в кепстральной
или временной области;
7. Кросс-спектр — оценивает параметрическую и непараметрическую
кросс-спектральную плотность, кросс-корреляционную функцию и коге-
когерентность, а также модели передаточных функций;
8. Регрессионные модели — оценивает линейные регрессионные модели
в различных режимах, включая шаговую регрессию;
9. Факторный анализ — оценивает модель факторного анализа методом
главных компонент;
10. Анализ интервенций — оценивает параметры динамической модели
интервенции и удаляет интервенции из ряда. Порядок и вид интервенции
могут задаваться вручную или вычисляться автоматически;
11. Гармонический анализ — оценивает параметры гармонической модели
и их статистические характеристики;
12. Моделирование данных — осуществляет моделирование сезонных и
несезонных временных рядов типа авторегрессии-скользящего среднего,
а также функции интервенции.
Этот далеко не полный список возможностей пакета наглядно ил-
иллюстрирует многообразие методов и инструментов анализа временных
рядов. К сожалению, в этой книге мы не можем рассмотреть большую
часть из этих возможностей. Мы лишь опишем, как обсуждавшиеся
выше задачи можно решить с помощью пакета Эвриста.
Интерфейс пакета. Сделаем предварительно несколько общих
замечаний об интерфейсе Windows-версии этого пакета. Общий вид
интерфейса пакета приведен на рис. 13.18. Он включает в себя строку
меню, строку пиктограмм для выполнения наиболее часто используе-
используемых команд и одно или несколько рабочих окон, в которые помещают-
помещаются данные и результаты. Интерфейс пакета полностью соответствует
стандарту интерфейсов прикладных программ в среде Windows, так что
426
программой по форме практически не отличает™ п *
г J Windows-программами. ™ичается от работы с
tift^flur 13.18 справа в рабочем окне
На PHt" __ , „г,,,.. ю 1.
JX.
MAlNGRAPIiGGR
Таблица
оерновых в СССР
4.33
1985
2000
1
2
3
S
6
7
о.
9
10
ч-
12
-AxehKi.vwD - f
1W5 Г
1946 1
1048 )
IS49
1950 1
19S1
1953
IPS3
195Л
iess
1956
• ■.■■■ ■ .~1Ц
~" " 1
е.7
В9 1
Т.9
1.4
0.6
7.6
1 "
е.<
| 9.9
1 в<
н
—
—
—
—
■ -
,
н
1 Щ
Рнс 13.18. Обший вид интерфейса Windows-версии пакета Эврнста
О дальнейшем изложении. Задачи, которые будут рассмотрены
ниже в пакете Эвриста можно решить различными способами. Так,
вычисление линейной и полиномиальной регрессии в пакете реализуют
процедуры Анализ тренда, Прогнозирование, Рефессионные модели. У каждой
Гних есть свои особенности. Рассказывая о том или ином способе
шеиия задачи, будем стремиться к тому, чтобы показать раз«
возможности пакета, а не только к выбору кратчайшего пути к цели.
13.3.2. Подбор тренда и прогнозирование
Пример 13.1, Для данных ^l^
подобрать модель тренда с "^^^Tte^U"* мадеЛИ
провести анализ остатков и построить на оазе подо v
прогноз на несколько лет вперед. ходятся
Ввод исходных данных. Пусть данные£*^ пНервЫЙ из
в текстовом (ASCII) файле zerno.dat в виде W^^ урожайности.
которых содержит значение года, а второй м в пункте меню
Для загрузки этих данных в пакет эвРиста П0ЯВится диалоговое
№ные(рис. 13.18) подпункт Импорт. На экране
°кно импорта данных (рис. 13.19).
427
Импорт данных
Имя исходного файла:
Кптолог:
Инн нового фойпо:
Тип данных:
Тнпдпты: "
Тойулпцня:
Izorno.dol
c:\QvriGla\dalo
I zerno.gnt
ASCII
13 .
дд.мм.гггг
\L
5>ойп(ы)
eog_M.gnt
Bog_o2.gnl-
g2?0«.gnt
gko.gnt
soinrn.gnl
unomploy gnl
vai.qnt
I GK.
Рис. 13.19. Диалоговое окно импорта данных
В нем необходимо указать имя импортируемого файла и каталог, в
котором он находится. Файлы данных пакета Эвриста должны иметь
расширение дпг, поэтому в качестве имени нового файла указан файл
zemo.gnt. Пакет предусматривает импорт из формата ASCII, dBase-Ill,
Эвриста (DOS). Тип формата импортируемого файла указывается в поле
Тип данных. Поле Тип даты позволяет загружать в пакет данные, записанные
в различных календарных форматах (например, пятнадцатое февраля
1997 г. может быть записано в виде 15.02.1997 или 15/02/97). В случае
наших данных настройка этого поля несущественна. После заполнения
необходимых полей щелкните мышью по кнопке |0К[ для выполнения
импорта. Результатом работы этой процедуры будет появление файла
zemo.gnt, содержащего две переменные: varO и vari, которые соответствуют
первому и второму столбцу исходного файла.
Замечание. Если исходные данные уже находятся в какой-нибудь Windows-
программе, например в Excel, Quattro Pro, Lotus и т.п., то загрузка их вЭвристу
может быть осуществлена стандартным образом через буфер обмена (Clipboard).
Задание рабочих переменных. Для редактирования и обработки
данных в пакете Эвриста надо предварительно указать рабочие пере-
переменные. Для этого в пункте меню Данные выберем подпункт Открыть. На
экране появится диалоговое окно этой процедуры (рис. 13.20). В нем
следует указать имя файла zerno.gnt. Все переменные указанного файла
появятся в окне Переменные. Из них с помощью мыши выбираются Рабочие
переменные. После этого надо нажать в окне 13.20 кнопку Щ}-
428
Открыть
^„„мторийкпороношшй:
Количество рабочих переменных:
Рис. 13.20. Диалоговое окно открытия
данных
Основной Заголовок
'Доовя Надпись
Щижяяя Нодпись
Урожайность зорнооьк о СССР
ЕоВочио Пороконпыс ХПароненпыо УПоромеимье
lemo.varO
zorno.vari
zorno.vmQ
vs zemo.voil
VfbnoaJ
i Добавить]
йтмвнить Царвоорнуть
Рис. 13.21. Диалоговое окно создания нового X-Y графика
Вывод на экран данных и графика. Задав рабочие переменные,
«х можно посмотреть, отредактировать в электронной таблице и выве-
вывести на график. Для этого в пункте меню Таблица необходимо выбрать
пункт Открыть. На экране появится электронная таблица с выбранными
Рабочими переменными (см. рис. 13.18). Одновременно можно открыть
и графическое окно с рабочими данными. Для этого в пункте меню
Граф следует выбрать пункт Создать график, в нем подпункт Создать новый
«Убрать тип графика. (В данном случае это график зависимости уро-
«айности от времени или, кратко, X-Y график.) Диалоговое окно этой
процедуры приведено на рис. 13.21.
429
Заполнение диалогового окна включает задание переменных по осям
X и Y и элементов оформления графика. Результаты этой процедуру
приведены слева на рис. 13.18. Пакет также включает многочисленные
средства для редактирования графика: выбор типа линий и точек,
шрифтов и их размеров и т.п.
Выбор процедуры. Для оценки и удаления тренда из временного
ряда в пакете следует в пункте меню Метод выбрать процедуру Анализ
тренда, а в выведенном подменю — пункт Полиномиальная Регрессия. На
экран выводится диалоговое окно, показанное на рис. 13.22. Оно пред.
полагает задание степени подбираемого полинома, уровня доверия для
доверительных интервалов, а также задание форм выдачи результатов.
Полиномиальная Регрессия
| Столонь Полннона |i |
Г
вровень доверия j 0.9
Вывести
| рпид иДоо.нмтороппы \i\
' Вывести '~
Графические Рвзультаты
i Твкстоаыо Рвзультаты
Лопай»
Рнс. 13.22. Диалоговое окно процедуры полиномиальной регрессии
После заполнения полей диалогового окна для выполнения расчетов
следует в пункте меню Счет выбрать опцию Выполнить метод или просто
щелкнуть мышкой по пиктограмме Щ на панели управления пакета.
Результаты. Текстовая форма выдачи результатов процедуры поли-
полиномиальной регрессии содержит оценки параметров регрессионной мо-
модели, их статистические характеристики (включая уровни значимости)
и таблицу дисперсионного анализа (таблицу разложения вариации).
Эти результаты приведены на рис. 13.23.
Выбранная графическая форма представления результатов процеду-
процедуры (тренд и доверительные интервалы) приведена на рис. 13.24.
Анализ остатков. Для получения остатков временного ряда необ-
необходимо после подбора модели тренда еще раз запустить на выполнение
процедуру полиномиальной регрессии. Это можно сделать с помощью
меню, как было описано выше, или просто нажать клавиши (ЩШ
для повторения последней процедуры. При этом в поле Вывести диалого-
430
Иодель- aO+altAl
Сунне Квадратов Степ. Свободы срадв,.
Еодеяъ
7267.362119
111.377769
737в.759ввВ
163.9724419
Рис. 13.23. Расчеты, выдавемые процедурой регрессионного
0*>енд и Доверительные интервал
1B.BF
анализа
15.В4
11.9В ;
B.Q2 г
4.06 f
1940 1954 19© Й5Г 2000
Рис. 13.24. Графические результаты процедуры полиномиальной регрессии
Остатки после удаления тренда
1940 19^4 1969 1984
Рнс. 13.25. График остатков в процедуре полиномиальной регрессии
вогоокна (рис. 13.22) надо указать режим Вывести остатки. Полученный
П>афик остатков приведен на рис. 13.25.
Для дальнейшего анализа остатков их следует C0XPaHHTbJJ^
отдельной переменной (при этом они будут одновременно до а
в электронную таблицу). Для этого в пункте меню «ь™ JJ й
*- подпункт Сохранить и добавить в таблицу. Диалоговое окно
431
Сохранить как
Файл;
Катопог:.
Имя переменной:
! Комментарий к файлу.
Коннонтарий к поромонной:
c:\ovribla\dole
Irosido
Ьстотки (zerno.vari)
Тип переменной:'
Доойпап точность
Времонной ынтореап: • ■ [Год
a
д>пПл(ы)
eog_M.gnl
oeg_oZ.gnl
g22043.gnt
gko.gnl
SBism.gni
unBmploy.gnl
vnj.qnl
t
—
—
ГПррвнииные'
—i
Кйтплоги
■Tun
Pnc. 13.26. Диалоговое окно сохранения остатков
Автокорреляционная Функция
0.0
0.2
-О.2-Н
-0.6
-1
t
16
20
E 12
Врененная задержка
Рис. 13.27. График автокорреляционном
функции для остатков ряда урожайности зерновых
процедуры приведено на рис. 13.26. В нем необходимо указать имя
файла (zemo.gnt) и имя переменной, например resids, и нажать [Ж1-
Проверка коррелированности остатков. В пакете существует
несколько различных способов выяснения коррелированности остатков.
Мы построим для этого лишь выборочную автокорреляционную функ-
функцию. Для этого пункте меню Метод можно выбрать подпункт Предвари-
Предварительный анализ и в нем процедуру Автокорреляционная функция. В диалоговом
окне этой процедуры надо указать максимальное число задержек (лагов)
автокорреляционной функции и запустить процедуру на счет, как это
было указано выше. Результат этой процедуры приведен на рис. 13.27.
432
- На гра-
Обратим внимание, что график автокорреля11ип ..
чает нулевую задержку, в которой она по 0Г*" ФУ"КЦии
Зто сделано для улучшения визуального восппГ РЗВНа
фике отсутствуют традиционные д0верИтел^2ИрЯпГРафИКа- На гра-
^потезы о некоррелированности значений пяля п РВЗЛЫ Ш нУлев°й
этому вывод о значимом отличии полученных го ВСеХ Задержек- По-
от нуля следует делать на основании формуль, ^"°к "токорреляций
нерных 95% границ доверительного интервала нуле^о/^
он„ой функции, где п - объем временного ряда см I
айности зерновых п = 45 т
ДЛЯ
й функц, д объем временного ряда см I иТТ
ряда урожайности зерновых п = 45 и размах доверить! 0)' Ы
оставляет примерно ±0.3. Полученные оценки2*Г ° ИНТ6рвала
Донной функции в целом УкладываютсГвТти^дГ"
Замечание. Следует помнить, что при таких
11ЫХ статистические методы могут выявить ro^
редположении. Если же эти нарушения слабые то
его выявить их не в состоянии, в силу нехват^
руния
о выявить их не в состоянии, в силу нехват^^ГаГКТвГа
„адо помнить при анализе относительно коротких вранных рядов Поэтому
в случае анализа остатков ряда зерновых мы вынуждены заключитьТто не
обнаружено явных нарушении предположения о некоррелированности А для
более точных выводов у нас нет информации.
Для дальнейшего анализа остатков в пакете может быть использо-
использована процедура Тесты на случайность из раздела Предварительный анализ. Мы
не будем останавливаться на этом вопросе.
Прогнозирование. Для осуществления прогноза на базе линейной
(пли полиномиальной) модели линейной регрессии следует в меню Метод
выбрать пункт Прогнозирование и в нем выбрать подпункт Прогноз полиноми-
полиномиального тренда. В открывшемся диалоговом окне процедуры Прогнозирование
Полиномиальной регрессии (рис. 13.28) следует указать степень полино-
полиноичество шагов п
по
ма
Полиномиальной регрессии (рис. 13.28) следует указать степень полино
ма, уровень доверия для линии прогноза и количество шагов прогноза.
Результат работы этой процедуры приведен рис. 13.29.
<= Прогнозирование по Полшюнналыюй Регресси
СтопвньПолинома
ilpoooiib доверия
1
j Количество nponioaDO
, • ...
и ."
o.s|
id 1 '
■ ' "■
Не
■■■—■—■
Рис. 13.28. Диалоговое окно процедуры иол,,».нашюго ч
Результаты прогнозирования могут быть сохранень, в «-
в в отдельной переменной и помешены в электронную таблицу.
433
Линейный тренд, прогноо и 95 % дов. интервалы
24.45-F
0.33 _,_
1B4D «54 «69 ЮВ4 2000
Рис. I3.29. Прогноз поведения ряда урожайности зерновых
сожалению, в пакете отсутствует построение доверительных интервалов
для самих будущих значений временного ряда.
13.2.3. Устранение сезонной компоненты
Пример 13.2к. Для ряда производства молока в России оценим
сезонные индексы и проведем сезонное выравнивание ряда.
Подготовка данных. Пусть данные о производстве молока в России
(таблица 12.1) находятся в текстовом (ASCII) файле в виде одного
столбца. Способ загрузки подобных данных в пакет и выбор их в
качестве рабочей переменной подробно описан в предыдущем примере.
Будем считать, что загруженные данные находятся в файле milk.gnt в
переменной milk.
Фийп:
Каталог:
Имя пороишшоп:
Атрибуты переменной
. milk.gnt '
c\evn8ta\datn\
milk
(..КонмвнтарИП к пораненной: [imported (torn oscii
Тип.порционной: Целое
Врононной ииторопп:
' | Ширина поля*
еж
Рис. 13.30. Диалоговое окно процедуры Атрибуты переменной
Для удобства дальнейшего анализа и выдачи результатов определим
дополнительно календарную структуру исходных данных. А именно,
434
нач»ная
что мы имеем дело с ежемесячным!
года- Для этого в пункте меню Таблиц
,го подменю выбрать пункт Атрибуты neDei
процедуры показано на рис. 13 30 В
и имя переменной milk, а в поле Временной?*
1Ц. Затем надо щелкнуть мышью по кнопке ГтЪ ' ---"=»*
длй указания стартовых календарных значений^ ДИалоговог° окна
эГом откроется окно Параметры временного рядд (оиг Т?!"? Рт ПР"
указываются день, месяц и год первого значения d«™7 ' В КОТОР°М
1992 года) и временной интервал между наблюдения! h^6 ЯНВаРя
запоминания календарных атрибутов переменной Z1 Месяц)'^я
функциональную клавишу (Тг]. "««ходимо нажать
1 — Параметры временного ррда
Началыюв значоинв:
День Месяц гЬд
b
Интороол;
ок.
1
OtnttW
Рис. 13.31. Окно задания параметров ряда
График ряда производства молока в России приведен на рис. 13.32.
(Порядок вывода данных на график описан в предыдущей задаче. В
данном случае в качестве типа графика был выбран не X-Y график, а
график временного ряда, а значения по оси ординат были прочитаны из
календарной структуры переменной milk, созданной выше.)
Производство нодока в России (тыс.тонн)
4559-f
445 ,
1990
1992 ШЗ 1996 1997
Рис. 13.32. График ряда производства молока
Выбор процедуры. Для вычисления оценок сезонной компоненты
Ряда следует в пункте меню Метод выбрать подпункт Предварительный »з
««нем процедуру Сезонная Компонента. При этом возникает диалоговое
но
но, приведенное на рис. 13.33. В нем указываем: период сезонности -
12месяцев, тип сезонной компоненты — мультипликативная или адди-
аддитивная, и форму вывода результатов. После заполнения всех параметров
и нажатия QJK] метод следует запустить на счет с помощью соответству-
соответствующего пункта меню или пиктограммы Щ панели управления пакета.
1= Сезонная Компонента
Дорирд Сезонности
Сезонная Компонента
|Муньт иппнкититщп
ОК
Выоостн
|Сеэонноп Компонент
Л
Рис. 13.33. Диалоговое окно процедуры Сезонной Компоненты
Порядок работы процедуры выделения сезонной компоненты в паке-
пакете Эвриста включает переход от мультипликативной модели к аддитив-
аддитивной, выделение тренда и циклической компоненты методом скользящих
средних, затем — вычисление сезонных оценок в аддитивной модели
и возврат к мультипликативной модели исходного ряда. Для удаления
тренда с помощью метода наименьших квадратов можно воспользовать-
воспользоваться процедурой Анализ тренда, разобранной выше, а потом применить к
ряду остатков процедуру оценки сезонной компоненты.
Результаты. На рис. 13.34 приведены оценки сезонных индексов
в процентах. По оси абсцисс приведены номера месяцев года (от 1 до
12), а по оси ординат значения сезонных индексов. Обратим внимание,
что полученные сезонные индексы немного отличаются от тех, что
приведены в таблице 13.3, так как для их вычисления использовались
разные модификации этого метода.
Сезонные индексы производства нолока (в проц.)
16В.2
139.4 :
110.6
01.В
53
1..Д0
п
Рис. 13.34. Сезонные индексы для ряда производства молока
436
для получения сезонно-выровненного ряда Слрп
.цедуры Сезонная компонента, изменив фор! Wr
жим «сезонность устранена». Результать "дачи
введены на графике (рис. 13.35). ' Р ты
Производство нолоко в России
3090
2545 f
2000 I
ЭТ°Й Процедуры
1455 ;
р„с.
13.35. График ряда производства ыояока после удаления сГо„11ОСт„
13.2.4. Подбор модели
авторегрессии и построение прогноза
Пример 13.Зк. Для ряда среднесуточного трафика (количества
переданных данных) компьютерного телекоммуникационного канала
Москва-Новосибирск сети RUNNet подберем и оценим модель авто-
авторегрессии, а затем осуществим прогноз на базе этой модели.
Подготовка данных. Пусть данные среднесуточного трафика за
10 последовательных недель находятся в переменной vaiO файла trafik.gnt.
(Различные способы загрузки данных в пакет Эвриста, их редактирова-
редактирование и вывод на график обсуждались в примере 13.1к.) График данных
трафика приведен на рис. 13.36.
122-F
Рис. 13.36. Среднесуточный трафик в Кбит/сек
Выбор процедуры. Визуальный анализ
предварительных расчетов показывают, что ряд
437
линейный тренд. (В этом можно убедиться проведя оценку тренда мето-
методом наименьших квадратов.) Устраним этот тренд с помощью простого
разностного оператора первого порядка. Для этого в пункте Предвари-
Предварительный анализ меню Метод выберем процедуру Разности. В диалоговом окне
этой процедуры (которое мы не приводим) следует указать единствен-
единственный параметр — порядок разности, то есть 1 для наших данных. Ряд
первых разностей запишем в переменную differ файла trafik и выберем
ее как рабочую для дальнейшего анализа. (Описание этих операций в
пакете Эвриста дано в примере 13.1 к.) Вид графика первых разностей
(рис. 13.37) позволяет заключить, что в полученном ряде отсутствует
тренд и его можно рассматривать как стационарный.
Первая раоность исходного рада
-30-Ц.
О 20 40 60 ВО
Рис. 13.37. Ряд первых разностей трафика в Кбит/сек
Подбор порядка модели авторегрессии. Для предварительного
подбора порядка модели авторегрессии построим выборочную частную
автокорреляционную функцию (ЧАКФ) ряда первых разностей и из-
изучим ее значения. Для этого в пункте АРСС Модели меню Метод выберем
процедуру Идентификация. Эта процедура осуществляет построение вы-
выборочных автокорреляционной и частной автокорреляционной функций
для указанного числа задержек (лагов). График полученной частной
автокорреляционной функции приведен на рис. 13.38.
Замечание. В пакете Эвриста график ЧАКФ (рис. 13.38) имеет следую-
следующие особенности: включение значения ЧАКФ для нулевой задержки (которое
по определению равно 1) для лучшего визуального восприятия графика и от-
отсутствие границ доверительных интервалов для ЧАКФ. Последнее неудобство
компенсируется наличием в пакете нескольких эффективных тестов для опре-
определения порядка АР-модели, о которых мы скажем чуть ниже.
^ Для предварительного выбора порядка АР-модели по ЧАКФ следует
найти такую задержку р, после которой все значения ЧАКФ по абсо-
абсолютной величине меньше 2/v/n, где п — размер временного ряда (это
правило объясняется далее в п. 14.3). Указанное значение р и может
рассматриваться как предварительный порядок АР-модели. В рассма-
438
-1
Рис. 13.38. Г^Ф"к устной авгокоррел„1Ш0НН0Йфункш1н
фиваемом примере размер исходного ряда равен 70 Г™
"мер ряда первых разностей п = 69. Таким образом 2/Т^Т
начение ЧАКФ для второй задержки явно превышает ItvlI "'
Есе ПОСледуюЩие значения ЧАКФ укладываются в у^~
Таким образом, в качестве предварительного порядка модели автГе"
1рессии можно рассматривать значение 2. v
Оценка коэффициентов модели. Для оценки коэффициентов
АРB) модели в пункте АРСС Модели меню Метод выбираем процедуру
/Р-Модель. В диалоговом окне этой процедуры (рис. 13.39) необходимо
указать один из четырех возможных алгоритмов оценки параметров мо-
мокли н режим выбора порядка модели. При надобности можно заказать
опенки некоторых дополнительных характеристик модели, например
спектральной плотности.
Ыотод Оцонкч"
[Бурга
йыОор АР-Порядка
[Вручнуи
Сценить.
CnpKifi(irii>»inn rinoTiincTti(MncrnTiiun
J Графические РоаультотЫ
Й Пирометры Модели
tvd
Рис. 13.39. Диалоговое окно процедуры оценки АР-Модели
Алгоритмы оценки параметров модели, ж п „g.
i №о разбить на две группы. К первой относятся методы »со^
%бина и Бурга. Они заключаются в решении системы уравнении
439
Юла-Уолкера (см. п. 14.3) с использованием рекурсии для оценки па-
параметров модели. Вторая группа алгоритмов представляет различные
модификации метода наименьших квадратов. Для получения более по-
подробной информации об особенностях этих методов пользователь может
обратиться в гипертекстовой статистический справочник пакета, нажав
кнопку I Help I в диалоговом окне (рис. 13.39).
Возможны два различных режима оценки порядка модели: автома-
автоматический и вручную. При выборе последнего режима пакет проводит
экспертную оценку порядка модели с помощью различных критериев
(Парзена, Акаике, Хеннана-Куина) и выдает их результаты в окно за-
задания порядка модели (рис. 13.40). В этом окне необходимо указать
выбранный вами порядок. Заметим, что различные статистические кри-
критерии подтвердили наш выбор, сделанный на базе изучения частной
автокорреляционной функции.
Задание АР Порядка
Оцененные АР-Лорядки"
Порэено
Аконкд (инф.)
Аканко
Хеннпн-Куин
г
г
2
2
АРПоря док будет
1
-Нф
Рис. 13.40. Окно задания порядка АР-Моделн
Результаты. Результаты выполнения процедуры (рис. 13.41) поме-
помещаются в специальное текстовое окно. Эти результаты включают зна-
значения оценок параметров модели и их статистические характеристики,
включая уровни значимости для гипотезы о равенстве коэффициентов
модели нулю, а также ряд других характеристик.
Нетод :Бурга
Переменная trofik.differ
Дисперсия АР-Щуна 62.2637271
(Дисперсия Щуиа ) / (Дисперсия Ряде) "О.66Э4763279
Параметр Оценка Станд.Ошибке Т-Эиачепие р-Эначение
АРA) - 0.2286382407 0.1107319867 2.066539613 О.О2126613282
АРB) - 0.3616942282 0.1107349687 3.266110942 О.ООО8 447498217
Сунна пв. Остатков 2202.3536
Хи-Квадрат Тест автокорреляции Остатков -5.14ОО72О66
с чмелон степеней сдоОоды - 6
Остатки есть Белый Щум с вероятностью не Оолее чен .5259776017
Рис. 13.41. Окно результатов оценки АР-Модели
440
Полученные результаты показывают
быть описан моделью: '
что
вых
Прогнозирование. Для использования построен» -
)ГН03„ровании будущего поведения ряда необходим. М°ДеЛИ ПР»
ную модель в специальный файл на диске Z ЗЗПИСать °ие-
па Сохранить модель в меню Результат. Пусть « Я ЭТОГо СлУЖит ко-
Jliafficmod. УСТЬ Назва1™ этого файла
' Выберем исходный ряд в качестве рабочей переменил (
Jl0fl процедуры дано в примере 13.1к). В меню Метод выбе ~*
дозирование, а в его подменю -. процедуру АРСС Прог.^ П
роговом окне этой процедуры (рис. 13.42) укажем СлГГо поо
кования, скажем 5, время начала прогноза и уровень довет Так
.кпрогноз осуществляется на базе модели ряда первых разноаёй' то
-т порядок разностей указана 1. Наконец в поле имени АРСС мод!
называем имя файла traffic.mod, в котором была сохранена подобранная
кодель для ряда первых разностей. v
Пропюаиропапмо по Al
Количество прогнозов
Ервмя нвчала прогноза
^рооонь доаврия
71
|р.9О
Порядок реэноствй
ЦНя АРСС модопн
|c\cvrifllp\dnta\traffic.fnod
Koianor APPC МодвлвП
Рнс. 13.42. Диалоговое окно процедуры прогнозирования АРСС модели
Результат работы процедуры в графическом виде показан на
рис. 13.43. Он показывает, что ожидается рост загрузки канала. Дове-
Доверительные интервалы прогноза довольно быстро расширяются, так как
версия белого шума в подобранной модели (см. рис. 13.43) доволь-
Е° велика. На рис. 13.44 приведено сравнение полученного прогноза
Актирная линия с отмеченными точками прогноза) с Р^ьными да
""»(сплошная линия) за две последующие недели. В целом подобное
^ество прогноза для телекоммуникационных каналов можно
Коалетворительным.
441
Временной Ряд и Прогнозы
-t
20
0 20 40 60 80
Рис. 13.43. Результаты процедуры прогнозирования АРСС модели
78
Рис. 13.44. Сравнение прогноза с реальными данными за две недели
Значение прогноза и его доверительные границы могут быть со-
сохранены в численном виде в отдельных переменных и просмотрены в
электронной таблице пакета.
Автоматизация расчетов. Разобранные примеры показывают, что
анализ и прогнозирование поведения временного ряда состоит из не-
нескольких этапов, включающих выполнение различных статистических
и сервисных процедур. В пакете Эвриста нет необходимости повторять
эти шаги каждый раз после пополнения ряда исходных данных. Прове-
Проведенное исследование можно оформить в виде «Статистического проек-
проекта», в котором сохраняется последовательность всех необходимых для
анализа процедур. Сформированный «Статистический проект» затем мо-
может быть выполнен полностью или частично для нового (пополненного)
временного ряда. При этом будут построены все необходимые графи-
графики, выполнены и оформлены результаты расчетов, сохранены подобран-
подобранные модели рядов и осуществлен прогноз. Процедура «Статистический
проект» особенно удобна для анализа экономических данных, которые
регулярно пополняются текущими наблюдениями.
442
Гл а
в а 14
°М"
Линейные модели
временных рядов
В этой главе мы более подробно рассмотрим некп™
Гые ранее математические модели для случайных комГ
Урядов. Это процессы авторегрессии, «^"
бинаиин. Эти модели называют линейными, так как
отношения для элементов временного ряда и случа
каютс„ с помощью линейных операций над J^SS
и умножения-деления на действительные числа. считания
В первой части этой главы мы подробно рассмотрим процессы ав-
1Орегрессии. Затем, уже более коротко, мы расскажем о процессах
скользящего среднего. И, наконец, бегло поговорим об их комбинациях
и обобщениях.
14.1. Авторегрессия
первого порядка ARA)
Рассмотрим процесс X(t), значения которого в момент времени t
формируется как комбинация значений этого процесса в предшествую-
предшествующий момент t — 1 и некоторой случайной составляющей etl независимой
от значения X(t — 1).
Процессы такого типа могут описывать как экономические, так и
технологические временные ряды. Мы предположим, что et — это
процесс белого шума, т.е. что в разные моменты t случайные величины
£t независимы и одинаково распределены, причем Met = 0,Det = ff-
Часто дополнительно предполагают, что et распределены по нормаль-
нормальному закону.
Определение. Случайный процесс X{t) называют процессом ав-
Щегрессии первого порядка (коротко AR(O), если для него вы-
млняется соотношение
Ф — некоторая константа.
443
С помощью соотношения A4.1) можно задать значение процесса
X(t) в любой момент времени t > t0 через значения процесса etl если
известна величина X(to) в момент to.
В дальнейшем мы будем рассматривать только стационарные процес-
процессы авторегрессии. Это условие накладывает определенные ограничения
на параметр ф. Они скоро выяснятся.
Числовые характеристики стационарного процесса авторегрессии.
Пусть
m = MX(t), bk = cov(X(t), X(t + к)), гк = con{X(t), X(t + к))..
Взяв математическое ожидание от обеих частей A4.1), получим, что
m = ф - т. Отсюда следует, что т = 0, если фф\. Взяв дисперсию от
обеих частей A4.1), получим, что DX{t) = ф2 • DX(t - 1) -f a2. Отсюда
следует (учитывая, что DX(t) = DX{t — 1)), что
\Ф\
Таким образом, для стационарного процесса ARA) получаем, что
\ф\ < 1 и для любых t и к
MX(t) = 0,' Ък = MX(t)X(t + к).
Похожим приемом можно вычислить Ък при к = 1,2, Чтобы
вычислить &i, умножим A4.1) на X{t — 1) и возьмем математическое
ожидание. Получаем, чтоМЛ"(£Щ£-1) = ф-МХ^-1J+МеьХ(г~1).
ТаккакЛ"(г-1) ие4 независимы, то MetX(t-l) = Met-MX{t-l) =0.
Поэтому by = фБХ^ - 1), т.е.
Ь\ = ф-
1~ф2'
Для вычисления Ь2 заметим, что, согласно A4.1) X(t - 1) = фХ{Ь-
2)+et_b а потому X(t) = ф-{фХ(Ь-2)+е1-1)+ег. Последнее равенство
умножим на X(t — 2) и возьмем математическое ожидание. Вычисляя,
как выше, найдем, что
1 — ф
Аналогичным образом вычисляем Ь3 (здесь соотношение A4.1) надо
применить дважды). Получаем, что Ь3 = Ф3^7- Действуя таким
образом и далее, найдем для любого к, что
, ,к а2
444
тих соотношений следует, что
г к = фк
ш0 °бРаз0М' авток°РРеляадонная фУнКцИя Ш\\ °4'2)
банально убывает с ростом лага Jfc. **"' процессов экспо-
1 На Рис- 14Л пРивеДены графики ARA) п
л белого шума а2 = 1 и различными значет!!^°°В ° АиспеР<*-
* 0.75; 0.25; -0.25; -0.75 (каждый rpCn?" ^ФФициента
н„м ряда). * ^кже вид выборочных автокорреля^ ^ ™™-
^окорреляционных функции. (Определение частГйавТо 4KWn
онной функции будет дано чуть ниже.) авт°корреляци-
Обратим внимание что чем ближе значение ф к едини,,.
«ояее гладко ведет себя траектория процесса Ш\) пп? ' Т6М
^серией белого шума. И наоборот, чем 6»^^™"° °
ецниФ. тем более изломанно (пилообразно) ведет себя траектооиГ'
Стационарный процесс авторегрессии первого порядка с ненулевым
средним /i определяется соотношением: . у
X(t) -1л = ф- (X(t-l)-fi) + Et. Ш)
Здесь MX(t) = /i.
Оценивание параметров процесса авторегрессни A4.3) по наблю-
книям траектории хг,ж2,... ,хп.
Учитывая стационарность процесса X(t), в качестве оценки ц можно
мять среднее по траектории: р, = х, где х = ± £)"=1 xt. Еще ранее для
^мы получили, что
Ф = П
Заменяя г\ его оценкой по траектории A1.17), получаем для ф оценку:
1 - TZ=i(xt-*)(xt+i-x)
Ф=Т1= я[**г ■
Наконец, уже известное соотношение DX{t) = ^qp позволяет
оценить и сг2. Для этого можно воспользоваться стандартной оценкой
дисперсии DX(t) стационарного процесса:
Отсюда
445
= 0.75
= 0.25
ф=-0.25
ф=-
0.5
-0.5
в)
t*bf
U u
0SU1SSS t ] 1 ) Ul!
-0.5
nsutsas о j i ? u
Рис. 14.1. Графики ARA) процессов и их выборочных автокорреляционных
и частных автокорреляционных функций для различных значений
коэффициента ф. а) график исходного ряда; б) график выборочной
автокорреляционной функции; в) график частной автокорреляционной функции
446
Авторегрессия
„торого порядка ARB)
Текущее значение процесса ARB) в
йная комбинация его значений в т*ьщ1 №»
' 2), и независимой от них случайной Г?н ? (*~1Ь
роцесс * будем считать белым Шумом. п ^ ^ Как и ^
б$лыией «памятью», чем процессы AR(l). АВД обладают
Определение. Случайный процесс X(t) назьш
егрессии второго порядка (коротко ARB)] T пр°цессом <*-
яется соотношение KU))' если **я X{t) вы.
где 0i « 02 — некоторые константы.
С помощью соотношения A4.4) значения X{t) можно определить в
,1Юбой момент t > to через посредство последовательности е, и значений
X[t) в моменты t0 и t0 - 1.
Условие стационарности. Так же, как это было для ARA), из
условия стационарности X(t) вытекает, что MX(t) = 0.
Условие стационарности накладывает также определенные ограни-
ограничения на параметры ф1, ф2. Ниже будет показано, что для стационар-
стационарного процесса ARB):
0i + 02 < 1, 0i - 02 > -1, 02 > -1. A4.5)
Ограничения A4.5) задают на плоскости @i, ф2) треугольную область.
Верно и обратное: если точка с координатами (ф^ ф2) попадает внутрь
этого треугольника, то с помощью A4.4) можно задать стационарный
процесс ARB) с параметрами @Ь ф2).
Числовые характеристики и их оценки. Уравнения Юла-
Уолкера. Пусть bk = cov(X{t), X(t - к)). Для стационарного про-
процесса ARB) с нулевым средним bk = MX[t)X[t - к) для любого t. С
использованием A4.4) для &i выводим соотношения
h = MX(t)X(t -1) = MX(t - 1) ■ (faX(t -1) + №(* ~ 2) + e<) =
кисляя cov(X(i), X{t - 2)), таким же образом получим, что
Ь2 = фХЬ\ + 02^0-
447
Для автокорреляционной функции rk - JJ- эти равенства дают
г\=ф\ + Ф2Т1
Г2 = ф1г1+ф2 A4.6)
Соотношения A4.6) называют уравнениями Юла-Уолкера. Они
связывают параметры процесса ARB) со значениями его автокорреля-
автокорреляционной функции:
П - г\г2 , г2 - г2
Фг = -JZT^-' * = TTTf A4.7)
Аналогичным путем для произвольного целого к получаем соот-
соотношение:
rfc = 01U—1 + ф2Гк-2- A4.8)
Рассмотрим это соотношение как уравнение, и найдем все последо-
последовательности, скажем ик, которые ему удовлетворяют. Решения урав-
уравнения A4.8) связаны с корнями квадратного уравнения (его называют
характеристическим)
\2 = ф1.Х + ф2. A4.9)
Пусть Аь Аг — корни A4.9), которые сейчас предположим раз-
различными. Случай Ai = A2 рассмотрим позже. Легко проверить, что
последовательности ик = Aj, и^. = А£ удовлетворяют A4.8). Более того,
нетрудно доказать, что любое решение A4.8) является их линейной
комбинацией, т.е. любое решение A4.8) имеет вид:
ик = ftiAf + a2Aj, A4.10)
где ai, п2 — произвольные числа.
Теперь рассмотрим случай, когда уравнение A4.9) имеет кратный
корень А = Ai = A2. Легко проверить, что в этом случае линейно-
независимыми решениями A4.8) служат последовательности и* = А* и
ик = /гА*. Поэтому общее решение A4.8) в случае кратного корня
A4.9) имеет вид
ик = а1\к + а2к\к-\ A4.11)
Заметим, что последовательности A4.10) и A4.11) неограниченно
возрастают с ростом к, если хотя бы одно из чисел |Ai|, |A2| превосходит
1. Поскольку гк — коэффициент корреляции, и не может превосходить
по модулю 1, необходимо, чтобы |Ai| ^ 1, |А2| ^ 1. Более аккуратны»
анализ показывает, что если X(t) — стационарная последовательность,
не являющаяся постоянной, то
М<1, ч |А2|<1. A4.12)
448
* УСЛОВНе -■ не только необходимое
т), „о и достаточное: если
Опр коэффициентов аь а2. ЛЬН0 "Убрать значеНИ„
Начнем со случая, когда корни Аь А2 - пейг
0 этом случае надо взять такие действительные ииТ^" ЧИСЛа-
выполнялись соотношения (см. A4.6)) °1'°2. чтобы
при таком выборе аи а2 формулы A4.10), A4 п) пяш,
i для г, при любом к = 0,1,2,.... и4Л1) дают ««Ное выраже-
Кор„„ уравнения A4.9) могут быть и комплексными (комплексно
„пряженными) числами. В-этомслучае надо дополнительно позаботГ
ся о том, чтобы формула A4.10) при всяком к определяла бы действ»
тельное значение для автокорреляции гь к = 0,1,.... Для ЭТОго числа
о,, аг следует взять тоже комплексными и сопряженными. При таком
выборе выражение A4.10) преобразуется так, что в нем участвуют толь-
только действительные числа и действительные функции переменного к:
ик = а • bk s\nBirkf + w). A4.14)
Действительные числа Ь и / определяются значениями Аь А2. Роль
неопределенных параметров в A4.14), которые надо подбирать, играют
он w. Для того, чтобы получить окончательную формулу для rjt, их надо
зыбрать с помощью условия A4.13). Видно, что формула A4.14) зада-
задает экспоненциально затухающую синусоиду. Условие стационарности
A4.12) можно выписать в явном виде через значения коэффициентов
h и <}>2 ARB) процесса. Для этого надо записать значения А: и Аг
в виде корней квадратного уравнения A4.9) через ф\ и fc- Решение
получаемых таким образом неравенств приводит к указанным в A4.5)
условиям для ф\ и ф2.
Определение. Процесс авторегрессии второго порядка с нену-
№ым средним pi определяют соотношением
x{t) -11 = ф1. (x(t-1) -ri+& • (x(t-2) -ri+ft
Ьсь MX{t) = ц.
Оценивание параметров процесса ARB) по наблюденной траек-
10Р"« *1.*Я|... ,*п. Учитывая стационарность рассштриваемого про
Цесса, в качестве оценки \i можно взять /г = а;, где ж „ Ъх-\
.. 449
'5
Оценки 0i и ф2 можно получить из A4.7), заменяя истинные зна-
значения Г1, Г2 их выборочными оценками ?д, г^:
- Гд - Г1Г2 ? ^2 -Гд
Для оценки дисперсии белого шума сг2 может быть использована
остаточная сумма квадратов S, а именно:
"г I2
5(Д, <£ь &) = X! [fr* ~ А) * ^ (rCt~1 ~ А) - 02 (а*-2 - A)J- A4.15)
t=3
Откуда получаем:
а2 = —Ц-5(А, 01, Фг) A4.16)
те — о
где значение знаменателя (п - 5) в A4.16) получено уменьшением ис-
исходного числа слагаемых п - 2 в A4.15) на 3, за счет оценки параметров
/Z, 01 И 02-
14.3. Авторегрессия порядка р — AR(p)
Выше для простейших моделей авторегрессии были довольно по-
подробно выведены и разобраны их свойства. В этом пункте мы приведем
без доказательства сводку основных результатов, касающихся AR(p)
процессов.
Определение. Случайный процесс X(t) со средним значением \l
называется процессом авторегрессии порядка р или кратко AR(p),
если для него выполняется соотношение:
р)-р)+еь A4.17)
Поведение автокорреляционной функции AR(p) процесса. По
аналогии с тем, как мы поступали с ARB) процессом, рассмотрим
корреляцию между X(t) и X(t - k). Получаем:
7*fc = Ф\Тк-\ + 027Ъ_2 + ■ • • + ФрГк-р, fc> 0. A4.18)
Укажем общее решение уравнения A4.18) относительно г^. Оно
задается с помощью корней характеристического уравнения:
Пусть Ai,...,Ap — корни этого уравнения, которые мы предполагаем
различными. Так же, как и в случае ARB) процесса общее решение
450
^бования стационарности AR(p) nDonp/" ^
с1учае
I
з ^ стационарности AR(p) рцесса ^^
il рассмотрим возможное поведение автокоРреля1Шп .
1учае несовпадающих корней А*. При этом boL^^J4^ в
Корень Хг вещественный. При этом член a-А* , ^^
затухает с ростом к. 1 { эксп°ненциально
0 Пара корней A», Xj — комплексно-соппяженни,*
1 слуЧае ARB), они вносят в гк слагаемь^иГа S' и « '\°
которые являются экспоненциально затухаЮ1ц„ми cSJ^'
Таким образом, в общем случае автокорреляционная функция стЯ
унарного AR процесса является суммой затухающих экспонеГн '
доаюших синусоидальных волн. da"
Оценка коэффициентов АЩр) процесса. Рассмотрим выражение
.A4.18) для значении к = 1,2,...,р. При этом мы получим систему
)?авнений Юла-Уолкера (аналогичную A4.6) для ARB) процесса).
' Ф
Ф2П Hрр;
Г 2 = <f>iri-\-(jJ + ---+ фрГр-2]
Решая эту систему относительно неизвестных значений параметров
01|&»--->0р и подставляя вместо неизвестных значений 7*1,^,...,^
йоценки Г1,Г2,...,Гр по наблюденному временному ряду, получаем
:скомые оценки коэффициентов AR(p) модели.
Частная автокорреляционная функция (ЧАКФ). ЧАКФ полезна,
игда по наблюденному отрезку временного ряда мы пытаемся подо-
подоить для его описания подходящую ARMA-модель. Подобно автокорре-
ишонной функции, ЧАКФ определяется для каждого натурального к и
уставляет собой бесконечную последовательность. Ее элементы мы
^значим через фкк, /с = 1,2,.... Определение ЧАКФ и ее значении
>а тесно связано с AR(p) моделями. .
ft Дадим определение <£рр для произвольного р. Систему уравнении
Ролкера A4.19) можно формально рассмотреть как систему _
** связывающих неизвестные Л...-Л со значениями авто до
1,.... гр. Эта система - линейная; при заданных п,.. •, Р
451
легко может быть решена численно. Пусть 0ip, ф2р, -.., фрр — реШе,
ние системы A4.19). Из этого набора чисел нам нужно всего одно
число, а именно фрр. По определению, мы полагаем фрр значением
ЧАКФ при к = р.
С уравнениями Юла-Уолкера и их решениями для р = 1, 2 мы уЖе
встречались в п. 14.1 и 14.2. По результатам этих разделов мы можем
найти фкк при к = 1, 2:
011 = п. 022 = 1_Г2- A4.20)
Формальное определение ЧАКФ дано. Посмотрим, каковы ее
свойства. Рассмотрим для примера стационарный процесс авторе-
авторегрессии первого порядка A4.1). Согласно A4.2), в этом случае
Г1 = 0) Г2 = 02,..., причем |0| < 1. По определению ЧАКФ, здесь
0п = 0- Чтобы найти 022, надо рассмотреть систему Юла-Уолкера
A4.19) при р = 2 и ее решение 012, 022- С учетом A4.2), получаем,
что 012, 022 удовлетворяют условиям
0 = 012 4" 022 '0, Ф2 ~ 012 • 0 + 022-
Умножим первое уравнение на 0 и вычтем из второго. Получим, что
022 • 02 = 022. Так как |0| < 1, то это равенство возможно лишь при
022 = 0. Подобным способом находим, что для AR(l)
фкк = 0 для всякого к ^ 2. A4.21)
Обратно, если выполняется A4.21), то процесс является процессом
авторегрессии первого порядка.
Свойства. Приведем без доказательства некоторые свойства част-
частной автокорреляционной функции.
1. Для любого к \фкк\ < 1-
2. При к —* оо имеет место фкк —* 0.
3. Если рассматриваемый стационарный процесс является AR(p)
процессом, то все 0^- = 0 при к > р.
Оценивание ЧАКФ. Для того, чтобы получить оценки фкк по ре-
реализации xit...txn, следует для каждого к решить соответствующую
систему уравнений Юла-Уолкера A4.19), в которой значения автокорре-
автокорреляционной функции заменены их выборочными оценками п,...,rjt. На
практике в статистических пакетах для вычисления оценок фкк исполь-
используется специальные рекурсивные процедуры (см. [68]), позволяющие
быстро осуществить вычисления оценок. Мы не будем подробнее оста-
останавливаться на этом вопросе. Последовательность оценок фкк называют
выборочной частной автокорреляционной функцией.
452
укажем некоторые статистические свойства
iI( что они построены по реализации AR(p)
1 A4.21)
Указанные аппроксимации справедливы, если fe MHn
„еализзииип. Это свойство оценок позволяет испо^ М6НЬШе м"т
астную автокорреляционную функцию для подбора поГ ВЫб°Р°ЧНую
оцесса авторегрессии. дии'га П0Рядка р модели
Подбор порядка р модели АН(р) процесса. Правило пп
„„тельного выбора порядка модели AR(P) процесса с ГГ РВДМ"
Прочной частной автокорреляционной фу'нкГ ^ГГГГ
честве предварительного порядка модели AR(p) можно рассмат*Кта*
такое число р, начиная с которого все последующие оценки выборочно»
частной автокорреляционной функции отклоняются от нуля не боле"
чем на ±2/ч/п- То есть
\фкк\ < Vvn, для всех к>р.
Окончательный подбор порядка модели AR(p) процесса связан со ста-
статистической значимостью полученных коэффициентов модели и деталь-
детальным изучением поведения остатков, получаемых вычитанием из исход-
исходного ряда xi,...,xn значений подобранной AR(p) модели х,-. Пусть
fa,...t<j>p — оценки коэффициентов подобранной модели. Для удобства
записи формул обозначим первые р значений реализации xit...,xn
через xi,...,хр. Тогда подобранное значение AR(p) с номером р +1
можно записать в виде:
жр+1 = Ф^р + ^р-1 +''' + ФрЪ A4-22)
Подобранное значение с номером р + 2 имеет вид:
•тр+2 = ФхХр+i + №Р + -- + ФрЪ A4-23)
где значение хр+1 в A4.23) вычислено с помощью A4.22). Продолжая
этот итеративный процесс, можно получить все значения х{ при г
Р+1.....П, а также спрогнозировать дальнейшее поведение процесса
ю есть вычислить значения ^зд и т.д. Если полученные о тпки
^ Для г = р+1,..., п ведут себя как белый шум, то проц с одбо
«одели можно считать завершенным. В противном «Ч^2Е
вменить порядок подбираемой модели или перейти к оол
комбинированным моделям авторегрессии-скользяшего среднего.
453
14.4. Процессы скользящего
среднего MA(q)
Аббревиатура МА в заголовке образована от английского названия
этих процессов: moving average. Данное сокращение стандартно ис-
используется для этих процессов в литературе и статистических пакетах
Начнем с примера. Пусть, как и ранее, еь обозначает процесс
белого шума, Меь = 0, Det = о2. Белый шум et можно понимать как в
широком, так и в узком смысле. Соответственно в широком либо узком
смысле окажутся стационарными далее вводимые случайные процессы
X{t). Рассмотрим временной ряд, заданный соотношением
et + £t-i A4.24)
Очевидно, что X(t) — стационарный процесс, причем MX{t) =
О, DX(t) = 2а2. Ясно, что траектории X(t) будут более гладкими,
чем траектории белого шума et, так как корреляция между соседними
членами процесса X(t) положительна:
Корреляция между более удаленными членами при этом равна 0:
соггрВД, X[t + А;)) = 0 для \к\ ^ 2.
Процесс A4.24) — простой пример процессов скользящего среднего.
Дадим общее определение этих процессов.
Определение. Случайный процесс X(t) называется процессом
скользящего среднего порядка q (кратко MA(q)), если для него
выполняется соотношение:
X{t) = et + Btft-i + ... eqet-g. A4.25)
Свойства. Очевидно, что MA(q) A4.25) — стационарный случай-
случайный процесс,
MX(t) = 0, DX(t) = <т2A + б2 + ■ • • + в2).
Используя A4.25), нетрудно подсчитать, что для |&| ^ q
cov{X{t), X(t + k)) = G2{6k + eiOk+1 + •-■ + eq_keq), A4.26)
и что для \k\ > q выполняется cov(X(t), X(t + k)) = 0. Из этого
последнего свойства следует, что автокорреляция rk обращается в нуль
вне некоторого конечного участка:
rk = 0 для |fc| > q.
Это свойство автокорреляции хорошо различимо на ее графике.
Оно позволяет уверенно различать процессы скользящего среднего,
454
основываясь на графике выборочной aB
если наблюдаемая траектория процесса j^""** «^и rfc
К сожалению, оценивание коэффиц * °™° Вел™а.
даемому участку траектории - ДОВОльно НТОВ */ в A4.25) По Наблю.
вЫчислительном отношении задача. Ниже ГТ * Теоретиче<*ом и
можных ее решении. К сожалению, при это, п аеМ одно из *оз-
к несколько более сложным математическим РИХОДИТСЯ обращаться
дились до сих пор. средствам, чем мы обхо-
Оценивание неизвестных параметров 0, д
среднего MA(q) по наблюденному отрезку его'тоа™т ПР°ЦеССа скользящего
ведено по методу наименьших квадратов Этот Г™ Р"" М0Жет бь|ть пРо-
обработке независимых наблюдений, например в IILT* Х°Р-°Ш0 знаком по
для статистических наблгодений, связанных взаимнойMD ЛИнеинон Регрессии,
являются временные ряды, метод наименьших квадратов ппиТп"'10'КаК0ВЫМИ
в соответственно измененном и обобщенном виде риходится применять
АA)
оотв бобщенном ви
Рассмотрим сначала схему МАA). Пусть 0
веСТный параметр. Пусть ХA), ^ОД
ряда. Рассмотрим эту совокупность
ие A4.26) позволяет немедленно ^ш^^^Х^Г
Обозначив ее через Д = Д@). находим что К0ВаРиации "ого вектора.
/1+в2 во ..00
д= в 1+е* в о ... о о
V о оо ... в 1+в7)
(Матрица Д — квадратная матрица размера тг х п; элементы ее главной диа-
диагонали равны 1 + в2; элементы диагоналей, примыкающих к главной сверху и
снизу равны в; прочие элементы матрицы Д равны 0.)
Пусть xi,..., хп суть наблюденные значения упомянутых Х[1),..., Х(п).
Обозначим через Z их совокупность, записанную в виде вектора столбца
По этому вектору Z нам необходимо сделать вывод о том, каково истин-
истинное значение в в формуле A4.25), с помощью которой отрезок белого шума
fo,Ei,...,en перешел в Z.
Метод наименьших квадратов, относящийся к взаимно зависимым случай-
случайным величинам, в данном случае состоит в выборе в качестве оценки неизвест-
неизвестного в такого числа в, которое доставляет минимальное значение квадратичной
формы ZT\b(e))-YZ:
<14'27)
Здесь [д(в)]-1 обозначает матрицу, обратную по отношению к m^ Явные
выражения для элементов матрицы [А(в)Г1 указать >»™£^'%£
«приведут нас к аналитическому решению полученной экстремальной зад
Указанная задача на минимум решается численно, когда известен вектоп
Z С^тистичаеЯсК^ пакеты, предназначенные для анализа временных ряд^
правило содержат для этого специальные программы. ^
Можно указать несколько более явные формулы для оценивания 0, ^
ввести некоторые упрощающие предположения. Эти упрощения мало Вл„
ют на конечный результат (на количественное значение оценки), когда чиЗ,
наблюдений п не слишком мало. Рассмотрим сначала случаи |в|< 1. щ^
ложимТ что so = 0. При этом предположении временной ряд X(t). задаваем^,
соотношением A4.25). не является стационарным. Однако распределение его
элементов X(t) с ростом t быстро сближается с распределением для стацио.
нарного ряда МАО). Это и обеспечивает количественную близость той оценки
которая сейчас будет выведена, с уже упомянутой оценкой 0.
В случае ео = 0 вектор X = (ХA), Х{2),.... X(п)) , удовлетворяющий
A4.25), получается из вектора (еь ег, • • - ,£п)т с помощью линейного преобра-
преобразования с матрицей, скажем
= А(в) =
/1
в
0
о
1
в
о
о
1
о
о
о
ON
0
0
о в \)
(Матрица А — квадратная матрица размера п х п; ее элементы на главной
диагонали равны 1; элементы диагонали, снизу примыкающей к главной равны
в; прочие элементы матрицы А равны 0.) С помощью матрицы А можно
записать, что X = Ае и что матрица ковариаций X равна АЛЛ
Применяя к Z = (si,... ,хп)т упомянутый обобщенный метод наименьших
квадратов, приходим к следующей задаче
[А(в)Ат(в)]
mm
о
A4.28)
В данном случае (ААТ) 1 = (Ат) гА 1, ибо А — квадратная матрица;
обратную к ней мы обозначили как А~1. Поэтому решение A4.28) совпадаете
решением более простой экстремальной задачи
Явное выражение для
mm.
о
легко указать:
A4.29)
1
-в
в2
0
1
в
0
о
1
... О О
... О О
... О О
... -в \)
Поэтому A4.29) можно записать более явно, как
п- вхп-х
456
решение этой последней задачи тэкжр и
„ыня методами. акже может быть найдено ^
Для \в\ > 1 можно провести аналогично, .п К° ЧИСЛен"
положить еп = 0 и явно выразить еп^ е упРОи*ениеA4.27) п_я „
Мы ие будем проводить этих выкладок а-а"">с».«» через ^гЯ9*>гонадо
Без принципиальных изменений указанный г, ' n~l""»a:i-
квалратов можно применять к процессу МАЫ Обобщенн
лЛя их обсуждения. w СХемы MA(q), но здесь не че„0
14.5. Комбинированные процессы
авторегрессии-скользящего
среднего ARMA(p,
Происхождение аббревиатуры ARMA очевидно: она соединяет со-
сокращения AR и МА. нам уже известные. Числа Р „ q указывают
порядок процесса. v q УказЫвают
Определение. Случайный процесс X(t) называется процессом
авторегрессии-скользящего среднего порядков р и q соответственно
(кратко ARMA(p, q)), если для него выполняется соотношение:
р я
Х№ = 2J ф{Х^ ~ *)+ ^ + E^^-i' A4-3°)
где et — процесс белого шума, Met = 0, Det = о2
В согласии с параграфом 14.3, процесс A4.30) может быть стацио-
стационарным, только если все корни характеристического многочлена
по абсолютному значению меньше единицы.
Формулы, выражающие автоковариацию и автокорреляцию стацио-
стационарного случайного процесса A4.30) через коэффициенты Фи..->ФР и
*!,...,ft,, выглядят сложно и мы их не приводим. Скажем только, что
q автокорреляция rk процесса A4.30) удовлетворяет тем же
ям Юла-Уолкера, что уже были получены для процесса АВДр/.
Аля /с > процесса A430) удовлетворяет тем же
Уравнениям Юла-Уолкера, что уже
fr_f Для всех k>q-
t=i
457
Поэтому при больших А; автокорреляция г* процесса ARMA(p, q) при,
обретает такую же форму, как и у процесса AR(p).
Оценивание. Прежде чем приступить к оцениванию параметров в
A4.30) по наблюдаемому участку траектории X, надо прежде выбрать
порядок (a q) модели ARMA(p, q). Для такого выбора редко когда есть
теоретические основания. Обычно решение принимают, руководствуясь
формой выборочной автокорреляционной функции гк, выборочной част-
частной автокорреляционной функцией фкк и естественным стремлением
иметь модель наиболее простого вида.
Но даже после выбора порядка модели оценивание коэффициентов
фх,...,фр, 01,... вд представляет сложную задачу. По счастью, многие
статистические пакеты прикладных программ содержат алгоритмы для
ее решения. Мы не будем касаться подробностей.
Заметим, что задача оценивания не всегда разрешима. Рассмотрим,
например, процесс ARMAA, 1), где
X(t) - фХ{Ь - 1) = et + 6et-i.
Здесь, если ф = -в, решением X(t) служит et, и значения ф и в не
оказывают на процесс X(t) никакого влияния. Поэтому они и не могут
быть определены по траектории.
14.6. Линейные модели
и операторы сдвига
Короткие формулы для записи перечисленных ранее линейных мо-
моделей и их обобщений можно получить, если ввести так называемый
оператор сдвига. Точнее — оператор сдвига назад, который мы обозна-
обозначим через В. Этот оператор действует на множестве последователь-
последовательностей конечных или бесконечных. Проще всего определить его для
бесконечных в обе стороны последовательностей. Пусть u, v — две
такие последовательности:
v =
^ Мы скажем, что v = Bu (последовательность v получена из и путем
действия на и оператором Б), если vt = щ^ для всякого целого L
Тем же соотношением можно определить, как оператор В действует на
последовательность и = (щ, и2,... ,ип,...) или на конечную последо-
последовательность и = (ul7u2i...,uN). При этом оператор В применяется
458
всем элементам, за исключением первого ,
определено. В частности, »*<**> так Как ЗНачение ^ ^
Следует помнить, что после каждого действм
нечНую последовательность число ее членов уМеТ °ПераТ0ра В ™ ко-
МоЖно определить и степени оператора £ТнТ^ На единииу.
в2" = В{В[и)). ' ЭПРИМеР|
Это означает, что если v = B\ то для всяк
Можно говорить и об операторах. представляГщих'Гой' Ч = ^
от В. Пусть wuwx с°бои многочлены
^(^) = ао + а1В + а^2 , _ , _ _
По определению, v = P(B)u, если:
С помощью оператора В и многочленов от В процессы AR МА
„ AIWV можно определить короткими и выразительными формула
7 I^{-ъ xi'Tnnxi^ " процесс
А = (..., АС г),Х{ Ч.А^ХЩ,...)-один из упомянутых про-
процессов. Тогда определяющее AR(p) соотношение A4.17) можно пред-
представить в виде
Р(В)Х = е, где Р(В) = 1-ф1В -ф2В2 фр&.
Соотношение A4.25), определяющее процесс скользящего среднего
MA(q), теперь выглядит так
X = Q{B)e, где Q{B) = \ + BiB + — + e4B*.
Наконец, для процесса ARMA(p, q) определяющее соотношение
A4.30) есть
Р(В)Х = Q{B)e.
Оператор В позволяет коротко выражать и некоторые другие пре-
преобразования, совершаемые над временными рядами. Например, с помо-
помощью В можно записать переход от последовательности к ее первым раз-
разностям или разностям более высоких порядков. Первыми разностями по-
последовательности и называют последовательностью, если vt =щ-щ-1-
С помощью оператора В этот переход от и к v выглядит так:
V = (l-B)u,
^итая, что в этой формуле 1 обозначает оператор, оставляющий после-
последовательность неизменной (тождественный оператор). 1« «.
459
Переход от и к последовательности вторых разностей, скажем, г,
определяют как переход от и к v = A — В)и и затем как переход от v к
z = A - B)v. Ясно, что конечный результат можно записать как
z = A -
Таким же образом переход к разностям произвольного порядка г
можно записать как A — В)ги.
В главе 12 мы упоминали о том, что для временных рядов переход от
наблюдений к разностям первого или более высокого порядков иногда
практикуют, чтобы удалить тренд.
Перечисленные выше операторы иногда применяют одновременно
для выражения более сложных моделей. Таковы, например, модели
ARIMA(p, г, q) (сокращение от английского названия autoregression
integrated moving average) порядков р, г, д. Определяющее эти процессы
соотношение таково:
P(B)(l-B)rX = Q(B)e. A4.31)
Многочлены Р(В) степени р и Q(B) степени д были введены выше.
Если случайный процесс X, удовлетворяющий A4.31), стационарен,
то корни характеристического многочлена
А" - aiA* ap_!A - ар = О
по абсолютному значению не превосходят 1. И обратно: при этом
условии существует стационарное решение для A4.31).
[лава 15
Многомерный анализ и ДРУгие
статистические методы
15.1- Введение
Арсенал методов анализа данных, предлагаемых современной
емкой, разумеется, далеко не ограничивается тем
предыдущих главах этой книги. Так, за рамками pz
широко используемые на практике методы многомен„010 статис
го анализа (т.е. анализа многомерных статистических данных)
всевозможные специализированные статистические методы предназГ
ченные для анализа специфических данных в конкретных предметных
областях. В настоящей главе мы дадим очень краткий обзор таких
методов, выбрав из них наиболее широко используемые и включенные
в статистические пакеты для ЭВМ.
Замечание для профессиональных математиков и статистиков. Цель
этой главы — всего лишь дать знакомящимся со статистикой читателям самое
общее представление о назначении некоторых из тех областей статистики,
которые не были затронуты в этой книге, а также указать список книг для
ильиейшего чтения. Поэтому просим быть снисходительными к упрощениям
и неточностям, неизбежным при описании сути сложных научных проблем в
двух-трех абзацах.
15.2. Многомерный
статистический анализ
В предыдущих главах книги мы обсуждали, в основном, такие про-
проблемы, в которых случайная изменчивость была представлена одной
(случайной) переменной. Например, у каждого наудачу выбранного
объекта мы измеряли какой-то один признак; либо при каждой комои-
вации управляющих факторов измеряли одномерный отклик, и т.д.
мочение составила глава 9, в которой мы рассматривали в0ПР?с^вяз"
*УХ (случайных) признаков. Там мы встретились с «^«^TJ
°зном эксперименте — например, при обследовании одно ^^т_
«меряются сразу несколько характеристик. В таких on
бдение представляется не одним-единственным ^^Д*
вечным набором чисел, в котором в заданном порядке записа
461
измеренные характеристики объекта. Та часть математической стати-
статистики, которая исследует эксперименты с такими многомерными наблю-
наблюдениями, называется многомерным статистическим анализом.
Измерение сразу нескольких признаков (свойств объектов) в одном
эксперименте, в общем, более естественно, чем измерение лишь какого-
то одного. Поэтому потенциально многомерный статистический анализ
имеет обширное поле для применений. К тому же, с формальной точки
зрения, одномерный статистический анализ (который мы и обсуждали
ранее) представляет частный случай многомерного.
В настоящее время хорошо разработана математическая теория для
многомерных гауссовских наблюдений, т.е. для случайных величин,
подчиняющихся многомерному нормальному распределению. Здесь по-
почти для каждого одномерного гауссовского метода существует соот-
соответствующий многомерный вариант. Кроме того, имеются решения и
для некоторых специфически многомерных статистических проблем. О
многомерном гауссовском статистическом анализе написаны книги, из
которых мы особо отметим [4] и [7]. Этому вопросу обычно отводится
место и в учебниках общего назначения.
К сожалению, построение теории для многомерных статистических
данных оказалось делом весьма трудным. Такая теория до сих пор
еще далеко не достигает той полноты и законченности, которая свой-
свойственна ее одномерной версии. Хорошо разработана лишь теория для
гауссовских (имеющих многомерное нормальное распределение) дан-
данных. Здесь почти для каждого одномерного гауссовского статистическо-
статистического метода имеется соответствующий многомерный вариант. Кроме того,
естественно, имеются и методы для решения некоторых специфически
многомерных задач.
Построение многомерных версий для других статистических мето-
методов удается далеко не так гладко. В частности, непараметрические
методы, такие важные и эффективные в одномерном случае, все еще
не имеют своего законченного многомерного аналога (соответствующая
теория находится в процессе разработки). Поэтому для аккуратно-
аккуратного статистического анализа имеющихся данных нередко не находится
адекватных статистических средств. Из-за этого, в частности, рассчи-
рассчитанные на гауссовские данные правила нередко приходится применять
и там, где для этого нет достаточных оснований. Конечные выводы
в таких случаях бывает нелегко интерпретировать. Более того, при
анализе многомерных данных" часто используют и методы, вообще не
имеющие четкой статистической трактовки в духе рассмотренных ранее
концепций проверки гипотез, построения доверительных интервалов и
т.д. Поэтому мы не будем пытаться изложить здесь хоть сколько-нибудь
462
и
тех,
>ное
картину многомерного анализа а
атки» пояснениями нескольких наиболее попул,
к%ые уже нашли отражение в статистик
Жжение этих и других методов можно найт„"п щ ^
15-3. Факторный анализ
При исследовании сложных объектов и систем (
10ГИЙ, биологии, социологии т.д.), часто мы не мож!?"^1 в ПсИхо"
„змерить величины, определяющие свойства этих ^НеПЧеДСТВенно
вземые факторы), а иногда нам не известны дажРТ** (тЗК назы"
1еЛьный смысл факторов. Для измерений могут быт! Т " С°ДерЖа-
величины, тем или иным способом зависящие от этих л™ "НЫе
зтом, когда влияние неизвестного фактора проявляется в'н?!^
меряемых признаках, эти признаки могут обнаруживать теснГсГь
„ежду собой (например, коррелированность), поэтому общее ч,с!о 2
торов может быть гораздо меньше, чем число измеряемых перемен!™
которое обычно выбирается исследователем в той или иной мере поо
„звольно. Для обнаружения влияющих на измеряемые переменные
факторов используются методы факторного анализа1.
В качестве примера применения факторного анализа приведем изучение
свойств личности с помощью психологических тестов. Свойства личности не '
поддаются прямому измерению, о них можно судить только на основании поведе-
поведения человека, ответа на те или иные вопросы и т.д. Для объяснения результатов
проведенных опытов их результаты подвергаются факторному анализу, который
и позволяет выявить те личностные свойства, которые оказывали влияние на
поведение испытуемых в проведенных опытах.
Первым этапом факторного анализа, как правило, является выбор
новых признаков, которые являются линейными комбинациями прежних
н «вбирают» в себя большую часть общей изменчивости наблюдаемых
шных, а поэтому передают большую часть информации, заключенной
в первоначальных наблюдениях. Обычно это осуществляют с помощью
тода главных компонент, хотя иногда используют и другие при-
приемы (скажем, метод максимального правдоподобия). Метод главных
Обратите внимание, что факторный анализ - это метод совсем другого назначения
««одно, двух- и многофакторный анализ, которые рассматривались намигяаш
Вошфакторном, двухфакторном и т.д. анализе (ло-англиишt^Ж
«* Analysis of Variance) влияюшие на результат факторы «"" J3 еС ,
*ьи*г только о выяснении существенности или оценке этого »"* J х
*■* (по-английски: Factor Analysis) речь идет о выдерни из ыножества Р
и№теристик объекта новых факторов, более адекватно
компонент по существу сводится к выбору новой ортогональной систе-
системы координат в пространстве наблюдении. В качестве первой главной
компоненты избирают направление, вдоль которого массив наблюдений
имеет наибольший разброс, выбор каждой последующей главной компо-
компоненты происходит так, чтобы разброс наблюдении вдоль нее был мак-
максимальным и чтобы эта главная компонента была ортогональна другим
главным компонентам, выбранным прежде.
Однако обычно факторы, полученные методом главных компонент,
не поддаются достаточно наглядной интерпретации. Поэтому следу-
следующим шагом факторного анализа служит преобразование (вращение)
факторов таким образом, чтобы облегчить их интерпретацию.
Более подробно о методах факторного анализа можно прочесть в
книгах [8], [791 [86].
15.4. Дискриминантами анализ
Предположим, что мы имеем совокупность объектов, разбитую на
несколько групп (т.е. для каждого объекта мы можем сказать, к какой
группе он относится). Пусть для каждого объекта имеются изменения
нескольких количественных характеристик. Мы хотим найти способ,
как на основании этих характеристик можно узнать группу, к которой
принадлежит объект. Это позволит нам для новых объектов из той же
совокупности предсказывать группы, к которой они относятся.
Например, исследуемыми объектами могут быть пациенты — здоровые или
больные той или иной болезнью, а характеристиками — результаты медицин-
медицинских анализов. Если мы научимся по этим характеристикам узнавать, здоров ли
пациент, либо болен той или иной болезнью, это позволит значительно повысить
эффективность медицинских обследований.
Для решения этой задачи применяются методы дискриминантного
анализа, они позволяют строить функции измеряемых характеристик,
значения которых и объясняют разбиение объектов на группы. Же-
Желательно, чтобы этих функций (дискриминирующих признаков) было
немного — в этом случае результаты анализа легче содержательно ис-
истолковать. Особую роль, благодаря своей простоте, играет линейный
дискриминантный анализ, в котором классифицирующие признаки
выбираются как линейные функции от первичных признаков. В случае
разделения нескольких нормальных (гауссовских) совокупностей линей-
линейный дискриминантный анализ имеет ясные статистические свойства.
Более подробно о дискриминантном анализе говорится в книгах
[8]. [79]. v
464
15.5. Кластерный анализ
Методы кластерного анализа поз
купность объектов на группы «схожих?^ РЭЗбИТЬ «У^мую сово-
стерами. ть объектов, называемых кла-
Болыиинство методов пастеризации («.„
являются аггломеративными (объедините Рархич,еской группировки)
создания элементарных кластеров каждый ~~ °"И начинают с
одного исходного наблюдения (одной точкиГ/0™1^ С°СТ°ИТ ровно из
шаге происходит объединение двух наш™™* КаЖДом послеДУющем
Момент остановки этого процесса мпжТ "* КЛЙСТеров в адин
(например, указанием требуеТог4MZ I ""*""* исс^
расстояния, при кого^ J^ZZZ^TZ
жен ие процесса объединения кластеров^ К
программы - дерева объединения кластеров. Друиё
стерного анализа являются диеизивными _ Р0Ни nZZ
объекты на кластеры непосредственно.
Методы кластеризации довольно разнообразны, в них по-разному
выбирается способ определения близости между кластерами (и между
объектами), а также используются различные алгоритмы вычислений.
Заметим, что результаты кластеризации зависят от выбранного метода!
и эта зависимость тем сильнее, чем менее явно изучаемая совокупность
разделяется на группы объектов. Поэтому результаты вычислительной
кластеризации могут быть дискуссионными и часто они служат лишь
подспорьем для содержательного анализа.
Заметим также, что методы кластерного анализа не дают какого-
либо способа для проверки статистической гипотезы об адекватности
полученных классификаций. Иногда результаты кластеризации можно
обосновать с помощью методов дискриминантного анализа.
Более подробно с методами кластерного анализа можно познако-
познакомиться в [35], [68], [79].
15.6. Многомерное шкалирование
Во многих областях исследования (например, в психологии, биоло-
биологии, социологии, лингвистике и т.д.) бывает затруднительно или невоз-
невозможно проводить непосредственное измерение интересующих исследо-
исследователя характеристик объектов из изучаемой совокупности, за™ можно
экспертным или каким-то другим путем оценивать степень
различия между парами объектов. В этом ™^"
получаемых данных используются методы м
465
16—783
Они позволяют представить совокупность интересующих исследователя
объектов в виде некоторого набора точек многомерного пространства
некоторой небольшой размерности, при этом каждому объекту соответ-
соответствует одна точка. Координаты точек истолковываются как значения
неких характеристик исходных объектов, которые и объясняют их свой-
свойства или взаимоотношения.
В случае удачного шкалирования, когда точки полученного про-
странства представляют объекты без серьезных погрешностей и раз-
размерность этого пространства невелика (равна, скажем, двум или трем),
исследователь получает возможность представить изучаемую совокуп-
совокупность объектов наглядно. Часто это помогает по-новому осознать про-
проблему, увидеть ее новые черты и особенности, либо осознать те скры-
скрытые признаки, которые и определяют видимые свойства объектов или
их взаимоотношения.
Типичный пример использования методов многомерного шкалиро-
шкалирования _ изучение политических деятелей. Здесь исходными данными
для анализа могут служить экспертные оценки сходства или различия
взглядов политических деятелей по некоторому набору вопросов. Для
депутатов парламента такими данными могут служить результаты го-
голосований. И очень часто с помощью методов многомерного шкали-
шкалирования удается объяснить исходные данные с помощью нескольких
характеристик взглядов политических деятелей, которые и описывают
(в основном) их поведение. Например, может оказаться, что результа-
результаты голосований депутатов в парламенте в основном объясняются всего
двумя-тремя характеристиками. Исследователь может условно их на-
назвать, скажем, «приверженность к либеральной или к государственной
модели экономики» и «прозападная или почвенническая ориентирован-
ориентированность», или как-то еще. Результаты подобных исследований иногда
публикуются в газетах.
Часто в качестве исходных данных для шкалирования используются
не сами оценки степени сходства объектов, а результаты их ранжиро-
ранжирования. Соответствующие методы шкалирования называются неметри-
неметрическими. Они были разработаны для решения проблем психологии:
здесь исходными данными часто служат суждения человека (как ис-
испытуемого либо как эксперта), поэтому их количественные значения
носят в значительной мере условный характер. Чтобы избавиться от
этой условности, и прибегают к ранжированию. Сейчас неметрическое
многомерное шкалирование широко применяется и для других данных.
Подробнее о методах многомерного шкалирования можно прочесть в
книгах [45], [68], [70].
466
15.7. Методы контроля качества
Из многочисленных специализированных п»,
рассмотрим один — методы контроля качества ч * статистИки мы
из их названия, предназначены для контоолметоды-как следует
продукции с целью выявления нарушений и va Качества впускаемой
производства и в технологических процесса* Т/'*" B организа^и
качества продукции. Повсеместное применение н!?" * СНИЖеНШ
метОдов контроля качества явилось неГлоВГжныГГ/Н°ВаННЫХ
страН - лидеров мировой экономики, в осГеГс^Г ~
В отличие от большинства описанных выше многомерных методов
методы контроля качества не требуют трудоемких вычислен й"
исключительно просты и наглядны. Целью этих методов может быть-
. получение наглядного представления о выборочном распределении зна-
значения некоторого параметра в выпускаемой продукции и со „е„„е
этого распределения с границами допуска (гистограмма качества)-
• наглядное выделение наиболее важных факторов, влияющих на каче-
качество продукции (диаграмма Парето);
• выявление необычных отклонений в параметрах выпускаемой продук-
продукции и отделения случайных отклонений от неслучайных к требующих
вмешательства тенденций (контрольные карты).
Простота, наглядность и эффективность статистических методов
контроля качества сделали возможным и оправданным их повсеместное
(вплоть до мастеров, а иногда и отдельных рабочих) применение в
передовых странах. Более подробно об этих методах можно прочесть
в книгах [56], [71].
15.8. Использование
статистических пакетов
В пакетах STADIA, SPSS и STATGRAPHICS представлены все пе-
перечисленные выше методы, хотя реализации их в этих пакетах отлича-
отличаются. Например, для кластерного анализа и шкалирования обеспечива-
обеспечивается различный набор возможных расстояний, стратегии объединения
объектов в кластеры и методов шкалирования. стдпТА
В документации и во встроенном справочнике систем" STADIA
читатель сможет найти дополнительные пояснения по н знвче »»
методике применения статистических методов, описанных в этой
467
16*
Приложение 1
Средства анализа данных
на персональных компьютерах
Ш.1. Введение
Для успешного функционирования в условиях жесткой конкурен-
конкуренции западные фирмы, банки, страховые компании и т.д. нуждаются в
тщательном анализе имеющейся информации и получении из нее на-
надежных и обоснованных выводов. Поэтому потребность в средствах ста-
статистического анализа данных на Западе очень велика, что и послужило
причиной для развития рынка статистических программ, на котором
предлагаются более тысячи программ. Различные по объему и качеству
реализованной статистики, области возможного применения, пользова-
пользовательскому интерфейсу, цене, требованиям к оборудованию и т.п., они
отражают многообразие потребностей обработки данных в различных
областях человеческой деятельности.
Даже справочники, содержащие очень краткие описания пакетов,
составляют солидные тома (см., например, [99], [109]). В этих справоч-
справочниках содержатся описания назначения пакетов, требования к техниче-
техническим характеристикам компьютера, дополнительные сервисные возмож-
возможности пакетов, цены и адреса фирм-поставщиков. Информацию о новых
версиях пакетов можно найти в популярных компьютерных журналах и
газетах типа «PC Magazine», «PC World», «BYTE», «PC Week» и др. Не-
Некоторые рекомендации по выбору статистических пакетов периодически
публикует «Мир ПК» ([19], [46], [53], [88], [34]).
Число статистических пакетов, получивших распространение в Рос-
России, тоже достаточно велико (несколько десятков) и спрос на них
заметно возрос в середине 90-х годов. Из зарубежных пакетов это
STATGRAPHICS, SPSS, SYSTAT, BMDP, SAS, CSS, STATISTICA, S-
plus, и др. (кстати, большинство из этих пакетов занимают по качеству
лидирующее места в мире). Из отечественных можно назвать такие
пакеты, как STADIA, ЭВРИСТА, МЕЗОЗАВР, ОЛИМП:СтатЭксперт,
Статистик-Консультант, САНИ, КЛАСС-МАСТЕР и др. Проблема вы-
выбора наиболее подходящего пакета для данной категории пользовате-
пользователей, круга решаемых задач, типа и возможностей компьютеров и т.д.,
весьма непроста.
468
Ниже мы расскажем о принципах выб
0 характеристиках пакетов, используемыхТр™0™460™* пакет°в и
мание будет уделено версиям статистически* °CCH"' Специальное ВНи-
среды Windows. В приложении 2 мы постам "^Т ПОд упРавле"ием
сать характеристики пакетов STADIA и STATCRA^ подробно оп"-
мы иллюстрировали статистические метоп,., „ KAPH1CS. "а которых
«юды в главах 1-Ю этой книги.
Ш.2. Виды статистических пакетов
Основную часть имеющихся стятнпты1,в«
специализированные паке™ и п^кГо^ГзначГ "*""""
Специализированные пакеты обычно содержат методы из одного-
двух разделов статистики или методы, используемые в конкретной прд-
„етнои области (контроль качества промышленной продукции расчет
страховых сумм и т.д.). Чаще всего встречаются пакеты для анализа вре-
временных рядов (например, Эвриста, МЕЗОЗАВР, ОЛИМП:СтатЭксперт
Forecast Expert), регрессионного и факторного анализа, кластерного
анализа, многомерного шкалирования. Обычно такие пакеты содержат
весьма полный набор традиционных методов в своей области, а ино-
иногда включают также и оригинальные методы и алгоритмы, созданные
разработчиками пакета. Как правило, пакет и его документация ори-
ориентированы на специалистов, хорошо знакомых с соответствующими
методами. Применять такие пакеты целесообразно в тех случаях, когда
требуется систематически решать задачи из той области, для которой
предназначен специализированный пакет, а возможностей пакетов об-
общего назначения недостаточно.
Пакеты общего назначения. Особое место на рынке занимают
так называемые статистические пакеты общего назначения. От-
Отсутствие прямой ориентации на специфическую предметную область,
широкий диапазон статистических методов, дружелюбный интерфейс
пользователя привлекает в них не только начинающих пользователей,
но и специалистов. Универсальность этих пакетов особенно полезна:
• на начальных этапах обработки, когда речь идет о подборе
статистической модели или метода анализа данных,
. когда поведение статистических данных выходит за рамки ис-
использовавшейся ранее модели;
• в процессе обучения основам статистики.
Именно пакеты общего назначения ^^
ваемых на рынке статистических программ. К таким
469
системы STADIA и STATGRAPHICS, рассмотренные в этой книге, а
также пакеты SPSS, SYSTAT, S-plus и др.
Неполные пакеты общего назначения Некоторое хождение на рынке
статистических программ (особенно в нашей стране) имеют пакеты, которые
можно было бы назвать неполными пакетами общего назначения. Чаще всего
онГсодержат простейшие методы описательной статистики и некоторые методы
из двух-трех других разделов статистики. Как правило, это либо недоработан-
ные первые версии вновь создаваемых пакетов, либо вынесенные на рынок
программы для внутреннего, узкоспециализированного использования. Послед-
Последние кроме ограниченности статистических методов, обычно характеризуются
недоработанными интерфейсами, скудностью сервисных возможностей. Отли-
Отличительной чертой таких пакетов является отсутствие или слабая методическая
проработка документации.
По-видимому, использование неполных пакетов общего назначения вряд ли
может быть целесообразным, так как при практической работе почти наверняка
(и, скорее всего, очень быстро) потребуются те методы, которые разработчи-
разработчики не смогли включить в пакет. Образно выражаясь, неполный пакет общего
назначения похож на автомобиль, рассчитанный, скажем, на работу при тем-
температуре только от 15 до 20 градусов — иногда его можно использовать, а
очень часто нельзя. ^
Ш.З. Возможности табличных
процессоров и баз данных
Вследствие большой популярности (к сожалению, имеется в виду
популярность на Западе) статистических методов обработки данных
соответствующие средства стали включаться в табличные процессоры
общего назначения (например, в Excel, Lotus 1-2-3 и т.д.), а также в
некоторые базы данных. Наиболее часто в таких пакетах встречают-
встречаются средства описательной статистики, методы регрессионного анализа,
средства анализа временных рядов, сглаживания и прогнозирования.
Несмотря на полезность этих средств, мы хотим самым серьезным
образом предостеречь читателя от чрезмерного доверия к ним. Речь,
разумеется не идет о том, что в табличном процессоре или в базе данных
неверно считается среднее или дисперсия — формулы для вычисления
простейших статистик, естественно, в них заложены правильные. Одна-
Однако для более сложных задач типа проверки согласия или регрессионно-
регрессионного анализа табличные процессоры и базы данных очень часто содержат
грубейшие ошибки, приводящие к неправильности делаемых ими выво-
выводов. Это не удивительно — при создании этих программ статистические
методы обычно включаются как некое очередное украшение, наравне
со встраиванием в них двадцатого или тридцатого типа графиков и
пятисотой или шестисотой встроенной функции. Поэтому обычно про-
470
граммирование статистических методов ил*
переписыванию из какого-либо справочник, ТЗКИХ прогРамм сводится к
юших формул без учета их предназначения Г °Татистике соответству-
„ приводит к указанным выше последствиям^ШЦ применимости. что
Непрофессионализм в статистике созла
сказаться и во многом другом. Напримеп п^р1П°Д0EнЫХ пРогРанм способен
можете получить совсем не те результаты «Л регРесснон»ый анализ. Вы
данных случайно забыли ввести одно число а ! Т°Г°' ЧТ° Где"то в матРице
ветствуюшее наблюдение из обработки нр' Л рам"а не исключила соот-
просто посчитала пропущенное число нулевьш - ппп^""' °б °ШИбке' а
были заложенные в нее «соглашения» ЯсноТтп JТ П°Т°Му' ЧТ0 таковы
ц„й требует крайней ocropoiKHocT^^^ZJr^ ПОДОбНЫХ С"Туа"
заложенных в табличные процессор^ ^ "««.
Таким образом, надежнее не использовать продвинутые статисти-
статистические возможности табличных процессоров и баз данных, а экспорти-
экспортировать анализируемые данные и обрабатывать их с помощью статисти-
статистических пакетов. Если же это неудобно, то следует сравнить на одних
и тех же наборах данных результаты вычислений той статистической
процедуры табличного процессора или базы данных, которую Вы хотите
использовать, и аналогичной процедуры статистического пакета Если
результаты для нескольких наборов данных в обоих случаях совпадают,
то пользоваться статистической процедурой табличного процессора или
базы данных можно. Однако при этом следует тщательно следить за
правильностью подготовки исходных данных, так как обычно при каких-
либо ошибках в этом случае Вы получите не сообщение об ошибке, а
неправильный результат.
Далее мы будем рассматривать наиболее распространенные и уни-
универсальные статистические средства — статистические пакеты общего
назначения.
Ш.4. Требования к статистическим
пакетам общего назначения
Для того, чтобы статистический пакет общего назначения был удо-
удобен и эффективен в работе, он должен удовлетворять «™^Г
и весьма жестким требованиям. В частности, необходимо, чтобы он.
. содержал достаточно полный набор стандартных статистических
. бГ^аточно прост для быстрого освоения и использования;
471
. отвечал высоким требованиям к вводу, преобразованиям „ орга.
Гзации хранения данных, а также к обмену с широко расПр0.
Храненными базами данных (Excel, dBase и т.п.);
. имел широкий набор средств графического представления дан-
данных и результатов обработки: картинка порой отражает суть
дела лучше, чем любые статистические показатели;
. предоставлял удобные возможности для включения в отчеты
таблиц исходных данных, графиков, промежуточных и оконча-
окончательных результатов обработки;
• имел подробную документацию, доступную для начинающих и
информативную для специалистов-статистиков.
О том, в какой мере этим требованиям отвечают последние вер-
версии различных статистических пакетов, будет рассказано ниже в П1.6
и П1.7.
Наконец, немаловажное значение имеет цена пакета. Профессио-
Профессиональные западные статистические пакеты (SPSS, SAS, BMDP и т.д.)
обычно стоят от 2 до 10 тысяч долларов и более. Эти пакеты позволяют
обрабатывать гигантские объемы данных, включают средства описания
задач на встроенном языке и дают возможность построения на их основе
систем обработки информации для целых предприятий.
Пакеты, рассчитанные на массового пользователя, стоят дешевле —
обычно 500-1500 долларов. Эти пакеты отличаются от профессио-
профессиональных прежде всего ориентацией на индивидуального пользователя:
преимущественно диалоговым режимом работы, наличием ограничении
по объему обрабатываемых данных и т.д. Имеются и более дешевые
пакеты B00-300 долларов и ниже), но они обычно обладают весьма
скромными возможностями.
Отечественные статистические пакеты стоят существенно дешевле,
как правило, их цена составляет от 200 до 500 долларов.
Информация о стоимости отечественных и зарубежных пакетов,
представленных на российском рынке, дана в приложении 3.
П1.5. Состояние и особенности
российского рынка
За время, прошедшее с момента подготовки первого издания этой
книги, на российском рынке статистического программного обеспечения
произошли существенные изменения. Они коснулись как общего каче-
качества и разнообразия предлагаемой продукции и услуг так и состояния
самого рынка и работающих на нем фирм.
472
О спросе на статистические по
характеризовалась заметным ростом ^рТсТГп СерВДИНа 9О'Х го**
статистической обработки данных BbmJL ПрИКЛаднь1е программы
чимых факторов этого процесса Динам НеСКШ1ЬКо наиболее зна-
рынка в России привело к значительному сп РаЗВИТИе Финансового
и прогнозу его состояния. В банках и пп "Э работы по анализу
ш„х на финансовом рынке, оперативно создГваГД"^^ Раб°Таю-
Делы, привлекавшие на работу ^.и^^П^^Т0" ""
интерес вызывали социологические исследования JТ' М6НЬШИЙ
р„и выборов разных уровней. Шом^21ТГ ' nP№e
активизировали эколого-эпидемологические
сто используют статистические .«r£SS£
платежеспособность традиционных для России пользовател ГстаГти
ческих пакетов - научно-исследовательских, организаций. СпроЛа
специалистов в области прикладного анализа данных не замедлил ска-
сказаться на содержании и качестве программ подготовки специалистов в
высших учебных заведениях. Многие ведущие вузы страны стали актив-
активно использовать отечественные и зарубежные статистические пакеты
при обучении студентов. Так, пакет STADIA используется в более чем
30 различных вузах России.
Положение отечественных разработчиков и распространителей
статистических пакетов, довольно тяжелое в начале 90-х годов из-за
резкого падения платежеспособного спроса и отсутствия (или прекра-
прекращения действия) других источников финансирования, начало постепен-
постепенно укрепляться в середине 90-х. Тем не менее, крупнейшие фирмы по
разработке и распространению пакетов оставались на рынке и по мере
возможности вели создание новых версий своих программных продук-
продуктов. Среди них, в первую очередь, следует отметить НПО «Информатика
и компьютеры» (пакеты STADIA, CONAN и SIGN), сСТАТ-ДИАЛОГ»
(пакеты «МЕЗОЗАВР*, «КЛАСС-МАСТЕР», «САНИ*), Центр статисти-
статистических исследований МГУ (пакеты «Эвриста», «Сократо, «Ананасе»),
«Росэкспертиза» (пакет <«ОЛИМП:СтатЭксперт»).
Производители западных пакетов. Другой особенностью рынка
статистического программного обеспечения в России стало четко обо-
обозначенное присутствие на нем представителей крупнейших междуна-
международных корпораций, разрабатывающих и распространяющих статисти-
статистические пакеты. В первую очередь это относится к корпорации SPSS,
которой принадлежит около 40-45% "Р^т^Ри
стических пакетов. Созданное в ^^«^i"
социологии представительство этой фирмы в России
473
ские системы и сервис». - проводит активную политику по распростри
пакета SPSS, включающую проведение регулярных презентаций
массовой информации !
та SPSS, ций
подготовку материалов для средств массовой информации, создание ру!
сиАицированной документации пакета SPSS, проведение обучения „
консультаций по прикладной статистике для пользователей пакета.
Активизировалась деятельность представительства Manugistics
Inc - Санкт-Петербургской фирмы ИнфоСтрои, распространяющей
в России пакет STATGRAPHICS. Ранние (до 3.0) версии этого паке-
пакета созданные в 1983-1988 годах, по-видимому, остаются самыми рас-
распространенными в России в силу их незащищенности от нелегального
копирования и возможности добиться некоторых результатов без изуче-
изучения документации. Для демонстрации возможностей пакета ИнфоСтрои
активно использует доклады на научных конференциях, семинарах и
научных школах по теоретической и прикладной статистике [33], а так-
также публикации в массовых и специальных изданиях ([34], [27] и др.).
Фирма поддерживает работу «горячей линии* по использованию пакета
в прикладных исследованиях.
Созданный в начале 90-х годов сразу для среды Windows амери-
американской фирмой StatSoft Inc. пакет STATISTICA/w в России активно
распространяет фирма СофтЛайн.
Менее активно действует на российском рынке SAS Institute Inc.
(его представительство открылось в Москве в 1996 году). В настоя-
настоящее время этот производитель известного статистического пакета SAS
главный упор в своей деятельности делает на работы по созданию и вне-
внедрению комплексных интегрированных систем доставки информации и
поддержки принятия решений на уровне предприятия. При этом сами
статистические методы являются лишь составной частью современных
версий SAS и не распространяются отдельно.
Координаты фирм распространителей статистического программно-
программного обеспечения и более подробная информация о назначении и ценах
пакетов дана в приложении 3.
Особенности распространения статистических программ в
России. Следует отметить определенную специфику распространения
статистических программ в России. В основном этой деятельностью за-
занимаются непосредственно указанные выше специализированные фир-
фирмы. Это связано с необходимостью проведения квалифицированных
предпродажных консультаций, так как многие покупатели стремятся
предварительно убедиться на практике в том. что приобретаемый про-
продукт способен качественно решить их задачу. При этом такие фирмы,
как НПО «Информатика и компьютеры*, Центр прикладных статистиче-
статистических исследований МГУ, «Статистические системы и сервис», по зака-
474
покупателей проводят консультации и ofiuu
-ИНОЙ статистики и работе с пакетами ' Щ*0"*™ метОдам
распространители программного обеспеч
( одукиии фирм Microsoft, Symantec, Borland т и"®'0 назНачения
/е статистических программ не беРутСЙ1 та™ " т*> за распРостра„е.
чадлежашее консультирование пользователей д М°Гут обеспечить
ш1„ распространения статистических пакетов че!™™" Орган»3*
нйе книжные магазины и компьютерные фирмы об^СПе^изирован.
аккредитации этой продукции, чему авторы нР ПГ« РИВ0ДЯт лншь к
е раз оыли свидетелями
улучшение качества статистических лрогоамм d
вре„я качество предлагаемых на рынке пакетов в ueL 7 П°ШШ*
^ло. В первую очередь это связано с появ ° В°3"
;ерсий под Windows. Так, довольно *щ£
riaKeTa STADIA стала соответствовать мировым J££%
версии. Непростои для освоения макроязык DOS-версии пакет TpTs
ПОЧти полностью заменен удобным меню-ориентироваиным интеобей
m в Windows-версии этого пакета. Сложная процедура „астрой! и
редактирования графики в ранних DOS-версиях STATGRAPHICS зна-
значительно упростилась в Windows-версии. Более подробно о статистиче-
статистических пакетах под Windows будет сказано ниже в п. П1.6.
Другой характерной чертой современных пакетов является суще-
существенное улучшение разделов документации, посвященных сути ста-
статистических процедур. Роль этой части документации статистических
пакетов, на наш взгляд, для российских пользователей столь велика,
чгониже этой теме посвящен отдельный пункт П1.7.
Сравнение отечественных и зарубежных программ. Сравнивая
в целом отечественные и зарубежные пакеты, заметим, что с появлени-
еч Windows-версий российских пакетов они перестали уступать, а порой
превзошли западные по качеству интерфейса и сервиса. К этому надо
добавить наличие в ряде пакетов мощных оригинальных статистических
процедур, таких как знаковые методы оценивания в регрессионных, ав-
юрегрессионных и факторных задачах (пакет SIGN), анализ временных
структур (пакет ЭВРИСТА) и т.д. Главной и наиболее отличительной
чертой российских пакетов от западных является их ориентация на
«явственных пользователей. Следствием этого является их простота
доения, продуманный интерфейс, более содержательная ^"текстна
^сказка по сути статистических методов. Одной из Ч"™»^
*°го различия является ориентация создателей ™№*"™2
жадную культурно-информационную среду, отличаются от россии
CK°ii, по крайней мере, в следующих аспектах:
475
• наличием значительно более высокой статистической подготов-
подготовки у пользователей, которая закладывается обязательным изуче-
изучением прикладной статистики и методов анализа данных практи-
практически во всех университетах, школах бизнеса и технических
колледжах, а в ряде стран и в старших классах школ;
• наличием многочисленной специальной и популярной литерату-
литературы по анализу данных, которую можно без труда найти в любом
ближайшем книжном магазине;
• наличием многочисленных консультационных фирм, где по те-
телефону за несколько минут можно получить исчерпывающую
консультацию по применению вычислительных методов, а при
необходимости — заказать решение и более сложных проблем.
Все перечисленное оставило весьма существенный отпечаток на за-
западных статистических пакетах середины 80-х — начала 90-х годов. В
частности, обычно они лишены развитых средств оперативной помощи,
подсказок и интерпретаций выводов, а их документация нередко отлича-
отличается запутанностью и необозримым объемом (SAS) или же отсутствием
необходимых сведений типа списка формул, по которым можно про-
проверить корректность производимых выводов. Приятным исключением
здесь является пакет SPSS, документация которого всегда представляла
собой своеобразный эталон понятного и систематического учебника по
использованию статистических методов.
Другой особенностью многих западных пакетов является ориента-
ориентация на командный язык, как один из главных инструментов пользова-
пользователя. Наличие подобного языка значительно расширяет возможности
пакетов, позволяя пользователю реализовывать нестандартные подходы
к обработке данных и добавлять новые процедуры. Доля и функции
командного языка в различных пакетах могут варьироваться. Так в
довольно популярном в научно-исследовательских центрах на Западе
пакете S-plus (версия для Windows) командный язык играет доминиру-
доминирующую роль. Даже для проведения простейших стандартных вычисле-
вычислений пользователь должен составить программу из нескольких строк на
специальном языке. Весьма характерен командный язык и для пакета
SPSS, имеется он и в пакетах STATGRAPHICS и STATISTICA.
Таким образом, для использования западных статистических паке-
пакетов пользователь должен обладать высокой квалификацией в статисти-
статистике, а часто и в программировании. Он должен быть готовым к тща-
тщательному изучению объемистой и не всегда ясно написанной докумен-
документации, а также к добыванию малодоступной западной статистической
литературы.
476
Широкое распространение современных
пакетов в России сдерживается пп РСИЙ
JT 700-800 до нескольких тысяч У*** ВС|
^„цированных версий или хотя Г^Г * "* ^ЛиГ
Рчением является SPSS, часть до* ^ ^" "* РУ^<
а усском языке), что особенно важно при Невы оГ'Т0 ""«и.
еской квалификации пользователей и отсутсС °бщеЙ Стат^ти-
„тературе по современным прикладным методам£?** К Западн°й
tf всего в подобной ситуации пользователь дажЛ ? ДаННЫХ' Ча"
)Г0Жет сказать, для чего предназначена та или JZ РИблизитель»о не
№ более подробно остановимся на этом вопросе в г,Г7Цедура анал|13а-
,окументации современных статистических пакетов рассказывая о
В отличие от западных, многие отечественные
большей степени подходят для нужд среднего
ля. Здесь основные операции обычно сразу обо
i рутинные процедуры выполняются с минимумом действий и оазввт
меняй по принципу, «прямым путем - к понятному результату» Вся
сопутствующая информация содержится в самой программной системе
включая справочник и интерпретатор выводов. Так, скажем, устроены
наиболее популярные отечественные статистические системы STADIA,
Эвриста, Мезозавр, ОЛИМП:СтатЭксперт. Статистик-Консультант.
Наиболее развитой системой контекстной экранной помощи, вклю-
включающей объемный справочник-гипертекст и экспертную систему по вы-
выбору метода статистического анализа, обладает пакет STADIA. Здесь
«вдый числовой статистический вывод сопровождается короткой и по-
понятной интерпретацией (впрочем, более искушенный в статистике поль-
пользователь может сделать интерпретацию результатов сам, благо все дан-
данные для этого также выводятся на экран). В пакете Мезозавр реализова-
реализована оригинальная система экспертной оценки сложных моделей времен-
временных рядов. Система Эвриста включает ряд уникальных методов анализа
финансовых рынков и выделяется живо и изобретательно написанной
мкументацией, которая читается как захватывающее повествование о
возможностях статистических методов. Пакет ОЛИМП:СтатЭксперт,
ориентированный в первую очередь на экономистов, сам подбирает луч-
лучшую модель временного ряда из довольно обширного класса моделей
Оригинальной и довольно мощной системой экспертной поддержки при
«боре регрессионных и факторных моделей обладает пакет иатист
Консультант.
Все эти пакеты аккумулируют передовой опыт
^не удивительно: их создавали ведущие <«^£^ Ра
* Московского государственного университета, ини
477
страняются и эксплуатируются сотнями пользователей на протяжении
целого ряда последних лет. За это время их основные процедуры и
операции тщательно верифицированы и отшлифованы. Методы анализа
сгруппированы в пунктах меню по содержательному принципу, а не
по малозначащим для пользователя фамилиям авторов, как это имеет
место во многих западных пакетах.
Явным недостатком отечественного рынка является малочислен-
малочисленность российских пакетов. Они не могут удовлетворить всех специфи-
специфических запросов пользователей. Так российские социологи и психоло-
психологи наряду с отечественными пакетами вынуждены использовать пакет
SPSS, предоставляющий очень удобные возможности для ввода и обра-
обработки весьма специфичных данных социологических анкет. А ихтиологи
используют привычный и удобный для них западный пакет NTSYS.
Замечание. Периодически на научных конференциях выставках и семи-
семинарах можно встретить и другие российские программы анализа данных. Их
разработка ведется в учебных и научных центрах прежде всего для конкрет-
конкретных собственных нужд. Например, в Томском государственном университете
разработан и используется для обучения студентов пакет MATSTAT. Такие
пакеты, как правило, либо вовсе не выходят на рынок, либо не выдерживают
жестких условий выживания на рынке наукоемких разработок и вскоре исче-
исчезают из широкой маркетинговой сферы. Кстати, самоокупаемость западных
статистических продуктов (кроме нескольких ведущих) также недостаточно вы-
высока, поэтому большинство из них создаются не компьютерными фирмами, а
университетами за счет различных дотаций.
Публикации и семинары. Развитию и становлению рынка ста-
статистических пакетов способствовало увеличение числа публикаций на
эту тему такими журналами, как «Мир ПК», «Рынок ценных бумаг»,
русским изданием газеты «PC Week» и др. Заметную роль в освещении
прикладных исследований играет журнал «Обозрение прикладной и про-
промышленной математики», выпускаемый научным издательством «ТВП».
Это издательство также осуществляет распространение в России стати-
статистической литературы ведущих западных издательств.
Свою положительную роль в этом процессе играют регулярные тема-
тематические семинары, среди которых особо следует выделить всероссий-
всероссийские научно-практические семинары: «Аналитика в государственных
учреждениях», проводимый Программно-аналитическим управлением
Администрации Президента Российской Федерации, «Анализ и прогноз
финансовых рынков», проводимый Центром «Прикладная прогностика»
совместно с ЦБ России на базе института Мировой экономики и ме-
международных отношений, а также регулярные семинары на базе кафе-
кафедры теории вероятностей механико-математического факультета МГУ и
Центрального экономико-математического института РАН.
478
Книги по статистическим пакетам. На ча
ОГрафии и учебные пособия по прикладной сиЙ* Весьма Рас
ине материала строится на базе того ил?Tjm> « в!)м
1994 г- в известных издательства* „ Другого пакета
071, [108]. Подобные книги стаГпЦ^3 *■" £
они, к сожалению, издаются очень „SSSi" Иа Риском
у кругу читателей. ольшиМ тираЖом и
Д1.6. Статистические пакеты
в среде Windows
Середина 90-х годов характеризуется интенсивным
веских пакетов, работающих в среде Windows mZ
„ивняись у традиционных производителей статистиче кГ
«когне из которых начинали свою деятельность с со
док для больших машин (SPSS, SYSTAT, яЗЙГв^ГК
йество новых пакетов было разработано именно для среды WindZ
(STATISTICA, Статистик-Консультант и др.).
На наш взгляд, стремительное развитие статистических пакетов для
Windows связано не только с ростом популярности среды Windows сре-
среди пользователей, но и с рядом существенных потребностей самих ста-
статистических пакетов. Вкратце напомним основные достоинства среды
Windows для пользователей и разработчиков:
• единый пользовательский интерфейс, дающий разработчику при-
прикладной программы стандартные функции для реализации окон,
меню, запросов, списков и т.д. Это приводит к значительной
унификации интерфейсов различных программ;
• доступность всей оперативной памяти;
• средства обмена данными, включающие буфер обмена данными
(clipboard), динамический обмен данными (DDE) и механизм
связи и внедрения объектов (OLE). Эти средства существенно
помогают при решении сложных задач, требующих использова-
использования более чем одной программы.
• независимость программы от внешних устройств, что дает поль-
пользователю уверенность в том, что программа будет работать со
всеми устройствами, поддерживаемыми Windows;
• богатые шрифтовые возможности;
• возможность организации встроенных справочников.
.Покажем, как указанные возможности отразились на качестве вер-
°нй статистических пакетов под Windows.
479
Интерфейс Интерфейс статистического пакета неизбежно объеди-
объединяет в себе электронные таблицы, текстовый и графический редакторы,
а также многочисленные процедуры ввода данных и параметров, различ-
различные для разных статистических методов. Таким образом, по сложности
и разносторонности он превосходит интерфейсы большинства других
программ.
Работая в DOS, пользователи при переходе с одного статистиче-
статистического пакета (скажем, STATGRAPHICS) на другой (например, SPSS)
вынуждены были с нуля изучать загадочный интерфейс нового паке-
пакета В Windows-версиях статистических пакетов произошла унификация
большинства процедур интерфейса. Работа с данными, графиками и
текстами стала выполняться примерно так же, как в других Windows-
программах. Это позволило намного быстрее осваивать эти пакеты
тем, кто уже хоть немного поработал с Windows-программами. На
рис. П1.1—П1.2, в качестве примера, приведен вид электронных таблиц
статистических пакетов STADIA и SPSS.
IfS
Фойл Грофнк-Р6
|(s('b1I .
■
К [ЛО1Л li.ll
a
A,
Вичисл=Р7 npcoCp=FG Ctothct=F9 Окна Понощь=Р1
л ге>| Ml ft |
j. f
b
4
. . 9
.. ■ 8
•л 15
i Яь . ,
12
Таблица пап : aZ.
9
7
3
4
11
14
\
61 2
8> 3
10i 7
141 4
13' 9
15
if
■
r.iv
ild —
61
51
4
io!
gj
_
Рис. Ш.1. Вид электронной таблицы в пакете STADIA 6.0
Заметной унификации подверглись пункты меню панели управления
пакетов. Здесь пользователь практически всегда обнаружит заголовки:
Файл (RIe), Преобразования (Transform), Статистика (Statistics), График (Graphs), Окна
(Window), Помощь (Help). Открывая в любом из этих пакетов пункт меню
Файл, пользователь найдет привычные для Windows-программ опции
Новый, Сохранить, Печать, Принтер, Выход и т.д. Конечно, отдельные детали
меняются от пакета к пакету, но общего стало значительно больше,
чем различий.
Объемы обрабатываемых данных. Расширение возможностей
работы с памятью в Windows привело к тому, что в ряде пакетов про-
программные ограничения на объемы обрабатываемых данных или сняты
480
Рис. П1.2. Вид электронной таблицы в пакете SPSS
вообще (SPSS), или заметно ослаблены (STADIA 6.0, STATGRAPHICS
Plus for Windows).
Многооконное^. Возможности многооконной работы в Windows
как нельзя лучше отвечают потребностям статистического анализа. Ведь
решение статистической задачи часто требует возвращения на предыду-
предыдущие этапы для коррекции данных или изменения стратегии обработки.
Например, при изучении графика остатков или графика автокорреляци-
автокорреляционной функции временного ряда обычно возникает необходимость уточ-
уточнения подбираемой модели, при выявлении неоднородности совокупно-
совокупности — необходимость разбить ее на части или удалить тренд. Графи-
Графическое или расчетное обнаружение грубых, нехарактерных наблюдений
влечет за собой коррекцию данных или выбор процедур, устойчивых к
подобным эффектам. Подобные, порой многократные, возвраты назад
типичны при решении задач статистического анализа.
Для упрощения этой работы большинство статистических пакетов
предлагают возможности многооконного режима. Они могут выводить
на экран окно данных, окно графиков, окно статистических процедур,
окно итоговых результатов. В отдельных пакетах к ним могут доба-
добавляться и другие окна (например, окно команд в SPSS). В одних паке-
пакетах эти окна могут присутствовать на экране одновременно, в других
вызываться по очереди с помощью меню или «закладок* (как листы ра
бочей книги табличного процессора). При этомкаждое окне^сохраняет
информацию, введенную на последнем шаге. °^^"^
что чрезмерное увлечение окнами, когда ^^^
ной обработки выводится в отдельное окно (««.с это пр
STATlSTICA/w), засоряет экран и затрудняет работу.
481
Качественное улучшение графического редактирования и вы-
вывода. Ясное и четкое представление результатов является одним из
важнейших элементов статистической обработки данных. Это особенно
важно, если на основе статистического анализа руководство должно
принимать принципиальные решения, а также если результаты стати-
статистического анализа должны быть доведены в доступной форме до мас-
массовой (не профессиональной) аудитории. Практически все DOS-версии
статистических пакетов можно было подвергнуть критике за те или
иные недостатки графического вывода (например, крайне сложное ин-
интерактивное редактирование графика, невозможность или трудность на-
настройки его различных элементов и т.д.). Ситуация заметно изменилась
в Windows-версиях статистических пакетов. Здесь настройка элементов
графического вывода обычно сводится к указанию мышью требуемого
объекта на графике и заданию его атрибутов (размера, толщины, цвета,
шрифта и т.п.) в открывающихся меню.
i
Использование шрифтов. Шрифтовое разнообразие среды Win-
Windows позволило заметно улучшить оформление выводимых графиков,
а также содержание и внешний вид гипертекстовых справочников по
методам прикладной статистики, позволяя в привычном виде воспроиз-
воспроизводить специальные математические символы и формулы (см. п. П1.7).
Ш.7. Документация
статистических пакетов
Особенности документации статистических пакетов. Докумен-
Документация статистических пакетов существенно отличается от документа-
документации других широко используемых программных средств. Это связано с
тем, что кроме общего описания порядка установки и эксплуатации, она
должна содержать информацию о каждом из многочисленных и порой
весьма специфических методов статистики, содержащихся в пакете.. В
хорошей документации для каждой статистической процедуры должны
быть подробно описаны назначение процедуры, порядок заполнения по-
полей ввода данных, выбора параметров, протокол выдачи результатов,
приведены формулы для рассчитываемых величин, указаны ограниче-
ограничения метода, даны ссылки на первоисточники. Очень удобно, если ис-
использование статистических процедур в документации иллюстрируется
на содержательных примерах.
Привычка многих отечественных пользователей осваивать програм-
программы без изучения документации или в лучшем случае по многочисленным
переводным и отечественным книгам не приносит желаемых результа-
482
когда они сталкиваются со стат
£ что выяснить назначение и свойстГа^Г ПЗКетами- Дио в
едур большинству отечественных пользовав СТатист^ких npo
Складные методы статистики в последний "ОПростУ негде Ве°
Неявно развивались. Например, былГоз^ГГЯ Д°В~
вЫе) методы оценивания, методы, свободные 1 Р ЗСТНЫе (Уст°йчи-
Много нового за это время появилось в aHJ распределе"ия и Тд
многомерных данных. Эти методы, многие из J Временных Р^ов и
современных статистических пакетах, значителен Х реализованы в
применимости статистики по сравнению с класса РаЗДВИ"УЛИГраницы
базовая подготовка специалистов в наших вузах мет°Дами. А
лншь классические методы анализа, выработанныТГпТ? BW"°4aeT
XX века и ранее (хотя в последние два-тои г™, „_. рвои половине
70рые изменения, см. [54], [55]). Нет
статистических методах и практически во
доступных на русском языке. Поэтому даже выпуск™™ Щщ тео.
р1Ш вероятностей и математической статистики ведущих университетов
страны, в силу узкой и в основном теоретической специализации своего
образования, оказываются беспомощными, сталкиваясь с массой новых
незнакомых терминов и критериев.
Пример. На наш взгляд, даже среди специалистов невелико число тех
кто может сразу ответить, для чего предназначены тесты Шапиро-Уилкса и'
Лнльефорса (они представлены в разделе Разведочный анализ базового модуля
пакета SPSS и в разделе Описательная статистика пакета STATISTICA/w).
Между тем, речь идет о модификации критерия Колмогорова-Смирнова для
проверки нормальности распределения в случае сложной гипотезы, когда не-
неизвестные параметры распределения оцениваются по выборке (см. главу 10).
Именно эти тесты необходимо использовать в большинстве задач регрессионно-
регрессионного н факторного анализа и анализа временных рядов, чтобы на основе анализа
остатков сделать выводы об адекватности модели и возможности применения
выбранного метода.
Таким образом, документация пакета и «горячая линия» фирм рас-
распространителей — это практически единственные источники информа-
информации о работе незнакомых статистических процедур. Следует отметить,
что у многих известных западных пакетов в последние два-три года та
часть документации, в которой описываются конкретные статистиче-
статистические процедуры (назначение процедур, подготовка данных, параметры,
применяемые формулы, интерпретация результатов и т.д.;, заметно
Улучшилась. Это особенно важно для отечественных пользователей. ^
Структура документации. i^^^'^^^cSjeSSS
пакетов обычно довольно объемна и состоит из Hec™HSTATGRAPHICS Plus
примера дадим описание структуры документации паке™
v- 7 for DOS. В нее входят следующие руководства.
483
• Single User Installation Guide — устанопка системы (объем 100 стр.);
• Quickslarl Guide — установка и начало работы с системой (объем
300 стр.);
• User Manual — описание общих процедур работы с системон (объем
450 стр.);
• Reference Manual — описание назначения всех статистических про-
процедур (объем 800 стр.),
• Examples Manual — описание заполнения полей ввода и примеры для
всех статистических процедур (объем 600 стр.).
Естественно, часть информации в этих руководствах повторяется, иногда
она рассматривается под разными углами зрения. Однако в целом докумен-
документация пакета хорошо структурирована и дает возможность быстро отыскать
необходимую информацию.
Документация отечественных статистических пакетов значительно ком-
компактней, однако по своему содержанию может не уступать своим лучшим зару-
зарубежным аналогам (пакеты STADIA, Эориста, Мезозавр. SIGN). В документации
этих пакетов дано описание назначения процедур, большинство необходимых
математических определений и, главное, содержательный разбор примеров. Эти
документации стремятся к максимальной простоте изложения материала (ино-
(иногда при этом приходится жертвовать строгостью изложения). Но не следует
путать документацию пакета с учебником по прикладной статистике.
Хорошо оформленная документация пакетов ОЛИМП:СтатЭксперт и FORE-
FORECAST EXPERT, на наш взгляд, слишком компактна. Попытка изложить основ-
основные понятия и сведения о рассматриваемых в этих пакетах моделях на 30
страницах страдает неизбежной математизацией текста и частыми недоговор-
недоговорками. Впрочем, ориентация этих пакетов на автоматический подбор наилучшей
модели отчасти может оправдывать подобную документацию.
П1.8. Встроенный справочник
и экспертная поддержка
Наряду с документацией, задачу освоения пакета помогает решать
встроенный гипертекстовый справочник. И здесь среда Windows пре-
предоставляет неоценимые возможности по сравнению с DOS. Возмож-
Возможность включать специальные символы, формулы и графики, открывать
дополнительные окна и т.д., позволяет сделать встроенный справочник
значительно более удобным и информативным. Встроенными гипер-
гипертекстовыми справочниками по статистическим методам анализа данных
оснащены практически все упоминаемые нами пакеты. При этом в ряде
пакетов присутствует режим помощи выбора метода анализа данных.
Примеры. Проиллюстрируем выбор метода анализа данных в пакете STA-
STADIA 6.0. Пусть мы хотим проанализировать связанные данные, измеренные в
порядковой шкале (подобные данные весьма распространены в социологических
и психологических исследованиях). В оглавлении справочника (рис. П1.3) на-
484
DI-6.0
Состав сис-тмм
ЭТО ВЫ IlOXftTRl i )
Чтение донны;;
Еада
Преобразования
Накрокомонлы
Стптнстичаскчп
Статистический HnT?[r|
Рис. П1.3. Оглавление гипертекстового справочника пакета STADIA 6.0
на
1ИП1 раздел Какой метод выбрать?. Содержание окна этого раздела приведено
._ рис. П1.4. Здесь пользователю предлагается уточнить тип своих данГх
Выбираем Связанные выборки. (О типах статистических данных можно прочесть
шелкиув надпись Статистические данные.) Выведенная страница справочника Свя-
Связанные выборки говорит, что данные этого типа могут быть измерены в различных
шкалах: номинальной, порядковой и количественной, и просит сделать даль-
дальнейшие уточнения. В результате подобной цепочки уточнений будет указан
конкретный метод анализа Непараметричесхие коэффициенты корреляции и подробно
описан порядок работы и результаты этой процедуры (см. рис. П1.5).
Дооольно похоже устроена процедура подбора метода анализа данных в па-
пакете SPSS. Правда, на некотором этапе выбора пользователю будет предложено
подряд прочитать назначение 15 различных типов процедур анализа данных и
выбрать из них требуемый. Весьма подробный и обстоятельный встроенный
справочник пакета STATISTlCA/w, на наш взгляд, неудачно структурирован.
Так. например, в его разделе выбора метода анализа данных нам не удалось
обнаружить совета по поиску методов оценки связи данных, измеренных в
порядковой шкале. (Как выяснилось, справочник относит этот тип данных к
Conlinuos Variable (непрерывным или количественным переменным), что вводит в
заблуждение исследователя.)
Другой тип экспертной поддержки в статистических пакетах за-
заключается в автоматическом комментировании программой полученных
результатов. Так, пакет STADIA для большинства статистических
Цедур выдает заключения типа: принять или
тезу, адекватна или не адекватна подобранная модель,
из известных нам пакетов такая поддержка
версиях пакета STATGRAPHICS. Процедура
после обработки ваших данных генерирует
Делает содержательные выводы из полученных
в котором
485
" ForcHclp ПИгозк Notes r
Есяактирование Заклалка £првикв
«№Р «нн lone* Нлэдд онплошо « >>
КАКОЙ МЕТОД АНАЛИЗА ВЫБРАТЬ?
Если у вас есть некоторпе дашше п вн хотите найти
лрикенимко к пни потопи анализа, то дайте ответы на
предлагаемые вопроси, с учетом пояснении. Настояная часть
справочника при ее систеиатичесхои прочтетга кохст дать
иачипаюцену пользователю обцео представление о статистических
данник и припешишх для их анализа методах.
ВиСерите тип ваипх даинпх из слелуюцего списка:
Опцп вибоока
Дпннно
Несколькр
В
зхг:парнне1гга
CWDPPPK
Впакетшо
Соязняа внОоркл
Э^епариионтлпытоя злвногпость
Рою-овне ИЛ}1 нонинальино донино
Икогокрркия пакнмо
Данине контроля качества
Данине парник сравмошт
О перечлеленнмх т»шах сшшш прочтите в разделе:
Статястичсскпр доншге. Об основлих воэнохиостях пнесшпесл
стлтлетических иетодоп кохио прочитать d разделе: Что иохет
статистика■ Более глубокое энахоиство с статистический алолязон
треВует изучения специальной питорятурн
Рис. П1.4. Окно подбора метода анализа данных в пакете STADIA 6 О
Э Forcllclp Пс - s Not.s
файл Рсппкгнроионнс ^аклилка £праики
в ЧГЙНЯО
Циалд онология
НЕПАРАМРТРИЧЕСКАЯ КОРРЕЛЯЦИЯ
Назпачеппв. Свободние от распределенля нетоди оценки
коррвляшш преднаэначе1ш для проверки гппотези о
независпкости двух парных первкенпнх (отсутствие соответствия
или ассоциативности).
Дполог п роэультвти. После запуска процедуры в
типовом бланка выбора леронешшх нужно вибрать для анализа
две пли несколько перенешгах из электронной таблицы. При
повторной входа в процедуру кохио не производить повторный
выбор, в восстановить d бланке ранее вибратше лерекешше
нахатиен на клавииу «Enter}> ллл хе ио зкраннух кнопку
«Утоердить».
Вплача включает:
- коэффициент хонкордадлл t Кендела (Kendall).
вичксляеавА как число веек пар значений одной выборки, для
которпх соответстпуюиио пари значений другой виборхл имеют
одинаковую тенденцию (возрастание или уменьшение значений)
нииус члело пар с противополохенноЛ тенденцией (не отсевом
свяэатплс. ранних пар значений) ;
-коэффициент ранговой коррзляшш г Сплркенв (Spearaaa)
которци является непаракетричеоиш аиалогок класепчесхого
впборочиого козффшшента корреляшш (нерангосие внборхи
автонатнчесхи ранжируются).
Рис. П1.5. Описание подобранной статистической процедуры в пакете STADIA 6.0
Таким образом, большинство современных статистических пакетов
стремится стать доступнее и удобнее, совершенствуя свои докумен-
документации, гипертекстовые справочники, экспертные системы, обучающие
программы и т.п. И это дает результат — статистические пакеты ис-
480
ьзуются все более широким кругом польза
вменяются для обучения математической иЛеЙ' Они в<* бол,
Jx как на Западе, так и в России °" " Прикла« ста^Гв
Д1.9. Делая выбор
Наилучший выбор статистического пакета л
£йТ от характера решаемых задач, объема и спепиЛиГ"? Штх зави"
данных, квалификации пользователей, имеющегося ? °брабатываемых
Процедуру выбора лучше всего начать с телесЬо РУА0вания и Т-Д-
производителя и распространителя. (ИнфорнашТ"* ЗВ°"Ка В Ф'фму
добрести статистические пакеты, приведена в ПриложенГ^Т
этом Вы не только получите необходимую информацию нп и !
ур0Вень работы .горячей линии, Последнее веГ^Гно ^
„зйти ответы на вопросы, возникшие в ходе работы, бывает овс м
„е просто. (Наша практика показывает, что пользователи .пиратских"
копий программ порой годами не могут найти без документации ответ
на вопрос, как задать и сохранить модель нелинейной регрессии в
STATGRAPHICS или ввести сезонный фактор в модель временного ряда
в SPSS.) Причины этого явления мы подробно рассматривали в п. П1.7.
У большинства упоминаемых нами статистических пакетов суще-
существуют демонстрационные версии. Некоторые из них (STADIA 6 О,
Олимп:СтатЭксперт, SYSTAT) являются работающими программами с
сильными ограничениями на объемы обрабатываемых данных и отклю-
отключением некоторых сервисных функций. Демонстрационная версия STA-
STADIA 6.0 может быть приобретена (за очень небольшую плату) вместе с
полной документацией к пакету STADIA 6.0.
Для пользователей, имеющих дело со сверхбольшими объемами
данных или узкоспециальными методами анализа, пока нет альтернати-
альтернативы использованию профессиональных западных пакетов. Среди интер-
интерактивных пакетов такого рода наибольшими возможностями обладает
пакет SAS.
Объемы обрабатываемых данных в пакете SPSS ограничиваются
только величиной памяти вашего компьютера. Этот пакет также весьма
Удобен для работы с данными сложной структуры, когда необходимо
Делать их всевозможные срезы, как, например, в комплексном социо-
социологическом исследовании. tnvlun Rnc.
При создания собственной ^^ZP^ZZ
пользоваться библиотекой подпрограмм IMbL, сощш ^
•ельно и квалифицированно составленных программ н ^Шо
которые Вы сможете встроить в собственную разраоотку.
487
IMSL содержит также и программы по многим другим разделам чи-
численного анализа (линейная алгебра, оптимизация, дифференциальные
уравнения и т.д.).
Универсальные пакеты. Если Вам необходимо обработать дан-
данные умеренных объемов (несколько тысяч наблюдений) стандартными
статистическими методами, подойдет универсальный пакет. В подоб-
подобных пакетах (STADIA, SPSS, STATGRAPHICS, SYSTAT, STATISTICA)
достаточно полно представлены статистические методы обработки из
всех областей анализа. Их простое перечисление (с модификациями)
занимает несколько страниц и содержит более сотни наименований.
Работа с зарубежным пакетом потребует большей квалификации в
статистике, тщательного изучения объемистой документации или спе-
специального обучения пользователей. Отчасти это компенсируется воз-
возможностью настройки ряда из этих пакетов (STATGRAPHICS, SPSS) на
узкоспециализированную задачу, которая решается регулярно по мере
обновления статистических данных. На наш взгляд, эти пакеты могут
быть рекомендованы организациям, имеющим специалистов в области
прикладного статистического анализа, которые вдобавок достаточно хо-
хорошо владеют основами программирования.
Работа с отечественными пакетами требует менее высокой квали-
квалификации пользователей, да и стоят эти пакеты существенно дешевле.
Пакеты анализа временных рядов. Учитывая особую популярность этих
пакетов на отечественном рынке, сделаем ряд дополнительных замечаний по
их выбору. Эти пакеты можно разбить на две группы. В первой из них (Fore-
(Forecast Expert, Олимп:СтатЭксперт) делается упор на автоматический или почти
автоматический подбор модели временного ряда из заданного класса моделей.
Это позволяет пользователю не вдумываться в результаты предварительного
анализа и не требует от него специальных знаний из области временных рядов.
Подобный режим работы полезен как для экспресс-анализа, так и для сравне-
сравнения с результатами подбора модели вручную. Однако этот способ обработки
может приводить к излишне усложненным моделям, а в некоторых случаях —
и к прямым ошибкам.
Пакеты второй группы (Эвриста, Мезозавр) тоже содержат алгоритмы под-
подбора оптимальных моделей. Но их главной чертой является широкий набор
инструментов предварительного и окончательного анализа данных и возмож-
возможность их пошагового применения. При этом пользователь сам задает стратегию
анализа ряда. Последнее подразумевает его высокую квалификацию.
Приложение 2
Возможности пакетов
STADIA и STATGRAPHics
П2.1. Введение
Для иллюстрации большинства описываемых
„спнеского анализа мы использовали наиболее
страНе пакеты общего назначения STADIA и
ф
р
настоящее время официально распространяется 7
р
STATGRAPHICS для DOS и 2-ая
ложения 1, 3), мы решили оставить в книге описание ранней версии
3.0, как наиболее распространенной (судя по отзывам наших коллег)
в стране. Для нас также был немаловажен достаточно простой интер-
интерфейс этих пакетов, что позволило сосредоточить внимание читателей
не на особенностях их использования, а на постановках задач, формах
представления данных и результатов и интерпретации результатов.
На наш взгляд, ознакомиться с примерами применения пакетов STA-
STADIA и STATGRAPHICS (равно как и пакетов SPSS и Эвриста, использу-
используемых при обсуждении временных рядов) будет полезно всем читателям,
втом числе и пользователям других статистических пакетов (особенно
зарубежных). Дело в том, что в большинстве статистических пакетов
порядок ввода данных, а тем более, формы представления результатов и
методы их интерпретации, определяются не прихотью разработчиков, а
содержанием статистической процедуры и сложившимися традициями,
а потому мало зависят от используемого пакета. Кроме того, среда
Windows заметно унифицировала интерфейсы статистических пакетов.
Поэтому описание методов работы с пакетом STADIA 6.0 может быть
полезно и при использовании других статистических пакетов для Win-
Windows. А описание пакета STATGRAPHICS поможет освоению англо-
англоязычной прикладной статистической терминологии.
П2.2. О пакетах STADIA
и STATGRAPHICS
Пакет STADIA. Первые версии статистической' *"^0™™ шой
* STADIA (автор - А П.Кулаичев) появились на рынке пр р
489
продукции в 1989 г. Пакет ориентирован на массового пользователя,
имеющего небольшой опыт как в статистическом анализе, так и в об-
общении с персональным компьютером, но нуждающемся в быстром и
удобном средстве оформления и обработки данных. Этот удивительно
компактный пакет за счет удачного совмещения диалогового характера
организации интерфейса с иерархической системой меню и продуман-
продуманной контекстно-ориентированной помощью легко обучает пользователя
решению возникающих перед ним задач, включая подбор статистиче-
статистических методов обработки данных и интерпретацию результатов анализа.
Постоянное пополнение и совершенствование пакета в области ста-
статистических методов постепенно превращает его в довольно мощное
средство анализа данных.
В 1996 г. начала распространяться версия этого пакета в среде
Windows — STADIA 6.0. При сохранении простоты и доступности паке-
пакета, а также преемственности его интерфейса, в Windows-версии пакета
кардинально улучшились графические возможности, стал более нагляд-
наглядным ввод данных в статистические процедуры, несколько расширились
статистические возможности.
Пакет STATGRAPHICS (Statistical Graphics System) с середины
80-х годов разрабатывался корпорацией STSC (США). В настоящее
время пакет распространяется Manpgistics Inc. (США), имеющей свое
представительство и в России (см. приложение 3). Пакет занимает одно
из лидирующих мест в мире [106], и его ранние DOS-версии широко
распространены в России (в основном, в виде нелегальных копий).
Довольно подробное описание версии 3.0 можно найти в [27].
Кардинальная переработка пакета началась с версии 5.0. Более
подробно эволюция пакета и его современное состояние описаны в
[34], [33]. Отметим полноту представленных в пакете статистических
методов, прекрасную двумерную и трехмерную графику, широкие воз-
возможности оперирования данными. С точки зрения массового отече-
отечественного пользователя существенным недостатком является то, что
пакет рассчитан на специалистов, хорошо знакомых с концепциями
применяемых процедур. Так, в довольно обширной документации ран-
ранних версий пакета практически отсутствуют как формулы расчета тех
или иных характеристик, так и ссылки на конкретные первоисточники.
Современная документация пакета значительно улучшилась и заметно
увеличилась в объеме.
STAr мы приведем общие характеристики пакетов STADIA 6.0 и
490
П2.3. Статистические методы
В пакетах STADIA и STATGRAPHICS
„мйидамые на практике статистические
welWe о них дают меню блока стат„ст„ки
„ровное меню пакета STATGRAPHICS
д;S2{ADIA(
U)
Параметрические тесты
. 1=0п. en сп над гт
Непаранетрнческне тесты—-
=Х - 1:'! i.j
=С£ 10 О !
= " 1 6 .. i . CCfcflH ,
i=Tll I I i Л ... . , i
ТЭ=К л н . н i dci
Многонс ные иетод.
И N11
i к
- нспс сноинын аниянз
Анализ в ененных япов
-Сгл мв нн
п
= НО
Рис. П2.1. Система STADIA. Меню блока статистики
STATGRAPHICS Statistical Graphics System!
DATA MANAGEMENT AND SYSTEM UTILITIES
A. Data Management
B. System Environment
C. Report Writer and Graphics Replay
0. Graphics Attributes
PLOTTING AND DESCRIPTIVE STATISTICS
E. Plotting Functions
F. Descriptive, Methods
G. Estimation and Testing
H. Distribution Functions
I- Exploratory Data Analysis
AND REGRESSION ANALYSIS
J. Analysis of Variance
K- Regression Analysis
Рис. П2.2. Пакет STATGRAPHICS. Головное меню
ПНЕ SERIES PROCEDURES
L Forecasting
H. Quality Control
II. Smoothing
0. Tine Series Analysis
AOVAHCEO PROCEDURES
P. Categorical Datn Analysis
Q. Hultivariate Methods
R. Nonparacietric Methods
S. Sampling
T. Experimental Design
MATHEMATICAL AHD USER PROCEDURES
U. Mathematical Functions
V. Supplementary Operations
491
Многие из названных на рис. П2.1 и П2.2 статистических процедур
рассмотрены в компьютерных разделах глав 1-10 этой книги. Поэтому
сейчас мы скажем о возможностях пакетов только в тех задачах, которые
остались за рамками книги, а так же обратим внимание на некоторые
особенности в реализации процедур.
В области анализа временных рядов в обоих пакетах довольно
полно реализованы процедуры корреляционного, кросскорреляционно-
го и спектрального анализа. Представлены методы анализа моделей
авторегрессии-скользящего среднего (АРСС или ARIMA модели). По-
Подробное описание этих методов смотри в главах 12 и 14, а также в
[11], [15], [29], [58].
. В рассматриваемых пакетах содержатся также и методы контроля
качества, широко используемые на производстве при контроле за техно-
технологическими процессами. Они включают различные типы контрольных
карт, диаграмму Парето и пр. Этим вопросам посвящена обширная
литература, например, [56], [71], [93]. Современные версии пакета
STATGRAPHICS включают значительно расширенный модуль методов
контроля качества, позволяющий эффективно использовать пакет на
промышленных предприятиях.
В системе STADIA полнее, чем в STATGRAPHICS, реализованы
методы дисперсионного анализа, кластерного анализа, многомерного
шкалирования и критерии проверки согласия для сложных гипотез. В
свою очередь, пакет STATGRAPHICS превосходит STADIA в таких раз-
разделах статистики, как планирование эксперимента, лог-линейный ана-
анализ, прогнозирование, использующее различные методы сглаживания,
и др. Кроме того, из менее распространенных процедур в пакете STAT-
STATGRAPHICS представлен блок методов разведочного анализа. Он вклю-
включает различные методы анализа выборок, типа Box-and-Whisker Plot («ящик
с усами»), Stem-and-Leaf Display («дерево с листьями*) и др. Изложение
этих методов можно найти в [76].
Оба пакета поддерживают обработку наблюдений с пропущенны-
пропущенными значениями. Кроме того, в пакет STATGRAPHICS включен боль-
большой запас общематематических алгоритмов (решение систем линейных
уравнений, численное дифференцирование и интегрирование и др.).
П2.4. Архитектура пакетов
Пакет STADIA. Общая архитектура пакета STADIA 6.0 является ти-
типичной для Windows-программы. В тоже время интерфейс пользователя
не перегружен редко используемыми процедурами и пиктограммами, а
работа с окнами максимально упрощена. На рис. П2.3 приведен общий
492
"""«г
в11д интерфейса пакета. Панель управления
ыстрый доступ к работе с файлами, гРаф„.
Lx в электронной таблице, едИНоМу \^1
-■--■■• MJ^k^^
Э « e STADIA 6.0/b»s7
Фоня График=РБ Bbi4Hcn=F7 npcoGD=F8
|
Рис. П2.3. Пакет STADIA. Общий вид интерфейса пользователя
В пакете существует три основных типа окон: окно для работы с
данными в виде электронной таблицы, окна для работы с графиками и
окно результатов. Для задания данных в статистических процедурах
используются вспомогательные окна и меню. Общий порядок выпол-
выполнения задачи в пакете сводится к загрузке или вводу файла данных в
электронную таблицу пакета, вызову необходимой статистической про-
процедуры из меню статистических методов (см. рис. П2.1), заполнению
полей ввода данных и параметров процедуры и ее выполнению. Резуль-
Результаты работы процедуры помешаются в текстовом виде в окно результа-
результатов, а генерируемые в ходе работы процедуры графики — в отдельные
графические окна. Переход из одного основного окна в другое осуще-
осуществляется с помощью закладок, таких же, как закладки листов рабочей
книги табличного процессора (например. Excel). Подобная идеология
организации работы, учитывающая особенности порядка и специфики
статистического анализа.,весьма проста, логична и удобна в освоении
Даже неискушенными пользователями.
ПакетSTATGRAPHICS. Восновеорганизации
>CS лежит широко разведенная Д^
н°е меню пакета приведено на рис U2J. каждый J статисти-
включает подменю Их пунктам соответствуют конкретны
ческие и другие процедуры.
493
Управление пакетом может осуществляться как с помощью меню,
так и в командном режиме — заданием имени нужной процедуры (ко-
(команды). Часть наиболее часто используемых сервисных команд присво-
присвоены функциональным клавишам ©—(ЕШ)- Кроме того, пользователь
имеет возможность использовать настраиваемые командные клавиши
(СШЗСЕЮ —(ШШСЕЮ Для вызова требуемых ему процедур (см. п. П2.5).
Ввод данных в большинство процедур STATGRAPHICS сводится
к заполнению полей ввода данных, выданных выбранной процедурой.
Порой это требует хорошего знания статистических особенностей про-
процедуры и использования своеобразных правил преобразования данных,
принятых в пакете (см. п. П2.6).
Замечание. Некоторая громоздкость разветвленной системы меню пакета
STATGRAPHICS отчасти компенсируется объединением в специальные подме-
подменю всех вспомогательных методов и процедур, которые могут иметь отношение
к рассматриваемой задаче (например, в процедурах регрессионного и многофак-
многофакторного анализа). Такое объединение бывает очень удобно для исчерпывающего
анализа данных и проверки правильности выбранных методов обработки.
Ш.5. Интерфейсы пользователя
Удобность и эффективность работы со статистическим пакетом во
многом определяется дружественностью его интерфейса. Не ставя зада-
задачи сравнивать интерфейсы пакетов, реализованных в среде Windows и
в среде DOS (у каждого из этих типов интерфейсов есть свои несомнен-
несомненные достоинства и недостатки), приведем их основные характеристики
для разбираемых пакетов в таблице П2.1.
Таблица П2.1
Некоторые характеристики интерфейса пакетов
Характеристики
Текущая подсказка
Помощь
разъясняет
Функциональные
клавиши
Применение
комбинаций клавиш
Диагностика ошибок
STADIA 6.0
Есть
Суть процедуры
и ее результаты
Действие зависит
от режима программы
Достаточно
удобное
Есть
STATGRAPHICS 3.0
Есть
Порядок
ввода данных
Контекстно-
неориентированные
Трудное
в освоении
Есть
Выполнение процедур в пакетах STADIA и STATGRAPHICS мо-
может быть осуществлено с помощью выбора из меню. Кроме того, в
пакете STADIA выполнение процедуры осуществляется и при нажатии
494
.авиши, указанной в меню напротив имени nnni
>ым пользователям значительно y^TZT U поз
TATGRAPHICS возможен запуск процеГ , ГСВ°Ю Работу). В п
атуры ее имени, состоящего из «Щ ^TV* С »
редактора базы данных пакета может быть запущеГГ' ^ за№
£, выбором из меню процедуры 2. R|e OperationsnVHKГГ И1Кни FILE
ровного меню пакета. пУ™та A. Data Management
Замечание. Даже имея опыт работы с пакетом STA-im.
приходится заниматься поиском необходимой ппоц nvnf^HICS" П°Р°*
подменю или в списке Dcex имен процедур Част?™ МН0Г0Ч1№шых
р„ заполнении многочисленных полей ввода данных * пННкают ^мнения
& старались указывать возможные затруднения в ко2ГРТа Пр0ЦеяуР-
ьаЖДО" главы. ы»мпьютериых разделах
Панели статуса и управления.
пакеТов STAD.A .
1ерф ^ST^SSZ
панелей статуса и управления. Панель управления пакета STADIA 60
приведена в верхней части рис. П2.3. Панель статуса н управления
пакета STATUKAFHICb cJ.O, занимающая три нижние строки экрана
компьютера, изображена на рис. П2.4.
Complete input fields and press F6.
IHelp 2Edit 3Savscr IPrtscr 5 6Go 7Vars 8Ст.<) 9Device 100uit
IUPUT 10/14/93 12:59 STATGRAPHICS Vers. 3.0 Display PTAB
Рис. П2.4. Пакет STATGRAPHICS. Панель статуса н)правления
Панель управления STADIA 6.0 содержит собой систему меню, ти-
типичную для Windows-программ, а также линейку пиктограмм С меню
можно работать как с помощью мыши, так и нажатиями функциональ-
функциональных клавиш. А наиболее часто используемые операции могут также
быть вызваны с помощью кнопок с пиктограммами. Так. имеются кноп-
кнопки чтения и записи содержимого активного окна, кнопки работы с
буфером обмена (вырезание, копирование, вставка), кнопка выдачи на
печать и кнопка изменения шрифта активной страницы. Лаконичность и
простота средств управления пакета STADIA 6.0 значительно упрощает
освоение и использование пакета. .
В пакете STATGRAPHICS первая строка панели статуса (рис. ШЛ) г
Указывает возможные действия пользователя или сообщение об ошиоке.
Например, при загрузке большинства процедур пакета "*™ ^'
то же сообщение (Snp.ete input fie.ds and pressFB, "P*»
ввода и нажать клавишу ©• Во второй строке ^тскАРН
Функциональных клавиш. Третья строка пане^ "^ состояния, те-
ICS содержит несколько информационных полей. V устройство
"тую дату и время, номер версии, первичное графическое у р
495
и имя текущей процедуры или команды. Флажок состояния говорит о
том, что в данный момент делает пакет. Так, например, значение флаж-
флажка INPUT означает, что пакет ждет вашего ввода, значок:СЖ появляется
при выполнении длительных вычислений, значок PROCESS показывает,
что система выполняет ваше последнее требование.
функциональные клавиши. Хотя всю работу с пакетом STADIA
можно вести с помощью мыши, для убыстрения работы, как и в DOS-
версии пакета, можно использовать функциональные клавиши. Наиме-
Наименования соответствующих функциональных клавиш вынесено в заголов-
заголовки меню программы (см. рис. П2.3). Так. клавиша (Щ) вызывает меню
статистических методов, а клавиша (Ц) всегда вызывает на экран раз-
раздел гипертекстового справочника, соответствующий текущему режиму
работы или выбранной статистической процедуре.
В пакете STATGRAPHICS функциональные клавиши являются
контекстно-неориентированными и выполняют основные сервисные про-
процедуры (табл. П2.2). Наша практика показывает, что функциональные
клавиши (£2) и (£9) фактически никогда не используются в работе,
а клавиша (£5) используется довольно редко. В то же время очень
полезны возможности, предоставляемые клавишами QT) и (Щ). Кро-
Кроме основных командных клавиш, в пакете STATGRAPHICS доступны
сочетания (Ctrl)ГрП—(CtrljfFTO].
Выводы. Простота и удобство интерфейса пакета STADIA 6.0 выде-
выделяет его в лучшую сторону по сравнению с Windows-интерфейсами та-
таких статистических пакетов, как STATISTICA, SPSS, MINITAB. S-PLUS
и др. За исключением довольно непрозрачной системы заполнения по-
полей ввода данных в статистические процедуры, интерфейс пользователя
пакета STATGRAPHICS 3.0 значительно удобнее, чем у многих других
известных пакетов общего назначения в среде DOS.
П2.6. Работа с данными
Оба пакета осуществляют хранение информации в специальных
форматах в собственных базах данных, однако их возможности раз-
различаются. Ввод и редактирование данных в обоих пакетах возможны
с помощью встроенных редакторов данных, построенных по принципу
электронных таблиц. Основным элементом данных, с которым они опе-
оперируют, является переменная (столбец данных). В таблице П2.3 даны
основные характеристики переменных в базах данных пакетов.
Пакет STADIA. Работа редактора данных пакета STADIA (рис. П2.3)
соответствует основным требованиям, предъявляемым к электронным
496
50pt
6Go
7Vars
8Cmd
9Device
командный режим, который позволяет
Определяет выходное устройство, на которое
направляется весь последующий вывод (экран,
плоттер или метафайл).
lOQuit
Таблица Л2 3
Характеристики переменных в базах данных пакетов
Характеристики
Числовые переменные
Символьные переменные
Размерность переменных
Число значений
в одномерной переменной
Число переменных в файле
STADIA 6.0
да
да
1
до 20000
до 500
STATGRAPHICS 3.0
Да
да
1-9
до 4096
зависит от вида переменных
таблицам в среде Windows. Данные в электронной таблице могут
редактироваться как с клавиатуры, так и путем вставки и удаления из
буфера обмена. Последние операции осуществляются стандартным для
среды Windows образом. С помощью левой кнопки мыши .выделяется
блок данных, который затем вырезается или копируется в буфер.обмена,
после чего содержимое буфера может быть вставлено ™У*™^
Специализированные преобразования данных 0СУ"*ес, п2 5) па_
мощью открывающегося меню преобразования данных ур
«7-783
497
нели управления. Оно содержит обширный набор алгебраических, три-
тригонометрических, матричных и других операций. Пункт 2=задаваемая
функция этого меню позволяет создавать и запоминать преобразования,
часто используемые пользователями.
MpiiuGpuaonainiM
Одна переменна
1
сганп отнот
2= адоп нпя
11Г 1=
юр чисел
= t
ч н в= О
о i в ~i ortn
IfБ^норннррвкв диапазон I
I И=сорпшрока |
J
-Все перененные-
Заменить: |
<Е с>=Отнсннть
Рмс. П2.5. Пакет STADIA. Меню преобразования данных
Данные из электронной таблицы пакета могут быть сразу выведены
на график (клавиша (?б]), на печать ((££))» записаны в базу данных
((fa)) или переданы в статистическую процедуру ((W)).
Ввод данных в статистические процедуры в STADIA осуществляет-
осуществляется непосредственно только иэ матрицы данных, находящейся в текущий
момент в электронной таблице пакета. Это может иногда приводить к
недоразумениям и требовать удаления некоторых лишних переменных
из матрицы данных. В документации пакета и в гипертекстовом спра-
справочнике указаны требования, которые предъявляет к данным каждая
статистическая процедура.
Пакет STATGRAPHICS имеет более широкие возможности по ра-
работе с данными: он позволяет также обрабатывать символьные пере-
переменные и переменные типа «даты» («мм/дд/гп>, например, 11/27/91
для 27 ноября 1991 года) или «месяца» («мм/дц»), которые удобно
использовать в ряде графических и статистических процедур (регрес-
(регрессии, анализа временных рядов). Впрочем, это требует дополнительных
усилий по формированию структуры электронной таблицы.
Ввод данных в процедуры STATGRAPHICS весьма гибок и удобен В
полях ввода могут быть указаны как непосредственные значения данных
498
(„больших объемов), так и имена переменных
[* и выражения, использующие широкий ;В КотоРЬ!Х
.....а данных пакета. Последнее ор onpnQ>i-
ни нахоп,
-ngan»" -* ^-мпсс ПОПОЙ ТпоЛ г
рошей адаптации к нетрадиционным правив' °Т По
Го позволяет моментально скорректиромГ °СТавле»ия
1актору базы данных. Некоторые примерь Ые< Не
;еТа приведены в компьютеру разделах главТ0^"*
Опишем подробнее порядок работы с редак™
GRAPHICS. Его загрузка осуществляется из nmOHl " -««имлт
i даа Management головного меню пакета На пис поТ10 |1е °^^т пункта
„яший после загрузки процедуры. v ил "Риведен экран, вознн-
File Operations
STATGRAPHICS file name:
\ orations: A. Copy
B. Create
j С Edit
I oesired operation:
D. Erase
E. Join
f. Print
G. Recode
H. Rename
I. Split
J- Update
Files on Data Drive
fflDBNOR1.TXT ANOVA.ASF
EHPDATA.DAT EXPO. ASF
HAKS2.ASF
N0RH2.ASF
SPEEDR.ASF
STATX1.ASF
STATX4.ASF
HAKS1.ASF
KONLIH.ASF
flAHOOH.ASF
STATR1. ASF
SIATX3.ASF
Z.ASF
ANRNOR.ASF
HUBER.ASF
MAX1.DAT
H0RM6.ASF
SPESDR.ASF
STATX1O.ASF
T.ASF
CAROATA.ASF
IROHORE.ASF
HAX2.0AT
H0RH75.ASF
STATF1.ASF
STATX15.ASF
TEN20V.ASF
CASE1.0AT OIAHZ ASF
IOGLIH.ASF HAK1.CGH
HVOATA.ASF HEW.ASF
P1_1.TXT OCDATA.ASF
STATGHLP.ASF STATGTXT.ASF
STATX2.ASF STATX20.ASF
TSOATA.ASF 7W0STAGE.ASF
Рис. П2.6. Пакет STATGRAPHICS. Меню процедуры редактора данных
В поле STATGRAPHICS file name (имя файла данных STATGRAPHICS) надо
указать уже существующее имя (их список приведен ниже в блоке Res on Data
Drive) или новое. Для создания нового файла данных укажите в поле Desired operation
(выбор операции) букву В и нажмите (Ц). Для описания переменных файла и
их дальнейшего ввода и редактирования в поле Desired operation надо ввести букву
Си нажать клавишу (~ЙГ). Результат этой операции представлен на рис. П2.7.
Назначение экрана на рис. П2.7 — настройка структуры переменных в
файле данных. Заполнение полей Name (имя переменной), Туре (тип переменной)
и Width: (ширина поля ввода в редакторе) и последующее нажатие клавиши l£6J
приводит к созданию полей (столбцов) ввода с заданными характеристиками в
полноэкранном редакторе базы данных. Для прекращения этого процессу.надо
нажать (ЦЮ. и произойдет выход в редактор базы данных пакета (рнсШЖ
Не касая^Гвсех тонкостей настройки, укажем «^«^^
Доступных в пакете. Тип N - числовые
тип I - числовые целочисленные переменные
значения от 1 до 9) - числовые
(где
е переменные тип F (гд ^ / ч.
значения от 1 до 9) - числовые переменные с фиксир ан,«пни»чя
них знаков после запятой, тип D - числовые переменные, вводим ф_н ^
«и/дд/гг» (например, 11/27/86 для 27 ноября 1986 года;,
символьных переменных.
499
17»
Cursor at Row:
Column:
Data Editor
File: EXAMPLE
Maximum Rows:
Number of Cols:
0
1
Row
1
2
3
4
5
6
7
8
9
10
11
12
13
14
Add additional column
Name: a
Type: J
Width:
1
Length 0
Typ/Wth N/13
Рис. П2.7. Пакет STATGRAPHICS. Меню настройки структуры переменных
в файле данных
На рис. П2.8 приведен вид экрана редактора базы данных пакета с полями
для ввода двух действительных переменных с именами vari и var2. Нажатие
клавиши (W) выводит на экран меню преобразования, печати и сохранения
переменных.
Row
Cursor
vari
at Row:
Column:
var2
1
2
Data
File:
Editor
EXAMPLE
Maximum
Number of
Rows:
Cols:
0
2
1
2
3
4
5
6
7
8
9
10
11
12
13
14
'■
Modify var2
Add additional column
Remove var2
Add rows
Delete rows
Add cells
Delete cells
Print to printer
Print to file
Save without exit
Sort in ascending order
Sort in descending order
Undo last sort
Length 0 0
Typ/Wth N/13 N/13
Рис. П2.8. Пакет STATGRAPHICS. Полноэкранный редактор базы данных
с вызванным окном опций работы с переменными
Экспорт и импорт данных. Кроме непосредственного ввода данных
в блок редактора, STADIA допускает импорт и экспорт файлов данных
500
формата DBF и ASCII (разделители _
кивает совместимость со многими дру"^ ИЛи
хранения и обработки данных. Кроме Т ПрогР
сть со многими дру^ Ли ^ятые), что обрг
и обработки данных. Кроме Т ПрогРаммными cZli
■** -рез буфер обме„а с ^^Г "°^^ мГн
Excel. Lotus 1-2-3 и т.д.). "Риммой в среде щ™w"
STATGRAPHICS поддерживает обмен п,
plFi Lotus и ATLAS*GRAPHICS. ДЭННЬ1Ми та™е и в фОрматах
Контроль ввода данных. В пакете STADIA
вводом данных осуществляет специальная пооУ К°НТроль За ошибочным
делить резко выделяющиеся и пропущенные да^Гв^ТГ ВЫ'
этот вопрос частично решается за счет настоойк STATGRApHICS
ной таблицы на конкретный формат данных что Г* ВВ°Да ЭЛектрон"
однотипных массивов. А Ш' что Особе"но удобно для
Преобразования данных. Оба пакета ™™™
^преобразования данных, что JZ вГоТпр^Г^
дачах. Пользователь обнаружит в этих пакетах станда тные фунТци "-
„альные преобразования и преобразования, задаваемые пользователем
разрезание и склеивание переменных, сортировку и ранжирование ге-
генерацию данных с заданными характеристиками и многое другое. *
П2.7. Графические возможности
Трудно переоценить важность графических форм представления дан-
данных в статистике, где они являются составной частью многих методов
анализа и'обеспечивают наглядное представление данных и результа-
результатов. Пакеты STADIA и STATGRAPHICS не сильно отличаются по
разнообразию двумерных и трехмерных типов графического предста-
представления данных. Они включают достаточно полный набор двумерных и
трехмерных диаграмм рассеяния, функциональных графиков одной или
нескольких переменных (с указанием стандартных ошибок и без него),
столбиковых и круговых диаграмм, матричных графиков и др. Кроме
того, пакеты осуществляют различные типы сглаживания и построе-
построение графиков функций распределения и их производных для обширно-
обширного класса вероятностных семейств. Некоторые возможности пакетов
иллюстрируются на рис. П2.9—П2.12.
Графические возможности в пакете STADIA 6.0. Среда Windows
предоставляет удобные возможности для создания "™™Z STADU
редакторов в своих приложениях. Графи-еошйГ****™* STADIA
6.0 сочетает простоту и удобство с богатыми возможностями.
501
Рис. П2.9. Пакет STADIA.
Трехмерный график поверхности
Рис. П2.10. Пакет STADIA.
Сглаживание скользящим средним
Для построения графика исходных .данных, загруженных в элек-
электронную таблицу, необходимо открыть меню графиков на панели упра-
управления (см. рис. П2.3). Кроме того, большинство статистических
процедур автоматически строит необходимые по ходу анализа графики.
Так, например, процедура регрессионного анализа генерирует графики
подобранной зависимости, остатков и прогноза.
Лтсс-В Hrrtojr*»
, га
и
но, С
-1
■ЯП
1
I ил
I Uat
I Or.tr. I
10
г
I er[|l>
Рис. П2.11. Пакет STATGRAPHICS.
Трехмерная гистограмма частот
I Z 3 1 S С.
II»
Рис. П2.12. Пакет STATGRAPHICS.
Кумулятивный график компонент ряда
Меню графиков данных (рис. П2.13) предоставляет доступ к различ-
различным типам графиков. Дальнейшее редактирование построенного графи-
графика позволяет изменить толщину линий, выбрать тип маркера точки и
форму самого графика. На график могут быть добавлены названия осей,
подрисуночная надпись, легенды. Пакет помещает график в специаль-
специальное графическое окно и позволяет одновременно работать с восьмью
подобными окнами. Любой график может быть сохранен в виде файла
в формате BMP. С помощью буфера обмена график может быть также
перенесен в любую другую Windows-программу.
502
Многонс ны
ив , ,„
=ПОСсрХНбсть
' п вние
= к ионаяьиыи
=с отклонениями
^ 3=д Lrp-P"cc«^HM ]
=pacnpeaenetmc
6=сгоп6.днвграниа
=диагганив-баш 4J
6=100 башня \ Швгов=
9=
|х 1столбнкн;
<Езс>п01нсинть
Рис. П2.13. Пакет STADIA. Меню выбора графика
Graphics Options
Lines:
points:
Fills:
Text:
Colors __ Types
3 66789ABCD F12M5 J12 SW* 1
5b S? BCDEF.12346i2 ЗЛ5612
56 «9ABCDEF123461 . 12 *»
Text
Color
Axis Ticmark Ticrnark Minor
Color
X-axis:
Y-axis:
I-axis:
Topi:
Top2:
Display
Printer
Tvpe
n
n
Horizontal
Origin Width
window: ,00 I.00
window: top 00
Size Ticoarks
I
Vertical
Oripin Width
0 0
00 »
Point size:
Ticrark eQ
Ticoark gap:
Pen speed:
Grid:
Border:
Frame-
i 0
Color
00 0
STATGRAPHICS.
00
Viewpoint
X 0U
Y DB
I OD
110 сравнеити i- ^-- --r u vvmaowa
пользования возможностей сред OT'TrRAPH/CS. Графический
Однако их исшм документации па.
'в"^ра'ктиГном Ре«име, ^^Д^й F--»,^^
кета. С помощью нес^ьки^ -^*-««- ^'осГ *"■
проводить настройку всех в°зм0*™шта6а „о каждой ■> ос». Р
области определения, размеров, да
заголовка, и кончая типами и цветами линий и точек на графике и
детальным оформлением осей координат. На рис. П2.14 приведено
одно из меню настройки графического вывода пакета. Значения мно-
многочисленных параметров этого меню хранятся в специальном файле и
используются по умолчанию.
В режиме интерактивного редактирования графика пакет STAT-
GRAPHICS позволяет расставить метки точек, изменяя при этом как их
вид, так и положение, вывести значения координат (или номеров) точек
и т.п. Имеются и возможности наложения слайдов ранее построенных
графиков и разбиения листа на части для одновременного вывода до 9
различных графических слайдов на лист. В более поздних DOS-версиях
пакета порядок графического редактирования существенно упростился.
П2.8. Подготовка отчетов
Важным этапом завершения статистического анализа является под-
подготовка итогового отчета. Он обычно включает в себя, наряду с тек-
текстовым описанием задачи, результаты компьютерных расчетов и гра-
графические иллюстрации.
Результаты статистического анализа в пакете STADIA 6.0 помеша-
помешаются в специальное текстовое окно результатов. Его содержимое может
быть отредактировано и выведено на печать непосредственно п самом
пакете или перенесено с помощью буфера обмена Windows в другой,
более привычный тестовой редактор. Аналогично можно поступить с
содержимым графических окон пакета.
Пакет STATGRAPHICS 3.0 позволяет осуществить полную подго-
подготовку итогового отчета па английском языке. При этом имеется возмож-
возможность не только скопировать текущий экран в файл, но и предварительно
его отредактировать. Процедура генерации отчета позволяет включать
сформированные по ходу работы текстовые и графические экраны в ито-
итоговый документ. Однако она настолько уступает по простоте и удобству
распространенным текстовым процессорам, что Вам вряд ли захочется
ей пользоваться без крайней нужды.
П2.9. Документация
Хорошая документация значительно упрощает и убыстряет освоение
любого пакета
Пакет STADIA. Сравнительно небольшая B50 страниц формата
А4) документация системы STADIA тщательно продумана и хорошо
504
оформлена. Разбор назначения кяшппй г,
диалога, демонстрационные npJ^S^' T™°ft П°РЯД°К
статистических процедур „ 0LZL JТ Ф Р"УЛ "° большинегву
либо неясности при Дте [>~?.Р ^^ "СМт*т КаКИе"
Пакет STATGRAPHICS. Документация
обширна и подробна. Вряд ли Вам n^
е„ии пакета без ее внимательного изучения. O^LoZ^c,
вопросов порядка ввода данных во многие процедуры, работы с тек-
текстовым и графическим редакторами пакета. Разбор демонстрационных
примеров довольно поверхностен со статистической точки зрения и по-
порой остается только гадать, какая величина конкретно вычисляется в
тех случаях, когда наряду с точной формулой (таблицей распределения)
может использоваться асимптотическое приближение или модификации
с поправкой на группировку или непрерывность. В документации нет и
каких-либо указаний или ссылок на типы вычисляемых оценок параме-
параметров для различных семейств распределения вероятностей. Отсутствие
подобной информации делает многие вопросы при использовании пакета
неясными даже для специалистов, и может потребоваться даже специ-
специальное тестирование, если Вы хотите быть уверены, что вычислили
именно то, что хотели.
Начиная с пятой версии пакета, его документация была полностью
переработана и большинство из указанных недостатков в ней было
устранено.
П2.10. Справочник
и экспертная поддержка
Мяло кто „з севре-...™
с Той и.пи иной программой ^%^Z£Za
ло. пеОодьнше затруднен,» при» и »JJ^Km обрашаюТся
„строенного справочника, а к *°к>"е"а еш1е „уж,юВ иробле-
лишь тогда, когда во встроенном а^'^.„«остьветромноге
мы найти но удаюсь. Поэтому удоб ™ ' И „„„_ о6ес„сч„-
сп^очпнка - один »^^ГН11 продукт-
ваюпшх комс|юртиуго раооту i STADIA практически
Пакет STADIA. При м^"^^Г"
юшем систему перекресразъяснепис как
вочнику позволяет легко получит i
цедурам, так и по статистическим методам. При нажатии клавиши (п)
программа выдает фрагмент справочника, соответствующий текущему
режиму работы пакета или выполняемой статистической процедуре.
Пакет STADIA содержит встроенную экспертную систему по вы-
выбору и использованию статистических методов. Для этого используется
специальная классификация различных возможных типов статистиче-
статистических данных, и для каждого из этих типов данных указываются возмож-
возможные статистические методы обработки, их назначение и порядок работы
с ними. Это очень полезно для расширения статистического кругозора
вообще, и особенно в тех случаях, когда надо использовать альтерна-
альтернативный метод обработки, потому что результаты проведенного анализа
являются неудовлетворительными. Мы уже описывали эту экспертную
систему в Приложении 1 (см. п. П1.8, рис. П1.3—П1.5).
Пакет STATGRAPHICS. Встроенный справочник пакета STAT-
GRAPHICS 3.0 довольно скуден, контекстио-неориептировап и содер-
содержит, в основном, сведения о назначении функциональных клавиш и
о порядке ввода данных в статистические процедуры. Эффективность
его поэтому крайне низка, и для использования разнообразных возмож-
возможностей пакета необходимо детально изучить объемную документацию.
Современные версии пакета STATGRAPHICS кардинально отличают-
отличаются от своих ранних аналогов в вопросе оказания помощи при подборе
статистической процедуры и толкования ее результатов. Например, в
версии пакета STATGRAPHICS в среде Windows предусмотрен уникаль-
уникальный режим StatAclvisor, который по завершении работы статистической
процедуры генерирует текстовой отчет, разъясняющий полученные ре-
результаты.
П2.11. Технические характеристики
Пакет STADIA 6.0 работает на любом IBM PC-совместимом компью-
компьютере с процессором 386 и выше, имеющем не менее 4 Мбайт дополни-
дополнительной памяти и русифицированную среду Windows версии 3.1 и выше.
Все настройки на внешние устройства обеспечиваются непосредствен-
непосредственно средой Windows. В отличие от DOS-версии пакета, позволяющей
работать непосредственно с гибкого диска, работа с STADIA 6.0 может
осуществляться только после инсталляции его на жесткий диск.
Пакет STAGRAPHICS 3.0 может работать практически на любом
IBM PC совместимом компьютере и не требует дополнительной памяти.
Однако следует иметь ввиду, что прилагаемые к пакету драйверы внеш-
внешних устройств уже не соответствуют современным принтерам, монито-
50G
рам и другим внешним устройствам Пп
возникнуть проблемы с настройкой пакетГ^ У П0ЛЬ30Вателей могут
По современным понятиям оба
не более 3 Мбайт на 1^
П2.12. Ошибки
любой большой nporpUTo^ B «их. как и в
статистических методов приводит к тому что mZ™ НетРивиальность многих
ные ошибки во многих статистическийw^b^'^"™™"^
листами) - не редкость. ОшибкrS?USSS п^Г ВДМаН11ых «™циа-
как STADIA и STATGRAPHICS ВСТреЧаЮТСЯ даже в ХОРОШИ* пакетах, таких
Например, во время тестирования пакета STATGRAPHICS 3 0 авторами
были обнаружены грубые ошибки в процедурах проверки согласия выборочного
и теоретического распределения (Distribution Fitting). В них в частности не
делается различия при вычислении процентных точек для статистик Колмого-
Колмогорова и хи-квадрат для простой и сложной гипотез. Для статистики Колмого-
Колмогорова, например, процентные точки выдаются всегда только для случая простой
гипотезы, что приводит к заметному завышению согласия, если нулевая ги-
гипотеза сложная. Аналогичная ситуация наблюдается и с критерием согласия
хи-квадрат. Процентные точки этой статистики неверны и в случае простой
гипотезы, и случае сложной (последнее связано с использованием в статистике
критерия неправомерных оценок параметров теоретического распределения).
Подробно эти вопросы рассмотрены в главе 10.
Не избежали неточностей и ошибок ранние версии пакета STADIA. Напри-
Например, в них неправильно считались границы доверительных интервалов в проце-
процедурах регрессионного анализа, происходили сбои при построении гистограммы
и т.д. Первые варианты пакета STADIA 6.0 также содержали ряд ошибок в
организации и работе Windows-интерфейса. Условиями поставки пакета пре-
предусмотрена возможность обратиться со всеми замечаниями и претензиями к
разработчикам пакета.
Приложение 3
Где приобрести
статистические пакеты
В настоящем приложении мы расскажем о том, где можно приобре-
приобрести описанные в этой книге средства для анализа данных на компью-
компьютерах, получить консультации по их использованию, а также по поста-
постановкам задач и проведению анализа данных (сведения предоставлены
соответствующими фирмами).
П3.1. Универсальные
статистические пакеты
Пакет STADIA содержит широкий набор методов анализа данных из
всех областей статистики и доступен широкому кругу прикладных спе-
специалистов, менеджеров и студентов. Сейчас распространяются версия
5.0 пакета для среды DOS и версия 6.0 для среды Windows. Стати-
Статистические возможности этих версий эквивалентны, однако в Windows-
версии заметно богаче графические возможности пакета. Пакет может
поставляться в трех вариантах: study, base и prof, различающихся лишь
объемами обрабатываемых массивов и ценой (см. п. ПЗ.З ниже). Самый
дешевый вариант study имеет максимальный объем матрицы данных в
256 чисел в DOS-версии и 400 чисел в Windows-версии, он предна-
предназначен главным образом для учебных заведений и задач с небольшими
объемами данных. Самые дорогие версии STADIA 5.0 Prof, и STADIA
6.0/w Prof, имеют увеличенный максимальный объем матрицы данных
до 12800 и 20000 чисел и расширенные возможности статистических
процедур для их обработки но сравнению с базовыми версиями.
Пакет распространяется НПО «Информатика и компьютеры» (Мо-
(Москва).
Пакет STATGRAPHICS — универсальным, многопрофильный пакет
с хорошо методически продуманным меию-ориентнрованным интерфей-
интерфейсом пользователя. Ранние версии пакета, по-видимому, являются самы-
самыми распространенными в России из западных статистических пакетов.
Краткая информация о новых версиях пакета, начиная с четвертой,
опубликована в [34]. В настоящее время распространяются три модифи-
модификации седьмой версии этого пакета. Первые две из них функционируют
гмя
в среде DOS. STATGRAPHICS v 7 0 *
ров, начиная с 8086. STATGRAPHICS^TvV n ^V"™ ПРоцесс°"
процессора. В этих версиях, в отличие от! ТР6бует Не ниже ^
поддержка русского алфавита. Версия STATri?Anu,X' пРедУсм<"Рена
dovvs функционирует в среде Windows■ « „ATGRAPHICS Р»"* for Win-
модуля Base System и допТлнительи- ВЛЯеТСЯ В виде базо^о
контроля качества, планирования экеТ СПеЦИализиР°ва™ь,х модулей
дов и МиогоМернь,х^o^Z^^^^S^
имеются также сетевые аналоги. aiftiuKAPHICS Plus
По сравнению с разобранной в книге третьей версией пакета следует
прежде всего отметить значительное улучшение J«J^S
пакета, работы графических процедур „ значительно возросшие объёмы
обрабатываемых массивов. щы
В России пакет распространяется Санкт-Петербургским СП «Ин-
фоСтрои», являющимся официальным дилером фирмы Manugistics Inc.
(ранее STSC Inc.), которая владеет всеми правами на распространение
пакета STATGRAPHICS.
Пакет SPSS — универсальный статистический пакет фирмы SPSS
Inc., одного из крупнейших производителей и распространителей стати-
статистического программного обеспечения в мире. Версии системы SPSS на-
написаны для самых популярных платформ — MS DOS, Windows, OS/2,
Macintosh, UNIX, IBM/370 MVS и др. Все они совместимы между со-
собой по принципу работы, командному языку и форматам файлов. Версия
SPSS для Windows продолжает сохранять позиции лидирующего стати-
статистического пакета в мире. Сейчас распространяется версия SPSS 7.0
for Windows 95, которая предлагает удобные возможности управления
данными, широкий спектр статистических функций, интегрированных
графиков и отчетов. Исследовательские задачи выполняются в едином
режиме, начиная с ввода исходных данных и кончая получением отчета
о результатах анализа.
Пакет также предлагает:
. справочную систему, ориентированную на конкретные задачи, г
также глоссарий по научным терминам,
509
SPSS является модульной программой. Базовая система предоста-
предоставляет пользователям возможности для преобразования данных, функ.
ции работы с файлами, описательную статистику, дисперсионный ана-
анализ (ANOVA), корреляцию, линейную регрессию, средства построения
графиков и подготовки отчетов. Дополнительные модули пакета вклю-
включают: анализ и конструирование таблиц (Tables), анализ временных
рядов (Trends), анализ категорий (Categories), методы углубленного и
расширенного статистического анализа (Prof. Stats и Adv. Stats) и др.
Документация к системе SPSS признана лучшей документацией для
систем подобного типа и может использоваться в качестве подробного
и доступного учебника по прикладной статистике. Часть документации
пакета переведена на русский язык.
Пакет распостраняет эксклюзивный авторизованный дистрибьютор
SPSS Inc. в России «Статистические системы и Сервис» (Москва).
Пакет SYSTAT — универсальный статистический пакет фирмы
SPSS, Inc. (США), которая поглотила бывшего разработчика этого
пакета SYSTAT, Inc. Пакет содержит богатый набор статистических ме-
методов и отличается прекрасными графическими возможностями. Имеют-
Имеются версии пакета для DOS и Windows. Пакет распространяется Центром
СТАТ-ДИАЛОГ (Москва) (поставки по предварительным заказам).
Пакет STATISTICA/w— универсальный статистический пакет фир-
фирмы StatSoft, Inc. (США). Пакет был создан в начале 90-х годов сразу
для среды Windows, опередив Windows-версии других статистических
пакетов. В пакете нашли отражение многие последние достижения те-
теоретической и прикладной статистики. Однако у специалистов пока не
сформировалось единого мнения по поводу этого пакета, поскольку мно-
многие принятые в пакете подходы имеют свои преимущества и недостатки.
Часть документации пакета переведена на русский язык.
Пакет распространяется фирмой «СофтЛайн» (Москва).
П3.2. Специализированные пакеты
Пакет Эвриста предназначен для анализа временных рядов и вклю-
включает широкий набор возможностей анализа регрессионных зависимо-
зависимостей, трендов, фазового пространства, гармонического, спектрального,
факторного и кросскорреляционного анализа, построения моделей ин-
интервенций, сезонных и несезопиых ARMA-моделей, передаточных функ-
функций, а также многочисленные методы прогнозирования временных ря-
рядов. Этот пакет особенно популярен как мощное средство анализа и
прогноза финансовых рынков.
510
Документация к пякр™
^ пакету одновпемрннп
ником по курсу прикладного анализа ™°ЯВЛяется популярным учеб-
нио по курсу прикладного анГиГГмГ™ ПопУляР"ь«* учеб-
ряде факультетов МГУ Им. М.вС0Н0С0ГГ РЯД°В> ЧИТаемого на
Центром Статистических ИсследовТниТ^м" РаСПР°СТраНяется
Пакет Мезозавр предназначен для а
содержит методы сглаживания, выделения
Джен кинса и т.д.
Пакет КЛАСС-МАСТЕР предназначен для кластерного анализа ко-
количественных, качественных и логических (вида «да-нет>) данных Па
кет может строить логическое описание найденного разбиения на клас-
классы. Распространяется Центром СТАТ-ДИАЛОГ (Москва).
Пакет САНИ предназначен для анализа и визуализации разнотип-
разнотипных данных, в том числе данных нечисловой природы. Позволяет пред-
представлять данные в удобном для восприятия виде, строить группировки,
выявлять аномальные наблюдения, проверять гипотезы о независимости
и т.д. Распространяется Центром СТАТ-ДИАЛОГ (Москва).
Пакет СТАТИСТИК-КОНСУЛЬТАНТ предназначен для анализа ши-
широкого класса регрессионных и факторных задач и включает в себя
ряд уникальных и довольно эффективных процедур анализа временных
рядов. Первая версия этого пакета поддерживала очень ограниченный
набор методов статистического анализа. Этот недостаток был учтен
при создании второй версии этого пакета, которая находится сейчас в
распространении. Следует отметить хороший встроенный гипертексто-
гипертекстовой справочник пакета по статистическим методам анализа и наличие
экспертной поддержки при подборе модели описывающей данные.
Пакет разработан фирмой «Тандем» совместно с Карельским от-
отделением Академии наук и распространяется фирмой .Тандем, и ее
дилерами.
ТСтатЭксперт предназначен для анализа и прогнози-
ескнх инженерных и научных данных.
ЭКОНОМ1 ч . аНализ экономических
Базовая версия программы ориеитирован^на^^ ^ ^^
^— —— ^^ ^^ В-^С 1 I Г! I]! 1 II I \ #1 1 11 1 \_ш ■ 1 ^^" ■ ™* М ■
временных ридио. *-• i ч гтпуктуиного анализа и
методы факторного, кластерного час™™^ пяботает пад Windows и
анализа нечисловой информации,
использует в
ТОО «Росэкспертиза».
Пакет Forecast Expert предназначен.для анализа временных рядо
гю~I сезонных и несезонных АШМА-моделеи и осуществления
прогноз на их базе. Пакет также позволяет учитывать зависимость
рассматриваемого временного ряда от другого ряда и строить прогноз с
Счетом этой зависимости. Главной особенностью этой узкоспеЦ„ализи.
рованной программы является автоматический подбор и тестирование
модели, не требующий от пользователя знании в области математик
ской статистики. Пакет функционирует в среде Windows 3.1 и выше.
Пакет разработан фирмой «Про-Иивест Консалтинг* (Москва) и
является продолжением технологической цепочки программ (Project
Expert, Project Questionnaire & Risk, Invest Expert) для экономики и
финансов. Распространяется фирмой-разработчиком, а также ее пред-
представителями более чем в 40 городах России и СНГ.
ПЗ.З. Цены и телефоны фирм
В приведенной таблице указаны цены на описанные выше статисти-
статистические пакеты и телефоны фирм-распространителей.
Таблица П3.1
НАЗВАНИЕ
Назначение пакета
Цена
Тел./факс
SPSS для Windows
STADIA 5.0 study (DOS)
STADIA 5.0 base (DOS)
STADIA 5.0 prof (DOS)
STADIA 6.0 study (Win)
STADIA 6.0 base (Win)
STADIA 6.0 prof (Win)
STATGRAPHICS 7.0 (DOS)
STATGRAPHICS Plus 7.0
STATGRAPI11CS Plus/Win
STATISTlCA5.1/w
SYSTAT 5.0
универсальным
универсальный
универсальный
универсальный
универсальный
универсальный
универсальный
универсальный
универсальный
универсальный
универсальный
универсальный
4290
50/40
100/80
150/120
200
500/400
800/640
998
1G95
1699
1756/1580
около 1 100
@95) 125-09-68
@95)939-53-06
@95)939-53-06
@95)939-53-06
@95)939-5306
@95)939-53-06
@95)939-53-06
(812K12-26-73
(812K12-26-73
(812K12-26-73
@95)916-88-38
@95I25-21-31
Forecast Expert
Мезозавр (DOS/Win)
Олимп:СтатЭкспсрт Sid
Олимп.СтатЭксперт Prof
Эврнста2.21 (DOS)
Эвриста 3.0 (Win)
Знак (SIGN)
Класс-Мастер (DOS/Win)
САНИ (DOS/Win)
Статнстнк-консу/плант
временные ряды
временные ряды
временные ряды
временные ряды
временные ряди
временные ряды
регр.. факт, анализ
многомерный анализ
нечисловые данные
регр., факт, анализ
550/300
520
485/340
895/G27
520/260
700/350
@95J16-64-26
@95I25-21-31
@95)955-01-03
@95)95501-03
@95)939-17-96
@95)939-17-96
120
320
320
395
@95)939-5306
@95I25-21-31
@95I25-21-31
(814N-79-92.
(О95)939-53-О6_
Замечания. 1 пРРк1 _ »
УР '
_
Д°ЛЛаРаК США 0Ш Р>6ЛЯХ
^^^- ^ТсТскГЛ200/100)' » "Ч-
и учреждений РАН) у со С|™™" (мя учебных заведений
таких скидок можно узнать обит^ш-?» ^Кураитах- ° "а""™и и величине
5. У пакета STATGRAPHICS Plus для Windows указана цена за основной
набор статистических модулей (можно приобрести также да™™™^™
дули контроля качества, планирования эксперимента, анализа временных рядав
и многомерных методов анализа). F
П3.4. Консультации и обучение
Консультации по вопросам использования пакетов, указанных в
табл. П3.1, можно получить у фирм-распространителей этих пакетов
(телефоны фирм приведены выше).
Кроме того, отдел статистических исследований НПО «Информа-
«Информатика и компьютеры» производит консультации по постановкам задач,
планированию исследований, подбору методов анализа и программного
обеспечения для анализа данных в бизнесе, банковском деле, маркетин-
маркетинге, торговле и других областях, а также осуществляет индивидуальное
и групповое обучение основам прикладной статистики и анализу дан-
данных на компьютере. Возможно проведение курса на базе заказчика
и/или формирование программы курса под задачи заказчика. Выпол-
trend@ stat2.math.lgu.spb.su
513
Литература
1. Айвазян С А., Бухштабер В.М., Енюков И.С, Мешалкин Л.Д. Приклад-
Прикладная статистика: Классификация и снижение размерности. Справочное издание
под ред. Айвазяна С.А. — М.: Финансы и статистика, 1989. — 607 с.
2. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика:
Основы моделирования и первичная обработка данных. Справочное издание под
ред. Айвазяна С.А. — М.: Финансы и статистика, 1983. — 471 с.
3. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика:
Исследование зависимостей. Справочное издание под ред. Айвазяна С.А. — М.:
Финансы и статистика, 1985. — 471 с.
4. Андерсен Т. Введение в многомерный статистический анализ. — М.:
Фнзматгиз. 1963. — 500 с.
5. Андерсен Т. Статистический анализ временных рядов. — М.: Мир,
1976. — 756 с.
6. Антон Г. Анализ таблиц сопряженности. — М.: Финансы и статистика,
1982. — 144 с.
7. Арене X., Лейтер 10. Многомерный дисперсионный анализ — М.: Фи-
Финансы и статистика, 1985. — 230 с.
8. Афифи А., Эйзен С. Статистический анализ. Подход с использованием
ЭВМ. — М.: Мир, 1982. — 488 с.
9. Баласанов /О.Г., Дойников А.И., Королев М.Ф., Юровский А./О. При-
Прикладной анализ временных рядов с программой ЭВРИСТА. Центр СП «Диалог»
МГУ, 1991. — 328 с.
10. Бард Й. Нелинейное оценивание параметров. — М.: Финансы и ста-
статистика, 1979. — 349 с.
11. Бендат Дж., Пирсол А. Прикладной анализ случайных данных. — М.:
Мир, 1989. — 540 с.
12. Бендат Дж., Пирсол А. Применение корреляционного и спектрального
анализа. — М.: Мир, 1979. — 311 с.
13. Бернулли Я. О законе больших чисел. Под общей ред.
Ю.В.Прохорова. — М.: Наука, 1986. — 176 с.
14. Бикел П., Доксум К. Математическая статистика. — М.: Финансы и
статистика, 1983. Вып. I — 280 с; Вып. 2 — 254 с.
15. Бокс Дж.,Дженкинс Г. Анализ временных рядов Прогноз и управление.
М.: Мир, 1974. Вып. I - 288 с; Вып. 2 — 197 с.
16. Большее Л.Н., Смирнов И.В. Таблицы математической статистики. —
М.: Наука. 1983. — 416 с.
17. Боровков А.А. Теория вероятностей, 2-е изд., доп. — М ■ Наука, 1986. —
431 с.
18. Бриллинждер Д. Временные ряды. — М.: Мир, 1980. — 536 с.
19. Векслер Л.С. Статистический анализ на персональном компьюте-
компьютере//МИР ПК, № 2, 1992, с. 89-97.
514
20. Вучков И., Бояджиева Л. Солаков F п
21 гТа7к'я~и^ ФИНЗНСЫ " ™™; Й?^»» регресси-
376 с' "* " "** 3" Те°РИЯ Ран^вых критериев. - М, Наука, 1971. _
Энергоиздат, 1981 ' 360 с нал°го-цифровые преобразователи. М*
406 2С3- ГпЙшт БВ- КУРС теории версий. - М, Ф„з„ат13, 1988.1
ОА /V.. . г. _
Радио." 1977. - 608 с биотехнические цепи и сигналы..- М, Сов.
экспертных оценок качества продукции. - М, Из* 0x^,^5 - 66 с
1982,_™ы с™™*3 °СН0ВЫ ПСИХОЛОГ»ческого эксперимента. - М.: МГУ,
27. Григорьев СТ., Перфилов A.M., Лееандовский В.В, Юнкеров В И Па-
Пакет прикладных программ STATGRAPHICS на персональном компьютере (прак-
(практическое пособие по обработке результатов медико-бнологических исследова-
исследовании). С.-Петербург, 1992. — 104 с.
28. Демиденко Е.З. Линейная и нелинейная регрессия. — М.: Финансы
и статистика, 1981. — 302 с.
29. Дженкинс Г., Bammc Д. Спектральный анализ и его приложения. —
М.: Мир. Вып. 1, 1971. — 316 с; Вып. 2, 1972. - 288 с.
30. Джонсон Н., Лион Ф. Статистика и планирование эксперимента в
технике и науке. — М.: Мир. Т. 1, 1980. — 610 с. Т. 2. 1981. — 520 с.
31. Дрейпер И., Смит Г. Прикладной регрессионный анализ: В 2-х книгах,
Кн. 1. — М.: Финансы и статистика. 1986. — 366 с. Кн. 2. — М.: Финансы
и статистика, 1987. — 351 с.
32. Дэниел К. Применение статистики в промышленном эксперименте. —
М.: Мир 1979. — 299 с.
33. Дюк В.А., Мирошников А.И. STATGRAPHICS Plus for Windows -
учебное пособие по прикладной статистике//Тезисы доклада на международ-
международной конференции «Статистическое образование в современном мире: идеи, ори-
ориентации, технологии». С.-Петербург. 1996 - с. 193 - '9б
34. Дюк В.А.. Мирошников А.И. Эволюция STATGRAPH1CS//MHP ПК.
№ 35 Енюков И.С. Методы, алгоритмы, программы многомерного статнстнче-
анализа. - М.: Финансы и статистика, 1986.
я r-ro-rii^TiiuprKHP ПЫВОЛЫ И СВЯЗИ. 1у1-
меиные ряды. - М.: Наука, ШЬ. - '°° u „ стат11Стпка. 1981. -
39. Кендэлл М. Временные ряды. - М.. Финансы
199 с" . ., . „„ппрпшши. -М.: Статистика. 1975,—212с.
/И.
1976. — 440 с.
515
42. КоксД.Р., ОуксД. Анализ данных типа времени жизни. - М.: Финансы
и статистика, 1988. — 192 с.
43 Колмогоров А.Н. Об одном новом подтверждении законов Менде-
ля//ДАН СССР, 1940. т. 27, № I, стр. 38-42.
44. Крамер Г. Математические методы статистики. — М.: Мир, 1975. —
648 с.
45. Крылов ЕЛО. Геометрическое представление данных в психологических
исследованиях. — М.: Наука, 1990. — 117 с.
46. Кулаичев АЛ. Пакеты для анализа данных//МИР ПК, № I. 1995.
47. Левин Б.Р. Теоретические основы статистической радиотехники. В трех
кн. — М.: Сов. Радио, 1975.
48. Леман Э. Проверка статистических гипотез. — М.: Наука, 1964. —
498 с.
49. Леман Э. Теория точечного оценивания. — М.: Наука. 1991. — 448 с.
50. Ликеш И., Ляга И. Основные таблицы математической статистики. —
М.: Финансы и статистика, 1985. — 356 с.
51. Литтл Р.Дж., Рубин Д.Б. Статистический анализ данных с пропуска-
пропусками, — м.: Финансы и статистика, 1991. — 336 с.
52. Лукашин /О.П. Адаптивные методы краткосрочного прогнозирова-
прогнозирования. — М.: Статистика, 1979. — 254 с.
53. Макаров А.А. STADIA против STATGRAPHICS, или кто ваш «лоцман»
в море статистических данных//МИР ПК, № 3, 1992, с. 58—66.
54. Макаров А.А. Роль и место статистических пакетов программ в курсах
математической и прикладной статистики //Тезисы доклада на международной
конференции «Информационные технологии в непрерывном образовании». Пе-
Петрозаводск, 1995. — с. 127—128.
55. Макаров А.А. Статистические пакеты в обучении математической и при-
прикладной статистике//Тезисы доклада на международной конференции «Стати-
«Статистическое образование в современном мире: идеи, ориентации, технологии».
С.-Петербург, 1996. — с. 193—196.
56. Макино Т., Охаси М.,ДокеХ., Макино К. Контроль качества с помощью
персональных компьютеров. — М.: Машиностроение, 1991.
57. Мардиа К., Земроч П. Таблицы F-распределений. — М.: Наука, 1984. —
255 с.
58. Марпл-мл. С.Л. Цифровой спектральный анализ и его приложения. —
М.: Мир. 1990. — 584 с.
59. Мэпндоналд Дж. Вычислительные алгоритмы в прикладной статисти-
статистике. — М.: Финансы и статистика, 1988. — 350 с.
60. Мюллер П., Нойман П., Шторм Р. Таблицы по математической стати-
статистике. — М.: Финансы и статистика. 1982.— 278 с.
61. Оуэн Д.Б. Сборник статистических таблиц. Изд 2-е испр — М.: ВЦ
АН СССР. 1973. - 586 с.
62. Поллард Дж. Справочник по вычислительным методам статистики. —
М.: Финансы и статистика, 1982. — 344 с.
63. Рао СР. Линейные статистические методы и их применение. — М.:
Наука. 1968. — 548 с.
64. Рунион Р. Справочник по непараметрической статистике. Современный
подход. — М.: Финансы и статистика, 1982. — 198 с.
516
^S^^^^i^:
67. Смоляк С.А., Титсюенкп Л п v -
Статистика, 1980 ~ 206 сеИ/С° БЛ" Устоичивые методы оценивания -М-
^^^
М,
\оюеЛЯУоъ' Р°ЛЬ темпеРамента в психическом развитии. - М.: Про-
73. Теннант-Смит Дж. Бейсик для статистиков. — М • Мир 1988 —
207 с.
74. Тутубалин В.Н. Границы применимости (вероятностно-статистические
методы и их возможности). — М.: Знание, 1977. — 61 с.
75. Тутубалин В.Н. Теория вероятностей и случайных процессов — М.:
Изд-во МГУ, 1992. - 400 с.
76. Тыоки Дж. Анализ результатов наблюдений. Разведочный анализ. —
М.: Мир, 1981. — 693 с.
77. Тюрин Ю.Н., Симонова Г.И. Знаковый анализ линейных моделей
//Обозрение прикладной и промышленной математики, т. 1, вып. 2, 1994. —
с. 214-278.
78. Урбах В.Ю. Математическая статистика для биологов и медиков. —
М.: Изд-во АН СССР, 1963. — 323 с.
79. Факторный, дискриминантиый и кластерный анализ. — М.: Финансы
и статистика. 1989. — 215 с.
80 Феллер В Введение в теорию вероятностей и ее приложения. — т..
Мир Т. 1, 1964, - 498 с, Т. 2, 1967. - 752 с.
81. Фигурное В.Э. IBM PC для пользователя. Краткий курс. - М.: Иифра-
ССтатистические методы для изучения таблиц долей и про-
^^ задача, -
М.: Статистика. 1980. — 444 с. 1111ЙЯ11ЯДИЗ — М.: Статистика. 1972.
ниям. М., Статистика, 1980. - 95 с.
517
88. Хенинен А.Я., Павлов ЮЛ Статистик-Консультант, или Еще один
довод в пользу неизбежного//МИР ПК, № 6, 1994.
89. Хеттсманпергер Т. Статистические выводы, основанные на рангах. -
М.: Финансы и статистика, 1987. — 334 с.
90. Хикс Ч. Основные принципы планирования эксперимента. — М.: Мир,
1967. — 406 с.
91. Холлендер М., Вулф Д. Непараметрические методы статистики. — М.:
Финансы и статистика, 1983. — 518 с.
92. Хьюбер П. Робастность в статистике. — М.: Мир, 1984. — 304 с.
93. Шиндовский Э., Шюрц О. Статистические методы контроля производ-
производства. М. Госкомстандарт, 1969. — 542 с.
94. Ширяев А.Н. Вероятность. — М.: Наука, 1980. — 574 с.
95. Шураков В.В., Дайитбегов ДМ., Мизрохи СВ., Ясеновский СВ.
Автоматизированное рабочее место для статистической обработки данных —
М.: Финансы и статистика, 1990. — 190 с.
96. Яглом AM. Корреляционная теория стационарных случайных функций
(с примерами из метеорологии). — Гидрометеоиздат, 1981. — 280 с.
97. Box G.E.P., Сох D.R. An analysis of transformations, J. Roy. Stat. Soc,
1964, В 26, p. 211-243
98. Chatfield С The Analysis of Time Series: an Introduction, 4th ed. —
Chapmam and Hall, 1989. — 242 p.
99. Elliott A.C., Gray Y.L Directory of Statistical Microcomputer Software. —
N.Y.: Basel, 1986.
100. Event B. A Handbook of Statistical Analyses using S-PLUS. Chapman
& Hall. 1994. — 143 p.
101. Granger C.W.J., Newbold P. Forecasting Economic Time Series, 2nd
ed. — Academic Press. Inc., 1986. — 338 p.
102. Hartley И.О. Testing of homogeneity of a set of variances. — Biometrika,
1940. 31. pp. 249-255.
103. Mosteller F., TukeyJ.W. Data Analysis and Regression: A Second Course
in Statistics. Reading, MA: Acldison-Wesley. 1977.
104. Neter J., Wasserman №.. Whitmore G.A. Applied Statistics. Allyn and
Bacon. Inc.. 1988. — 1006 p.
105. Sen P.K. Nonparametric simultaneous inference for some MANOVA
models/Handbook of Statistics. — v.l. Holland. 1980.
106. Software Digest Rating Report. 1991, v. 8. N° 5.
107. Spector P. An introduction to S and S-PLUS. Duxburv Press 1994 —
286 p.
108. Venables M.N., Ripley B.D. Modern Applied Statistics with S-PLUS.
Springer-Verlag. 1994 — 462 p.
109. Woodwant W.A, Elliott A.C, Gray Y.L., Mattlock D С Directory of
Statistical Microcomputer Software. — N.Y.: Basel. 1988.
Краткий путеводитель по списку литературы
Для удобства читателей мы помещаем краткие пояснения к списку ли-
литературы. J
Справочники по прикладной статистике — [68], [62]
518
Стандартные учебники
Случайный выбор — D1]
Анализ данных
Р
Анализ данных с пропусками - [51]
Регрессионный анализ-[31], [28] [201 [921 hmi
Дисперсионный анализ - [3 [32] Ш] [оА [ Я?1
Планирование эксперимента - 30] 90] 321 '"
Таблицы сопряженности - [6] 82] 361
Меры связи признаков - [401 [64] [781
ТГНР ~ II2L [{5i [181' ^ 139]. [681. [381. [96]. [9].
1[5].
Многомерные методы — [4|, [681 G91 1351 1ЧЯ1
Фактор.шй (8|! [1 ШШ
р етоды [4|, [6
Фактор.шй анализ - (8|! [791, Шм
Днскримннантный анализ — [81 [79) [1]
Кластерный анализ — [35]. [68J* [79)' [1]
Многомерное шкалирование — [451. [68] [70]
Методы контроля качества — [56], [71J.
Замечания. Из книг, приведенных в списке литературы, выделим двух-
двухтомный «Справочник по прикладной статистике* [68|. написанный.Тосиов»!
английскими учеными. Он отражает добротный уровень английской статисти-
статистическом науки (и некоторые ее особенности). Этот справочник содержит поста-
постановки основных задач анализа данных и сведения о методах их решения.
Кроме того, мы хотели бы отметить трехтомник «Прикладная статистика»
С.А.Айвазяна и его соавторов В.М.Бухштабера, И.С.Енюкова. Л.Д.Мешалкина
[2], [3j, [l|. Это справочное издание вобрало в себя многолетний опыт работы
как его авторов, так и всей школы прикладной статистики в СССР. Издание
отражает широкий круг статистических приложений, причем в единстве основ-
основных проблем прикладной статистики: построения статистической модели, раз-
развития математической теории, проведения численных расчетов. Библиография
трехтомника содержит множество ссылок на книги и статьи на русском языке.
Из книг, носяших обзорный, справочный характер в конкретных областях
прикладной статистики, обратим внимание на следующие: в области вероятност-
вероятностных распределений — A6). [871; в области регрессионного и дисперсионного
анализа — [31]; в области непараметрическнх методов — [911. Те. кого инте-
интересуют вопросы разработки компьютерных алгоритмов статистики, могут найти
полезную информацию в [59]. [73]. Более строгое аксиоматическое "зложепне
основ теории вероятностей и статистики содержится в [23J. |17]. 194|, 144J.
Оглавление
Об этой книге 3
Предисловие редактора 4
Как читать эту книгу 11
Благодарности 14
Глава 1. Основные понятия прикладной статистики 15
1.1. Случайная изменчивость 15
1.2. События и их вероятности 19
1.3. Измерения вероятности 23
1.4. Случайные величины. Функции распределения 24
1.5. Числовые характеристики распределения
вероятностей 29
1.6. Независимые и зависимые случайные величины 34
1.7. Случайный выбор 36
1.8. Выборки и их описание 38
1.8.1. Что такое выборка 38
1.8.2. Выборочные характеристики 39
1.8.3. Ранги и ранжирование 42
1.8.4. Методы описательной статистики 44
1.8.5. Наглядные методы описательной статистики 46
1.9. Методы описательной статистики в пакетах STADIA
и STATGRAPHICS 49
1.9.1. Пакет STADIA 49
1.9.2. Пакет STATGRAPHICS 55
Глава 2. Важные законы распределения
вероятностей 64
2.1. Биномиальное распределение 65
2.2. Распределение Пуассона 68
2.3. Показательное распределение 71
2.4. Нормальное распределение 73
522
2-5. Двумерное нормальное распределение ... 7Г
2.6. Распределения, связанные с нормальным".".'. \ \ \ 2
2.6.1. Распределение хи-квадрат °
2.6.2. Распределение Стьюдента .... Ц
z.b-Ъ. г-распределение т
2.7. Законы распределения вероятностей в пакетах *
STADIA и STATGRAPHICS 82
2.7.1. Пакет STADIA QQ
2.7.2. Пакет STATGRAPHICS. . «
■ оо
Глава 3. Основы проверки статистических гипотез 92
3.1. Статистические модели 92
3.2. Проверка статистических гипотез (общие положения) 95
3.3. Примеры статистических моделей и гипотез 101
3.4. Проверка статистических гипотез (прикладные
задачи) 106
3.4.1. Схема испытаний Бернулли 106
3.4.2. Критерий знаков для одной выборки 110
3.5. Проверка гипотез в двухвыборочных задачах 111
3.5.1. Критерий Манна-Уитнн 113
3.5.2. Критерий Уилкоксона 117
3.6. Парные наблюдения 123
3.6.1 Критерий знаков для анализа парных повторных
, - 194
наблюдении ' *™
3.6.2. Анализ повторных парных наблюдений с помощью
знаковых рангов (критерий знаковых ранговых сумм
Унлкоксона)
3 7 Проверка статистических гипотез в пакетах STADIA
и STATGRAPHICS
3.7.1. Пакет STADIA ,2
3.7.2. Пакет STATGRAPHICS
140
Глава 4. Начала теории оценивания
140
4.1. Введение 141
4.2. Закон больших чисел '
4.3. Статистические параметры ■
4 3.1. Параметры распределения ........ 147
А.Ъ.2. Параметры модели "" ■ *""" И8
4 4. Оценивание параметров V™^^^ ■' 151
45 Свойства оценок. Доверительное оценивание. ^
46* Метод наибольшего правдоподобия
' 523
4.7. Оценивание параметров вероятностных •
распределений в пакетах STADIA и STATGRAPHICS 156
4.7.1. Пакет STADIA 157
4.7.2. Пакет STATGRAPHICS 161
Глава 5. Анализ одной и двух нормальных выборок.. 165
5.1.06 исследовании нормальных выборок 165
5.2. Глазомерный метод проверки нормальности 167
5.3. Оценки параметров нормального распределения
и их свойства 169
5.4. Проверка гипотез, связанных с параметрами
нормального распределения 174
5.4.1. Одна выборка 174
5.4.2. Две выборки 176
5.4.3. Парные данные 178
5.5. Анализ нормальных выборок в пакетах STADIA
и STATGRAPHICS 181
5.5.1. Пакет STADIA 182
5.5.2. Пакет STATGRAPHICS 184
Глава 6. Однофакторный анализ 191
6.1. Постановка задачи 191
6.2. Непараметрические критерии проверки однородности 195
6.2.1. Критерий Краскела-Уоллиса (произвольные
альтернативы) 196
6.2.2. Критерий Джонкхиера
(альтернативы с упорядочением) 197
6.3. Практический пример 198
6.4. Оценивание эффектов обработки (непараметрический
подход) 201
6.5. Дисперсионный анализ 204
6.6. Оценивание эффектов обработки в нормальной модели 206
6.6.1. Доверительные интервалы 206
6.6.2. Метод Шеффе множественных сравнений 207
6.7. Однофакторный анализ в пакетах STADIA
и STATGRAPHICS 209
6.7.1. Пакет STADIA 209
6.7.2. Пакет STATGRAPHICS 214
Глава 7. Двухфакторный анализ 224
7.1. Связь задач двухфакторного и однофакторного анализа 224
524
7.2. Таблица двухфакторного анализа 225
7.3. Аддитивная модель данных двухфакторного
эксперимента при независимом действии факторов 226
7.4. Непараметрические критерии проверки гипотезы
об отсутствии эффектов обработки 227
7.4.1. Критерий Фридмана (произвольные альтернативы) 227
7.4.2. Критерий Пейджа (альтернативы с упорядочением) 229
7.5. Практический пример 230
7.6. Двухфакторный дисперсионный анализ 232
7.7. Двухфакторный анализ в пакетах STADIA
и STATGRAPHICS 235
7.7.1. Пакет STADIA lf
7.7.2. Пакет STATGRAPHICS гм
Глава 8. Линейный регрессионный анализ 245
245
8 1 Модель линейного регрессионного анализа
8'.2. О стратегии, методах и проблемах регрессионного ^
анализа 250
8.3. Простая линейная регрессия • • • •■•••■■
8.4. О проверке предпосылок в задаче регрессионного ^
анализа " 256
8.5. Непараметрическая линейная регрессия• •- ■
8.6. Практический пример I"
8 7. Регрессионный анализ в пакетах
и STADIA 267
87 1 Пакет STATGRAPHICS ;;;";" 279
8.7.2. Пакет STADIA
Глава 9. Независимость признаков .........■•■■■■•• ^
9.1. О шка^ХнИт3"еиРесНТраЙтег„я'иссле"дования" связи
9.2. Инструменты и страт
признаков - - -....-- признако'в (таблииы 289
9 3. Связь номинальных npi ^
сопряженности).■ • — "^ в шкаЛе порядков •
9.4. Связь признаков, из-ере щкалаХ
9.6. Замечания о связи н •■
шкалах
.308
525
9.7. Анализ таблиц сопряженности и коэффициенты
корреляции в пакетах STADIA и STATGRAPHICS 308
9.7.1. Пакет STADIA 308
9.7.2. Пакет STATGRAPHICS 312
Глава 10. Критерии согласия 317
10.1. Введение 317
10.2. Критерии согласия Колмогорова и омега-квадрат
в случае простой гипотезы 318
10.3. Практический пример (закон Менделя) 322
10.4. Критерий согласия хи-квадрат К.Пирсона для
простой гипотезы 324
10.5. Критерии согласия для сложной гипотезы 326
10.6. Критерий согласия хи-квадрат Фишера для сложной
гипотезы 329
10.7. Другие критерии согласия. Критерий согласия для
Пуассоновского распределения 332
10.8. Критерии согласия в пакетах STADIA
и STATGRAPHICS 336
10.8.1. Пакет STADIA 336
10.8.2. Пакет STATGRAPHICS 341
Глава 11. Временные ряды: теоретические основы 346
11.1. Введение 346
11.2. Анализ временных рядов и его разделы 348
11.3. Цели, этапы и методы анализа временных рядов 350
11.4. Детерминированная и случайная составляющие
временного ряда 351
11.5. Тренд, сезонная и циклическая компоненты 354
11.6. Модели тренда 357
11.7. Модели случайной компоненты 359
11.8. Числовые характеристики временных рядов 364
11.9. Процессы, стационарные в широком смысле 366
11.10. Оценки числовых характеристик временных рядов 368
Глава 12. Временные ряды: практический анализ 375
12.1. Порядок анализа временных рядов 375
12.2. Графические методы анализа временных рядов 376
12.3. Методы сведения к стационарности 379
12.3.1. Выделение тренда 379
12.3.2. Выделение сезонных эффектов 385
52С
12.3.3. Метод скользящих средних
!HI' £езонные Разностные операторы
12.3.5. Преобразование шкалы
12.4. Методы исследования структуры стационарного
временного ряда
12.4.1. Цели и методы анализа 402
12.4.2. Интерпретация графика коррелограммы. /.*.'...*...' 403
12.4.3. Интерпретация графика частной
автокорреляционной функции 408
Глава 13. Анализ временных рядов на компьютере 411
13.1. О выборе пакетов для описания в этой книге 411
13.2. Анализ временных рядов в SPSS 411
13.2.1. Обзор возможностей 412
13.2.2. Подбор тренда и прогнозирование 413
13.2.3. Устранение сезонной компоненты 422
13.3. Анализ временных рядов в пакете ЭВРИСТА 425
13.3.1. Общие сведения о пакете 425
13.3.2. Подбор тренда и прогнозирование 427
13.2.3. Устранение сезонной компоненты 434
13.2.4. Подбор модели авторегрессин и построение прогноза 437
Глава 14. Линейные модели временных рядов 443
14.1. Авторегрессия первого порядка ARA) 443
14.2. Авторегрессия второго порядка ARB) 445
14.3. Авторегрессня порядка р — AR(p) 4^
14.4. Процессы скользящего среднего MA(q)
14.5. Комбинированные процессы
авторегрессии-скользящего среднего ARMA(p, q)
14.6. Линейные модели и операторы сдвига
Глава 15. Многомерный анализ и другие ^
статистические методы
461
15.1. Введение • j 461
15.2. Многомерный статистический анализ ■ ■ ■ • ^
15.3. Факторный анализ 464
15.4. Днскриминантный анализ ' ■' 4б4
15.5. Кластерный анализ 465
15 6 Многомерное шкалирование " 466
1V7 Методы контроля качества 467
15 8. Использование статистических пакетов
Приложение 1. Средства анализа данных
на персональных компьютерах 468
П1.1. Введение 468
П1.2. Виды статистических пакетов 469
П1.3. Возможности табличных процессоров и баз данных 470
П1.4. Требования к статистическим пакетам
общего назначения 471
П1.5. Состояние и особенности российского рынка 472
П1.6. Статистические пакеты в среде Windows 479
П1.7. Документация статистических пакетов 482
П1.8. Встроенный справочник и экспертная поддержка 484
П1.9. Делая выбор 487
Приложение 2. Возможности пакетов STADIA
и STATGRAPHICS 489
П2.1. Введение 489
П2.2. О пакетах STADIA и STATGRAPHICS 489
П2.3. Статистические методы 490
П2.4. Архитектура пакетов 492
П2.5. Интерфейсы пользователя 494
П2.6. Работа с данными 496
П2.7. Графические возможности 501
П2.8. Подготовка отчетов 504
П2.9. Документация 504
П2.10. Справочник и экспертная поддержка ' 505
П2.11. Технические характеристики 506
П2.12. Ошибки 507
Приложение 3. Где приобрести статистические
пакеты 508
ПЗ. 1. Универсальные статистические пакеты 508
П3.2. Специализированные пакеты 510
ПЗ.З. Цены и телефоны фирм 512
П3.4. Консультации и обучение 513
Литература 514
528