Author: Зельнер А.
Tags: теория вероятностей математическая статистика комбинаторный анализ теория графов экономика эконометрика
Year: 1980
Text
МАТЕМАТИКО-СТАТИСТИЧЕСКИЕ
МЕТОДЫ ЗА РУБЕЖОМ
A. Zellner
AN INTRODUCTION TO
BAYESIAN INFERENCE
IN ECONOMETRICS
JOHN WILEY AND SONS, INC.
New York London Sydney Toronto
А. Зельнер
БАЙЕСОВСКИЕ МЕТОДЫ
В ЭКОНОМЕТРИИ
Перевод с английского и предисловие
Г. Г. ПИРОГОВА и Ю. П. ФЕДОРОВСКОГО
Моеква «Статистика» 1980
ББК 22.172
3-50
МАТЕМАТИКО-СТАТИСТИЧЕСКИЕ МЕТОДЫ
ЗА РУБЕЖОМ
ВЫШЛИ ИЗ ПЕЧАТИ
ГОТОВЯТСЯ К ПЕЧАТИ
1. Ли Ц., Джадж Д., Зельнер А.
Оценивание параметров марковских
моделей по агрегированным временным
рядам.
2. Рай фа Г., Шлейфер Р.
Прикладная теория статистических решений.
3. К л е й н е н Дж. Статистические
методы в имитационном моделировании.
Вып. 1.
4. Клейнен Дж. Статистические
методы в имитационном моделировании.
Вып. 2.
5. Б о л ч Б. У., X у а н ь К. Д.
Многомерные статистические методы для
экономики.
6. Б а р д И. Нелинейное оценивание
параметров.
7. И б е р л а К. Факторный анализ.
1. Пуарье Д. Эконометрия
структурных изменений.
2. X е й с Д. Причинный анализ а
статистических исследованиях.
„ 10805*—143
3 008@1)—80" 44~80 1702060000
* Второй индекс 10803.
Редколлегия: А. Г. Аганбегян,
Ю. П. Адлер, Ю. Н.
Благовещенский, А. Я. Боярский, Н. К-
Дружинин, Э. Б. Ершов, Т. В. Рябушкин,
Е. М. Четыркин
© 1971, by John Wiley and Sons, Inc.
© Перевод на русский язык, предисловие, предметный и именной указатели
«Статистика», 1980
ПРЕДИСЛОВИЕ К РУССКОМУ ИЗДАНИЮ
В теории статистических выводов нашли признание два основных
направления: так называемый «классический» подход, связываемый
с именами известных статистиков Дж. Неймана и Е. С. Пирсона и их
последователей, и байесовский подход.
Классический, или ортодоксальный, подход широко применяется
в настоящее время в эконометрических исследованиях. Причем
главное внимание уделяется получению эффективных оценивателей и
изучению их асимптотических свойств. Большой вклад в развитие
эконометрических приложений этого подхода внесли такие ученые, как
Т. Хаавельмо, Т. Купманс, Г. Тейл, Г. Волд, А. Зельнер, А. Нагар,
А. Гольдбергер, Э. Маленво, Ф. Фишер и ряд других.
Асимптотические свойства оценивателей служат обоснованием для статистических
выводов, получаемых при выборках большого объема. В случае же
малых выборок приложение результатов асимптотической теории
представляется недостаточно обоснованным1.
Байесовский подход к статистическому выводу строится на других
теоретических предпосылках, подробное изложение которых дается
в предлагаемой монографии А. Зельнера «Байесовские методы в
эконометрии».
Советский читатель уже имеет ряд переводных работ, посвященных
байесовскому подходу2. Книга А. Зельнера, ученого, внесшего крупный
вклад в эконометрические приложения классического подхода,
отличается от ранее изданных прежде всего своей эконометрической
направленностью, что особенно важно в связи с тем, что до сих пор в
области эконометрии байесовский подход еще не получил столь широкого
распространения, как классический. В то же время именно
байесовский подход намечает новые пути к решению некоторых важных проб-
1 На русском языке основные результаты «классического» подхода в
приложении к эконометрии можно найти в переводных монографиях:
Маленво Э. Статистические методы эконометрии. М., Статистика, 1975, вып. 1;
1976, вып. 2; К е й н Э. Экономическая статистика и эконометрия. М.,
Статистика, 1977, вып. 1, 2, а также в кн.: Пирогов Г. Г., Федоровский Ю. П.
Проблема структурного оценивания в современной эконометрии. М.,
Статистика, 1979.
2 См., например: 3 а к с Ш. Теория статистических выводов. М., Мир,
1975, где систематически излагаются методы, связанные с точечным и
интервальным оцениванием; Де Гроот М. Оптимальные статистические решения.
М., Мир, 1974, где рассматриваются приложения байесовских принципов и
теории принятия статистических решений; наконец, Райфа Г., Шлейфер Р-
Прикладная теория статистических решений. М., Статистика, 1977; Г р е н ь Е.
Статистические игры и их применение. М., Статистика, 1975; Моррис У-
Наука об управлении. Байесовский подход. М., Мир, 1971.
лем эконометрии, в том числе проблемы малой^выборки. Кроме того,
монография А. Зельнера интересна тем, что в ней байесовский подход
сопоставляется с классическим по проблемам и методам, имеющим
хорошо известные результаты, полученные с помощью последнего.
Байесовские методы в эконометрии отличаются от классических
подходом к интерпретации истинных параметров модели. Классический
исходит из того, что истинные параметры не случайны, а
аппроксимирующие их оценки случайны, поскольку они являются функциями
наблюдений, содержащих случайный элемент. Байесовский подход
относится к числу дающих более широкую трактовку истинным
параметрам модели: Он исходит из того, что параметры случайны, т. е.
рассматривает случайность как имманентное свойство реального
физического мира, полагая, что сам физический объект как бы подвержен
непрерывным случайным изменениям. Поэтому ищут неслучайные
оценки, достаточно близко аппроксимирующие какую-либо статистику
случайного параметра, например, его среднее значение. При практическом
использовании уже оцененной модели разница несущественна —
исследователь работает с моделью с детерминированными
коэффициентами, а вероятностные свойства модели используются для определения
ошибки прогноза и чувствительности модели, вычисления функции
потерь и т. п., причем эти вычисления возможны и в том и в другом
подходе.
Ясно также, что как нельзя пользоваться моделью с высокой
дисперсией оценки коэффициентов, так и невозможно структурное
моделирование объекта, истинные параметры которого характеризуются
значительным разбросом. Но в методологическом плане разница велика
и принятие предположения о случайности параметров
непосредственно подводит к использованию теоремы Байеса. Эта теорема для
непрерывных случайных величин может быть представлена в виде р (в/у) ~
~ р F) р (у/6), где символ «~» означает пропорциональность,
р @/у) есть апостериорная функция плотности распределения
вероятностей вектора 8 при данной эмпирической информации относительно
вектора у; р (8) — априорная функция плотности распределения
вероятностей для вектора 8; р (у/8), рассматриваемая как функция в,
есть общеизвестная функция правдоподобия. Идея байесовского
подхода заключается в том, что, объединяя априорную функцию
плотности распределения вероятностей вектора параметров с информацией
выборки при помощи теоремы Байеса, получают апостериорную
функцию плотности распределения. В условиях рассмотрения истинных
параметров в качестве случайных величин введение априорной
функции плотности распределения вероятностей представляется
естественным. Некоторые зарубежные статистики (в том числе и А. Зельнер)
идут дальше и обосновывают введение априорной функции
распределения с позиций субъективных теорий вероятностей. Введение
субъективных вероятностей не означает, разумеется, отсутствия в них
некоторой меры объективности, так как известно, что субъективное
мнение эксперта (или исследователя, или лица, принимающего
решения) базируется на его прошлом неформализованном опыте. С
другой стороны, субъективные теории вероятностей (Б. Де Финетти,
Г. Джеффриса, Дж. Кейнса) описывают некоторый вид
неопределенности, не вполне укладывающийся в рамки классической теории
вероятностей, основанной на аксиоматике А. Н. Колмогорова.
Классическая теория вероятностей рассматривает «вероятность» в смысле
вероятности появления некоторого события А при осуществлении
некоторого принципиально воспроизводимого неограниченное количество
раз комплекса условий1. Здесь надо выделить два момента:
во-первых, принципиальную воспроизводимость и, во-вторых, возможность
проведения неограниченного числа экспериментов при сохранении
неизменным комплекса условий. Но в социально-экономических
системах вероятность эксперимента, как правило, ограничена; тем более
трудно говорить о воспроизводимости его в неизмененных условиях
неограниченное число раз2. В этом случае априорные функции плотности
распределения, участвующие в теореме Байеса, затруднительно
интерпретировать в терминах классической теории вероятностей3.
В то же время они отражают информацию об объективном состоянии
системы4, но такую, которая получена в отличающихся условиях и
опирается на неформализованный индивидуальный опыт исследователя.
Субъективные вероятности (если употреблять этот термин) являются
количественными оценками возможности наступления события,
которые исследователь задает на основе своего индивидуального опыта или,
иначе говоря, априорной информации о системе, полученной в
ситуациях аналогичных, но отличающихся от нее в том смысле, что комплекс
внешних условий нельзя считать неизменным. Эта информация
проходит предварительное обобщение в индивидуальном опыте
исследователя и лишь затем получает количественную оценку. Таким образом,
байесовский подход является одним из возможных подходов,
обеспечивающих учет такого ценного элемента, как индивидуальный опыт, и
включение человека, принимающего решение, в логико-математическую
процедуру выбора решения.
Надо отметить, что в условиях неограниченного возрастания
выборки байесовские оценки совпадают с оценками классического
подхода.
Переход от неформализованного опыта к его количественной
интерпретации в виде априорной функции плотности распределения
вероятностей вызывает ряд затруднений, которые, однако, снимаются
в рамках так называемых эмпирических байесовских процедур, впер-
1 Гнеденко Б. В. Курс теории вероятностей. М., Наука, 1965, с. 19.
2 «...Полное совпадение ситуаций в экономической или политической
области — событие практически невероятное», — говорят в своей работе
«Введение в теорию статистически ненадежных решений» А. А. Федулов, Ю. Г. Феду-
лов и В. Н. Цыгичко (М., Статистика, 1979, с. 5).
8 Однако эти априорные функции плотности распределения могут получить
и классическую интерпретацию, если эксперимент в принципе воспроизводим
и может быть повторен достаточно большое число раз. Например, та же теорема
Байеса широко применяется в теории артиллерийских стрельб (см.: Г н е д е н-
ко Б. В. Курс теории вероятностей. М., Наука, 1965, с. 60).
4 Известный советский экономист С. М. Вишнев отмечает, что субъективная
теория вероятностей является не альтернативой классической теории, а теорией,
относящейся к другому классу неопределенности (см.: Вишнев С. М.
Основы комплексного прогнозирования. М., Наука, 1977, с. 26).
вые предложенных Роббинсом1. В этом подходе не обязательно точно
задавать априорное распределение вектора параметров 6, р F),
необходимо только определить семейство априорных распределений, к
которому принадлежит р. Задача состоит в том, чтобы построить такую
последовательность оценок, которая при определенной функции
потерь будет приближаться (по вероятности) к байесовской оценке
параметра 0, а соответствующие последовательности априорных рисков
будут сходиться к байесовскому риску.
В последнее время при изучении сложных
социально-экономических систем, описание которых связано с учетом высокой степени
неопределенности, возникла объективная необходимость во введении
новых понятий, адекватно описывающих некоторые виды
неопределенности. В частности, в теории статистических выводов, кроме
субъективной вероятности, достаточно широко применяется понятие
расплывчатого множества, впервые введенное Л. Заде2. Эти новые понятия
используются для того, чтобы перебросить мост между
формализованным и неформализованным, содержательным, мышлением.
Проводится различие между случайностью и расплывчатостью:
«Случайность связана с неопределенностью, касающейся
принадлежности или непринадлежности некоторого объекта к нерасплывчатому
множеству. Понятие же расплывчатости относится к классам, в которых
могут иметься различные градации степени принадлежности, лежащие
между полной принадлежностью и непринадлежностью объектов
к данному классу»3.
В настоящее время как методологические разработки, так и
имеющийся опыт4 свидетельствуют о том, что применение теории
расплывчатых множеств дает хорошие результаты при моделировании сложных
социально-экономических систем.
Байесовский подход предлагает формальный, достаточно подробно
разработанный аппарат для исследования влияния выборочной
информации на имеющиеся априорные представления об объекте. В
результате, как уже говорилось, получается апостериорная функция
плотности распределения вероятностей, относящаяся к параметрам
(объектам) или к проверяемым гипотезам. Можно сказать, что
байесовская процедура изменения первоначальных априорных
представлений является примером обучающейся на опыте системы.
Теорема Байеса (или правило Байеса, или принцип обратной
вероятности) применяется для анализа широкого круга статистических
проблем. Выбирая априорную функцию плотности распределения
вероятностей, можно при анализе проблемы использовать больше или
меньше априорной информации. Вследствие того что функция
правдоподобия включает в себя всю выборочную информацию, апостериорная
1Robbins H. The empirical Bages approch to statistics, Proc. Third
Berkelly Sump. Math. Statist. Prob., 1, 157—164, A955).
2 Z a d e h L. A. Fuzzy Sets, Information and control, vol. 8, 1965, № 3.
3 Вопросы анализа и процедуры принятия решений. М., Мир, 1976, с. 172—
173.
4 См.: Ф е д у л о в А. А.; Ф е д у л о в Ю. Г., Ц ы г и ч к о В. Н.
Введение в теорию статистически ненадежных решений. М.* Статистика, 1979.
8
функция плотности распределения вероятностей включает всю
доступную информацию — как априорную, так и выборочную.
Полученная таким образом апостериорная функция плотности распределения
вероятностей является точной функцией для случая выборки
конечного объема* и с ее помощью могут быть получены соответствующие
апостериорные вероятностные утверждения о параметрах модели.
В этих условиях нет необходимости полагаться на выводы
асимптотической теории.
В эконометрическом анализе экономических проблем выборочная
информация служит для получения выводов относительно параметров
модели. Но, как правило, при изучении конкретных экономических
задач исследователь имеет (из теории, прошлого опыта и других
источников) и иную информацию. Если эта информация корректна, то —
особенно в случае выборок малого объема — ее необходимо включить
в статистическую процедуру оценивания параметров, тай как она
увеличивает точность получаемых выводов. В классическом подходе
априорная информация учитывается, как правило, в форме точных
ограничений на параметры модели. Учет ограничений в форме неравенств
не всегда приводит к хорошим результатам и неудобен с технической
стороны. Байесовский подход, выражающий априорную информацию
в терминах функции плотности распределения вероятностей, часто
является более удобным и гибким, чем классический, и позволяет
учитывать влияние разнородной априорной информации, имеющейся в
распоряжении исследователя, на параметры модели.
Важным преимуществом байесовского подхода является удобства
исследования эффекта отклонения от сделанных в модели допущений.
Использование условных апостериорных функций плотности
распределения вероятностей позволяет исследователю определить
чувствительность его выводов относительно некоторого подмножества параметров
при определенных предположениях о других параметрах модели.
Существуют различия байесовского и классического подходов в
области сравнения и проверки гипотез и моделей. Байесовский подход
приписывает вероятности гипотезам и предлагает формальную
техническую процедуру модификации этих вероятностей по мере получения
новой информации. Полученные апостериорные вероятности,
связанные с гипотезами или моделями и учитывающие всю априорную и
выборочную информацию, могут рассматриваться как мера степени
уверенности1 исследователя в этих гипотезах или моделях.
Если к тому же могут быть определены потери, связанные с
принятием или отклонением некоторой гипотезы, то исследователь имеет
возможность действовать так, чтобы минимизировать ожидаемые
потери.
Резюмируя, можно сказать, что байесовский подход открывает
новые возможности в таких трудных для классической эконометрии
областях, как проблемы малой выборки и ошибки измерения в
переменных, дает формальный аппарат для учета априорной информации
1 В зависимости от контекста термин belief (англ.) переводится как «мера
доверия», «степень уверенности», «первоначальные предположения».
9
и пересмотра оценок коэффициентов моделей по мере поступления но*
вой информации (что может оказаться весьма полезным в «скользящей»
системе прогнозирования и планирования), для проверки
чувствительности модели к малым отклонениям в исходной информации. Кроме
того, байесовский подход устанавливает непосредственную связь
между оцениванием параметров модели и принятием решений на
основе модели. Но это не значит, что выгоды байесовского подхода
достаются «бесплатно» — за них исследователю приходится
расплачиваться более суровыми требованиями к априорной информации,
сложностью вычислительных процедур.
При переводе опущено приложение, в котором рассматриваются
программы на языке Фортран, находящие применение в численном
интегрировании.
Монография А. Зельнера представит интерес для всех, кто работает
с экономико-математическими методами в нашей стране как в области
теоретических разработок, так и в области практического их
приложения.
г. г. пирогов,
ю. п. федоровский
ПРЕДИСЛОВИЕ
Цель настоящей книги — ввести читателя в теорию байесовского
вывода в эконометрии. В 1-й главе сделана также попытка
ассоциировать проблемы вывода в эконометрии с более общими проблемами
научного вывода.
Во 2-й главе вводятся некоторые фундаментальные понятия и
операции, используемые при байесовском подходе к проблеме вывода, они
обсуждаются и иллюстрируются на приложениях к некоторым
простым, но важным задачам. Главы с 3-й по 9-ю посвящены байесовскому
анализу моделей, распространенных в эконометрической практике,
причем основной акцент делается на оценивании. Приводится много
сопоставлений результатов байесовского подхода с результатами
теории выборочных исследований. В 10-й главе автор рассматривает
проблемы проверки и сопоставления гипотез, а в 12-й главе дает
несколько заключительных замечаний. Приложения А и Б содержат
краткую сводку свойств важнейших одномерных и многомерных
распределений. В приложении В кратко излагается техника численного
интегрирования для одинарных и двойных интегралов.
Автор пытался предельно упростить методику изложения и
обозначения. Тем не менее предполагается знакомство читателя с
основными понятиями и операциями теории вероятностей,
дифференциального и интегрального исчисления и матричной алгебры. Знание
эконометрии и статистики примерно в объеме книги А. С. Гольдбергера
«Теория эконометрии» [50] представляется необходимым, для того чтобы
оценить значение рассматриваемых автором стохастических моделей
с позиций эконометрии и сравнить результаты байесовского подхода
с результатами теории выборочных исследований.
В течение нескольких лет материал настоящей книги читался
аспирантам по специальности «Экономика и коммерция» в Чикагском
университете в качестве курса «Байесовский вывод в эконометрии».
Опыт показал, что этот курс позволил аспирантам не только овладеть
техническими элементами байесовского вывода в эконометрии, но и
получить фундаментальное представление об основных чертах как
байесовского "вывода, так и теории выборочных исследований, а также
о критериях выбора альтернативных систем вывода. Это является су-
щественным~подтверждением высказывания Линдли о том, что
байесовский и классический подходы «носят комплементарный характер
и совместно обеспечивают значительно лучшее понимание
статистических проблем, чем каждый из них в отдельности» [81, ч. 2, с. 70].
При изучении байесовского подхода в эконометрии материал
1-й главы может служить базой для ознакомления с теоретико-позна-
п
вательными проблемами науки. Желательно, чтобы руководитель
курса связал этот материал с теоретико-познавательными проблемами
экономической науки и эконометрии. Текст 1-й главы и контрольные
вопросы в ее конце построены так, чтобы стимулировать читателей
к размышлениям о сущности и основаниях науки и научной
методологии с тем, чтобы они достигли лучшего понимания задач
исследования в области экономики и эконометрии.
2-я глава дает сводку основных понятий и принципов байесовского
анализа наряду с некоторыми простыми, но важными его
приложениями. Поскольку большая часть остальных глав связана с приложениями
понятий и принципов, изложенных во 2-й главе, важность овладения
материалом этой главы очевидна. Наиболее трудными для понимания
здесь являются, пожалуй, роль и сущность априорной информации
в анализе данных, а также использование функций распределения
плотности вероятностей для представления априорной информации. Эти
разделы требуют тщательного и всестороннего обсуждения.
Главы с 3-й по 9-ю, в сущности, носят технический характер. В них
даются приложения принципов 2-й главы для анализа ряда
распространенных в эконометрии и экономической науке моделей. В то время
как принципы байесовского подхода, применяемого в анализе,
остаются неизменными, каждая из задач специфична с точки зрения техники.
Овладевая этой техникой, читатель знакомится с рядом распределений
и операций, которые пригодятся ему при анализе различных проблем.
Включены также задачи и приложения, которые устанавливают связь
между этим анализом и современной проблематикой эконометриче-
ских исследований. При решении этих задач читателю потребуются
машинные программы численного интегрирования, которые обычно
имеются в составе математического обеспечения вычислительных
центров, но легко могут быть построены и самостоятельно1. Опыт
применения программ численного интегрирования важен для исследования
целого ряда прикладных проблем.
В 10-й главе рассматриваются проблемы сравнения и проверки
гипотез и моделей. Материал этой главы носит вводный характер и
намечает области, в которых возможна плодотворная теоретическая
и прикладная работа. В 11-й главе анализируются проблемы
управления. Здесь вновь указывается на возможные направления
дополнительных теоретических и прикладных исследований.
Наконец, 12-я глава содержит резюме и заключительные замечания,
выражающие личное мнение автора. Поскольку системы вывода
противоречивы, нельзя ожидать, что все будут согласны с материалами этой
главы. В процессе преподавания она может быть использована для
выработки у каждого слушателя собственной точки зрения
относительно байесовского подхода.
А. ЗЕЛЬНЕР
1 См., например; [92], а также приложение В.
Глава 1 • ЗАМЕЧАНИЯ О ВЫВОДЕ
В ЭКОНОМИЧЕСКОЙ НАУКЕ
Скульптор или художник совершает ошибку,
если слишком часто говорит или пишет о своем
ремесле. Это снимает напряжение, необходимое
для его работы. Пытаясь выразить свои цели
с обтекаемой логической точностью, он легко
может превратиться в теоретика, реальная работа
которого заключается только в вернисаже
концепций, выражаемых как в логических терминах,
так и на словах.
Генри Мур [89]
То, что Мур говорил о работе художника, несомненно, относится и
к методологическим дискуссиям в области экономической науки.
Однако важность выяснения того, что же мы все-таки делаем в области
экономических исследований, настолько велика, что при случае стоит
поразмыслить об общих основаниях нашей. работы.
1.1. ЕДИНСТВО НАУКИ
Автор придерживается точки зрения, что научные выводы,
сделанные на основе экономических явлений, принципиально ничем не
отличаются от выводов, которые делаются на основе явлений в любой
другой научной области. На это единство науки весьма изящно указал
Карл Пирсон: «Итак, особенностью научного метода является то, что,
как только этот метод укоренился у кого-либо в голове и сделался
привычкой, этот человек начинает все факты из любой области
превращать в науку. Сфера науки безгранична; ее материал бесконечен, любая
группа природных явлений, любая фаза общественной жизни, любая
стадия прошлого или будущего развития является материалом для
науки. Единство всей науки заключается только в ее методе, но не в ее
материале. Человек, который классифицирует факты, который видит
их взаимосвязь и описывает порядок их следования, применяет
научный метод и является человеком науки. Факты могут относиться
к прошлой истории человечества, к социальной статистике наших
больших городов, к атмосфере самых отдаленных звезд, к
пищеварительным органам червя или к жизнедеятельности едва различимой
бациллы. Но не сами факты образуют науку, а методы, при помощи
которых они обрабатываются» [94, с. 16].
Если исходить из того, что выводы в экономических исследованиях
принципиально ничем не отличаются от выводов в любой другой
области науки, то уместно сделать простой обзор того, какого рода выводы
вообще могут быть использованы в научной работе. Аристотель
перечисляет три типа вывода, а именно: дедуктивный, индуктивный и ре-
13
дуктивныи (последний переводится с греческого иногда еще как «абдук-
тивный» или «ретродуктивный»). Важно хорошо разобраться в
сущности этих типов вывода для того, чтобы оценить их роль в
экономических исследованиях.
1.2. ДЕДУКТИВНЫЙ ВЫВОД
Г. Рейхенбах пишет следующее о сущности дедуктивного вывода:
«Логическое доказательство называется дедукцией; умозаключение
получается путем дедукции его из других утверждений, называемых
посылками аргумента. Аргумент строится так, что если посылки
истинны, то и умозаключение также должно быть истинным... Он выявляет,
так сказать, то, что в неявном виде содержалось в посылках» [106,
с. 37].
Дедуктивный вывод, несомненно, играет важную роль в
экономической науке. Нужно, однако, отдавать себе отчет в том, что один
только дедуктивный вывод не может составить адекватную базу для
вывода в экономической науке. Это происходит в первую очередь
потому, что, как отмечал Г. Джеффрис, «традиционная, или
дедуктивная, логика допускает только три вида истинности значений, а именно:
высказывание может быть полностью доказано, полностью
опровергнуто либо не может быть ни доказано, ни опровергнуто. Никакое число
прошлых случаев осуществления закона не может составить
дедуктивное доказательство того, что закон окажется верным и в следующем
случае. Всегда сохраняется формальная возможность того, что
следующий случай окажется исключением» г[6, с. 2—3].
В этом замечании Джеффриса можно узнать переформулированную
точку зрения Юма, согласно которой полная уверенность в знании
невозможна; например, мы не можем быть полностью уверены (с
вероятностью, равной единице) ни на основе чистой дедукции, ни на
основе чистой индукции в том, что завтра взойдет солнце. То, что
исключение из закона всегда возможно, равносильно неадекватности
дедуктивной логики с ее целочисленным набором крайних
истинностных значений (истинно, ложно, не истинно и не ложно) по отношению
к обычным ситуациям, с которыми встречается исследователь, с
ситуациями, в которых исследователь пользуется утверждениями, менее
категоричными, чем те, которыми оперирует дедуктивная логика.
Другим аргументом, приводимым Джеффрисом в пользу
неадекватности дедукции в качестве единственного инструмента
исследования, является то обстоятельство, что для некоторого произвольно
взятого множества наблюдений обычно существует бесконечное
множество возможных законов, которые точно «объясняют» наблюдения;
например, пусть мы располагаем наблюдениями за потреблением и
доходом N домашних хозяйств; предположим, просто для наглядности
аргументации, что зависимость потребления от дохода у является
точно линейной. Мы знаем, что тот же самый набор наблюдений может
быть точно описан и бесконечным множеством законов, общий вид
которых
с = а + $у + / (у) (уг — у) (у2 - у)... (уп — у),
14
гАе / [у) есть произвольная функция, не равная бесконечности в
точках yiy i = 1, 2, ..., п. Далее, одно единственное дополнительное
наблюдение может противоречить любому закону из этого бесконечного
множества. В этой ситуации одна только дедуктивная логика не может
сказать, какой из этих законов должен выбрать исследователь.
Требуются более широкие принципы выбора, одним из которых является
принцип простоты, который гласит, что если, имеется множество
моделей, то нужно выбрать из них простейшую. Отвлекаясь от очевидной
проблемы определения простоты, некоторые исследователи склонны
выбрать простейшую модель потому, что они верят в ее наилучшую
прогнозирующую способность. Другие утверждают, что простые
модели заслуживают рассмотрения, хотя их конечная ценность не
обязательно должна оказаться максимальной, так как они позволяют
сделать сильные утверждения относительно явлений, которые легко могут
быть подвергнуты проверке. Это способствует обучению на опыте виду
деятельности, имеющему значение первостепенной важности. Хотя
окончательных заключений, подтверждающих эти точки зрения, до
сих пор не получено, обе они связаны с предрасположением к работе
на основе простых моделей.
К проблеме простоты имеет отношение следующее интересное
замечание У. Кокрена: «Примерно 20 лет тому назад, когда на
семинаре у сэра Рональда Фишера они спросили, что можно сделать в
эмпирических исследованиях для того, чтобы улучшить переход от
установленной статистической связи к причинной, он ответил:
«Усложняйте ваши теории». Этот ответ показался мне сначала загадочным,
поскольку обычно советуют следовать принципу бритвы Оккама, т. е.
упрощать теории до тех пор, пока они не начинают противоречить
наблюдениям. Но, как это выяснилось из последовавшей дискуссии,
сэр Рональд имел в виду, что когда исследователь строит гипотезы
о причинных связях, то он должен иметь в виду как можно больше
различных следствий, вытекающих из их истинности, и планировать
эмпирические исследования, призванные обнаружить, действительно
ли эти следствия имеют место».
Таким образом, хотя теория и может быть простой, обычно
желательно, чтобы ее следствия были достаточно далеко идущими и
подвергались бы изучению для установления ее эмпирической обоснованности.
Подытоживая нашу позицию, можно сказать, что дедуктивный
вывод является важным ингредиентом научного вывода, но сам по
себе он неадекватен в качестве единственной базы вывода. Эта точка
зрения, конечно, противоречит взгляду на экономическую науку как
на чисто дедуктивную. Нельзя отрицать, что среди экономистов, так
же как и среди других ученых, есть исследователи, занятые
дедукцией логических следствий из сделанных ими допущений. Прекрасным
примером такого исследования является работа Эрроу «Social Choice
and Individual Value*» [8]. Нужно, однако, признать, что
исследования этого рода составляют только часть экономической науки.
Проблемой первостепенной важности является связь дедуктивных
исследований с эмпирическими. Решение этой проблемы требует более
широкого подхода, а именно индуктивного,
15
Совершенно противоположной на первый взгляд точки зрейия
придерживается К. Поппер, который пишет [97, с. 315], что
«выяснение истинности гипотезы опирается исключительно на дедуктивные
последствия (предсказания), которые могут из нее следовать. Н^
необходимости даже в упоминании слова «индукция» (кавычки Поппера).
При изучении позиции Поппера важно учитывать, что индукция
рассматривается им гораздо более узко, чем ее рассматриваем мы [97, с.
27]. В настоящей работе мы следуем точке зрения Джеффриса, который
в отличие от Поппера понимает индуктивную логику таким образом,
что дедуктивная логика является ее частным случаем. Истинностные
значения «истинно» и «ложно» дедуктивной логики являются
предельными случаями типов истинностных значений, которые дает
индуктивная логика.
В соответствии с нашей точкой зрения индуктивная и дедуктивная
логика не должны рассматриваться как исключающие друг друга
альтернативы. В самой индуктивной логике важную роль играет
дедукция; но, поскольку индуктивная логика шире, должны быть
установлены правила индуктивного вывода, которые в определенных аспектах
будут отличаться от таковых, управляющих дедуктивным выводом.
Далее, что касается высказывания Поппера о регрессии и
бесконечности, а именно что, для того чтобы обосновать индуктивный подход,
требуется индуктивная теорема, которая для своего обоснования,
в свою очередь, нуждается в индуктивном обосновании и т. д., то
очевидно, что и дедуктивный подход открыт для подобного же рода
критики. Самое лучшее, что можно здесь сделать, — это выбрать вслед за
Джеффрисом прагматическое решение, т. е. не доказывать
обоснованность индукции, ибо если бы это можно было сделать дедуктивно, то
индукция была бы сведена к дедукции, что невозможно, и не
показывать обоснованность индукции путем эмпирических обобщений, но
установить независимо от опыта априорные правила, управляющие
индуктивной логикой. Тогда индукцию можно будет определить как
«приложение этих правил к эмпирическим данным» [66, с. 8]. Джеф-
фрис далее замечает: «Все, что можно сделать, — это построить
некоторое множество гипотез, насколько возможно правдоподобных, и
посмотреть, какие выводы на его основе можно получить» [66, с. 8].
Щы увидим, что эти гипотезы, или правила индуктивного вывода,
содержат много элементов дедуктивного подхода Поппера, но это так и
должно быть, поскольку индукция здесь рассматривается как процесс,
более широкий, чем дедукция, как процесс, фактически включающий
дедуктивную логику в качестве частного предельного случая.
1.3. ИНДУКТИВНЫЙ ВЫВОД
Как весьма удачно отмечает Джеффрис, «фундаментальной
проблемой научного прогресса, равно как и повседневной жизни, является
обучение на опыте. Знания, получаемые таким образом, частично
состоят просто из описания того, что мы уже наблюдали, но частично
они заключаются в том, что мы используем выводы из прошлого опыта
16
для Предсказания будущего опыта. Данная часть знаний может быть
названа обобщением или индукцией. Это наиболее важная часть
знаний; события, которые просто описаны вне явной связи с другими,
могут быть с таким же успехом забыты, что на деле обычно и происходит»
[66, с. 1].
Заметьте, что для Джеффриса индукция не описание и индуктивные
обобщения не просто экономный способ описания прошлых
наблюдений. Более того, он критикует Маха, который стоит на этой точке
зрения, потому что «Мах упустил из виду, что описание наблюдения,
которое еще не было сделано, отнюдь не то же самое, что описание уже
сделанного наблюдения; следовательно, он упустил из виду всю
проблему индукции» [65, с. 15]. Хотя Джеффрис делает упор на обобщение,
он достаточно осторожен для того, чтобы не исключить описания в
качестве важной составной части обучения на опыте и обобщения для
предсказания. В самом деле, как мы увидим дальше, необычные факты
играют важную роль в процессе редукции, третьем типе вывода.
Джеффрис подчеркивает, что «вывод из прошлых наблюдений для будущих
не является дедуктивным. Еще не сделанные наблюдения относятся
к событиям, которые либо произойдут в будущем, либо уже прошли
в местах, еще не обследованных. Техническим термином для этого
является индукция. Во всех выводах этого типа присутствует элемент
неопределенности» [65, с. 13].
1.4. РЕДУКТИВНЫЙ ВЫВОД
Этот тип вывода, иногда называемый также «абдуктивным» или
«ретродуктивным», наиболее трудно поддается определению и
обсуждению. Пирс утверждает, что индукция представляет собой
экспериментальную проверку готовой теории; она никогда не генерирует
какой-либо идеи [59, с. 85]. Это — несколько более узкий взгляд на
индукцию, чем у Джеффриса, поскольку Джеффрис считает обобщение
частью индуктивного процесса. Взгляды Джеффриса в отношении
процесса обобщения, однако, несколько неясны. По Пирсу, абдукция,
или редукция, предполагает, что нечто, может быть, имеет место,
т. е. включает в себя как изучение фактов, так и разработку теорий
для их объяснения. Пирс и другие последователи подчеркивают связь
редукции с необычными фактами. В экономической науке нетрудно
найти тому примеры. Обнаружение В. Кузнецом постоянства
долговременной нормы сбережения привело к редуктивной деятельности,
результатом которой явилось несколько хорошо известных
теоретических объяснений.
Хотя мы признаем, что во многих случаях имеет место триггерный
эффект необычных и неожиданных фактов в отношении редуктивного
процесса, уместно все же более глубоко исследовать сущность этого
процесса. Особенно уместно здесь сослаться на труд Адамара об
открытиях в области математики. Он пишет: «Очевидным фактом
является то, что изобретение или открытие, будь то в математике или
в любой другой области, происходит в результате комбинирования
идей» [58, с. 29]. Следуя Пуанкаре» Адамар рассматривает задачу
17
открытия или изобретения как задачу выбора из многих возможных
комбинаций идей. Эти комбинации строятся в результате как
сознательной, так и подсознательной деятельности. Исследователь должен
стремиться избегать выбора бесполезных комбинаций и отбирать только
полезные, которые составляют обычно лишь малую долю общего их
числа. В этом процессе выбор «императивно управляется чувством
научной красоты» [58, с. 39]. Далее, большая часть этой работы
осуществляется в результате подсознательной деятельности. Но что касается
приведения в действие этого процесса, то здесь важную роль играет
сознательная деятельность разума. Именно она «инициирует процесс
и в большей или меньшей степени определяет направление, в котором
осуществляется подсознательная деятельность» [58, с. 46]. Она
производит первоначальную мобилизацию идей, в свою очередь
побуждающих запас идей, которыми ранее располагал исследователь, что ведет
к возникновению новых комбинаций. При этом сознательная
деятельность не должна быть зажата в узкие рамки или слишком строго
следовать прежнему ходу мыслей. Если дать мыслям «уйти в сторону»,
то возникает большое многообразие идей, служащих материалом для
возникновения комбинаций. Знакомство с развитием нескольких
научных дисциплин служит той же цели, но прежде всего, по-видимому,
старту редуктивного процесса способствует упорная подготовительная
работа — «неожиданное озарение... никогда не приходит иначе, как
после нескольких дней сознательных усилий, которые оказались
абсолютно бесплодными, в момент, когда представлялось, что ничего
путного уже не получится, когда казалось, что избранный путь
окончательно уводит прочь от цели» [58, с. 46]. По мнению Адамара,
вышеизложенное есть ответ сторонникам таких гипотез открытия, как
«случай», «отдых», «забытье». Подготовительная работа сочетается
с инкубационным периодом, который продолжается и после ее
окончания, а затем следует, наконец, озарение. Далее сознательная
деятельность разума уточняет результаты озарения и переходит к их
верификации.
Существует по крайней мере две концепции этого процесса: (а)
задана цель и нужно найти путь ее достижения; (б) установлен некоторый
научный факт, надо найти пути его использования. «И вот, каким бы
парадоксальным это ни казалось, изобретения второго рода являются
более общими и это положение усугубляется в ходе научного прогресса.
Практическое приложение находят тогда, когда его не ищут, и можно
сказать, что на этом принципе базируется почти весь прогресс
цивилизации» [58, с. 124].
Из предшествовавшего обсуждения очевидно, что многие аспекты
редукции еще не вполне ясны. Тем не менее можно выделить некоторые
важные характеристики этого процесса. Во-первых, это — процесс
выбора конкретных комбинаций идей, которые представляются
плодотворными. В этом выборе участвуют как сознательная, так и
подсознательная деятельность разума, руководствуясь в значительной
степени эстетическим чувством научной красоты. Это эстетическое
чувство является на самом деле субъективным, имеющим определенное
отношение к простоте, хотя однозначное соответствие здесь необяза-
18
тельно. Как уже указывалось выше при обсуждении понятия простоты,
существуют исследователи, которые считают, что стремление к
простоте при выборе комбинаций идей основывается не на эстетических
соображениях. Во-вторых, в процессе редукции сознательная
деятельность разума играет важную роль как при выборе общей области
исследования, так и в период интенсивной подготовительной работы.
Подготовительная работа включает обычно наблюдение и эксперимент.
Наблюдение, т. е. сильное взаимодействие с данными,
характеризующими процесс, часто является ключевым фактором редукции. На этой
подготовительной фазе старые комбинации идей разрушаются,
формируются новые комбинации и исследователь сталкивается с задачей
выбора. После того как выбор сделан, возникают проблемы уточнения
и верификации.
Поскольку редуктивный вывод еще не ясен, плодотворные правила,
управляющие этим типом вывода, еще не сформулированы. В идеале
мы хотели бы располагать полезными правилами, охватывающими
как редуктивный, так и индуктивный выводы. Но в отсутствие таковых
рассмотрим множество правил, относящихся только к индуктивному
выводу.
1.5. ПРАВИЛА ДЖЕФФРИСА ДЛЯ ТЕОРИИ
ИНДУКТИВНОГО ВЫВОДА [66, с. 8].
Исходя из того, что важнейшая часть индукции есть обобщение
прошлого опыта и эмпирических данных в целях прогноза еще не
наблюдавшихся явлений, мы рассмотрим теперь правила,
выдвинутые Джеффрисом для процесса индукции.
Правило 1. Все гипотезы должны быть сформулированы в явном
виде и заключения должны получаться только из этих гипотез.
Правило 2. Индуктивная теория должна быть внутренне
непротиворечивой, т. е. она не должна допускать возможности получения
противоречивых заключений на основе ее системы постулатов и любого
заданного массива эмпирических данных.
Правило 3. Любое заданное правило должно быть практически
выполнимым. Определение бесполезно, если определяемый объект не
может в реальности быть распознан в терминах этого определения.
Существование объекта или оценка величины не должны быть связаны
с практически невозможным экспериментом.
Правило 4. Индуктивная теория должна предусматривать
возможность того, что полученные с ее помощью выводы окажутся неверными.
Правило 5. Индуктивная теория не должна априорно отвергать
никакого эмпирического высказывания; она должна быть построена
так, чтобы любое точно сформулированное эмпирическое
высказывание могло быть принято в смысле предыдущего правила при условии,
что дано умеренное количество релевантных доказательств.
Джеффрис считает эти пять правил «основными». Первое и второе
правила вводят в индуктивную логику критерии, которые уже
существуют в чистой математике. Мы можем добавить, что они обычно
принимаются и в экономической науке. Третье и пятое правила концент-
19
рируют внимание на различии между априорными и эмпирическими
предложениями. Заметим, что третье правило содержит элементы опе-
рационализма Бриджмена и — это очень важно — исключает
невозможные эксперименты. Наконец, четвертое^правило вводит в явном
виде различие между индукцией и дедукцией, иными словами,
заставляет нас признать тот факт, что научные законы могут быть
модифицированы или даже заменены другими по мере накопления новых
фактов. Тем не менее «мы в некотором смысле принимаем индуктивный
вывод; у нас есть некоторая уверенность в том, что он окажется верным
в данном конкретном случае, хотя эта уверенность не перерастает в
логическую достоверность» [66, с. 9].
В дополнение к изложенным пяти правилам Джеффрис
устанавливает еще три, которые он называет «полезными рекомендациями».
Правило 6. Число постулатов должно быть сведено к минимуму.
Правило 7. Хотя мы и не считаем человеческий разум совершенным
мыслительным инструментом, мы должны принять его как полезный
инструмент, а также единственный, которым располагаем. Поэтому,
хотя теория и не обязательно детально представляет реальные
мыслительные процессы, она должна согласоваться с ними в общей схеме.
Правило 8. Ввиду большой сложности индукции мы не можем
надеяться на то, что нам удастся ее развить более тщательно, чем
дедукцию. Мы введем поэтому правило, согласно которому отвергается
любое возражение, ставящее под сомнение какое-либо общепринятое
утверждение чистой математики.
Правило 6 является, по существу, переформулировкой правила
Оккама и поэтому может считаться приемлемым. Правило 7
достаточно важно. Оно утверждает, что индуктивная теория должна в общей
схеме согласоваться с естественными мыслительными процессами,
в особенности с теми, которые связаны с поисками и построениями
обобщений или высказываний об эмпирических явлениях. Наконец,
правило 8, по-видимому, не должно вызывать возражений, хотя
известно, что вопрос об основаниях чистой математики является
дискуссионным.
1.6. СЛЕДСТВИЯ, ВЫТЕКАЮЩИЕ ИЗ ПРАВИЛ ДЖЕФФРИСА
Из восьми правил, перечисленных в параграфе 1.5, вытекают
важные следствия для теорий индуктивного процесса. Как замечает
Джеффрис, «они исключают... всякое определение вероятности,
которое определяет вероятность в терминах бесконечных множеств
возможных наблюдений, поскольку мы практически не можем сделать
бесконечного числа наблюдений. Предел Венна, гипотетическая бесконечная
совокупность Фишера и система Уилларда Гиббса становятся для нас
бесполезными, как только мы принимаем правило 3... Фактически
становится недопустимым любое «объективное» определение вероятности
в терминах реальных или возможных наблюдений. Это происходит
потому, что если наши фундаментальные принципы хотя бы частично
зависят от наблюдений или структуры реального мира, тр мы должны
признать одно из двух: либо 1) наблюдения, которые мы можем сделать,
20
нам первоначально неизвестны — тогда мы не можем знать наших
фундаментальных принципов и, следовательно, мы не имеем исходной
точки, из которой мог бы начаться процесс; либо 2) мы уже знаем нечто
априори о наших наблюдениях за структурой мира, но это запрещено
правилом 5» [66, с. 11].
Далее он поясняет, что «существом нынешней теории является не
вероятность, а просто частота. Фундаментальной идеей является
введение разумного уровня уверенности, который удовлетворяет
некоторым правилам непротиворечивости и в соответствии с этими правилами
может быть формально выражен числом...» [66, с. 401]. Таким образом,
в терминах классификации теорий вероятностей Де Финетти теория
Джеффриса является субъективной теорией, пытающейся разработать
непротиворечивые процедуры поведения в условиях неопределенности
в противоположность тем субъективным теориям, которые пытаются
охарактеризовать психологическое и рациональное поведение в
условиях неопределенности»1.
Если рассматривать вероятность как представление разумной
степени уверенности, а не частоты, то вероятности, выраженные чис-
лами,могут быть связаны со степенями нашего доверия к высказываниям
об эмпирических явлениях. Это является характерной особенностью
байесовского подхода к выводу. Или, как ставит проблему Джеффрис,
«существует достаточно веская примитивная идея выражения степени
доверия, которое разумно иметь по отношению к некоторому
высказыванию, даже если мы не в состоянии ни доказать, ни опровергнуть это
предложение дедуктивно» [66, с. 15]; например, когда исследователь,
рассматривая некоторое конкретное объяснение наблюденного
явления, может сказать, что это объяснение «вероятно, истинно».
Байесовский подход, и теория Джеффриса в особенности, включает квантифи-
кацию таких высказываний, как «вероятно, истинно» и «вероятно,
ложно», путем использования числовых вероятностей для
представления степеней доверия или уверенности, которую индивидуум питает
к некоторому высказыванию. Используя в этой связи вероятности, мы
автоматически допускаем, что высказывание может оказаться
необоснованным в соответствии с правилом 4. Почти так же, в той мере, в
которой естественный мыслительный процесс ассоциирует вероятности
с неопределенными высказываниями, мы можем утверждать, что
формализация этой процедуры в байесовском подходе соответствует
правилу 7 Джеффриса.
Разумеется, степень нашей разумной уверенности в некотором
высказывании, например высказывании об экономическом поведении,
дедуцированном из гипотезы перманентного дохода, зависит от
состояния нашей информации на данный момент времени. Поэтому в общем
случае вероятность, представляющая степень нашей разумной
уверенности в некотором предложении, всегда есть условная вероятность,
при условии нынешнего состояния нашей информации. По мере изме-
1 Некоторые авторы характеризуют теорию Джеффриса как необходимую
или даже «объективную», поскольку ее процедуры, будучи принятыми,
обеспечивают разным исследователям получение одинаковых результатов при
использовании одной и той же модели и одного и того же массива эмпирических данных.
21
нения нашей информации относительно какого-либо конкретного
высказывания мы пересматриваем его вероятность или нашу уверенность
в нем. Этот процесс пересмотра вероятностей, связанных с
высказываниями, по мере поступления новой информации составляет существо
обучения на опыте. Из последующего изложения мы увидим, что
процесс пересмотра вероятностей, представляющих степени уверенности
в высказываниях, по мере поступления новой информации может быть
операционализован и квантифицирован в соответствии с правилом 3
путем использования простого результата теории вероятностей,
называемого теоремой Байеса. Схематически процесс пересмотра вероятно-
Первоначальная
информация
и
р(НИ0)
Априорная
Вероятность
\
О) B) i \
/
Нобые данные
У
р(у\Н)
Функция
правдоподобия
i
Теорема
байеса
(б)
Р(Н\У,1О)
Апостериорная Вероятность
F)
C)
D)
Рис. 1.1. Процесс пересмотра вероятностей при получении новых
данных
стей при поступлении новых данных (обозначены через у) представлен
на рис. 1.1. Прямоугольники A) и B) в верхнем левом углу рисунка
обозначают, что наши первоначальные, или априорные, вероятности,
связанные с некоторым конкретным предложением Я, р (Я | /0),
базируются на нашей первоначальной информации /0. Эта информация
в общем случае весьма разнообразна; обычно она представляет собой
комбинацию информации, полученной из предыдущих исследований,
теоретических соображений и случайных наблюдений1. С помощью
прямоугольников C) и D) в нижнем левом углу рисунка показано,
что функция распределения плотности вероятностей (ФПВ) р (у\Н)
для новых наблюдений у при определенном условии Я, т. е. заданном
высказывании, базируется на нашей первоначальной информации
/0. Эта ФПВ есть хорошо известная функция правдоподобия. Затем,
объединяя априорную вероятность р (Я | /0) с функцией правдоподобия
р (у | Я) с помощью теоремы Байеса, получаем апостериорную
вероятность р (ЯIt/, /о)- Очевидно, что апостериорная вероятность р (Н\у,
/0) зависит как от априорной информации /0, так и от выборочной
информации у. Таким образом, мы достигаем пересмотра нашей
первоначальной априорной вероятности р (Я |/0)/ учитывая информацию, за-
Во 2-й главе априорная информация будет рассмотрена более подробно.
22
ключенную в наших новых данных; иными словами, р (Я | /0)
преобразуется с помощью теоремы Байеса в р (Н\у, /0).
Если мы заинтересованы в параметре 0, мы используем подход,
представленный на рис. 1.1, заменив 0 на Я, т. е. в прямоугольнике
B) мы поместим р @1 /0) вместо р (Я | /0), причем р @1 /0) будет
априорной ФПВ для параметра 0 при условии нашей первоначальной
информации. Эта априорная ФПВ представляет нашу первоначальную
уверенность в предположениях о параметре 0, базирующуюся на нашей
первоначальной информации /0. В прямоугольнике D) мы будем
иметь р (у 10) — функцию правдоподобия. Затем, объединяя с помощью
теоремы Байеса р @1 /0) и р {у | 0), мы получим в прямоугольнике F)
апостериорную ФПВ р@|#, /0). Эта последняя ФПВ содержит как
нашу первоначальную информацию, представленную априорной ФПВ
Р @1 ^o)i так и нашу выборочную информацию у. Апостериорная ФПВ
Р (в I У, /0) может быть использована для построения
вероятностных утверждений о 0, например для вычисления вероятности того, что
а < 0 < Ь, где а и Ь — заданные числа. Этот и другие пути
приложения апостериорной ФПВ проиллюстрированы примерами в
последующих главах. Здесь же уместно подчеркнуть, что апостериорная ФПВ
представляет нашу уверенность в предположениях о параметре 0 и
содержит как априорную, так и выборочную информацию. По мере
накопления выборочной информации эта информация при весьма
общих условиях начинает все более преобладать в апостериорной
ФПВ, которая все более концентрируется вокруг истинного значения
параметра. Кроме того, если два исследователя располагали
различными априорными ФПВ, вследствие, может быть, обладания разной
первоначальной информацией их апостериорные ФПВ будут
сближаться при малоограничительных условиях, по мере того как
исследователи будут присоединять дополнительные общие данные к своим
априорным ФПВ, поскольку с ростоиГ общей базы данных ее
информация будет размывать первоначальную априорную информацию.
Крайне важно понять, что процедура, представленная графически
на рис. 1.1 и описанная словесно выше, операциональна и приложима
в целях практического анализа широкого спектра моделей и проблем
в эконометрии и других областях науки. Это так и должно быть,
потому что обрисованная выше в общей схеме процедура является
центральной в индуктивном процессе, как его представляют себе Джеф-
фрис и другие. Фундаментальную важность представляет факт
признания того, что существует единый и операциональный подход к
проблемам вывода в эконометрии и других областях знаний. Изучаем ли
мы, например, адаптивные модели, основанные на анализе временньгх
рядов, простые регрессионные модели или модели, представляющие
собой «системы одновременных уравнений», подход и принципы
останутся неизменными. Эта точка зрения резко контрастирует с другими
подходами к выводу, которые предлагают индивидуальные методы и
принципы для решения различных проблем1.
1 Б. Де Финетти в лекции, прочитанной во Фраскатти в июне 1968 г.,
использовал выражение И. Дж. Гуда «мелкие хитрости» («ad hockeries») для того,
чтобы описать этот аспект небайесовских подходов к теории вывода.
Поскольку в прошлом большинство эконометриков пользовалось
в своей работе небайесовскими методами, весьма интересно и полезно
сравнить байесовский и небайесовский подходы к анализу широкого
спектра моделей и проблем. В последующих главах автор пользуется
именно этим сравнительным подходом, ибо, как несколько лет назад
заметил Анскомб, говоря о состоянии статистической науки,
«правильная оценка ситуации может быть получена только в результате
сопоставления классического и байесовского подходов к разнообразным
статистическим проблемам, выяснения того, что делает каждый из
подходов и насколько хорошо он это делает» [5, с. 21].
ВОПРОСЫ И УПРАЖНЕНИЯ
1. Какие вы можете привести примеры особенно плодотворных
простых экономических теорий или моделей?
2. Можно ли сказать, что в этих случаях простые модели
оказались для экономической науки более полезными, чем сложные?
3. Существуют ли проблемы, связанные с представлением
различных степеней уверенности относительно гипотез с помощью
одномерной вероятностной шкалы?
4. Всегда ли экономические теории, выраженные в терминах
небольшого числа математических уравнений и параметров, проще,
чем теории, выраженные в терминах большего числа уравнений и
параметров? (См. [66, с. 47—49], где есть интересное обсуждение этого
вопроса.)
5. Какие вы можете привести примеры, когда обнаружение
необычного факта или статистической закономерности вело к
формулированию новой экономической теории?
6. Какие вы можете привести примеры экономических теорий,
представляющих собой комбинации идей или понятий,
заимствованных из нескольких различных областей знания?
7. Возьмите какой-либо пример конкурирующих экономических
теорий, например теории поведения потребителей: теорию
абсолютного дохода и теорию перманентного дохода, и задайте вероятности,
выражающие вашу уверенность в каждой из альтернативных теорий.
На какого рода соображениях основаны степени вашей уверенности
в конкурирующих теориях?
8. Если процесс редукции предполагает при формулировании
теории сильную опору на наблюденные данные, характеризующие
проблему, то почему построенная с его помощью теория является чем-
то большим, чем простое описание фактов?
9. С чем связан обычно наблюдаемый факт, что разные
исследователи имеют разные степени уверенности в отношении некоторой
конкретной экономической теории или утверждения?
10. Если различные исследователи имеют сильно расходящиеся
степени уверенности относительно обоснованности некоторой теории,
то может ли это быть истолковано как довод против этой теории?
. 1KB какой степени априорная уверенность относительно
экономических явлений может обусловить замысел и формулировку исследо-.
24
вательского проекта, например проекта, предпринятого с целью
выяснения экономических последствий государственного регулирования
частных компаний, производящих коммунальные услуги?
12. Может ли использование априорных знаний и уверенность
в них при формулировании исследовательского проекта обусловить
его конечные результаты или даже загубить проект?
13. Можете ли вы привести примеры рекомендаций из области
планирования экономической политики, которые бы решающим образом
зависели от степени уверенности в той или иной экономической теории?
14. Можете ли вы привести конкретные примеры того, что лица,
ответственные за экономическую политику, имеют разные степени
уверенности относительно определенных экономических теорий?
Глава 2 ф ПРИНЦИПЫ БАЙЕСОВСКОГО АНАЛИЗА
С КОНКРЕТНЫМИ ПРИМЕРАМИ
ПРИЛОЖЕНИЙ
В этой главе мы рассмотрим некоторые основные принципы и
понятия байесовского анализа и приведем в целях иллюстрации несколько
относительно простых, но важных моделей и задач.
2.1. ТЕОРЕМА БАЙЕСА
Важнейшим элементом байесовского подхода является теорема
Байеса, известная в литературе также под названием принципа
обратной вероятности1. Здесь мы сформулируем теорему для
непрерывных случайных переменных. Обозначим через р (у, в) совместную
функцию плотности распределения вероятностей (ФПВJ для вектора
случайных наблюдений у и вектора параметров в, который тоже
считается случайным. Компонентами вектора 9 могут быть коэффициенты
модели, дисперсии и ковариации возмущений и т. п. Тогда в
соответствии с обычными операциями над ФПВ мы запишем
у)р(у) B.1)
и, таким образом,
р(8|у)- Р(9^(Ру)(у|е) , B.2)
где р (у) Ф О3. Мы можем переписать последнее выражение в
следующем виде:
Р (е I У) ~ Р (в) Р (У 19) ~ априорная ФПВ х функция правдоподобия,
B.3)
где ~ обозначает пропорциональность, p(Q | у) есть апостериорная
ФПВ вектора параметров в при условии заданной выборочной инфор-
1 В задачах, связанных с «обратной вероятностью», мы располагаем
данными и на основе содержащейся в них информации пытаемся вывести
генерировавший их случайный процесс. В противоположность этому в задачах на
«прямую вероятность» мы располагаем знанием о случайном процессе, включая
значения его параметров, и на основе этого пытаемся делать вероятностные
утверждения относительно исходов или данных, генерируемых известным случайным
процессом. Таким образом, задачи статистического оценивания относятся к
задачам на «обратную вероятность», в то время как большинство игровых задач —
к числу задач на «прямую вероятность».
2 Здесь и ниже мы будем пользоваться символом р для обозначения ФПВ,
причем аргумент этой функции р, равно как и контекст, в котором данный символ
употребляется, укажет на то, какая именно конкретная ФПВ имеется в виду.
8 Величина р (у), обратная к нормирующей постоянной в B.2), может быть
записана как р (у) =* $ р (9) р (у | в) d0.
26
мации у, р (8) — априорная ФПВ1 для вектора параметров 0,
а р (у | 9), рассмотренная как функция от 9, есть хорошо известная
функция правдоподобия*. Выражение B.3) есть формулировка теоремы
Байеса, простой математический результат в теории вероятностей.
Заметим, что апостериорная совместная ФПВ* р (9 | у) содержит
в себе всю априорную и выборочную информацию. Априорная
информация входит в апостериорную ФПВ через априорную ФПВ, в то время
как вся выборочная информация входит через функцию правдоподобия.
При этом «принцип правдоподобия» утверждает, что р (у | 9),
рассмотренная как функция от 9, «полностью представляет все свидетельство
эксперимента, т. е. рассказывает обо всем, о чем может рассказать
эксперимент»8. Апостериорная ФПВ используется в байесовском подходе
для получения выводов относительно параметров.
Пример 2.1. Допустим, что мы располагаем п независимыми
наблюдениями у' : (уъ уъ ..., уп), представляющими собой выборку из
нормально распределенной генеральной совокупности с неизвестным
математическим ожиданием \i и известной дисперсией о2 = о*. Мы хотим
получить апостериорную ФПВ для р. Используя B.3) для решения
этой конкретной задачи, имеем
P(l*|y,aj)~p(|i)p(y||if08)f B.4)
где р (|х | у, а?) — апостериорная ФПВ для параметра \i при данной
выборочной информации у и допущении о том, что значение дисперсии
известно и равно а§; р (\i) — априорная ФПВ для [х, а р (у | ц,, а§),
рассматриваемая как функция от неизвестного параметра [л, есть функ-
п
ция правдоподобия. Функция правдоподобия задается как П р (yt\
а§), или
Р (У 111. а02) - Bжт§)-"/2 ехр Г —^ J] (yt -tf] =
B.5)
1 п
где v «= п — 1, [х s= n 2 у и т- е. представляет собой выборочную
1 Как указывалось в главе 1, априорная ФПВ зависит от первоначальной
информации, обозначенной через /0. Здесь для упрощения мы не показываем
эту зависимость в явном виде, т. е. пишем р (8) вместо р (9| /0).
2 Функция правдоподобия часто записывается как / (91 у) для того, чтобы
подчеркнуть, что это не является ФПВ, в то время как р (у 19) есть ФПВ для
наблюдений при заданных значениях параметров.
* В целях удобства аббревиатуры «функция плотности совместного
распределения вероятностей» мы говорим здесь вместо «совместная ФПВ». — Примеч.
пер.
* [114, е. 9—35] бэвидж обсуждает принцип правдоподобия и дает ссылки
на "более раннюю литературу.
27
среднюю, а
есть выборочная дисперсия1.
Что же касается априорной ФПВ для ц, то предположим, что наша
априорная информация об этом параметре может быть представлена
в виде следующей нормальной одномерной ФПВ:
<2-6)
где |ха есть априорное математическое ожидание, а о% — априорная
дисперсия, т. е. параметры, значения которых устанавливаются
исследователем на основании его первоначальной информации. Теперь,
используя теорему Байеса, объединим функцию правдоподобия B.5)
с априорной ФПВ B.6) и получим такую апостериорную ФПВ для |л:
P(V)Р(У I
ехр
откуда следует, что \i апостериорно нормально распределено с
математическим ожиданием, равным
jiPg + ЦоОЗ/Я ^(ol/n^ + llgiO*)-1
11 ~ aj+aj/n ~~ (cj/n)-i+(a>)-i f
и дисперсией
aSal/n = 1
r ag + ag/zz (a8//i)-i+(a>)-^ V 7
Заметим, что апостериорное математическое ожидание B.8) есть
взвешенная средняя выборочной средней \i и априорного
математического ожидания |ia, взятых с весами, обратными к аЦп и а*. Если
мы введем обозначения h0 — (рЦп) и ha = (aj), то Alfx = (|i/i0 +
+ И-оЯаУ (^о + К)у причем параметры h часто называют параметрами
«точности». Мы также получаем из B.9), что D\x = h , ^ ; и, таким
1 Выражение в экспоненте во второй строке формулы B.5) получается сле-
п п л л п л
дующим образом: 2 (уг — jxJ = 2 [(у^ — |х) — (jlx — ц)]2 =2 (^ — jj,J +
^ л ~ ^
+ я (|i — fxJ, причем средний член 2 (yt — |л) (\i — ^х) после раскрытия ско-
п ^
бок исчезает, поскольку 2 (t/i — р.) =* 0.
28
образом, параметр точности, связанный с апостериорным
математическим ожиданием, есть просто [Dfi] *= h0 + haJ т. е. сумма
априорного и выборочного параметров точности.
Проиллюстрируем вышеизложенное на числовом примере. Пусть
наша выборка в примере 2.1 состоит из п — 10 наблюдений и
представлена нижеследующей таблицей:
Номер наблюдения
1
2
3
4
5
6
7
8
9
10
Значение у-ъ в данном
наблюдении
0,699
0,320
—0,799
—0,927
0,373
—0,648
1,572
—0,319
2,049
—3,077
10
Выборочная средняя
причем значения tji отбираются независимо из нормальной
генеральной совокупности с неизвестным математическим ожиданием \а и
известной дисперсией о2 — о% — 1,00. Допустим, что наша априорная
информация может быть представлена нормальной ФПВ с априорным
математическим ожиданием \ia = — 0,0200 и априорной дисперсией
о% — 2,00. Эта априорная ФПВ, представленная на рис. 2.1, выражает
наши первоначальные предположения относительно значений
неизвестного параметра \i. Объединяя эту априорную ФПВ с функцией
правдоподобия, получаем апостериорную ФПВ в виде выражения
B.7). Для данной конкретной выборки, представленной выше в
таблице, с математическим ожиданием [1 = — 0,0757 при априорных
значениях параметров |ла = — 0,02 и о% = 2,00 математическое
ожидание апостериорной ФПВ, рассчитанное по формуле B.8), составляет
м _ —0,0757/0,100 — 0,0200/2,00 __ (
^ 1/0,100+1/2,00 ~~
а его дисперсия, рассчитанная по формуле B.9),
1
1/0,100+1/2,00
= 0,0952.
Для сопоставления с априорной ФПВ апостериорная ФПВ также
нанесена на рис. 2.1. Можно убедиться в том, что объединение
информации, содержавшейся всего только в 10 независимых наблюдениях,
с нашей априорной информацией привело к значительному снижению
неопределенности наших предположений относительно параметра \i;
29
иными словами, наша априорная дисперсия составляла о\ = 2,00,
в то время как дисперсия апостериорной ФПВ составляет 0,0952.
В дополнение нужно сказать, что наше апостериорное математическое
ожидание М^ = — 0,0730 не очень значительно отличается от
jx = — 0,0757, выборочной средней, но гораздо больше по модулю
нашего априорного математического ожидания \ia = — 0,0200.
Заметим, однако, что наша априорная ФПВ имеет значительную
дисперсию о2а = 2,00, и поэтому достаточно велика первоначальная плотность
1,2
1,0
0,8
0,2
0,0
\ I I I
Апостериорная ФЯВ
Апостериорное мате на ти- _
ческое ожидание: М(/и.)9-0,0703
Апостериорная дисперсия:
VclzC/uj] = 0,0952 _
Априорная ФПВ
Априорное математичес-
-0,02
2,00
}-4,0 -3,0 -1,0 -1,0
4,0
Рис. 2.1. Графики априорной и апостериорной ФПВ для \х.
Априорная и апостериорная ФПВ представлены
соответственно выражениями B.6) и B.7)
распределения вероятностей в окрестности — 0,0730. Таким образом,
в этом случае наша априорная информация носит несколько
«неясный», или «расплывчатый», характер по сравнению с информацией
выборки.
2.2. ТЕОРЕМА БАЙЕСА И НЕСКОЛЬКО МАССИВОВ ДАННЫХ
Если наша априорная ФПВ.для вектора параметров 0 есть р (9) и
мы получили массив данных уг с ФПВ р (у216), то из B.3) имеем
апостериорную ФПВ
р(в|у1)~р(в)р(У!|в). B.10)
Если мы теперь получаем новый массив данных у2, генерированный
независимо от первого, с ФПВ р (у21G), то мы можем построить
апостериорную ФПВ для 6 следующим образом. Используем апостериорную
ФПВ B.10) в качестве априорной ФПВ для анализа нового массива
данных у2 и получаем с помощью теоремы Байеса
/461 yi, у2) ~ Р (в ЫрЫ в), B.11)
30
где р (9 | уь у2) есть апостериорная ФПВ, основанная на информации,
содержащейся в р (9) и данных двух выборок ух и у2. Интересно
отметить, что, поскольку р (9 | ух) ~ р (9) р (у± | 9) согласно B.10), можно
переписать B.11) в виде
р(в|У1,у.)~Р(в)р(у1|в)р(у,|в). B.12)
В B.12) р (уг | 9) р (у21 9) есть функция правдоподобия для 9,
основанная на объединенной информации выборок ух и у2. Поэтому
здесь мы имеем дело со случаем, когда апостериорная ФПВ будет
одинаковой вне зависимости от того, осуществляем ли мы
последовательную процедуру, переходя от р (9) к р (91 у2), а затем к р (91 ух,у2),
или мы сразу используем функцию правдоподобия для
объединенных выборок р (ylf у21 9) в сочетании с априорной ФПВ р (9). Легко
показать, что это общее свойство процедуры объединения информации,
содержащейся в априорной ФПВ, с информацией последовательных
выборок сохраняется и для случаев, когда число независимых выборок
больше двух.
2.3. АПРИОРНЫЕ ФУНКЦИИ ПЛОТНОСТИ
РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ
Априорная ФПВ, обозначенная в B.3I через р (9), представляет
нашу априорную информацию о параметрах модели; иными словами,
в байесовском подходе априорная информация о параметрах модели
обычно представлена соответствующим образом выбранной ФПВ.
Возьмем пример 2.1. В нем априорная информация о математическом
ожидании [г представлена в B.6) нормальной ФПВ с математическим
ожиданием \ia и дисперсией о\. Априорные математическое ожидание
\ха и дисперсия о* являются константами, заданными исследователем
в соответствии с априорной информацией относительно параметра,
которой он располагает. Если эта нормальная априорная ФПВ
считается адекватным представлением имеющейся априорной информации,
то она может служить, как было показано выше, для получения
апостериорной ФПВ для \i. С другой стороны, если нормальная ФПВ не
дает адекватного представления априорной информации, исследователь
должен пользоваться~какой-либо другой ФПВ.
В качестве характерного примера приведем случай, когда
скалярный параметр 9, например отношение, по своей природе находится
в замкнутом интервале между 0 и 1. Тогда использовать нормальную
априорную ФПВ было бы неадекватно, поскольку нормальная ФПВ
не ограничивает область существования 9 замкнутым интервалом
@, 1). В этом случае в качестве ФПВ для 9 можно было бы выбрать
бета-ФПВ, которая может воплотить имеющуюся информацию об
области существования 9. Соображения этого рода указывают на то,
сколь важно соблюдать осторожность и тщательно обдумывать выбор
априорной ФПВ для представления априорной информации.
1 Вообще говоря; ФПВ р @) будет иметь свои априорные параметры,
которые мы здесь не показали в явном виде для простоты.
3J
Что касается природы априорной информации, то мы признаем,
что иногда это может быть информация, содержащаяся в прошлых
выборках, которые были генерированы достаточно обоснованным
научным путем и данные которых сохраняются для дальнейшего анализа.
Если априорная ФПВ представляет такого рода информацию, то мы
назовем ее «априорной ФПВ, базирующейся на данных» или
БД-априорной ФПВ. В других случаях априорная информация может быть
получена в результате самоанализа, случайных наблюдений или из
теоретических соображений, иными словами, из источников иных, чем
имеющиеся в наличии прошлые выборки описанного выше рода. Если
априорная ФПВ представляет такую информацию, то мы будем
называть ее «не базирующейся на данных (НБД) априорной ФПВ». Хотя
во многих ситуациях априорные ФПВ представляют как БД-, так и
НБД-информацию, мы полагаем, что различие между этими двумя
видами информации заслуживает внимания, потому что они, очевидно,
несколько разнятся по своим свойствам.
Крайне трудно сформулировать общие предписания относительно
адекватного использования упомянутых выше двух видов априорной
информации, поскольку многое зависит от целей анализа; например,
если исследователь желает выяснить, как изменяет информация,
содержащаяся в новой выборке, его собственные предположения о значениях
параметров модели, а его первоначальная информация является
информацией типа НБД, он, несомненно, будет использовать НБД-апри-
орную ФПВ в сочетании с функцией правдоподобия для
получения апостериорной ФПВ. Тогда, сравнивая свою апостериорную ФПВ
с НБД-априорной ФПВ, он установит, в какой степени информация,
содержавшаяся в выборочных данных, изменила его первоначальные
НБД-предположения, что представляет собой фундаментальную
процедуру во многих научных исследованиях. Опять-таки, если экономист
осуществляет анализ выборочных данных в целях принятия решения
о выборе экономической политики, он может на самом деле включить
в свой анализ как НБД-, так и БД-информацию для того, чтобы
обеспечить использование при принятии окончательного решения всей
имеющейся в его распоряжении информации, априорной и выборочной.
Хотя вышеуказанные возможности применения НБД-априорной
информации весьма ценны, следует заметить, что НБД-априорная
информация одного исследователя может отличаться от таковой другого.
В приложении к научным исследованиям это только другой способ
сказать, что разные исследователи могут иметь разные взгляды, в чем,
конечно, нет ничего необычного. Например, на заре кейнсианства
некоторые теоретики-количественники старого закала считали, что
мультипликатор инвестиций может быть отрицательным, нулевым и
положительным. Эти взгляды шли вразрез со взглядами тех кейнсианцев,
которые на основе теоретических соображений и случайных
наблюдений отстаивали строгую положительность мультипликатора. Если дана
модель для наблюдений, связывающая теорию мультипликатора и
эмпирические данные, то можно вычислить апостериорную ФПВ для
инвестиционного мультипликатора и определить, что может сообщить
информация, содержащаяся в этих данных, относительно значений
32
мультипликатора. Анализ такого рода может привести к выводу, что
вероятность отрицательного мультипликатора пренебрежимо мала.
Таким образом, информация, содержащаяся в эмпирических данных,
может применяться для сопоставления различных априорных точек
зрения или гипотез. Конкретная методология таких сопоставлений
дается в 10-й главе. Там же приводится, кроме того, общая схема
выбора из альтернативных соперничающих точек зрения или гипотез
с использованием информации выборки, равно как и иллюстрация
приложения этой методологии.
Вполне возможно и то, что два исследователя, работающих с одной
и той же моделью и БД-априорной информацией, получат разные
апостериорные представления, если их априорная информация основана
на разных массивах прошлых данных. Выводы этих исследователей
можно привести к согласию, если объединить их прошлые выборки и,
таким образом, обеспечить их одинаковой БД-априорной информацией.
Вне зависимости от того, является ли информация БД или НБД,
можно представить себе, что она скудна; например, может вообще
не существовать никаких прошлых данных. Ситуация, в которой
применяется НБД-информация, может оказаться такой, что исследователь
имеет только крайне смутное представление об изучаемом явлении.
Мы будем говорить в этих случаях, что наша априорная информация
является «неясной», или «расплывчатой». Если наша априорная
информация относится к параметрам некоторой модели и является
неясной, или расплывчатой, то мы будем употреблять для анализа наших
данных соответственно расплывчатую априорную ФПВ. Различные
соображения и принципы, используемые для получения расплывчатых
априорных ФПВ, обсуждаются в приложении к настоящей главе.
Для иллюстрации приложения расплывчатой априорной ФПВ
рассмотрим следующий пример.
Пример 2.2. Рассмотрим п независимых наблюдений у'= (уг, уъ ..., уп),
полученных путем выборки из нормально распределенной генеральной
совокупности с неизвестным математическим ожиданием \х и
известным средним квадратичным отклонением а = а0. Пусть наша
априорная информация относительно значения \i является неясной, или
расплывчатой. Для представления недостаточности наших знаний о
значениях fx мы последуем за Джеффрисом (см. приложение к настоящей
главе) и примем
р (jj,) ~ const, — оо < \i < + °° B.13)
в качестве нашей априорной ФПВ1. Тогда апостериорная ФПВ для
00
1 Эта априорная ФПВ является несобственной, т. е, [ р (\х) d\x не сходится.
loo
Джеффрис и другие широко используют несобственные ФПВ для
представления «недостаточности знаний». Джеффрис замечает в своей «Теории
вероятностей» [66, с. 119], что приложение несобственных ФПВ не вызывает трудностей
и» Действительно, аксиомы Рени и его связанное с этими аксиомами*определение
Условной вероятности могут быть использованы*для формулировки теоремы
ьайеса в случае применения несобственных априорных ФПВ [81, ч. 1, с. 11, 13].
2 Зак. 1954 33
Р (v I У. о = а0), задается выражением
№ I У, ог = ао) ~ р (jx) / Oi | у, о = о0) ~ ехр [—
— оо<[х<оо, B.14)
/г
где / (ц | у, а = а0) есть функция правдоподобия, a \i = 1 2*/* яв-
п /=i
ляется выборочной средней. Тот же самый результат мы получили бы
в примере 2.1, если бы «растянули» нашу априорную нормальную ФПВ
для \х (т. е. устремили бы аа к оо ).
Когда мы располагаем НБД-априорной информацией, которую
мы хотим вовлечь в наш анализ, приходится столкнуться с задачей
выбора априорной ФПВ для представления имеющейся априорной
информации. В идеале мы хотели бы располагать ФПВ,
представляющей нашу априорную информацию настолько точной, насколько это
возможно, и в то же время относительно простой, чтобы сохранялось
удобство осуществления математических операций. Так, в примере
2.1 предполагалось, что наша априорная информация может быть
адекватно представлена нормальной ФПВ B.6), что относительно
просто и удобно с математической точки зрения. Из последующего
изложения мы увидим, что B.6) — это пример «естественно
сопряженной» априорной ФПВ1. Цодобные априорные ФПВ часто служат для
представления априорной информации, они относительно просты и
удобны для математической обработки.
Теперь мы объясним определение естественно сопряженной
априорной ФПВ. Пусть р (у | в, п) будет ФПВ для n-мерного вектор-столбца
наблюдений у, где в является вектором параметров. Если р (у | в,
п) = рх (t | в, п) /?2 (у) при t' = (tl9 гъ ..., tk), где U = U (у) есть
функция от наблюдений и рг (у) не зависит от 6, то ti называются
достаточными статистиками2. Естественно сопряженная априорная ФПВ для
О, например / @ | • ), задается как / @ | • ) ~ рх (t | G, п), причем
множитель пропорциональности зависит от t и п, но не от в. Можно
увидеть, что / (G | • ), определенная таким образом, имеет ту же
функциональную форму, как и /?! (t | 9, п); однако аргументом / является
в, а его k + 1 параметров суть компоненты t и п. Для представления
априорной информации исследователю достаточно придать значения
t и /г, например t0 и я0, чтобы получить / (в | t0, п0) ~ рх (t01 в, п0)
в качестве информативной априорной ФПВ3.
1 См. [102, гл. 3], где приводится подробное обсуждение естественно
сопряженных априорных ФПВ.
2 См., например, [81, ч. 2, с. 46] для более подробного знакомства с
понятием достаточной статистики.
3 Заметим, что, когда р (у I 9, п) = рх (t | 9, п) р2 (у) и р (9) есть априорная
ФПВ для 9, апостериорная ФПВ р (9 | у, п) есть р (9 | у, п) ~ р (9) р (у | 9, я)~
— Z7 (в) /?i (t | 9, п). Как будет показано в параграфе 2.11 для больших /г,
Р (9 | У» п) при довольно общих условиях пропорционально рх (t | 9, п). Таким
образом, в больших выборках^ апостериорная ФПВ принимает вид рг (t | 9, п)у
что соответствует также виду естественно сопряженной априорной ФПВ.
34
Понятие естественно сопряженной априорной ФПВ мы
проиллюстрируем примером 2.2 при о = 1. Имеем р (у | [г, п) = A^2я)"лХ
хехр [ — -к S (r/j — [х2] = (]/2я)"л ехр — y '(л ~ 0 & + п (\i—
|лJ] L где |я *= i- S ^ и (п — 1) s2 = 2 (yt — \iJ. Тогда можно
записать /? (у | щ п) — р1 (|х | |х, /г) р2 (у)^ причем рх (fx I Ц> п) =
= ехр [ — (/г/2) (jx — jxJ] и /?2 (у) = (]/я)-л ехр [ — (п — 1) X
X s2/2]. Очевидно, что fx есть достаточная статистика для \х, а естественно
сопряженной априорной ФПВ для [х, т. е. / (|л | • ), является функция
/ (|х | ^0, п0) = с ехр [ — (ло/2) ([х — |х0J], где с = У~*фм —
нормальная ФПВ с априорным математическим ожиданием \i0 и
априорной дисперсией 1//г0. Перед тем как применить эту априорную ФПВ,
исследователь должен убедиться в том, что она адекватно представляет
его априорную информацию, и, если это действительно так, задать
значения ее параметров jx0 и п0.
2.4. МАРГИНАЛЬНЫЕ И УСЛОВНЫЕ АПОСТЕРИОРНЫЕ
РАСПРЕДЕЛЕНИЯ ПАРАМЕТРОВ
Так же как и в случае совместной ФПВ, маргинальные и условные
ФПВ могут быть получены из совместной апостериорной ФПВ;
например, пусть G имеет блочное представление в' = Fi ': Qty и
предположим, что мы хотим получить маргинальную апостериорную ФПВ
для вектора 9lf содержащего одну или несколько компонент 6.
Эту маргинальную апостериорную ФПВ, р (Q± \ у), легко получить
с л ед у ющи м обр азом:
/>@i|y)= f />Fi,e2|y)de8= B.15a)
= f p@i|e2)y)p(e2|y)de2, B.156)
где Rq2 обозначает область существования 02, а /7 (9± | 62, у) есть
условная апостериорная ФПВ для 0Х при заданном 62 и информации
выборки у. Уравнение B.156) показывает, что маргинальная
апостериорная ФПВ для 6Х может рассматриваться как усредняющая
условные апостериорные ФПВ р (Qx \ 92, у) с маргинальной апостериорной
ФПВ для 62, р F2 [ у), в качестве весовой функции. Интегрирование
в B.15) обеспечивает весьма полезный способ избавления от
«мешающих» параметров, т. е. от параметров, не представляющих
специального интереса.
Пример 2.3. Пусть мы располагаем п независимыми наблюдениями,
составляющими выборку у' ~ (уъ уъ ..., уп) из нормально
распределенной генеральной совокупности с неизвестным математическим
ожиданием [х и неизвестным средним квадратичным отклонением а. Если
наша априорная информация о значениях математического ожидания
2* 35
и среднего квадратичного отклонения является неясной, или
расплывчатой, то мы можем представить это состояние нашей
первоначальной информации, выбирая в качестве априорной ФПВ функцию
вида
р (щ a) d\ido ~ 1 dyLdo, — °° < I* < °°> B.16)
о и <с о <с °о.
В B.16) мы предположили, что |х и а априори независимо
распределены, причем \i и log а каждое равномерно распределено (см.
приложение в конце настоящей главы, где приводится дальнейшее обсуждение
B.16)). В этих предположениях совместная апостериорная ФПВ для
[х и а будет
p{p>o\y)~p([L9o)l(iL,o\y)~o-i"+l)expl—±- [vs* + n(\i—jiJ]},
— oo<Qi<oo, 0<а<оо, B.17)
п
где / (|i, а | у) -—¦ о~п ехр [ — 1/2а22 (yt — ^J] есть функция
•Ч 1 П П УЧ
правдоподобия, v = п — 1, \i = — Ъуи a vs2 = S (yt — |хJ. Из B.17)
следует, что условная апостериорная ФПВ для \i при условии
заданного а и информации выборки есть одномерная нормальная ФПВ
с условными апостериорными математическим ожиданием и
дисперсией, соответственно равными М (\i \ а, у) = \i и D ([х | а, у) = оУп.
Хотя эти условные результаты и представляют определенный интерес,
ясно, что условная ФПВ для |л при заданных а и у критическим
образом зависит от а, значение которого неизвестно. Если мы интересуемся
в основном [х, то а является мешающим параметром, и, как
утверждалось выше, такой параметр может быть, вообще говоря, исключен из
апостериорной ФПВ путем интегрирования. В настоящем примере мы
имеем1
оо оо
Р(М-1У) = JР(^ аIУ)dor — Ja-(^+1>ехр|— ^1— [vs2 +м(^—ДJ]| х
X daMvs2+/zGi-jiJ}-(v+1)/2. B.18)
г Заметим, что f a~(rt + 1> ехр (— a/2a2) da = 2(п~2>/2Г (п/2)/ап/2. Этот
'о
результат легко получить, приняв х = a/2a2. Тогда наш интеграл превращается
^/2, где Г обозначает гамма-
функцию. Применяя этот результат в B.18), мы полагаем а~ vs2-\~n(\i —
— Д)а, и множитель 2^Л"^2 Г (п/2) поглощается множителем
пропорциональности.
36
Как можно увидеть из B.18), маргинальная апостериорная ФПВ для
|х имеет вид одномерной /-ФПВ Стьюдента1 с математическим
ожиданием, равным |л, т. е. случайная переменная
имеет t-ФПВ Стьюдента с v = п — 1 степенями свободы.
Если нас интересует параметр а, мы можем интегрировать р (\i,
а | у) в B.17) по [Л для того, чтобы получить маргинальную
апостериорную ФПВ для сг, а именно2
оо
(°\У)= J
, 0<а<оо, B.19)
Эта апостериорная ФПВ для а имеет вид «обратного
гамма-распределения» (см. приложение А) и будет собственной при v > 0. Далее из
свойств B.19) имеем
ДЛЯ V > 1
для v>2.
Мода апостериорной ФПВ B.19) равна s)A?/ (v + 1).
2.5. ТОЧЕЧНЫЕ ОЦЕНКИ ПАРАМЕТРОВ
Из параграфа 2.3 следует, что байесовский подход дает полную
апостериорную ФПВ для вектора параметров Э. По желанию можно
охарактеризовать это распределение в терминах небольшого числа
мер, например мерами центральной тенденции, дисперсии и
скошенности, причем мера центральной тенденции служит точечной оценкой.
Задача выбора единственной меры центральной тенденции хорошо
известна в дескриптивной статистике. При определенных
обстоятельствах исследователь может располагать функцией потерь, например
L = L (в, в), где в = в (у) есть точечная оценка, зависящая от данной
выборки наблюдений у' = (уъ уъ ..., уп). Поскольку Э считается
случайной величиной, L также случайна. Обычно используют принцип,
который порождает точечные оценки и согласуется с гипотезой ожи-
1 См. приложение А в конце книги, гдг приводятся свойства этого
распределения.
2 Интегрируя B.17) по \i, заметим, что при заданном а B.17) имеет форму
одномерного нормального распределения. Положим г = "|/'п ([л — [I)/o\ dz ~
~ d\ih и тогда от B.17) перейдем к l/an exp (— vs2/2a2) ехр (— г2/2) dodz,
откуда следует B.19).
37
даемой полезности. Он заключается в том, что имеется значение 9,
минимизирующее математическое ожидание функции потерь, т. е.
minAfL@,9) = min \ L @, 9) р (9 | у) dQ, B.20)
6 в ^
что предполагает конечность ML (в, в) и существование минимума.
В качестве важной иллюстрации B.20) рассмотрим случай
квадратичной функции потерь L = (9 — 9)' С @ — 9), где С есть известная
нестохастическая положительно-определенная симметричная матрица.
Тогда апостериорное математическое ожидание квадратичной функции
потерь будет1
= M [(9—9)' С (9-9)] =
= М[(в — MQ)—(9 — Мб)]'С [F—М9) — (9—ЛГО)] =
М9)'С(9 —М9)] + (9— М9)'С(9 — М9). B.21)
Первый член последнего выражения не содержит 9. Второй член,
(9 — Мву С (9 — М9), является нестохастическим и будет
минимизирован, если принять 9 = MQ при условии, что С есть положительно-
определенная матрица. Таким образом, для
положительно-определенной квадратичной функции потерь математическое ожидание MQ
апостериорной ФПВ р (9 | у), если оно существует, является
оптимальной точечной оценкой. При других функциях потерь может быть
использован аналогичный метод для получения оптимальных точечных
оценок.
Пример 2.4. Рассмотрим пример 2.1 для случая, когда наша функция
потерь есть L — L (\i, [i) — с ((л — (хJ, где ц, — точечная оценка,
ас — положительная константа. Тогда |Л = M\i = (ho\i + ha\ia)/(h0 +
+ ha), математическое ожидание апостериорной ФПВ для [г,
минимизирует
ML = сМ (\i — |i.J.
Пример 2.5. Пусть наша функция потерь имеет вид L = | 9 — 9 |,
а апостериорная ФПВ для 0 является собственной непрерывной ФПВ
р @ | у), причем а ^ 0 < Ь, где аиЬ известны. Тогда точечная оценка
0, минимизирующая ожидаемые потери, может быть найдена следую-
1 Второе равенство B.21) получается путем вычитания апостериорного
математического ожидания вектора параметров М (8) из 9 и прибавлением его к 9,
что не может изменить значения ML.
38
щим образом:
ь
где Р @ | у) = |р @ | у) d0 есть кумулятивная апостериорная функ-
а Л
ция распределения. Дифференцируя1 по 0 и приравнивая производную
нулю, имеем
или Р(8|у)=-1,
где 0, удовлетворяющее этому необходимому условию минимума,
является медианой апостериорной ФПВ. В том, что это значение 0
обеспечивает минимум ML, можно убедиться, заметив, что d2 ML/dQ2
строго положительна при 0 = медиане апостериорной ФПВ. Таким
образом, для функции абсолютной ошибки L = | 0 — 0 | медиана
апостериорной ФПВ является оптимальной точечной оценкой.
Далее мы дадим обзор взаимосвязи между байесовскими методами
и теорией выборочных исследований в подходе к точечному
оцениванию. Пусть 0 = 0 (у) есть оцениватель, полученный методами теории
выборочных исследований2. Функция риска, связанная с оценивате-
лем 0, задана выражением
г @) = JL @, 0) р (у | 0) dy, B.22)
где L (в, в) — функция потерь, р (у | 0) — собственная ФПВ для
у при заданном 0 в предположении сходимости интеграла B.22).
Уравнение B.22) явно указывает на то, что функция риска зависит от
значения неизвестного параметра 0. Поскольку невозможно отыскание
1 Предполагается, что в области а <! 0 < Ь соответствующая производная
существует.
2 Как известно, термин «оцениватель» указывает на то, что 9 = 0 (у)
рассматривается как случайная величина.
39
О, минимизирующего г(в) для всех возможных значений 6\ мы будем
искать оцениватель, минимизирующий средний риск при условии, что
средний риск определяется выражением
(в) = J р (в) г (в) Од. B.23)
В B.23) р (в) является «весовой функцией», используемой для
взвешивания качества оценивателя в по областям пространства
параметров. Теперь наша задача сводится к нахождению оценивателя,
минимизирующего средний риск, т. е. к решению следующей задачи:
min Mr (О) = min J J p @) L (в, в) р (у | в) dydQ B.24)
] Если дано, что подынтегральное выражение в B.24) является
неотрицательным, то мы можем поменять порядок интегрирования и,
учитывая, что р @) р (у | в) = р (у) р (в | у), записать B.24) в виде
min Mr (в) = min f Г f L @, 0) p @1 y) dQ] p (y) dy. B.25)
9 9 *уК J
0, минимизирующее выражение в квадратных скобках, минимизирует '
ожидаемый риск при условии, что Mr @) конечно, и этот оцениватель,
по определению, является байесовским оценивателем2. Поэтому если
учитывается возможность серьезных ошибок, специфицируемая в
виде функции потерь L @, 0), а также определяется область, для которой
требуются хорошие свойства оценок, специфицируемая путем выбора
функции взвешивания по значениям параметра, р @), то в случае
использования критерия среднего риска байесовский оцениватель
дает наилучшие свойства в повторных выборках3.
1 Например, если мы положим 8 = Ь, вектору констант, то такой
«оцениватель» при условии в = b даст меньший риск, чем любой другой оцениватель,
и, таким образом, не существует единственного оценивателя,
минимизирующего г (9) для всех 0.
2 Когда двойной интеграл в B.25) сходится и Mr (в) конечно, в*,
являющееся решением задачи на минимум B.25), будет также и решением задачи на
максимум B.20). Если же двойной интеграл в B.25) расходится, то задача B.25)
не имеет решения, хотя решение задачи B.20) все еще существует. При наличии
подобной ситуации решение задачи на минимум B.20) называется
квазибайесовским оценивателем. Квазибайесовские оцениватели часто появляются при
использовании несобственных расплывчатых ФПР совместно с обычными
функциями потерь, например квадратичными функциями потерь. Дальнейшее
обсуждение этой проблемы см.; например, в [131], а также в [124].
3 Некоторые исследователи ставят под сомнение релевантность критерия
хороших свойств в повторных выборках. Они хотят получить оценку, пригодную
именно для данной выборки, и поэтому решают задачу B.20), не связанную с
усреднением по пространству выборки Ry. Если решение B.20) тождественно
равно решению B.24), как это часто бывает, то указанное соображение с
практической точки зрения не вносит разницы. С другой стороны, многие сторонники
теории выборочных исследований возражают против введения «весовой функции»
(априорной ФПВ) р (9) и"в силу этого не придают большого значения свойству
минимального среднего риска, которым обладают байесовские оцениватели.
40
2.6. БАЙЕСОВСКИЕ ИНТЕРВАЛЫ И ОБЛАСТИ ДЛЯ ПАРАМЕТРОВ
Если удалось получить апостериорную ФПВ р @ | у), то, вообще
говоря, можно вычислить вероятность, с которой вектор параметров
в попадает в некоторую конкретную подобласть # пространства пара*
метров, а именно
?| | B.26)
Вероятность B.26) есть мера степени уверенности в том, что 0 ? R
при данной выборке и априорной информации.
Если мы зафиксируем вероятность в B.26), скажем, на уровне
0,95, то, вообще говоря, можно отыскать область (или интервал)
/?, не обязательно единственный, но такой, что B.26) выполняется.
Для многих важных задач с унимодальной апостериорной ФПВ можно
получить единственную область (или интервал) R путем наложения
условия, что попадание значения 0 в эту область (интервал)
происходит, скажем, с вероятностью р — 0,95 и что апостериорные значения
ФПВ по этой области или интервалу должны быть не меньше, чем
таковые по любой другой области или интервалу с тем же самым значением
вероятности. Например, для унимодальных симметричных
апостериорных ФПВ область (или интервал) с заданным значением вероятности
Р, центральное значение которой совпадает с модой апостериорной ФПВ
является байесовской областью (или интервалом) «максимальной
апостериорной плотности»1.
Пример 2.6. Рассмотрим пример 2.3, в котором было установлено,
что апостериорная ФПВ для (\i — jx)/s', где s' = s/Уп является
t-ФПВ Стьюдента с v = п — 1 степенями свободы. Таким образом,
вероятность того, что [х попадет в некоторый конкретный интервал,
например ц,± ks\ где k задано, может быть легко определена с помощью
таблиц ^-распределения Стьюдента2. В другой постановке задачи
1 См. [20], где содержится более детальное обсуждение байесовских
областей «максимальной апостериорной плотности». Обычно, если для унимодальных
*ФПВ ищется интервал максимальной плотности со значением вероятности E,
то р (х) может быть получена путем решения следующей задачи: найти минимум
ь ь
(Ь — а) при ограничении J р (x) dx = р. Дифференцируя Ъ — а + X [ Г р (х) X
а а
X dx — р], где % есть множитель Лагранжа, сначала по а, а потом по b и
приравнивая полученные частные производные нулю, получаем 1 + %р (а) = 0 и
1 + Хр (Ь) = 0. Таким образом, а и Ь должны быть выбраны так, чтобы р (а) =
= р (Ь), для того, чтобы эти необходимые условия были выполнены. Выбор а
Ь
и Ь, таких, что J p(x) dx = р и р (а) = р (Ь), дает минимальный интервал со
а
значением вероятности Р, и этот интервал будет интервалом максимальной
плотности при условии, что р (х) является унимодальной. В приведенном
выше примере, где г является стандартизированной нормально
распределенной переменной, кривая р (г) унимодальна и симметрична относительно
нуля. Поэтому выбор а = — г^ и b = z^ удовлетворяет условию р (а) = р (Ь).
2 См.; например, [120].
41
можно найти такое k, при котором апостериорная вероятность того,
что [л — ks' < (х < \i + ks', есть заданное число, например р —
= 0,90. Полученный этим путем интервал [Г ± ?s' численно в
точности равен соответствующему доверительному интервалу,
получаемому методами теории выборочных исследований, однако в
байесовском подходе он получает совершенно иную интерпретацию.
Хорошо известно, что сторонник теории выборочных исследований
считает доверительный интервал случайной величиной, которая
с вероятностью р = 0,90 покрывает истинное значение параметра.
Для сторонника байесовского подхода, выводы которого условны
при данной выборке наблюдений, интервал (Г ± kr sf является
заданным, и, по его утверждению, апостериорная вероятность того, что
\i находится в интервале, есть Р = 0,90. Заметьте, что вероятностные
утверждения сторонника теории выборочных исследований и
сторонника байесовского подхода неидентичны.
2.7. МАРГИНАЛЬНЫЕ РАСПРЕДЕЛЕНИЯ НАБЛЮДЕНИЙ
Иногда представляет интерес получение маргинальных ФПВ для
наблюдений, обозначаемых через р (у). Эти ФПВ могут быть получены
следующим образом:
Р (У) ~ J Р (в> У)Ж = j Р (У I в) р (в) ?». B.27)
Вторая строка в B.27) указывает на то, что маргинальная ФПВ
наблюдений является средней условной ФПВ р (у | G), полученной
с использованием априорной ФПВ р (в) в качестве весовой функции.
Пример 2.7. Пусть уг есть наблюдение, полученное путем выборки из
нормально распределенной генеральной совокупности с неизвестным
математическим ожиданием \х и известным средним квадратичным
отклонением а — а0. Тогда
Р(УхIV,G = Oo) = ,!_¦ ехр Г—~- (уг—|хJ].
1/2яа0 L Щ J
Если априорная ФПВ для ц есть
p^^iY^o,)-1 ехр [-Bo2a)-\li-iian -оо < ii < оо,
где \ia и аа являются априорными математическим ожиданием и
средним квадратичным отклонением соответственно, то маргинальная
ФПВ для у1 есть
— сю
Bяа0оа)- J exp{-|
42
Выделяя полный квадрат относительно \х и производя
интегрирование, получаем следующий результат1:
ехрГ
[
Таким образом, маргинальная ФПВ для уг является нормальной
с априорным математическим ожиданием \ка и дисперсией а* + а*.
Поскольку (ла, о% и ag предполагаются известными, можно
использовать р (у^ для построения вероятностных утверждений об уъ что
часто весьма полезно делать до фактического наблюдения уг.
2.8. ПРОГНОЗНЫЕ ФУНКЦИИ ПЛОТНОСТИ
РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ
Во многих случаях исследователь заинтересован в том, чтобы при
данной выборочной информации у делать выводы о событиях, которые
еще не наблюдались, что составляет часть общей задачи прогноза.
Байесовский подход позволяет получить ФПВ для еще не
наблюдавшихся событий, которая известна под названием прогнозной ФПВ;
пусть, например, у представляет вектор еще не состоявшихся
наблюдений. Запишем
Р (У, в | у) = р (у | в, у) р (в | у) B.28)
как совместную ФПВ для у и вектора параметров 0 при условии
данной выборочной информации у. Выражение в правой части B.28),
р (у | 0, у), есть условная ФПВ для у при данных 6 и у, а р @ | у)
есть условная ФПВ для в при данном у, т. е. апостериорная ФПВ для
6. Для получения прогнозной ФПВ р (у | у) мы просто интегрируем
B.28) по в, т. е.
= f />(у,в|у)Л)= Г р(у|в, y)p(eiy)d9. B.29)
«о
Вторая строка B.29) указывает на то, что прогнозная ФПВ может
рассматриваться как средняя условных прогнозных ФПВ р (у | 8, у),
причем весовой функцией служит апостериорная ФПВ для 9, т. е.
Р (в | у).
Пример 2.8. В примере 2.2 мы имели п независимых наблюдений
У' = (Уъ У г, •••» Уп), полученных выборкой из нормально
распределенной генеральной совокупности с неизвестным математическим ожида-
1 Можно предложить более простой способ получения того же результата.
Положим уг = ц + 6, где 8 есть нормально распределенная и независимая от
[I скалярная случайная переменная с нулевым математическим ожиданием и
дисперсией, равной ag. Тогда математическое ожидание у± равно fia, т. е.
математическому ожиданию |х, а дисперсия равна Оа + а§. Поскольку^ есть
линейная функция от \х и 8, ее ФПВ будет нормальной.
43
яием \i и известной дисперсией а = а0. В условиях расплывчатой
информации относительно [л было установлено (см. B.14)), что
апостериорная ФПВ является нормальной с выборочной средней \i в
качестве математического ожидания \i и дисперсией а*/п. Мы хотим теперь
получить прогнозную ФПВ для новых наблюдений, скажем уп+ъ
которая еще не имела места. Два сомножителя в подынтегральном
выражении во второй строке B.29) имеют вид
Р Gn+i I l*i о = а0, у) ~ exp J— ^L- (уп+1 -ti
и из B.14)
Тогда из B.29) имеем
=<*>, у)Ф
J
= f
exp [-
B-30)
Преобразуя последнее выражение для выделения полного квадрата
относительно (л1 и интегрируя по ji, получаем из B.30) прогнозную
ФПВ для *уп+ъ а именно
Можно убедиться, что уп+1 нормально распределено с
математическим ожиданием М (уп+11 у) = |л, т. е. выборочной средней, и
дисперсией D (уп+11 у) = о20 (п + 1)/м. Разумеется, ФПВ B.31) может
быть использована для построения вероятностных утверждений
относительно уп+1 при данном у.
1 Преобразование заключается в следующем: (уп + х — fxJ+ n (\i — fJ =
= У* + 1 + (п+ 1)ц2~-2|л(^+1+ rafX> -+- n\i2 = (n + 1)[Н'2 — 2ц&п + 1 +
+ пр)/(л+ 01+ njx2+^+i = (п+ 1) [|i - &n + i+ лц)/(л + 1)Р+ /г X
X (^/п + 1 — цJ/(/г + 1). После подстановки последнего выражения во
вторую строку B.30) нетрудно проинтегрировать по fi и получить B.31).
Альтернативный, более простой способ вывода B.31) заключается в том, что
полагается Уп+1 = ^ + ?,г+1, где бп+1 есть нормально распределенная случайная
ошибка, независимая от [Л при условии данного у, с нулевым математическим
ожиданием и известной дисперсией crjj. Поскольку как \i \ у, так и еп+1 нормально
распределены, величина уп + i также имеет нормальную ФПВ с
математическим ожиданием М (уп + х | у) = М (\i\y)f поскольку М (\х \ у) == jl из B.14),
и дисперсией D (уп + г | у) = D (\х \ у) + Den + г = а2//г + а2 = aj (л + \)/п.
44
2.9. ТОЧЕЧНЫЙ ПРОГНОЗ
Прогнозная ФПВ р (у | у) может применяться для получения
точечных прогнозов. Мы можем, например, употребить в качестве
точечного прогноза меру центральной тенденции, скажем значение
математического ожидания или моды, либо же, если мы располагаем
функцией потерь L *= L (у, у), где у есть точечный прогноз у, мы можем
искать вектор у, минимизирующий математическое ожидание функции
потерь, а именно
min f L(y, y)p(y|yLy- B.32)
У ~
Если существует решение задачи B.32), то оно является
оптимальным точечным прогнозом в смысле минимизации ожидаемых потерь.
Анализ, аналогичный представленному в параграфе 2.5 для
точечного оценивания, позволяет получить, что математическое ожидание
прогнозной ФПВ дает оптимум, если наша функция потерь является
квадратичной, иными словами, если L (у, у) = (у — у)' Q (у — у),
где Q есть положительно-определенная симметричная матрица, то
выбор у = М (у | у) в качестве нашего точечного прогноза
обеспечивает минимум ожидаемых потерь. Проиллюстрируем это на примере
2.8, где выборочная средняя равнялась |х. Это же значение будет и
оптимальным точечным прогнозом 1/п+1 при ^условии, что наша функция
потерь имеет вид L (уп+1, уп+1) = с (уп+1 — #n+iJ, c> 0. Для
других функций потерь оптимальные точечные прогнозы могут быть
получены путем аналогичного анализа, разумеется, при допущении,
что решение задачи B.32) существует.
2.10. ПРОГНОЗНЫЕ ОБЛАСТИ И ИНТЕРВАЛЫ
Пусть дано, что мы располагаем прогнозной ФПВ р(у\у). Тогда
мы можем, вообще говоря, для некоторой данной области (или
интервала) R вычислить
B.33)
где R есть подпространство R? пространства компонент у. Равенство
B.33) задает вероятность того, что вектор будущих наблюдений у
лежит в области R. В другой постановке задачи, если дано
вероятностное утверждение B.33), мы можем искать область R,
удовлетворяющую B.33). Аналогично случаю областей для параметров,
рассмотренному в параграфе 2.6, эта область может быть сделана единственной
для унимодальной ФПВ, если мы потребуем, чтобы она была к тому же
областью «максимальной прогнозной плотности». Иными словами,
она должна быть областью с заданным значением вероятности и такой,
45
чтобы значение интеграла прогнозной ФПВ по ней было не меньшим,
чем по любой другой области с тем же самым значением вероятности.
Пример 2.9. В примере 2.8 прогнозная ФПВ для у^п+1 в выражении
B.31) была нормальной с математическим ожиданием \х и дисперсией,
равной о о (п + 1)/я. Тогда величина z = (уп+1 — [х)/а0, где ого =
— ffo V (п + 1)/л, имеет нормальную ФПВ с нулевым математическим
ожиданием и единичной дисперсией. Из таблиц стандартизированного
нормального распределения мы можем найти Pr {a < z <C b}> где
а и Ь суть заданные константы. Утверждение а < z < Ь эквивалентно
утверждению \i + аа0 < уп+1 < [г + Ьа0, вследствие чего
вероятность, что уп+1 удовлетворит этим неравенствам, равна Рг {а <
< z <&}. С другой стороны, если нам требуется найти а и Ь, такие,
что Рг {а < г <С Ь} = Р, где |3 есть заданная константа, то очевидно,
что существует много значений а и Ь, при которых Рг {а < z < 6}= pv.
Требование, чтобы интервал был «максимальным», ведет к
единственности а и b, a именно а = — zp и Ь = zp, a площадь над этим
интервалом будет в точности равна E.
2.11. НЕКОТОРЫЕ СВОЙСТВА БАЙЕСОВСКИХ
АПОСТЕРИОРНЫХ ФПВ ПРИ БОЛЬШИХ ВЫБОРКАХ
В этом параграфе мы кратко обсудим некоторые свойства
апостериорных ФПВ при больших выборках1. Сначала рассмотрим
апостериорную ФПВ для скалярного параметра 6:
где р @) есть наша априорная ФПВ, а / (9 | у) — функция
правдоподобия, базирующаяся на п независимых выборочных наблюдениях
У' = (Уъ Уъ •••» Уп)- Предположим, что как р @), так и I @ | у)
являются ненулевыми в пространстве параметров и имеют непрерывные
производные; кроме того, / @ | у) имеет единственный максимум при
0=0, оценке наибольшего правдоподобия.
Вообще говоря, как поясняет Джеффрис, log I @ | у) будет порядка
/г, в то время как р @) не зависит от /г, объема выборки. Таким образом,
уже эвристически можно сказать, что сомножитель правдоподобия
при больших выборках будет доминировать в апостериорной ФПВ
B.34). Поскольку при весьма общих условиях с возрастанием п вид
графика функции правдоподобия приближается к кривой плотности
нормального распределения, центрированной вокруг оценки
наибольшего правдоподобия Q, то и апостериорная ФПВ для случая больших
выборок будет нормальной с математическим ожиданием, равным
оценке наибольшего правдоподобия 0.
Для того чтобы представить эти соображения в более явном виде,
мы разложим в ряд оба сомножителя в B.34) в окрестности оценки
1 Кроме того, по этому вопросу см. [66, с 193], [67], [77], [79] и [81, с. 128].
46
наибольшего правдоподобия 0, а именно
=Р(Ь)
(е)
р(е)
... , B.35)
и, обозначив g @) = log / F | у), имеем
± (о _e)
ехр{-1- @-
...]. B.36)
где использован тот факт, что g' @) = 0 (ввиду того что 0 есть оценка
наибольшего правдоподобия), а также разложение ех=1 + х + ....
Перемножая B.35) и B.36), получаем
(е-е)р'(б) , J
+ Р(в)
РF|у)-
р(е)
¦+
B.37)
Доминирующий сомножитель в B.37) е 2 ' имеет вид
функции плотности нормального распределения с математическим
ожиданием, равным оценке наибольшего правдоподобия в, и
дисперсией, равной1
Таким образом, если мы используем только доминирующий
сомножитель в B.37), аппроксимаций апостериорной ФПВ для 0 при больших
выборках будет иметь вид
B.38)
Поскольку \g" @) | обычно имеет порядок п, то с ростом п
апостериорная ФПВ приобретает все более островершинный характер, оставаясь
центрированной вокруг 0, т. е. дисперсия ее убывает с возрастанием п.
В отношении точности аппроксимации B.38) Джеффрис
замечает, что 0 — 0 имеет порядок м-1/*2, вследствие чего члены
1 Заметим, ^что, поскольку g @) имеет максимум при 9 =, g" @) < 0.
2 Если g @) не равна нулю, то она имеет порядок п.
47
(8—0) р' (8)/р (8) и V6 @ — 9Kg'" (8) имеют порядок гг~^\ в то время
как V2 @ — 0J р" @)/р @) имеет порядок /г1. В результате
аппроксимация B.38I дает ошибку порядка п~~1^.
Пример 2.10. Допустим, что мы располагаем п независимыми
наблюдениями, полученными путем выборки из нормально
распределенной генеральной совокупности с неизвестным математическим
ожиданием [г и известным средним квадратичным отклонением а=
п
1
= а0. Известно, что выборочная средняя \i = — 2^ есть оценка
наибольшего правдоподобия для \i. Используя B.38) в применении к
любой априорной ФПВ, удовлетворяющей множеству рассмотренных
выше допущений, можно получить следующую аппроксимацию
апостериорной ФПВ р (|х | у, а2) для больших выборок:
/2я
где
, ао) = —\ogV2n—n loga0——
Таким образом, при большой выборке аппроксимацией
апостериорной ФПВ для |л является нормальная ФПВ с математическим
ожиданием [I и дисперсией | g" ((i) \ *~1 = оЦп.
Аргументацию, приведенную выше, легко обобщить на случай,
когда мы имеем дело не со скаляром, а с вектором параметров, т. е.
при большой выборке апостериорная ФПВ для 8 будет
аппроксимироваться нормальной ФПВ с математическим ожиданием 8, оценкой
наибольшего правдоподобия и ковариационной матрицей
а* log /(8| у) I-*
dbdQj Je-8-
И в этом случае, так же как и ранее, мы можем разложить в ряд оба
множителя апостериорной ФПВ для 8: р (8 | у) ~ р (8) / (8 ) у) =
= р (8) е* (9! у>, где g (8 | у) = log / (8 | у). Тогда, оставив только
главные члены разложения и обозначив через ~ приближенную
пропорциональность, мы получим
р (8 | у) * ехр [ - 1 (8 - 8)'С (8 - 8)], B.40)
1 Можно улучшить аппроксимацию B.38), сохранив дополнительные
члены, имеющиеся в квадратных скобках B.37). См., например, [79, с. 457].
48
т. е. выражение, соответствующее функции плотности многомерного
нормального распределения с математическим ожиданием в, оценкой
наибольшего правдоподобия и ковариационной матрицей С'1,
которая представляется выражением B.39I. .
Весьма интересно отметить тесное соответствие байесовских
результатов результатам, вытекающим из метода наибольшего
правдоподобия. Спорным, конечно, является вопрос о том, насколько велик
должен быть объем выборки для того, чтобы результаты
аппроксимации больших выборок оказались достаточно точными. К счастью,
обычно нет необходимости опираться на результаты аппроксимации
больших выборок, поскольку исследователь может получить
апостериорные ФПВ конечных выборок, если только ему даны элементы,
составляющие теорему Байеса. В некоторых случаях, однако, когда
возникают вычислительные трудности при анализе сложных
апостериорных ФПВ, изложенные выше результаты для больших выборок
могут оказаться полезными.
2.12. ПРИЛОЖЕНИЕ ВЫШЕИЗЛОЖЕННЫХ ПРИНЦИПОВ
К АНАЛИЗУ РАСПРЕДЕЛЕНИЯ ПАРЕТО
Пусть нам даны п независимых наблюдений у' = (уъ уъ ..., уп),
каждое из которых имеет ФПВ Парето, а именно
B.4D
f 0<А<уг<оо.
Такую ФПВ часто принимают для представления распределения
доходов, превышающих некоторую заданную величину А. Если А
известно, то единственным неизвестным параметром в B.41) является а.
Попытаемся получить апостериорную ФПВ для а. Из B.41) следует,
что функция правдоподобия имеет вид
/(ос|у, Л) = П р(уг\А,а),
или
пп Лпа пп Ana
7(а|у, Л)= — ^.JLA— B.42)
()a+I о-<а+1>
где G — {У1Уъ~-УпУ1п есть средняя геометрическая наблюдений.
Относительно априорной ФПВ для а мы будем считать, что наша
информация о значении этого параметра является расплывчатой,
и представим это состояние нашей априорной информации через допу-
1 Заметим, что, поскольку предполагается, что 9 есть максимизирующее
значение, С будет положительно-определенной матрицей.
49
щение равномерного распределения для log а, т. е.
-1 0<а<оо». B.43)
а
Объединяя эту априорную ФПВ с функцией правдоподобия B.42),
получаем апостериорную ФПВ для а:
пп— 1 лпа
Р(<*\А,у)~ — ап~1е-апа B.44)
где а = In G/A. Из B.44) очевидно, что апостериорная ФПВ B.44)
относится к виду гамма-ФПВ. Таким образом, нормированная ФПВ
будет иметь вид
^a«-le-*»*9 0<a<oo B.45)
и будет собственной при п > 0. Эта апостериорная ФПВ для а
представляет наши знания об а, базирующиеся на информации нашей
выборки у и априорной ФПВ B.43). При желании мы легко можем
вычислить апостериорную вероятность того, что сг < а < с2, где сг и
с2 — заданные числа2. Кроме того, поскольку апостериорные моменты
а заданы через М (аг) *= (ап)~г Г (п + гI Г (п), г = 1, 2,..., имеем3
Af (а) = — = ! , B.46)
v ; a In (G/Л) ' v }
что совпадает с оптимальной точечной оценкой в смысле минимума
апостериорных ожидаемых потерь при квадратичной функции потерь.
Если мы получим новую выборку из q независимых наблюдений,
каждое из которых имеет ФПВ, относящуюся к виду Парето B.41),
то мы можем использовать апостериорную ФПВ B.45) в качестве
априорной ФПВ для анализа новой выборки; иными словами, функция
правдоподобия для новой выборки, обозначаемая через у*, будет иметь
вид
1 Этот вид расплывчатой априорной ФПВ соответствует правилу Джеффри-
са для параметра, который существует в области от 0 до оо (см. приложение к
настоящей главе). Эта априорная ФПВ для а является также инвариантной
априорной ФПВ Джеффриса, поскольку | Infa |I/2= |—M (d? log l/da2) |1/2~ I/a;
где Infa есть информационная матрица Фишера.
с*
2 Вычисление Г р (a | Л, у) da может быть произведено с помощью программ
Ci
численного интегрирования. %
3 Интересно заметить, что 1/ln (G/A) есть оценка наибольшего
правдоподобия для а.
50
где О* есть средняя геометрическая q новых наблюдений. Объединяя
B.44) и B.47), получаем апостериорную ФПВ, базирующуюся на обоих
выборках:
+ q-\ A(n-\-q)cx,
B.48)
где G2 есть средняя геометрическая п + q наблюдений обоих выборок,
а а2 = In (G2/A). Очевидно, что выражение B.48) относится к тому же
самому гамма-виду, как и B.44), а поэтому трудностей с точки зрения
анализа не представляет.
Часто при анализе распределения Парето исследователь
располагает не отдельными наблюдениями уъ у2, ..., уп, а наблюдениями в
виде частот по> пъ ..., пту где nt есть число лиц, значения у, например
доходы, которых попадают в некоторый конкретный интервал, скажем,
от xt до xt+u причем xt+\ > хи х0 = А, Хт+\ = °° и t = О, 1,
2, ..., Т — 1, Т. Из ФПВ Парето B.41) можно определить вероятность
того, что выбранное наугад лицо будет иметь такое значение у> что
Xt <У < xt+\9 а именно
Pr{Xt<y<xi+1}=
для t = 0, 1, ..., Т — 1. Для интервала Хт <.у < °° вероятность
Рг {хг < у < оо} — Аа/х%. Тогда при условии, что задано N
случайно выбранных лиц, вероятность того, что щ лиц будут иметь
значения у, попадающие в интервалы от xt до xt+\ при t — 0, 1,2,...,
Т — 1, а пт лиц — в интервал от хт до оо , составляет1
,/„„ " Пд-Нг-
где Л/' = 2nt. Полученное выражение есть ФПВ для случайных п*.
которая, если ее рассматривать как функцию от неизвестного
параметра а, есть функция правдоподобия. Более компактно ее можно записать
в виде
/(а|Л,п,Л0
/= 0
B.49)
(' T \l/N
П X"*) И n' =
7= 0
1 Это выражение, основанное на полиномиальном распределении,
приводится в [1].
51
Если дана априорная ФПВ для а, скажем р (а), то можно,
объединив ее с B.49), получить следующую апостериорную ФПВ:
р(ос|Дп, Л0~р(а)в
-*"«
B.50)
Если априорная информация скудна, априорную ФПВ можно
выбрать в виде B.43). Если же исследователь располагает более богатой
априорной информацией о значении а, то для р (а) можно выбрать
вид, представляющий эту информацию. В любом случае апостериор-
Апостериорное
математическое ожидание и дисперсия:
= 0,6218
Vaz * = 0,00041
0,70
Рис. 2.2. Апостериорное распределение параметров
распределения Парето, полученное из группированных данных
ная ФПВ B.50) может быть нормирована и проанализирована с
использованием методов численного интегрирования, например при
заданной функции потерь L (а, а) значение а, минимизирующее
апостериорное ожидание функции потерь, может быть получено
численно, путем вычисления ML (а, а) при различных значениях а. Кроме
того, методами численного интегрирования могут быть получены
апостериорные интервалы.
Чтобы проиллюстрировать приложение этих результатов к
группированным данным, мы воспользуемся следующей статистикой по
США за 1961 г. \ которая получена путем обследования N = 1004
домашних хозяйств с доходом А = 10 000 дол. и выше.
Что касается априорных допущений о параметре а в B.50), то
предположим, что наши знания о нем скудны, и представим их
равномерным распределением log а, или /?(а)~~,0<а<оо. Подставив
эту априорную ФПВ в B.50) и пользуясь указанными выше данными, с
1 Эти данные приводятся в [9, с. 193, табл. D-1]. Они были
проанализированы различными методами теории выборочных исследований Эйгнером и Гольд-
бергером [1].
52
Таблица 2.1
Частотное распределение домашних хозяйств
с доходом 10 000 дол. и выше, США, 1961 г.
Интервалы по доходу, дол.
10 000-14 999
15 000—24 999
25 000—49 999
50 000-99 999
100 000—149 999
150 000—499 999
500 000—
Всего
Относительные
частоты nt/N
0,170319
0,221116
0,159363
0,219124
0,0478088
0,137450
0,0448207
1,000
Абсолютные
частоты tif
171
222
160
220
48
138
45
W=1004
t
0
1
2
3
4
5
6
Xf A0« дол.)
1,0
1,5
2,5
5,0
10,0
15,0
50,0
помощью методов численного интегрирования получим следующую
нормированную апостериорную ФПВ для а:
/?(а| Л, n, N) = ka~4 f
f\U-
где k
G =
есть
нормирующая постоянная и а = In G/A, причем
/^. На рис. 2.2 представлен график этой апостериорной
ФПВ. Апостериорные математические ожидание и дисперсия,
вычисленные с помощью численного интегрирования, составляют
соответственно М{а) = 0,6218 и D (а) = 0,00041.
Разумеется, для случая квадратичной функции потерь
оптимальной точечной оценкой будет апостериорное математическое ожидание1.
Если исследователю представляются более пригодными функции
потерь, иные, чем квадратичная, то он легко может вычислить оценки,
минимизирующие ожидаемые потери для любой конкретной функции
потерь, если только функция потерь имеет математическое ожидание
и минимум. Кроме того, следует заметить, что при достаточно
больших объемах выборки кривая апостериорной ФПВ напоминает по
форме кривую нормальной ФПВ.
2.13. ПРИЛОЖЕНИЕ ВЫШЕИЗЛОЖЕННЫХ ПРИНЦИПОВ
К АНАЛИЗУ БИНОМИАЛЬНОГО РАСПРЕДЕЛЕНИЯ
Рассмотрим исходы п независимых испытаний, каждый из которых
совпадает с одним из двух несовместных событий А и 5. Эти п
независимых испытаний могут заключаться, например, в подбрасывании
монеты. Исходом каждого испытания может быть выпадение либо
решетки (Л), либо герба (В). Пусть 8 обозначает вероятность события Л, по
1 Для этого массива данных оценка наибольшего правдоподобия равна
0,6218, т. е. численно совпадает с апостериорным математическим ожиданием.
53
предположению, одинаковую для всех испытаний. Тогда 1 — 0 есть
вероятность исхода Ву и вероятность наблюдения пг исходов А ип —пг
исходов В в серии п независимых испытаний задается дискретной
биномиальной ФПВ
где
' - .."' .., 01.1.
Выражение B.51), рассматриваемое как функция от неизвестного
параметра 6, есть функция правдоподобия.
Предположим, что мы располагаем некоторой априорной
информацией о 0, которая может быть представлена следующей бета-ФПВ1
1 A—0N-1, а, 6>0, О<0<1, B.52)
где k = Г (а + Ь)/Т (а) Т(Ь) есть нормирующая константа, а и Ъ —
априорные параметры, значения которых представляют нашу
априорную информацию о 0. Придавая значения а и Ь, заметим, что для
бета-ФПВ MQ = а/(а + Ь) и D0 = аЫ(а + bf (а + Ь + 1). В
предположении, что аиЬ приданы значения, достаточно хорошо
представляющие априорную информацию о 0, которой располагает
исследователь, B.52) можно объединить с функцией правдоподобия B.51) и
получить апостериорную ФПВ для 0
n)~Qn*+"-1 (l—Q)n-nl+b-^ B.53)
которая относится к бета-виду B.52) с параметрами а1 •= п1 + а
и Ъ' = п — пх + Ь. Нормирующая постоянная для B.53) равняется
Г (а! + b')IY (а!) Г (&'), апостериорное математическое ожидание
есть а'1(а' + bf) и апостериорная мода 0mod — (#' — 1)/(а' + V —2).
Апостериорные вероятности, например Рг (с < 0 <С d), где end суть
заданные числа, легко могут быть получены методами численного
интегрирования или с помощью таблиц неполной бета-функции 2. Кроме
того, известно, что случайная переменная, имеющая
бета-распределение, может быть преобразована в /'-распределенную переменную. В
настоящем примере, если мы положим х *= (b'la')QI(l — 0), апостериори
х будет иметь ^-распределение с 2а' и 26' степенями свободы3. Это
полезный факт 4, позволяющий строить апостериорные вероятностные
1 Свойства бета-ФПВ см. в приложении А.
2 См. например, [126].
3 Обычно, если 6 имеет бета-ФПВ, р @) d6 - № -1 A — 0)* -1 dQ, то
ФПВ для х = (bid) 0/A — 0) есть р (х) ~ xa~1/(b+ ax)a+b ~ aW2-V[1 +
+ Ba/2b) х]Bа + 2и)/2, т. е. относится к виду F2a,h2 (см. приложение А).
При выводе этого выражения для р (х) заметим, что Q = x/(x-\- Ыа)ч A — 0) =
= (Ь/а) (х + b/a)-i и dQ ~ dxl(x + blaf.
4 Т. е. можно пользоваться таблицами F-распределения для получения
вероятностей. С другой стороны, вычислять вероятности нетрудно и с помощью
методов численного интегрирования; например, вероятность того, что х лежит в
некотором заданном интервале.
54
утверждения относительно 0/A — 0), т. е. соотношения исходов типов
А и В.
Что касается случая, когда наша априорная информация
относительно 0 является неясной, или расплывчатой, то в литературе
ведется большая дискуссия о виде ФПВ, которая могла бы представить
скудные знания о значении в1. Мы примем здесь следующую
несобственную ФПВ для представления наших расплывчатых знаний о
значении 0:
Ь1- <2-54)
Априорное распределение этого вида может рассматриваться как
предельное для априорных распределений вида B.52) при
стремлении а и Ь к нулю. С другой стороны, как Джеффрис, так и Линдли 2
отмечают, что rj = в/A — 0) изменяется в пределах от 0 до со, и если
положить v = log г) равномерно распределенным по всей
вещественной прямой, то из этого последует B.54) в качестве априорной ФПВ
для 03.
Объединяя априорную ФПВ B.54) с функцией правдоподобия
B.15), получаем следующую апостериорную ФПВ для 04:
рф\пъ n)~№-l(l— 0)"-**-1, О<0<1, B.55)
которая относится к бета-виду с параметрами пг и п — п±.
Апостериорная ФПВ будет собственной при пх > 0 и п — пх > 0, иными
словами, в том случае, когда в нашей выборке хотя бы по разу появляются
как событие Л, так и событие В. Если это условие удовлетворяется,
апостериорное математическое ожидание 0 равно М @ | пъ п) ~
= njn, т. е. выборочному отношению, а апостериорная дисперсия
есть D @ | пъ п) — пх (п — пхIпг (п + 1). Кроме того, если мы
располагаем апостериорной ФПВ B.55), мы легко можем вычислить
апостериорную вероятность того, что 0 лежит в любом заданном
интервале.
2.14. ПРЕДСТАВЛЕНИЕ РЕЗУЛЬТАТОВ БАЙЕСОВСКОГО АНАЛИЗА
При сообщениях в научных журналах о результатах байесовского
анализа, включающего оценивание параметров, важно, чтобы статьи
содержали по крайней мере: (а) подробное обсуждение стохастической
модели, которая, по допущению, генерирует наблюдения, (б) полное
обсуждение априорных допущений относительно значений параметров,
1 См., например, [66, с. 123—125].
2 См., например, [81, ч. 2, с. 45].
3 Это следует из v = log т] = log 6/A — 0), dv = d log 0 — d log A — 0) =
= d0/0 A — 0), и, таким образом, p (v) dv ~ dv предполагает, что р @) rf0 ~
- [0A — 0)]-M0.
4 Если вместо B.54) мы используем равномерное априорное распределение
Байеса—Лапласа р @) ~ const, 0 *< 0 <[ 1, то показатели в B.55) изменяются
каждый на единицу, что эквивалентно наблюдениям, состоящим из двух выборок,
и не очень важно при выборках средних объемов.
55
(в) информацию выборки, (г) информацию об апостериорных ФПВ для
интересующих исследователя параметров.
Что касается стохастической модели наблюдений, то должны быть
указаны основные соображения, на которых основываются ее вид и
стохастические допущения. Если это сделано удовлетворительно, то и
функция правдоподобия р (у | 0), где у — вектор наблюдений, а 6 —
вектор параметров, должна быть выписана в явном виде.
В отношении априорных допущений о 6, т. е. выбора априорной
ФПВ для 0, нужно в явном виде сформулировать всю информацию,
использованную для этого выбора. Если использовалась априорная
информация, базирующаяся на данных, то этот факт должен быть
отмечен и сделаны ссылки на источники априорной информации. Если
пользовались априорной информацией, не базирующейся на данных, то
она должна быть тщательно изучена и эксплицирована. Только таким
образом читатель сможет себе уяснить, какая именно информация была
добавлена к информации выборки при осуществлении анализа.
Разумеется, если априорная информация скудна или если исследователь
хочет показать, какими будут результаты анализа при допущении
скудости априорной информации, он это сделает с помощью неясной,
или расплывчатой, ФПВ.
Относительно примененных данных правила хорошего оформления
предписывают детальное описание того, как они были получены. Они
должны быть в таком состоянии, чтобы любая заинтересованная сторона
могла легко получить их. Это может быть достигнуто либо включением
их в сообщение, либо извещением о том, что они могут быть
представлены по требованию. Располагая данными, другие исследователи
могут произвести анализ, используя любые априорные ФПВ, какие им
заблагорассудится. Кроме того, если вид функции правдоподобия
является спорным, эти данные могут быть употреблены для анализа при
условии альтернативных спецификаций *.
При сообщении информации об апостериорных ФПВ для
интересующих исследователя параметров правила хорошего оформления
предусматривают сообщение полной апостериорной ФПВ, равно как
и ее обобщающих характеристик, скажем мер центральной тенденции
и дисперсии. Кроме того, апостериорные интервалы (или области)
часто помогают читателю уяснить себе, что именно следует из
априорной и выборочной информации в отношении значений параметров.
Уделив специальное внимание указанным выше пунктам,
читатели смогут понять, что именно установил исследователь на основе
выборочной информации2, т. е. получат информацию о первоначальной
степени уверенности исследователя в различных значениях парамет-
1 В некоторых случаях р (у|9) = g (tlf t2t ...; tk | 8) h (у), где tt = tt (yK
i = 1, 2, ..., k суть функции наблюдений, называемые достаточными
статистиками. Если указать в сообщении только ^,то другие исследователи смогут
осуществить анализ, только признав, что предложенный нами вид функции
правдоподобия является удовлетворительным. Для исследования альтернативных функций
правдоподобия обычно требуется полная выборка у.
2 Более подробно с проблемой представления результатов можно
познакомиться в [61].
56
ров и первоначальном представлении его о модели и затем увидят, как
они изменились под влиянием выборочных данных. Это изменение в
степени уверенности или представлениях составляет самую
существенную часть процесса обучения на опыте.
ПРИЛОЖЕНИЕ. АПРИОРНЫЕ РАСПРЕДЕЛЕНИЯ,
ПРЕДСТАВЛЯЮЩИЕ «СКУДОСТЬ ЗНАНИЯ»
Как уже указывалось в настоящей главе, встречаются ситуации,
когда исследователи знают мало (или хотят поступать так, как если
бы мало знали) о параметрах некоторой модели. Поэтому есть
потребность в формулировке в явном виде правил выбора априорных
распределений для представления «скудости знания» или незнания. Читатель,
может быть, удивится, но именно удовлетворение этой потребности
является самым трудным и спорным аспектом байесовского подхода к
статистическому выводу. В данном приложении мы рассмотрим
предложения, которые были выдвинуты для решения этой проблемы.
Для случая, когда значение параметра совершенно неизвестно,
Джеффрис г предлагает два правила выбора априорного
распределения, которые (цитируем) «охватывают наиболее ^распространенные
ситуации». Он утверждает, что, «если параметр существует в конечном
интервале или в интервале от — оо до + оо , то его априорная
вероятность должна считаться равномерно распределенной. Если же можно
обосновать, что параметр принимает значения в интервале между 0 и оо,
то следует считать равномерно распределенной вераятность его
логарифма» 2.
Рассмотрим пример применения первого правила Джеффриса в
случае, когда можно обоснованно полагать, что некоторый параметр
[г, например математическое ожидание, принимает значения в
интервале от —оо до +оо.
Правило Джеффриса для представления незнания значения
предлагает принять
р (\i) dp ~ d\i, — оо < (i < оо, . A)
т. е. р (\х) ~ const. Эта прямоугольная ФПВ, очевидно, является не-
оо
собственной, поскольку Г р (|i) d\i — оо.
— 00
Если мы знаем, что — оо < ц <оо есть достоверное утверждение,
то, следовательно, Джеффрис использует оо для представления
вероятности достоверного события, — оо< jx<oo вместо I3. Тот факт, что
1 [66, с. 117]. Плэкет считает работу Джеффриса «оригинальной
разработкой современной версии процедуры Байеса—Лапласа» для представления
незнания. См. [96].
2 [66, с. 117].
3 Джеффрис [66, с. 21] замечает, что «существуют ситуации, когда мы
хотим выразить незнание значений переменной в бесконечном интервале, и тогда
удобно обозначить достоверность того, что переменная принимает значение в
этом интервале, через оо (вместо того, чтобы использовать 1).
67
интеграл от выражения A) равен бесконечности, есть, в глазах Джеф-
фриса, достоинство, поскольку тогда Рг {а < \i < Ь}/Рг {с < \i<id} =
0/0, или неопределенности, где а, Ь, с и d любые конечные числа.1
Но поскольку это отношение вероятностей является неопределенным,
мы не в состоянии делать утверждений о том, каковы шансы на то,
что \х лежит в некоторой конкретной паре конечных интервалов. Джеф-
фрис считает, что именно это свойство A) является формальным
представлением незнания.
Если мы вместо A) взяли бы, например,
JL , B)
собственную ФПВ, то мы ввели бы априорную информацию об области
существования [А, а тем самым мы уже не могли бы считать, что
совершенно ничего не знаем о значении |л. Если задано B), то для конечных
а и Ь, лежащих в замкнутом интервале от — М до М, мы имеем Рг {а <
<(г<Ь} — (Ь — а)/2 МфОи, таким образом,
Рг {а < ц < Ь] = (Ь—а)/2М __ Ъ—а ,„*
Pv{c<ii<d} "" (d—c)/2M ~~ d—с ' * '
где си^ конечны и лежат в замкнутом интервале от — М до М. В
противоположность тому, что следует из A), отношение вероятностей в
C) будет определенным. Однако, если мы рассмотрим lim Pr {a < \i <
< 6}/Hm Pr{c < [д, < d}, то такое отношение вероятностей имеет вид
0/0. В этом смысле мы можем рассматривать B) в качестве апрокси-
мации A) при возрастании М.
Может возникнуть вопрос о том, вводим ли мы информацию о \i
путем выбора ФПВ прямоугольного вида A) или B). По логике
рассуждений Джеффриса, неопределенность отношений Рг {я < |и < &}/
/Рг{с < (ы < d) достаточна для обоснования использования
прямоугольной ФПВ. Однако есть и другие ФПВ, обладающие этим
свойством. Поэтому, видимо, нет пути нахождения ответа на вопрос о виде
ФПВ для выражения незнания без введения меры информации. Если
мы согласимся измерять информацию, содержащуюся в ФПВ,
например, р (fx), с помощью
м
Я= 5 PG*)logp(l*)d|i, D)
—М
1 Может показаться, что Рг {а < \i < b) = 0 является информативным
утверждением относительно \i. Из этого утверждения нельзя, однако, получить
достоверного логического следствия, что [х лежит вне интервала ввиду того, что
задано равномерное распределение \х между — оо и-f- оо. Джеффрис [66, с. 21]
приводит иллюстративный пример. Если х есть непрерывная случайная
переменная, имеющая равномерную ФПВ между 0 и 1, то из утверждения Рг (х =
= 1/2) = 0 не вытекает достоверного логического следствия, что х Ф 1/2,
поскольку и 1/2 является возможным значением.
58
меры, использованной многими исследователями, в том числе
Шенноном \ то собственной ФПВ, минимизирующей Я, является BJ. Таким
образом, прямоугольная ФПВ является априорной ФПВ
«минимальной информации». Увеличивая М> мы получаем аппроксимацию A).
Пример 2.3 в тексте настоящей главы показывает, что, объединяя
несобственную ФПВ в A) с функцией правдоподобия с помощью
теоремы Байеса, мы получаем в результате собственную ФПВ. Выборочная
информация, содержавшаяся в функции правдоподобия, привела нас
в этом случае от несобственной «неинформативной» ФПВ для [i к
собственной «информативной» апостериорной ФПВ. Таким образом, мы
двигались от незнания, представленного A), к более
информированному состоянию, представленному нашей собственной апостериорной
ФПВ, и, например, апостериори отношение Рг {а < \i < Ь | у}/
/Рг {с < [г < d | у} уже не является неопределенным.
Второе из правил, которые дает Джеффрис, относится к параметрам,
природа которых позволяет сделать допущение, что они принимают
значения от 0 до оо; например, среднее квадратичное отклонение а.
Для такого параметра Джеффрис предлагает принять равномерно
распределенным его логарифм, т. е. если мы положим 6 = log сх, то
априорная ФПВ для 0 будет выбрана в виде
/?@)d6~de, — oo<9<oo, E)
где 9 = log а. Заметим, что область существования 0 есть (— оо, + оо),
и, таким образом, E) не противоречит первому правилу Джеффриса.
Поскольку d0 = do/o, E) предполагает
p(o)do~—f 0<a<co F)
в качестве несобственной ФПВ, представляющей незнание о о.
Джеффрис замечает несколько интересных свойств F) и ее
возможных альтернатив. Во-первых, F) инвариантна относительно
преобразований вида ф = а"; иными словами, dq> = non-1 do, следовательно,
d<p/cp ~ dolo. Для Джеффриса это свойство инвариантности имеет
важное значение потому, что некоторые исследователи, например, па-
раметризируют модели в терминах среднего квадратичного
отклонения а, а другие — в терминах дисперсии а2 или параметра точности
1 См., например, [117], перепечатанную в [118, с. 3—91]. Шеннон
определяет W — — Н как энтропию, или неопределенность, ассоциированную с
некоторой ФПВ, например р (\л).
м
2 Иными словами, нужно минимизировать Н = Г р (u) log p (fx) d\i при
1м
м
условии ограничения f p (\x) d\i — 1. Построим функцию Лагранжа Н -\- X X
м
X [J Р 0х) d[i — 1], где Я есть множитель Лагранжа. Тогда, задавая вариацию
—м
р (\i), мы при заданном ограничении получим следующее условие минимизации
Я: [1 + log р (\i) + Я] бр (\i) = 0, откуда р (fx) = е —<Ь+1). Положив Я+ 1 =
= log 2М, имеем р (fx) = 1/2М в качестве собственной ФПВ, миним изирующей
Н.
59
h ~ Va2. Можно легко проверить, что если мы выберем dola в
качестве нашей априорной ФПВ для а, то в качестве логического следствия
мы получим do/o ~ doVo2 ~ dh/h. Таким образом, приложение
правила Джеффриса к а, 0 < а < оо, к а2, 0 < а2 < оо или к А, 0 <
< h < оо дает ФПВ, относящиеся к одному и тому же виду и не
противоречащие друг другу в том смысле, что выполняется do/o ~ do2/o2~
—dhl\x. Более того, непротиворечивыми будут и вероятностные
утверждения, базирующиеся на этих альтернативных параметрах.
Далее Джеффрис обращает внимание на то, что F) обладает сле-
оо a оо
дующими свойствами: (а) Г da/a = с»; (б) J" d a/a = 00 и (в) Г da/a=оо.
о о о
Свойство (а) вновь указывает на то, что оо используется для
представления достоверности. Тогда из (б) и (в), вместе взятых, следует, что
Рг{0 < a < a}/Pr {а <С о <с оо} есть неопределенность, и об
отношении этих двух вероятностей ничего нельзя сказать, что относится и к
шансам осуществления утверждений 0 < a < а и a < a < оо.
Подобная неопределенность опять рассматривается как формальное
представление незнания.
В качестве альтернативы F) Джеффрис рассматривает р (a) ~
~const и р (а) ~ e-ka, 0< а < 00. Первая из этих ФПВ обладает
тем свойством, что вероятность a > с, где с конечно и положительно,
равна оо, что на шкале Джеффриса есть достоверность. Таким
образом, вероятность, того, что О <С a < cy равна нулю, и это предполагает
некоторые априорные сведения о а. Поэтому Джеффрис считает
р (a) ~ const, 0 < а < 00 неприемлемой в качестве представления
незнания о значении а. Что касается р (a)~e-fea, то Джеффрис
говорит о необходимости введения множителя k в показатель, поскольку a
имеет размерность длины, а показатель при е должен быть
безразмерной величиной. Кроме того, если принять ФПВ в виде р (a) ~ e-ka
то Рг{0< а < с}/Рт{с < а < оо} будет иметь определенное
конечное значение для положительных конечных с, и это противоречит
допущению о том, что мы ничего не знаем о значении а. Кроме того,
если мы не знаем fe, то вынуждены ввести для него априорную ФПВ, и,
таким образом, мы, оказывается, ничуть не продвинулись вперед.
Мы уже отметили, что 0 = log a есть такой параметр, что
выполняется — оо <; 8 < оо, когда О <С a < 00. При этом информационная
мера D) минимизируется путем выбора р (Э) ~ const, и это является
теоретико-информационным обоснованием выбора 0 = log a
равномерно распределенным, что предполагается (бI. Обычно, если r\ = f (a),
1 ФПВ для а, минимизирующая Н, предполагается собственной. Так если
v1 < a < v2, то собственная ФПВ, минимизирующая Я, есть р (о) = (log v2/
М) (do/o).Когда 02-*°° и vx -* 0, мы получаем аппроксимацию несобственной
ФПВ Джеффриса. По этому поводу^сам Джеффрис [66, с. 122] замечает: «... A)
некоторая промежуточная область всегда дает основную часть значений
интегралов, а «хвосты» вносят лишь незначительный вклад; B) в математическом
определении интеграла по бесконечной области всегда сначала рассматривается
конечная область, а потом допускается ее распространение до бесконечности.
Таким образом, результаты, полученные путем использования интегралов по
бесконечной области, просто эквивалентны стремлению ^ к 0, а v2 — к
бесконечности (в р (о) == (log vjvx)-1 (do/o)).
60
где /—дифференцируемая функция, / @)= —оо и / (оо) = оо, мы
можем положить р (г|) йц ~ di) в соответствии с первым правилом Джеф-
фриса. Это предполагает, что р (a) do ~ f (о) do. Если / (or) = log а,
то мы получаем априорную ФПВ Джеффриса F). Джеффрис хочет,
чтобы / (а) не требовала для своего определения новых параметров.
Это условие исключает, например, такие функции, как / (о) = eka A—
—- Но). По Джеффрису, /' (а) должна иметь вид Аоп, где А и п
являются константами, если мы хотим выразить незнание значений а, при
условии, что нам известно, что 0< а <; оо. Далее он показывает, что
только положив п = — 1 мы можем сделать отношение Рг {0 <
< а < а}/Рг {а < а < оо} неопределенным. Этот результат наряду с
А В
Рис. 2.3. Пример «локально равномерной» априорной ФПВ
«инвариантностью к возведению в степень» заставляет его выбрать
F) в качестве представляющей незнание априорной ФПВ для о.
В примере 2.3 (основная часть настоящей главы) мы уже видели,
как несобственная априорная ФПВр (о) ~ 1/а, будучи объединенной
с функцией правдоподобия, дает собственную апостериорную ФПВ
для о. Как уже указывалось выше, р (а) ~ Но предполагает р (а2) ~
~ 1/а2, и, таким образом, мы пользуемся тем же самым видом ФПВ для
выражения незнания значений а2 (или любой другой степени а). Таким
образом, если один исследователь использует параметр а, в то время
как другой — параметр ср = а2, то при условии, что ими для
представления незнания выбраны р (о) ~ 1/а и р (ф) ~ 1Лр соответственно, их
апостериорные вероятности для а и ср будут непротиворечивы.
Некоторые исследователи не решаются применять
несобственные ФПВ, рекомендуемые Джеффрисом. Они предпочитают вводить
«локально равномерные» или «пологие» ФПВ для неизвестных
параметров г. Этими терминами обозначаются априорные ФПВ, кривые
которых «достаточно плоски» или «пологи» в области, в которой функция
правдоподобия принимает достаточно большие значения. Вне этой
области форма кривой априорной ФПВ не играет роли, поскольку при
выводе апостериорной ФПВ априорная ФПВ умножается на малые
значения функции правдоподобия. Иллюстрация этого подхода
приводится на рис. 2.3.
Поскольку апостериорная ФПВ пропорциональна априорной ФПВ,
умноженной на функцию правдоподобия, очевидно, что форма кривой
влево от точки А и вправо от точки В окажет лишь незначительное
1 См., например, [19] и [ИЗ].
61
влияние на форму кривой апостериорной ФПВг Аналитически для
некоторого параметра [х, апостериорная ФПВ р (\i | у) задается, как
P(\*\y)~P(v)t(p\ У). G)
Пусть |ы0 есть значение fx, расположенное в области, в которой
' (И-1 У) принимает достаточно большие значения. Во многих случаях
за \xQ может быть принята мода / (\i | у). Разложим р (fx) в ряд
следующим образом:
Ы+-\(\1-Ы2рЧЫ + ---' (8)
Если члены первого и более высокого порядка в этом разложении
пренебрежимо малы в области, в которой функция правдоподобия
принимает достаточно большие значения, что будет иметь место в случае,
если р (|х) является плоской или «пологой» в этой области, то мы
получаем
где символ ~ обозначает «приблизительную пропорциональность».
Очевидно, что выбор р (fx), «локально равномерной» и собственной,
не удовлетворяет условию Джеффриса в отношении полного незнания
(см. обсуждение B) ). Кроме того, эта процедура выбора априорной
ФПВ предполагает кое-какие знания о функций правдоподобия, что в
некоторых случаях на практике может иметь место, но может и не
иметь его. Если эта информация об области изменения [х и функции
правдоподобия действительно имеется в распоряжении исследователя,
а некоторые авторы утверждают, что обычно оно так и есть, то ее
можно успешно использовать; например, если известно, что — М < |х <
< М и что задуманный эксперимент может дать достаточно большие
значения функции правдоподобия в области — 2 УИ<С|х<2 м, то
очевидно, что применение в качестве априорной ФПВ р(\к) d\i ~ d\i
при — оо < [г < оо может привести к выводам, противоречащим
априорной информации, — М < \i <C M.
Таким образом, когда исследователь знает нечто о [х и структуре
эксперимента, разумеется, важно, чтобы он эту информацию учел
при получении выводов о fx. Если же он не располагает такой
информацией, то обычно на практике разница между использованием для
(и «локально равномерной» априорной ФПВ и применением
несобственной априорной ФПВ Джеффриса очень невелика.
В обсуждении выше мы встретили несколько примеров на свойство
инвариантности априорных ФПВ; например, было отмечено, что
выражение р (a) da ~ dale инвариантно относительно возведения в
степень а. Джеффрис дал замечательное обобщение этому свойству
инвариантности. Он показал [66, с. 179], что если наша априорная
ФПВ для вектора параметров 0 выбрана в виде
р@)~ | Inf014 (9)
где Infe есть информационная матрица Фишера для вектора
параметров 0, т. е.
62
где математическое ожидание М берется по ФПВ для у, р (у | в), то
она будет инвариантна в следующем смысле. Если один исследователь
параметризирует свою модель в терминах компонент вектора т), где
r\ = F (9), a F — взаимно-однозначное дифференцируемое
преобразование компонент вектора в, и выбирает априорную ФПВ для х\ так, что
р(П)~|Ып|1/*, A1)
то апостериорные вероятностные утверждения, полученные на этой
основе будут непротиворечивыми по отношению к таковым, полученным
исследователем, использовавшим вектор параметров 9 в сочетании с
априорной ФПВ (9). Доказательство этого свойства приводится ниже.
. Пусть р (у | 9), где 9' = @lf 92,..., вк) есть ФПВ для вектора
наблюдений у. Альтернативной записью информационной матрицы для 9 в
A0) является следующая:
где р обозначает р (у | 9) и математическое ожидание М взято по у.
Пусть tj = F (9) есть взаимно-однозначное преобразование компонент
вектора 9, т. е. г\г -= }г (9), гJ = /2 (9), ..., r\k = fk (9).
Тогда мы имеем
A3)
Доказательство х. Поскольку
a log р/ав4 =
(/, /)-й элемент матрицы Infe может быть представлен в виде
где
Ввиду этого имеем
Infe = Ц'п*е)*, jl = JInf4J' A4а)
и
A46)
где J есть функциональная матрица*, ассоциированная с
преобразованием rj = F (9), (/, /)-й элемент которой равен dr\j/dQi. Заметив, что
1 Это доказательство, по существу, аналогичное доказательству Джеффриса,
было представлено М. Стоуном на лекции в 1965 г.
* Эту матрицу, элементы которой имеют вид щ- , называют также
матрицей Якоби. — Примеч. пер.
63
\J\dQ = dt|, мы получаем из A46)
что и требовалось доказать.
Значение полученного результата заключается в том, что, если
исследователь А параметризирует модель в терминах в и использует
| Infe |1/s dQ в качестве априорной ФПВ, то полученная им
апостериорная ФПВ есть р F | у) dd ~ | Infe | 1/2 Р (у | в) dQ в то время, как
исследователь В, параметризирующий модель в терминах х\ — F (в),
получает в качестве апостериорной ФПВ р (kj | у) dx\ ~ | Inf^p^X
ХР(У I Ч) ^Ч- Поскольку доказана справедливость A3), исследователь
В может употребить Ц = F (Q) для преобразования своей
апостериорной ФПВ, чтобы связать ее с в и получить точно ту же апостериорную
ФПВ, что и А. Альтернативный подход заключается в том, что
исследователь А может использовать ц = F F) для выражения его
апостериорной ФПВ в терминах х\ и, при условии A3), эта апостериорная
ФПВ для ij будет в точности совпадать с аналогичной функцией для
исследователя В. Таким образом, если исследователи возьмут свои
априорные'ФПВ пропорциональными корню квадратному из
определителя соответствующей информационной матрицы, то это приведет к
согласованным апостериорным ФПВ в принятом выше смысле.
Для рассмотрения свойства инвариантности в более общем
контексте полезно заметить, что байесовское «преобразование» заданной
априорной ФПВ, р (9)
Р(В\У)~Р(В)Р(У)\9) A5).
предполагает несколько взаимосвязанных понятий, а именно р (у | G)
ФПВ для у, пространство параметров Q и выборочное пространство S.
Мы будем писать
f = {р(у)в),веЙс:Я* и yeSdi?"} A6)
для представления подобных коллективов, где Q есть открытое
подмножество в 6-мерном евклидовом пространстве Rk> a S — открытое
подмножество в Rn. Допустим, что f содержит только ФПВ для у при
заданном 0, имеющую непрерывную производную по в при всех у ? S.
Хартиген F60] рассмотрел свойства байесовского преобразования A5)
при различных f. Он установил, что A5) обладает следующими
свойствами, инвариантности, если /? (в) —^ | Inf0 |1/2, т. е. если априорная
. ФПВ имеет вид, предложенный Джеффрисом.
I. Инвариантность относительно отображения S: если z = G (у)
есть взаимно-однозначное дифференцируемое преобразование,
переводящее выборочное пространство S для у в S*, выборочное
пространство для z, то
p(O[z)~p(e|y). A7)
Это свойство в особенности важно, например, когда преобразование
z = Q (у) связано с изменением единиц"измерения.
И. Инвариантность относительно отображения Q: если г\ =
= F F) есть взаимно-однозначное дифференцируемое преобразование
64
9 это существует р* (у | r\) = р (у | в) и
p(r\\y)dr\~p{Q\y)dQ. A8)
Ниже мы даем доказательство этого свойства и прокомментируем
его значение.
III. Инвариантность относительно сужения Q: пусть в ? Q* с: Q;
тогда" апостериорная ФПВ, полученная из/?* (у|в) при 8 ? Q*, т. е.
Р* (9 I У) ~ Р (в) р* (у | 0), будет пропорциональной] р (в | у) ~
~ р (в)/? (у | в) при в е &*.
Это свойство предполагает, что если мы выбрали априорную ФПВ
Джеффриса, то при использовании функции правдоподобия,
определенной для в ? Q*, мы получаем такую же апостериорную ФПВ, как
если бы мы определили функцию правдоподобия для 8 f Q, а затем
наложили на полученную апостериорную ФПВ р (9 [ у) ограничение,
преобразующее ее в нуль вне области 6 6 й*«
IV. Инвариантность достаточной статистики: если априорная
ФПВ выбирается в виде, предложенном Джеффрисом, и если V =
= (tlt t2, ..., tm) есть достаточная статистика для 9, а р* (t | 8) есть
ФПВ для достаточной статистики, то р* (9 11) ~ p (91 у), где
р* (в 11) — р* (9)/?* (t | в) и р (в | у) задается A5).
V. Инвариантность прямого произведения: если мы располагаем
двумя независимыми выборками уг и у2, априорные ФПВ для которых
суть соответственно рг (уг \ 9Х) и р2 (у21 92), 9Х 6 ^ь ^2 € Й2, и
р (у | 9) ~ рх (ух | 9Х) р2 (у21 92), где 9 ^ ^ = Qx x Q2, то при
условии, что каждая из априорных ФПВ рг (9Х), р2 (92) и р (9) выбрана в
виде, предложенном Джеффрисом, имеет место
P(eiy)-Pi(91|y1)p2(92|y2),
где
Pi (в* IУ«) - Р. (в*) Pi (у, 19,) при i = 1, 2
VI. Инвариантность многократного произведения: пусть ylf y2,
• ••» Ут представляют собой n-мерные векторы независимых
наблюдений из совокупности с ФПВ р (у | 9). Тогда
Р(Уь У2, -м Ут|в)= П Р (У11 в)
Р*(в|Уь У2, ..м Ут)-Р*(в) П Р(У||в).
Если р* (9 | ух, у2, ..., ут) ^ р (9 | ух) lip (у, | 9), где р (9
^ р (9) р (ух | 9), то мы получаем «инвариантность многократного
3 Зак. 1954 65
произведения». Это свойство обеспечивается выбором р* (в) и р (в)
в виде, иредложенном Джеффрисом х.
Эти шесть свойств инвариантности на практике являются важными
свойствами априорных ФПВ, и обладание ими — большое достоинство
априорной ФПВ Джеффриса /7 (в) —^ | Infe |I/2. Но в каком смысле
можно рассматривать априорную ФПВ Джеффриса — как
представляющую «скудость знания» или «незнание»? Как и при обсуждении
пригодности равномерного распределения для представления «скудости
знания», целесообразно рассмотреть эту проблему в терминах теории
информации. Для того чтобы осуществить это, положим, что р (у\ Q)
•еть ФПВ для у при заданном 9. Введем
A9)
в качестве меры информации, содержащейся в р (у | в). Априори
среднее информационное содержание определится как
/у~1Мв) р(в)<Ю, B0)
где р (в) есть априорная ФПВ, здесь собственная. Далее введем
B1)
в качестве меры информационного выигрыша, т. е. из априорного
среднего информационного содержания, ассоциированного с наблюдением
у, обозначаемого через 7У, вычтем информационное содержание
нашей априорной ФПВ, выраженное через J р (9) log p (8) dQ.
Теперь мы введем определение, согласно которому априорной ФПВ
с «минимальной информацией» называется ФПВ, максимизирующая
G при заданной р (у | 0). Хотя это и не единственно возможное
определение априорной ФПВ с «минимальной информацией» (иначе говоря,
могут применяться и другие меры информации), представляется
интересным использовать его в нескольких конкретных частных случаях
для того, чтобы в иллюстративных целях вывести с его помощью
априорные ФПВ и сравнить их с априорными ФПВ Джеффриса.
Рассмотрим сначала
т. е. случай, когда величина у нормально распределена с неизвестным
математическим ожиданием 0 и известной дисперсией, равной едини-
1 Хартиген [60] замечает, что если р (у | 0) = рг (#х|0) р2 (у21 О)» где рг и р2—
разные ФПВ, то требование «инвариантности многократного произведения»
предполагает нарушение других свойств инвариантности, включая свойство
инвариантности относительно отображения Q.
66
це. Тогда
М0)= J
т. е. 1У @) не зависит от 9. Вследствие этого для собственных р @)
получим
будет максимизироваться при минимизации J p @) log p @) d0.
Как уже было показано выше, решением этой задачи является
прямоугольная или равномерная ФПВ для 0; т. е. р @) ~ const. Это
соответствует виду априорной ФПВ, получаемой из правила Джеффриса,
т. е. р (G) — J Infe I1'2 ~ const.
В качестве второго примера мы рассмотрим
Здесь мы предполагаем, что величина у распределена нормально с
известным математическим ожиданием, равным нулю, и неизвестной
дисперсией а. Тогда имеем
оо
Iy(o)= J p{y\a) log p(y\o)dy~* —L(iog2*i-H)— logo
и для собственных р (а) получаем
G = —!- log Bя +1) — Г log op (a) do— Г р (а) log p (а) do.
Необходимое условие максимума G при ограничении Г р (о) dor«**l
состоит в выполнении равенства — log а — 1 — log p (о) + к *¦ О,
где К есть множитель Лагранжа. Это предполагает, что
Р(а)~ —, B2)
о
что также соответствует /? (сг) — | Infa |1/2 ~ — *
В качестве третьего примера рассмотрим
3* 67
где неизвестны как 6, так и а. В этом случае
\в> o)\ogp(y\Q,
J
— оо
= — ~
и для собственной р F, а) мы имеем
= —~(log2n + \)— fflogap@, a)dQda —
(9, o)log/>(9,
G достигает максимума при ограничении JJ/? (9, a) d9da = 1, если
pF, a)~ —. B3)
Таким образом, априорная ФПВ с «минимальной информацией» —это
ФПВ, в которой 0 и а распределены независимо, причем 9 и log a
распределены равномерно.
Априорная ФПВ вида C3) широко применялась Джеффрисом,
хотя г
р(9, a)HInfe,a|1/2~-^-. B4)
Джеффрис объясняет свой отход от общего правила в данном
случае тем, что здесь на основании априорного суждения принимается,
что 0 и а независимы2. Далее он применяет свое правило отдельно к
0 и к а для того, чтобы получить априорную ФПВ вида B3). Он
замечает, что априорная ФПВ B3) инвариантна к преобразованиям вида
г) = 0 + ka.
Если мы рассмотрим величину G из B1) в асимптотическом виде
Ga = ^p @) log j/7TjTnf~l dQ - J p @) log p @) de, B5)
1 Заметим, что информационная матрица имеет вид
_/ 1/а2 0 \
П е'а~~Д 0 2п/аУ '
откуда и следует B4).
2 Джеффрис [66, с. 182] признает, что если мы имеем k нормально
распределенных генеральных совокупностей с неизвестными математическими
ожиданиями 8Х, Э2, ..., 8ft и общей неизвестной дисперсией а2, то его инвариантная
априорная ФПВ будет иметь вид \\xti\ll2 ~ 1/а*"*. Он считает; однако, этот
вид неудовлетворительным, поскольку, например, если мы имеем щ
наблюдений, выбранных каждое из *-й генеральной совокупности, то п = 2 п%% где
маргинальная апостериорная ФПВ для 6Х будет иметь вид одномерного
/-распределения Стьюдента с п степенями свободы для любого &. Аргумент, что при этом
потерь степеней свободы/связанных с исключением путем интегрирования k — 1
математических ожиданий кроме 0lf не происходит вследствие появления
множителя 1/а при каждом математическом ожидании в априорной ФПВ Джеффриса,
представляется Джеффрису несостоятельным.
68
где п — число независимых выборок из генеральной совокупности,
распределенной по закону р (у | 8), и будем искать априорную ФПВ
р F), максимизирующую Ga при ограничении J р (в) d0 = 1, то
получим просто х
pF)~|InfelI/2> B6)
т. е. вид, соответствующий инвариантной априорной ФПВ Джеффриса.
Таким образом, для асимптотического вида G B5) априорная ФПВ
Джеффриса является априорной ФПВ с минимальной информацией.
Однако, если G из B1) задано в неасимптотическом виде, следует
признать, что, как было показано выше, инвариантные априорные ФПВ
Джеффриса не всегда являются ФПВ с минимальной информацией,
поскольку они не всегда максимизируют G2. В случае если априорная
ФПВ Джеффриса не максимизирует G, использование таковой
приводит к внесению большей априорной информации в анализ, чем если
бы применялась априорная ФПВ, максимизирующая G. Когда число
параметров велико, эта разница может быть значительной; например,
в упоминавшемся уже случае с к нормально распределенными
генеральными совокупностями, математические ожидания которых 8' =
= (вь ^2» •••> 6fe) и их общая дисперсия а2 неизвестны, априорная
ФПВ Джеффриса имеет вид р (8, а) ~ l/ok+ly при больших k резко
отличающийся от априорной ФПВ с минимальной информацией
р (8, а) ~ 1/а. Таким образом, очень важно, как это подчеркивает и
сам Джеффрис, тщательно исследовать вид такой неясной, или
расплывчатой, априорной ФПВ для того, чтобы избежать внесения какой-
либо нежелательной априорной информации в анализ, соображение,
к которому надо относиться особенно внимательно в случае малых
выборок 3.
ВОПРОСЫ И УПРАЖНЕНИЯ
1. Пусть экспериментально измеренные урожайности нового
сорта риса характеризует следующий набор данных: 10,40; 10,36; 9,16;
10,03; 9,31; 9,75; 8,69; 9,89. В условиях допущения, что эти данные
генерированы независимыми выборками из нормально
распределенной генеральной совокупности, постройте апостериорную ФПВ для
математического ожидания урожайности в этой совокупности и для
среднего квадратичного отклонения, используя расплывчатую
априорную ФПВ для математического ожидания |х и среднего квадратичного
отклонения а, а именно р (р,, а) ~ 1/а, — оо<|л<:оо, 0<сг<;оо..
1 Этот результат приводится у Линдли [81, ч. 2, с. 467].
2 Априорные ФПВ, максимизирующие G, отнюдь не всегда обладают
свойством инвариантности относительно отображения Q, которое присуще
априорной ФПВ Джеффриса. Однако исследователи с помощью различных способов
параметризации могут получить сопоставимые результаты, если они условятся,
что будут использовать априорные ФПВ с минимумом информации (т. е.
априорные ФПВ, максимизирующие G) при любом способе параметризации в случае,
если их априорные знания о значениях параметров скудны.
3 Случай малой выборки можно грубо определить как случай, в котором
отношение числа параметров к объему выборки достаточно велико.
69
Постройте первые два момента маргинальных апостериорных ФПВ для
\i и для а.
2. Из выражения B.19), являющегося апостериорной ФПВ для
среднего квадратичного отклонения а, получите апостериорную ФПВ
для дисперсии, ф = а2, и выражение для апостериорного
математического ожидания и дисперсии ср. Затем покажите, что апостериорная
ФПВ для х = vsVy есть ФПВ вида к2 с v степенями свободы (см. (А.35)
в приложении А).
3. Предположим, что существует другое множество
экспериментальных данных, независимое от множества, приведенного в
упражнении 1, которое состоит из следующих урожайностей культивируемого
в настоящее время сорта риса: 8,47, 7,35; 12,08; 7,83; 8,43; 10,29;
11,34; 8,40. Если считать, что эти данные генерированы путем
независимых выборок из нормально распределенной генеральной
совокупности с математическим ожиданием 0 и средним квадратичным
отклонением т, то какова будет функция правдоподобия для параметров (х,
0, а и т при массивах наблюдений, заданных в упражнениях 1 и 3?
Постройте совместную маргинальную апостериорную ФПВ для а2 и т2
при условии, что величины \i, or, log a, logr априори являются
независимыми и нормально распределенными и каждая величина существует
в интервале от — оо до + оо. Далее, опираясь на анализ
приведенный в приложении А, § 6, покажите, что апостериорная ФПВ для ф =
= а2/т2 имеет вид F -ФПВ. Рассчитайте эту ФПВ и получите ее
график. Сравните также апостериорные ФПВ для 8 и для jx. Что
показывают результаты сопоставления урожайности нового и старого
сортов риса?
4. Если зависимость цены р от урожайности в расчете на акр у
имеет вид р = аг — (x,2Ny9 где ах и а2 — положительные параметры, а
N — число засеянных акров, то выручка от продажи составит SR =
= Nyp = Nyax — а2 (NyJ. Пусть у — случайная переменная с
математическим ожиданием \х и дисперсией а2. Получите выражение для
математического ожидания SR при заданных N, аг и а2. Как зависит
М (SR) от (х и (Г2? Пользуясь апостериорными ФПВ для \i и а2,
полученными при решении упражнения 1, вычислите апостериорное
математическое ожидание М (SR).
5. Рассмотрите в качестве альтернативной ФПВ при анализе
примера 2.3 следующую естественно сопряженную «гамма-нормальную»
ФПВ для [х и а:
p(fx, а|[ха, ha, аа, va) = p1(a\aaJ ve) p2 (|i | а, [ха, AJ,
— ОО<[1<ОО,
0<а<оо,
где
т. е. ФПВ вида обратного гамма-распределения (см. приложение А,
§4), и
р2 (A1 a, \ia, К) - i ехр [- ^ (\х — цаJ],
70
т. е. ФПВ одномерного нормального вида, где |ла, hai aa и va суть
заданные параметры априорной ФПВ и ha, oa, va > 0. (а) Определите
моду маргинальной априорной ФПВ для а, рх (а\ aaJ va).^ При каком
условии на va математическое ожидание и дисперсия этой ФПВ
существуют? (См. приложение А, § 4.) (б) Определите среднюю и
дисперсию нормальной условной ФПВ для [х, если заданы cr, \ia и ha>
Р2 (И' I <*> М^> К), (в) Проинтегрируйте совместную априорную ФПВ
для |х и а по а и покажите, что полученная маргинальная
априорная ФПВ для \х имеет вид одномерной ?-ФПВ Стьюдента. При
каком условии на va математическое ожидание и дисперсия этой ФПВ
существуют? (См. приложение А, § 2.) Пусть это условие
удовлетворяется. Получите априорные математическое ожидание и
дисперсию |UL. (г) Перечислите другие свойства маргинальных априорных
ФПВ для [х и а и укажите, как эти свойства зависят от значений
априорных параметров.
6. Объедините естественно сопряженную априорную ФПВ из
упражнения 5 со следующей нормальной функцией правдоподобия:
где
l n
У' = (Уъ У* •¦•> Уп), v = n—I, f^ = — У! у%
п
и получите совместную апостериорную ФПВ для \i и а.
(а) Каковы вид и свойства маргинальной апостериорной ФПВ для а?
(б) Каковы вид и свойства условной апостериорной ФПВ для jx при
заданных а, значениях априорных параметров и выборочных
наблюдениях у?
(в) Каковы вид и свойства маргинальной апостериорной ФПВ для \х?
7. В упражнении 2 вы получили апостериорную ФПВ для ср =
= а2. Рассмотрите и сравните две следующие функции потерь:
^Мф-фхJ и i^
где ki являются положительными константами, а ф$ —точечными
оценками. Какие значения фх и ф2 минимизируют ожидаемые потери?
8. Сравните точечные оценки <р, полученные при решении
упражнения 7, с оценками метода наибольшего правдоподобия и других
методов теории выборочных исследований для ф = а2 в задаче о мате-
71
матическом ожидании нормального распределения с функцией
правдоподобия, приведенной в упражнении 6. В частности, рассмотрите
среднюю квадратичную ошибку оценивателя вида'ф = cs2> где с есть
константа. Покажите, что М (ф — ф) 2, где математическое ожидание
взято по ФПВ для s2 при фиксированном ф, имеет минимум при
с = —Г2 » гДе ^ = п — *• При пеРех0ДО к ожиданию заметьте, что
— имеет 5С2-ФПВ с v = п — 1 степенями свободы. Сопоставьте
полученный оцениватель vs2/(v-f 2) с точечными оценками, полученными
в упражнении 7.
9. Если z есть строго положительная случайная переменная и если
переменная у = In z нормально распределена с математическим
ожиданием \i и средним квадратичным отклонением, равным а, то говорят,
что величина z логарифмически-нормально распределена. Какова
ФПВ для z? Покажите, что е* и е*+х?2а% СуТЬ соответственно медиана
и математическое ожидание ФПВ для z.
10. Обозначим через yt натуральный логарифм годового дохода
zb полученного в форме заработной платы i-м лицом, т. е. yt = In
zu i = 1,2, ..., п. Далее предположим, что всеуг нормально и
независимо распределены, каждый с математическим ожиданием \i и
дисперсией а2. Покажите в условиях допущения, что априорные ФПВ для
[х и а имеют вид р ([х, а) ~ 1/а, — оо<|1<;оо, 0 < <г <С оо, что
апостериорная ФПВ для In 8 = fx, где G — медиана лог-нормальной
ФПВ для первого дохода в форме заработанной платы, имеет вид
одномерной /-ФПВ Стьюдента, вследствие чего апостериорная ФПВ для
or есть «логарифмическая » /-ФПВ Стьюдента.
11. В упражненииЛО покажите, что натуральный логарифм г)
математического ожидания лог-нормальной ФПВ, In r) = \i + y0^
имеет при заданном а нормальную условную апостериорную ФПВ с
условным математическим ожиданием \х + -^ о2 и условной дисперсией
1 п
вУп, где fx = — 2 У(. Далее постройте совместную апостериорную
ФПВ для In т] и а и объясните, каким образом эта двумерная ФПВ
может быть нормирована и проанализирована с использованием методов
численного интегрирования двойных интегралов?
12. Пусть производятся испытания, которые состоят в честном
подбрасывании монеты. Пусть монета выпала орлом. Если известен
этот исход единственного испытания, то какова функция
правдоподобия и оценка метода наибольшего правдоподобия вероятности 8
выпадения орла в единственном испытании? Если наша априорная ФПВ
для 8 равномерна, 0 < сг < 1, то каково математическое ожидание
апостериорной ФПВ для 8? С другой 'стороны, каково
апостериорное математическое ожидание, если наша априорная ФПВ для"8
задана B.54)? Как вы интерпретируете тот факт, что оценка метода
наибольшего правдоподобия и апостериорное математическое ожидание
численно значительно разнятся?
72
13. Постройте графики апостериорных ФПВ из упражнения 12,
ассоциированных с указанными выше двумя различными априорными
ФПВ. Что можно сказать о точности, с которой 6 может быть оценена
на основе выборки объема п = 1? Каковы апостериорные дисперсии и
оценка метода наибольшего правдоподобия для дисперсии?
14. Опрошены 10 случайно отобранных из большой однородной
генеральной совокупности потребителей. При опросе 4 из них ответили,
что они купили товар Л, а 6 — что не купили. В условиях допущения,
что выбор потребителем товара независим и что есть общая вероятность
Э для элемента данной совокупности купить товар А, получите
функцию правдоподобия и оценку метода наибольшего правдоподобия для
0. Какова будет апостериорная ФПВ для 8 при использовании в
качестве априорной ФПВ B.54)? Определите математическое ожидание и
моду и представьте обоснование выбора апостериорного
математического ожидания в качестве точечной оценки вероятности покупки товара
А в условиях квадратичной функции потерь.
15. В упражнении 14 получите апостериорную ФПВ для 0 при
помощи информативной априорной ФПВ в виде бета-ФПВ с априорным
математическим ожиданием, равным 0,5, и априорной дисперсией,
равной 0,024. Сравните априорные и апостериорные моменты.
16. Что является, по вашему мнению, источником или
источниками априорной информации, приведенной в упражнении 15?
Глава 3 ф ОДНОМЕРНАЯ НОРМАЛЬНАЯ ЛИНЕЙНАЯ
РЕГРЕССИОННАЯ МОДЕЛЬ
Мы начнем в этой главе с анализа простой одномерной
нормальной линейной регрессионной модели и перейдем затем к нормальной
линейной множественной регрессионной модели 1. Везде в этой главе
мы принимаем допущения нормальности, независимости, линейности,
гомоскедастичности и отсутствия ошибок измерения. Нарушение
этих допущений и их анализ будут даны в последующих главах.
3.1. ПРОСТАЯ ОДНОМЕРНАЯ НОРМАЛЬНАЯ ЛИНЕЙНАЯ
РЕГРЕССИОННАЯ МОДЕЛЬ
3.1.1. Модель и функция правдоподобия
В простой одномерной нормальной линейной регрессионной модели
мы имеем дело с одной случайной переменной (отсюда и термин
«одномерная»)—«зависимой» переменной, вариация которой должна быть
объяснена, по крайней мере частично, вариацией другой переменной—
«независимой». Предполагается, что та часть вариации зависимой
переменной, которая необъяснима через вариацию независимой
переменной, генерируется ненаблюдаемой случайной «ошибкой», или
«возмущением», последняя же может рассматриваться как^ представление
совместного воздействия множества незначительных'факторов,
вызывающего вариацию зависимой переменной. Если обозначить
зависимую переменную через у, а независимую— через х, то формально мы
получим следующую зависимость:
Уг = Pi + Рл + Щ, I - 1,2,..., п, C.1)
где tji есть i-e наблюдение за зависимой переменной, х% есть i-e
наблюдение за независимой переменной, щ есть i-e ненаблюдаемое значение
случайного возмущения или переменной, выражающей ошибку, и
Рх и р2 являются параметрами регрессии, а именно «точкой
пересечения оси ординат» (свободным членом) и «тангенсом угла наклона
линии регрессии» (угловым коэффициентом) соответственно.
г Байесовский анализ одномерной нормальной регрессионной модели
приводится в [66, с. 147—161], [81, гл. 8, с. 2] и [102, гл. 13].
74
Заметим, что зависимость C.1) линейна относительно рх и р2,
откуда и происходит термин «линейная» регрессия1.
Допущение 1. Все иг (i ~ 1,2, ..., п) нормально и независимо
распределены, каждое с нулевым математическим ожиданием и общей
дисперсией, равной а2.
Относительно независимой переменной мы примем следующее
допущение.
Допущение 2. Все хг (i = 1,2, ..., п) являются фиксированными
нестохастическими переменными.
Альтернативно мы можем принять следующее допущение
относительно хг.
Допущение3. Всех* (/=1,2, ..., п) являются случайными переменными,
распределенными независимо от щ с ФПВ, не содержащей параметры
Pi, Р2 и а.
Для того чтобы построить функцию правдоподобия в условиях
допущений 1 и 3, мы запишем совместную ФПВ для у' = (уъ у2, ..., уп) и
х' = (хъ Х2> •••> хп)> а именно
Р(У, x|fc, |32, а2, 6) = р(у|х, plf р2, a2)g(x|8), C.2)
где 9 обозначает параметры маргинальной ФПВ для х. Поскольку, по
допущению C), 6 не содержит ни рь ни |32, ни а, функцию
правдоподобия для Pi, P 2 и а можно построить с помощью первого сомножителя
правой части C.2). Заметим, что из C.1) следует, что при заданных
х, рх, р2 и а2 переменная у нормально распределена cAf (yi\Xi, рь р2,
*2) = Pi + РЛ иО (yt | хи РьРа. ст2) = a2, i = 1,2 ..., п. Кроме того,
уь при заданных xiy р1э р2 и а2 распределены независимо. Таким
образом, мы имеем
Р(У|Х, рх, р2, а)- JL-ехрГ—^2 (»«-Pi-MiJ1. C.3)
Г—
2
Это выражение мы получили бы и в том случае, если бы приняли
допущение 2 относительно хг вместо допущения 3. Выражение C.3),
рассматриваемое как функция параметров рь р2 и а2, есть функция
правдоподобия, которую надлежит объединить с нашей априорной ФПВ для
параметров.
3.1.2. Апостериорные ФПВ для параметров с расплывчатой
априорной ФПВ
При выборе априорной ФПВ для рь р2 и а сделаем допущение, что
Рх, Р2 и log a равномерно и независимо распределены; это предполагает
P2, а)~ —, — oo<plf p2<oo, 0<<т<оо. C.4)
1 Зависимость C.1) не обязательно должна быть линейной относительно
«исходных» переменных; например, она может иметь вид yt = log wt, где w%
ес t наблюдн й й ?
р; рр, а е вид yt log wt, где
есть t-e наблюдение за «исходной» переменной, или xi может представлять
где zi есть наблюдение за исходной переменной.
75
Теперь, объединяя C.3) и C.4), получаем совместную апостериорную
ФПВ для pltp2 и а:
Г—^ 2 Or* — Pi—P2*if 1 •
Р(Pi, Р2, о| у, х) ~ —1_ exp Г—^ 2 Or* — Pi—P2*if 1 • C.5)
Эту совместную апостериорную ФПВ, которая служит базой для
выводов о рх, р2 и а, удобно анализировать с учетом следующего
алгебраического тождества г:
п
п
S
где v = rt— 2,
.2 (** —~Х)(У1—У)
C.8)
причем у — /г" 2^| и х = п Sxj. Для того, чтобы получить C.6),
запишем
После раскрытия скобок в правой части член, представляющий
произведение, обратится в нуль, что и дает C.6).
Подставляя C.6) в C.5), получаем
P(Pi, Р* ^1У» ^-
+(Р2-р2J 2 ^+.2(рх -рх)(р2 -р2) 2 ^1). C.9)
Из C.9) непосредственно следует, что условная апостериорная
ФПВ для рх, р2 при заданном а является двумерной нормальной ФПВ
1 Если C.6) подставить в C.3), то функция правдоподобия может быть
выражена в терминах s2, px и р2» которые представляют собой достаточные стати-
стики.
76
с математическим ожиданием фъ р2) и ковариационной матрицей
= а2
/?2(*i — XJ
—х
1
_ Z (*,-?)» 2 (я,-*I J
Разумеется, это не слишком интересный результат, поскольку на
практике а2 редко известно. Для получения маргинальной апостериорной
ФПВ для Pi и р2 интегрируем C.9) по а. Имеем
00
P(Pi. Paly, x)=j>(Pi> р2, а|у, x)d<x~
о
я (Pi-
- feJSjrf1 +2(Px-pj) (Р2-
C.10)
Можно убедиться, что эта ФПВ является двумерной ^-ФПВ
Стьюдента (см. приложение Б). Из свойств двумерной t-ФПВ Стьюдента
получаем следующие результаты:
рфг\У>
-(v + D/2
-(v+D/2
-сх)<р1<<х);
C.11)
C.12)
Осуществляя преобразования в C.11) и C.12), приходим к
выражениям:
C.13)
(ЗЛ4)
где случайная переменная tv имеет /-ФПВ Стьюдента с v степенями
свободы. Эти результаты дают нам возможность делать выводы о рх и
Р2 с использованием таблиц /-распределения.
Что касается апостериорной ФПВ для а, то она может быть
получена путем интегрирования C.9) по рх и р2. Эта операция дает
0<а<оо.
C.15)
77
ФПВ для а в выражении C.15) является обратной гамма-ФПВ (см.
приложение А). Таким образом, мы имеем *:
Если затем преобразовать а в а2, то апостериорная ФПВ для
дисперсии будет иметь вид
р(а2|у, х)МИ*/2]Лехр(-^, 0<аЗ<оо. C.16)
Наконец, апостериорная ФПВ для параметра точности h = 1/а2 будет
иметь вид
p(A|yf x)~Av/2-iexp(--^}, 0<Л<оо. (ЗЛ7)
Из C.17) следует, что переменная vs2h имеет Х2-ФПВ с v степенями
свободы. Из C.16) и C.17) мы получаем, например, М (аJ = vs2/(v —2)
и Mh = 1/s2. Другие свойства этих ФПВ обсуждаются в
приложении А.
Для того чтобы обеспечить получение совместных апостериорных
выводов относительно $г и р2, мы покажем, что величина
[л (рх_ рхJ +(р2—р2J 2^+2(рх — рх) (р2 -fcJ*i]
Ф - — C.18)
имеет апостериорное F2, v-распределение. Для этого запишем
где
ft'= (Pi—Pi, р2 —
C.19)
Если употребить приведенные выше обозначения, то можно записать
апостериорную ФПВ для б C.10) в виде
р(б|у, x)~(l +-l6'A6p/2. C.20)
Поскольку А — положительно-определенная матрица, мы можем
теперь выразить ее как А = К'К, где К — невырожденная матрица, и
таким образом получить 6'Аб = (Кб)'Кб = W, где V = Кб есть
двумерный вектор иУ = (vly v2). Далее имеем
p(V|y, x)-(l +{VV)""/2. C.21)
1 Для того чтобы ФПВ в C.15) была собственной, нужно, чтобы v > 0;
для того чтобы существовало математическое ожидание, нужно, чтобы v > 1,
а для существования дисперсии нужно, чтобы v > 2 (см. приложение А).
78
Положим
= ^1/2 sine.
Якобиан этого преобразования равен 1/2. Заметим также, что V'V
= V* + v\ *= я|) (cos2 0 + sin2 8) = % Таким образом,
C.22)
т. е. является F2, v = ФПВ1. С помощью этого результата можно
строить доверительные интервалы для рх и р2.
При обсуждении C.10) мы заметили, что рх и р2 имеют двумерное
/-распределение Стьюдента. Важным свойством такой двумерной ФПВ
является то, что каждая отдельная линейная комбинация
переменных распределена так, что ее ФПВ относится к виду одномерных /-ФПВ
Стьюдента. Этот результат иллюстрируется ниже путем получения
апостериорной ФПВ для переменной т]0, определяемой как
М (у | х *= х0) = no -Pi + Р2*о. C.23)
Очевидно, что гH является линейной формой относительно рх и р2
и, таким образом, имеет /-распределение Стьюдента с математическим
ожиданием тH *= рх + р2л:0, а именно
- tv. C.24)
Результат, представленный в C.24), может быть получен путем
замены в C.10) переменной рх на г\0 следующим образом:
Якобиан этого преобразования равен 1. Теперь, если интегрированием
исключить р2, можно получить маргинальную апостериорную ФПВ для
Ло в виде
+, -oo<rl0<oo.
C.25)
Далее заметим, что S (xt — х0J — Щхг — х) — (х0 — х)]2 = S (xt—
— xf + п (х0 — хJ, откуда и следует C.24). Результат,
полученный в C.25), обеспечивает получение полной апостериорной ФПВ
для rio, и с помощью C.24) можно строить апостериорные
интервалы для г|0.
1 В общем, р (F) - F<«* - *)/*/(! + iulqF)№ + *)/2 е§ть Fm, ,-ФПВ, • <
< оо (см. приложение А).
79
3.1,3. Приложение результатов для анализа
мультипликатора инвестиций
Для иллюстрации приложений представленных выше результатов
мы интерпретируем C.1) так, что эта зависимость связывает доходы
(зависимая переменная) с автономными инвестициями (независимая
переменная). Тогда параметр р2 определяется как мультипликатор
инвестиций. Если наша априорная информация о а, рх и |32 является
неясной, мы можем использовать расплывчатую ФПВ C.4) для ее
представления. Заметим, что это связано с допущением — со < р2 < оо,
т. е. предполагается, что наша априорная информация недостаточна
даже для того, чтобы определить знак мультипликатора 1. Мы
используем данные из работы Хаавельмо [57], они представлены в табл. 3.1.
Таблица 3.1
Данные Хаавельмо [57] о доходе и инвестициях
Год
1922
1923
1924
1925
1926
1927
1928
1929
1930
1931
Доход*
Инвестиции*
амер. дол. на душу,
в дефлятированных ценах
433
483
479
486
494
498
511
534
478
440
39
60
42
52
47
51
45
60
39
41
Год
1932
1933
1934
1935
1936
1937
1938
1939
1940
1941
Доход
Инвестиции
амер. дол. на душу,
в дефлятированных ценах
372
381
419
449
511
520
477
517
548
629
22
17
27
33
48
51
33
46
54
100
1 За душевой доход принят личйый доход, рассчитанный в дефлятированных ценах с
помощью индекса стоимости жизни 1935—1939 гг. = 100.
* Хаавельмо определяет инвестиции как разницу в расчете на душу населения между
личным доходом и расходом на личное потребление. Он отдает себе, однако, отчет о том,
что эта эмпирическая мера включает некоторые элементы, не являющиеся, строго говоря,
инвестиционными расходами. —Примеч. пер.
На основании этих данных вычислим величины для выражений C.7)
и C.8), относящиеся к нашей выборке, п = 20:
Далее мы имеем
; = 345, f2 = 3,05, s2 = 662,8.
45,35 и ~2(хг—хУ = 285,55.
п
* В ранних дискуссиях ио проблеме мультипликатора предполагалось^ что
он может быть положительным, отрицательным и нулевым.
80
Используя результаты, представленные в C.13) и C.14), и обращаясь
к таблицам /-ФПВ Стыодента1, мы получаем апостериорные ФПВ для
рх и;р2> показанные на рис. 3.1.
В подписи под графиком на рис. 3.1, б указано, что апостериорное
математическое ожидание мультипликатора ]32 = 3,05; вокруг него
группируются высокие значения ФПВ мультипликатора. Кроме того,
из графика следует, что апостериорная вероятность отрицательного
I I I \ \ 1 1 I | 1 I 1 1 | I I 1
/,5
2,0
2,5 л 3,0 3,5
(б) Рг=3,05
4,5
Рис. 3.1. Апостериорные ФПВ для свободного члена (р4) и
мультипликатора инвестиций (р2), основанные на модели Хаавельмо
и его данных, а также расплывчатых априорных распределений
параметров: (а) Апостериорная ФПВ для точки пересечения;
(б) Апостериорная ФПВ для мультипликатора
мультипликатора пренебрежимо мала. Таким образом, несмотря на то,
что наши априорные представления не исключали отрицательных
значений мультипликатора, на основе выборочных данных была получена
апостериорная ФПВ, которая указывает на то, что отрицательные
значения мультипликатора маловероятны.
1 См., например, [121]. Эти таблицы дают значения р (ty\ т. е. ординаты для
*-ФПВ Стьюдента с v степенями свободы. В нашей задаче v = 18. Чтобы
получить ординаты апостериорной ФПВ для р2» мы получаем из C.14) dtv = kd$2i
где к = [2 (х% —!cf]xt2ls. Таким образом, р (tv) dtv = p (tv) kd&2; и ординаты
апостериорной ФПВ для р2 задаются выражением р (tv) k, а значения р (tv)
получаются с помощью таблиц.
81
3.2. НОРМАЛЬНАЯ МНОГОМЕРНАЯ РЕГРЕССИОННАЯ МОДЕЛЬ
3.2.1. Модель и функция правдоподобия
Переходя к множественной нормальной регрессионной модели, мы
предполагаем, что я-мерный вектор столбец наблюдений за нашей
зависимой переменной у удовлетворяет
у - Хр + и, C.26)
где X есть матрица наблюдений за k независимыми переменными
размерности п X к и ранга k\ р — ^-мерный вектор-столбец
коэффициентов регрессии; и — n-мерный вектор-столбец ошибок, или
возмущений.
Мы предполагаем, что все компоненты и нормально и независимо
распределены с нулевым математическим ожиданием и общей
дисперсией, равной а2, т.е. М (и) = О и М (uu') = а21п, где 1п есть
единичная матрица размерности п X п. Если предполагается, что уравнение
регрессии дает ненулевой свободный член, то все компоненты первого
столбца матрицы X являются единицами; иными словами, первый
столбец i есть i', где i/ = A,1, ...,1)- Остальные элементы X могут быть
как стохастическими, так и нестохастическими (см. параграф 3.1). Если
элементы X являются стохастическими, то предполагается, что они
распределены независимо от и, причем функция распределения не
содержит параметров р и а.
В условиях указанных выше допущений совместная ФПВ для
компонент у при заданных X, р и а имеет вид
, р, a)~^exp[-2-L(y-Xp)'(y-Xp)]~ C.27)
~ -i- exp { -2~ [vs2 + (P - p)' XX (p - p)] ,
где v — n — k, и
В — (X' X W X' v f Ч 9Я^
равно как и
s2=(y-xpr(y-xp)t C29)
являются достаточными статистиками. Для получения второй строки
C.27) мы пользуемся следующим алгебраическим тождеством:
(у-хр)'(у-хр)=[у-хр^х(р-р)]'[у-хр-х(р-р)] =
которое следует из того, что
82
3.2.2. Апостериорные ФПВ для параметров
в условиях расплывчатых априорных ФПВ
При выборе априорных ФПВ для анализа множественной
регрессионной модели мы примем, что наша априорная информация является
неясной, или расплывчатой, и представим ее через независимое и
равномерное распределение компонент р и log а, т. е.
а 0<а<оо,
Объединяя C.27) и C.30), получим совместную апостериорную
ФПВ для параметров риа в виде
рф, а|у, Х)^^
C.31)
Из C.31) непосредственно следует, что условная апостериорная ФПВ
для р при данном а (т. е. р (Р | а, у, X) есть 6-мерная нормальная ФПВ
с математическим ожиданием р и ковариационной матрицей (Х'Х)" а2.
Хотя этот факт интересен и полезен для некоторых производных
результатов, о2 редко известен на практике, вследствие чего вычисление
условной ковариационной матрицы (Х'Х)-1а2 невозможно. Для того
чтобы избавиться от вызывающего затруднения параметра а, мы
интегрируем C.31) по о и получаем следующую маргинальную
апостериорную ФПВ для компонент р:
р(р|у, X)=U(p, a|y,
C.32)
т. е. ФПВ многомерного ^-распределения Стьюдента. Эта
апостериорная ФПВ служит отправной точкой для выводов относительно р.
Но прежде чем перейти к ее дальнейшему анализу, мы заметим, что
маргинальная апостериорная ФПВ для а может быть получена из
C.31) путем интегрирования по компонентам р, т. е.
р(о\у, Х) = J ... J рф, a|y,
— ОО —00
или обратной гамма-ФПВ, точно такого же вида, как C.15), за
исключением того, что здесь v = п — k. Путем простой замены
переменной можно перейти к апостериорной ФПВ для а2 или для h =
= 1/а2, если исследователь этого желает.
Теперь мы возвращаемся к анализу C.32) маргинальной
апостериорной ФПВ для р. Во-первых, мы постараемся получить
маргинальную апостериорную ФПВ для отдельной компоненты вектора р,
83
например р2. Это можно сделать двумя путями, а именно: интегрируя
C.31) по р2, рз, ;.., Рь и затем по а или интегрируя C.32) по E2, р3,
..., pft. Здесь мы выберем второй путь. Для удобства перепишем C.32)
следующим образом:
р(Ь\у, X)~(v+a'H*)-«/2f C.34)
где 6' = (р — ЬУ и Н = X'X/s2. Пусть бх есть скаляр, 6Х = рх — р1э
аб^ (р2 — р2, Рз — Рз, ..-, Pfe — fU). Тогда
12Ь2> C.35)
где матрица Н представлена в блочном виде в соответствии с блочным
представлением вектора б, т. е.
Ми ]Hi2
н = —i —
\Н21 |Н22
где hn — скаляр; Н12 — (k — 1)-мерный вектор-строка; Н21 —
— (k — 1)-мерный вектор-столбец, а Н22 — матрица размером (k —1)
X (k — 1). Выделим полный квадрат относительно б2 в C.35)
следующим образом:
6' Нб = б! Лц—в! Н12 HsY Н21 + (б2 + бх H2V Ня)' Н22 F2+ 6X Hrf На) =
=6? (Аи—HaHJb1 H2!)+F2+ вхНй1 На)' Н22(б2+б1Н2-21 Н21). C.36)
Затем подставим C.36) в C.34) и получим
X [1 + F2+ *! HJ/ Ни)' С F2+ бх HJs1 На)]-»/», C.37)
где С = Ha2/(v + 6f//iu), a № = (hn — Н12Н22Г'1 Ни) -1, верхний
индекс A,1) обозначает элемент матрицы, обратной к Н. Теперь можно
интегрировать C.37) по 62, пользуясь свойствами_многомерной t-
ФПВ Стьюдента. Получаем х
)() ,3.38)
Таким образом, имеем
/ C.39)
где т11 есть элемент A,1) матрицы (Х'Х). Ввиду того что выбор
компоненты вектора р, которую мы обозначим через рь остается
открытым, выражение для i-и компоненты вектора р будет иметь вид
э* _ Pi —I
C.40)
1 Интегрирование | С \1*2 [1 + (б2 + «хН^1 Н21)' С (б2 + 61Hjra1H2i)l"n/2
по 62 дает константу, не зависящую от бг. Ввиду того что С содержит 6lt эта
переменная должна появиться в C.38).
84
Этот результат дает возможность делать выводы относительно {$$,
пользуясь таблицами /-распределений для v = п — k степеней свободы.
Заметим также, что простая замена переменной в C.38), а именно
р = 6J//111 = (рх - ft)VAnuf дает
Р(F) ~ F-*/*(v+ F)-(v+lV2, 0<F<oo, C.41)
и, таким образом, F = фг — pxJ/s2mu имеет /^^-ФПВ.
Если мы заинтересованы в маргинальной апостериорной ФПВ
некоторого подмножества компонент р (или 6 = р — JJ), то можем
представить 6' = F[ : 6g) в блочном виде и записать квадратичную
форму 6'Hfi из C.34) в следующем виде:
= 6J Ни бх + 62 Н22 б2 +26,' Н12 б2> C.42)
где блочное представление Н соответствует блочному представлению
для б. Выделяя полный квадрат по б2 в C.42), получим
б' Нб = б,' Нцбх—6J Ни Нй1 Ни61 +
+ (бг'+Нг/ Нд*,)' Ня(*а+ Нгз1 Н^;
после подстановки этого выражения в C.34) получаем
Н216Х)]~»/*. C.43)
Из C.43), кроме всего прочего, очевидно, что условная ФПВ для
б2 при заданной р F21 6lf у, X), есть многомерная ^-ФПВ Стьюдента
с условным математическим ожиданием, равным—H22X H2i6i.
Следовательно, поскольку 62 = р2—р2, условное математическое ожидание
вектора р2 при заданном рх есть
Р2—H221H21(ftL— Pi).
Чтобы получить маргинальную апостериорную ФПВ для 8Х, нужно
проинтегрировать C.43) по б2. Это можно сделать, опираясь на
свойства многомерной i-ФПВ Стьюдента. В результате получаем г
Р Fi I У, X) ~ [v + 6{ (Ни -~Н12 HJ,1 Ha) ftxl-C»"*-)/2, C.44)
где k2 есть число компонент 62. Заметим, что п—k2—n— 2
= v + ku так что показатель в C.44) равен — (v + &!)/2. Таким
образом, из C.44) следует, что маргинальная апостериорная ФПВ для
1 Перепишем C.43) в виде
где С = H22/[v-|- 6{ (Нп — H12H21H2i) 6L]. При интегрировании по б2 второй
сомножитель дает константу, не зависящую от 6lt в то время как первый
сомножитель пропорционален выражению C.44).
85
бх является многомерной /-ФПВ Стьюдента с математическим
ожиданием Л1&! = М (Pi — Pi) = 0, откуда
Мрх=р1, v>l, и Aie1e1'=Al(p1-fo(p1-fe)'s=:
= [(v/(v - 2)] (Hn - Н12 Ни1 Нд)-1, v > 2,
причем надо иметь в виду, что матрица На/, а, / = 1, 2 суть
подматрицы матрицы Н = X'X/s2.
Далее, используя априорные допущения C.30), мы вернемся к
задаче вывода апостериорной ФПВ для линейной комбинации
компонент р. Например, а = Гр, где а есть скалярный параметр, а Г —
^-мерный вектор-строка фиксированных чисел. Если, скажем,
компоненты р суть параметры производственной функции Кобба —
Дугласа, исследователь может интересоваться параметром а = рх+
+ P2+-.-+Pft, который отражает «отдачу от масштаба». В этом
случае Г = A, 1, ..., 1). В других случаях интерес могут
представлять другие линейные комбинации компонент р. Перед тем как
получить апостериорную ФПВ для а = Гр, мы заметим, что совместная
апостериорная ФПВ для р и а может быть записана в виде
|у,Х) = р(Р|а,у,Х)р(а|у,Х), C.45)
где р (Р | а, у, X) есть многомерная нормальная ФПВ.
Таким образом, при условии заданного а параметр а = Гр
нормально распределен, поскольку он является линейной комбинацией
нормально распределенных переменных, компонент Р; математическое
ожидание а есть а = Гр, а условная апостериорная дисперсия
= Г(Х'Х)-Ча2,
ввиду того что условная ковариационная матрица р при заданном а
есть(Х'Х)|а2. Таким образом, маргинальная апостериорная ФПВ а
может быть получена путем интегрирования р (а, а | у, Х) =
= р (а | а, у, X) р (а | у, X) по а. Положим с = Г (Х'Х)-11. Тогда
мы имеем: '
а
р (о I у, X) ~ —— еХр [ ——1,
ик '*' ; av+i F[ 2a«J
оо
(а|у, Х)= Гр(а|а, у, Х)р(а|у, X)
о
86
Очевидно, что апостериорная ФПВ для а является одномерной
/-ФПВ Стьюдента, т. е.
а—а
so1'2
*<* C.47)
где v — n — k, а = Гр и с = Г(Х'Х)~Ч. Этот результат может
быть использован для получения выводов относительно а1.
3.2.3. Апостериорная ФПВ, базирующаяся
на информативных априорных ФПВ
Мы рассмотрим далее задачу использования апостериорной ФПВ
C.31) в качестве априорной ФПВ для анализа новых выборочных
данных, генерированных тем же самым регрессионным процессом. Для
того чтобы различать эти две выборки, употребляют нижние индексы
1 и 2. В этих обозначениях апостериорная ФПВ C.31), которую мы
будем применять в качестве априорной ФПВ для анализа новых
выборок, имеет вид
{~"i~[VlS! + (P-k)'XiXi(P-k)]}. C.48)
где vx = nx — k, Pi — (X[ Xi)"^! Ух и Vjsf = (yx — X^/tyx —
— XxPi). Рассматривая C.48), в свою очередь, как априорную ФПВ,
мы видим, что она распадается на два сомножителя, а именно:
нормальную ФПВ для Р при заданном а с математическим ожиданием рх
и ковариационной матрицей (Х[ Xj) а2 и маргинальную ФПВ для а,
вид которой соответствует обратной гамма-ФПВ с параметрами v± и
s2, т. е. из второй строки C.48) мы имеем
И
Параметрами априорной ФПВ являются величины рь S*, Х/Хх
и v1#
Функция правдоподобия для второй выборки (у2, Х2), где у2
есть п2-мерный вектор-столбец наблюдений за зависимой переменной
во второй выборке, а Х2 — матрица наблюдений за независимыми
переменными во второй выборке размерности пг X k и ранга k> имеет вид
C.49)
-^-
* Вывод совместного распределения для нескольких линейных комбинаций
переменных, имеющих многомерную /-ФПВ Стьюдента, дается в приложении Б.
87
Заметим, что принимается допущение, согласно которому р и а во
второй выборке такие же, как и в первой.
Объединяя априорную ФПВ C.48) с функцией правдоподобия C.49),
получаем апостериорную ФПВ:
Р (Р. о | уъ у2, Хъ Х2) ~ аП1+Пг + 1 ехр { - -^ [(у,-^ §)' (У1-Хг Р)+
C.50)
Это выражение может быть приведено к более удобному виду с
помощью выделения полного квадрата в экспоненте, а именно
(У1-Хх р)' (У1-Хх Р)+ (у2-Х2 Р)' (у2-Х2 Р) = vs* +
+(Р-Р)'м(р-р),
где M-Xi'Xi + X^X,;
? = М-1 (Х{ ух+ Х5 Уа);
vsa=(y1-x1p)/(yi-x,/p)+(y2-x2p)'(y2-x2p);
Теперь мы можем записать C.50) в виде
(М1ХХI+1 ехр {—
C.51)
Очевидно, что выражение C.51) имеет точно такой же вид, как
C.31), и, следовательно, может быть проанализировано такими же
приемами. Таким образом, если мы объединим массивы данных двух
выборок и построим нашу функцию правдоподобия, опираясь на обе
выборки с использованием расплывчатой ФПВ C.30), то
результирующая апостериорная ФПВ будет иметь вид C.50), который можно
преобразовать в C.51).
3.2.4. Прогнозная ФПВ
В этом параграфе мы получим прогнозную ФПВ для вектора
будущих наблюдений, у' = (#п+1, уп+2, ..., yn+q)> который, по
предположению, генерируется процессом множественной регрессии. Имеет место
п выборочных наблюдений к вектора у при заданной матрице X и
допущении расплывчатой априорной ФПВ C.30). Мы хотим получить
ФПВ для у, предполагая, что она генерируется множественным
регрессионным процессом
у = Хр+и, C.52)
где X есть матрица размерности q x k заданных значений
независимых переменных для q будущих периодов, а и есть ^-мерный вектор-
88
строка будущих возмущений, распределенных нормально и
независимо, каждое с нулевым математическим ожиданием и общей
дисперсией, равной а2.
Как уже указывалось во 2-й главе, одним из путей вывода
прогнозной ФПВ является построение совместной ФПВ р (у, Р,а| X, X, у)
с дальнейшим интегрированием по р и а и получением маргинальной
ФПВ для у в качестве прогнозной ФПВ. В данной задаче эта
совместная ФПВ может быть следующим образом разложена на сомножители:
р(у, Р, о|Х, X, у) = р(у|Р, а, Х)р(Р, а|у, X), C.53)
где р (р, а | у, X) есть апостериорная ФПВ для Р и а, представленная
C.31), а
Р (УIР, а, X) ~ -L exp [—jL- (у-Х р)' (у- X р)]. C.54)
С учетом этого C.53) пропорционально
аП+\ + г ехр [--^ [(У-ХР)' (у-ХР) +(у-Х р)' (у-Х Р)]},
C.55)
и наша задача заключается в интегрировании C.55) по а и р.
Интегрируя по с, получаем
р (р, у | у, X, X) - [(у-ХР)' (у - ХР) + (у ХР)' (у-Хр)]-("+')/2.
C.56)
Выделяя полный квадрат по р, мы получим
(у-Хр)'(У-ХР)+(у-Хр)'(у-Хр)«у'у+у'
где М = Х'Х + Х'Х. Подставляя в C.56) и интегрируя по k
компонентам вектора р, получаем
C.57)
где v = я — k. Для придания C.57) более удобной формы мы
запишем выражение в скобках в правой части C.57) в виде
= у' (I -ХМ-1 X') У-У' ХМ1 X' (I-ХМ-1 X') ХМ X' у +
+ [у-0-хм-1х')~1хм-1Х'у]'A-хм-1х')х
х[у—(I—Хм^Х'^ХМ^Х'у]. C.58)
89
Теперь отметим следующий факт, который может быть проверен
непосредственным перемножением матриц:
(I—ХМ^Х'Г^ + Х^Х'Х)-^'. C.59)
Используя это, мы получаем
(I—ХМ^Х'Г'ХМ-1 =[I + X(X'X)-iX']XM-x =
= Х [I + (X' Х)-1^' X] (X' Х + Х' ХГ^Х^Х' X). C.60)
Подстановка C.60) в C.58) дает
у' (I—ХМ-ХХ')У—У' ХМ-ХХ' Х(Х' Х)-ХХ' у +
+(у-хр)'A-хм-1х')(у-хр)=у' {i-xIm-1^-
+ M-ix'X(x'x)-1]x'}y+(y-xp)'(i-XM-ix')(y-xp) =
+(у-хЮ'('-хм-1х')(у-хр),
где р = (Х'Х)Х'у. Опираясь на полученные результаты и на то, что
у'[1 — X (Х'Х)-^'] у = (у - Хр)' (у - Хр) -= vs2, мы можем
переписать C.57) в виде
pCyly.X.^-tv + ly-X^'HCy-Xp)]"'^^2, C.61)
где Н -= A/s2) (I — ХМ^Х'). Из C.61) следует, что у имеет
многомерное /-распределение Стьюдента. Таким образом, в качестве
математического ожидания у мы имеем
М(у) = Хр, v>l, C.62)
а в качестве ковариационной матрицы
М {(у-My)(у-My)'} - -2-Н-* «^A
^ X)-iX/], v>2. C.63)
Разумеется, что свойства многомерного /-распределения Стьюдента,
перечисленные в связи с C.32), применимы и здесь; например,
маргинальная ФПВ отдельной компоненты у, скажем уи будет иметь вид,
соответствующий одномерному /-распределению Стьюдента, а именно
где X (/) есть i-я строка матрицы X, а Ка — элемент (/, /) матрицы,
обратной к Н.
90
Наконец, аналогично C.32) и C.47) линейная комбинация
компонент у будет также иметь одномерное ^-распределение Стьюдента, т. е.
если мы через 1 обозначим ^-мерный нестохастический вектор-строку
с заданными элементами, то величина V = Гу будет иметь
одномерное /-распределение Стьюдента:
——ii tVt C.65)
(Г Н-1!I/2
где
Конкретным частным случаем линейной комбинации будущих
наблюдений, часто встречающихся в экономических исследованиях,
является
V = Уп+1 | Уп+2 4-... | Уп+<* C.66)
где г есть заданная дисконтная ставка1. Для C.66) имеем
Располагая результатом C.65), можно считать распределение
величины V в C.66) известным. Если мы, кроме того, имеем функцию
полезности, зависящую от F, например U (V), то можно вычислить
ожидаемую полезность:
M[U(V)]= J U(V)p(V\y)dV, C.67)
—оо
поскольку из C.65) мы можем определить р (V \ у) ФПВ для V.
Вычисление C.67) обеспечивает возможность сопоставления ожидаемых
полезностей, связанных с различными V, если V являются линейными
комбинациями будущих наблюдений, генерируемых нормальной
регрессионной моделью.
3.2.5. Анализ моделей при условии вырожденности матрицы Х'Х
Матрица моментов Х'Х будет вырожденной, если матрица X
размерности nXk имеет ранг q и 0 ^ q < k. Это может случиться,
например, если наблюдения за независимыми переменными удовлетворяют
точной линейной зависимости и, следовательно, столбцы матрицы X не
1 Нетрудно модифицировать C.66) так, чтобы различным будущим
периодам можно было в случае необходимости придать различные нормы дисконтной
ставки, т. е.
ставки, т. е.
у __ Уп+1 , j/n+2 Уп+д
91
являются линейно-независимыми, т. е. если например k—2, Х=(хь х2)
и хг и х2 удовлетворяют точной линейной зависимости, то | Х'Х| =0 и,
таким образом, ранг Х'Х не равен k *= 2, как легко показать. Эта
ситуация обычно называется «мультиколлинеарностью». Другим
примером, в котором ранг X не может быть равен k, является случай п <&,
т. е. случай, когда число наблюдений меньше числа (k) независимых
переменных или коэффициентов, подлежащих оцениванию. Эта
проблема часто возникает при анализе уравнений приведенной формы эко-
нометрических моделей большой размерности, построенных в виде
системы одновременных уравнений1. Матрицы планирования
эксперимента также могут быть неполного ранга 2.
Если матрица Х'Х является вырожденной в силу любой из
перечисленных выше причин, то обычно считается, что к выборочной
информации должна быть добавлена в какой-либо форме априорная
информация, для того чтобы была обеспечена возможность оценивания
всех k коэффициентов регрессии. Ниже мы проанализируем модель с
естественно сопряженной априорной ФПВ. Потом мы рассмотрим
подход теории выборочных исследований, использующий
псевдообратные матрицы, и дадим ему байесовскую интерпретацию 3.
В подходе к анализу регрессионной модели с вырожденной
матрицей Х7Х, используемом Райфой и Шлейфером [103], а также Эндо и
Кауфманом [3], предполагается, что мы имеем априорную
информацию о р и а, которая может быть представлена следующей естественно
сопряженной априорной ФПВ:
Р(М) = р(Р|о)р(а), C.68)
где
_--L-(p^p)' А(р-р)] C.69)
Выражением C.69) задана нормальная априорная ФПВ для р при
заданном а с априорным математическим ожиданием р и априорной
ковариационной матрицей а2А", которая предполагается
невырожденной. Выражением C.70) задается априорная ФПВ для а в виде
обратной гамма-ФПВ с априорными параметрами v0 и с§. Априорным
параметрам р, A, v0 и с* должны быть приписаны подходящие
значения, представляющие априорную информацию, которой, по
предположению, исследователь располагает.
Априорные ФПВ, представленные выражениями C.69) и C.70),
легко объединить с функцией правдоподобия, представленной пер-
1 См., например, [40, с. 589—635; в особенности с. 622].
2 См., например, [51].
3 Материал настоящего параграфа изложен также в [102].
92
вой строкой C.27), и получить таким образом апостериорную ФПВ
р 1
для р и а1:
+ (У-ХР)'(у-ХР)]}~ а++ {^г
()} C.71)
где rt' = « + v0, п'с2 = гос§ + у'у+р7Лр—р'(А + Х'Х)р
Р = (А + X' X)-1 (АР + X' у). C.72)
Интегрируя C.71) по а, получаем маргинальную апостериорную ФПВ
для Р:
Р(Р|у)-[«'с2+(Р-Р)'(А + Х'Х)(Р-р)]-"г'+*)/2, C.73)
представляющую собой собственную апостериорную ФПВ в виде,
соответствующем многомерному /-распределению Стьюдента с
математическим ожиданием р, выражение для которого представлено в C.72).
Пользуясь C.73), можно делать апостериорные выводы относительно
всех компонент вектора р. Таким образом, когда мы располагаем
априорной информацией, которая может быть адекватно представлена
априорными ФПВ C.69) и C.70), байесовский анализ модели весьма
прост, даже в случае, если матрица Х'Х предполагается
вырожденной.
Далее мы рассмотрим подход к анализу модели в условиях
вырожденности матрицы Х'Х с помощью теории выборочных исследований
и попытаемся дать ему байесовскую интерпретацию. Представляется
удобным и целесообразным произвести перепараметризацию модели:
y = XPY + u, C.74)
где y есть ^-мерный вектор-строка параметров, задаваемый
выражением
Y = P'P, C.75)
а Р — ортогональная матрица2 размерности k X k, такая, что
D 0
Р'Х'ХР =
о о
C.76)
1 Переходя от первой строки C.71) ко второй, мы выделяем полный квадрат
по Р следующим образом:
' А (Р-(Г) + (У-ХР)' (у-ХР) = Р' (А + Х' X) Р-2Р' (Ар + Х' у)+у'
+ Р' Ар = (Р-Р)' (А + Х' X) (Р-р ) + у' у + р' Ар-р' (А+Х' X) р ,
где ]U
2 При условии, что матрица Р ортогональна, подстановка C.75) в C.74)
дает у = ХРР'Р+ u = XP+ и, поскольку РР' = I.
93
где D есть невырожденная диагональная матрица с ненулевыми
характеристическими корнями матрицы Х'Х на главной диагонали.
Тогда нормальные уравнения для y имеют вид
P'X'X?Y = P'X'y C.77)
или
'Pi X'y\ /Р{Х'у
о ]• CJ8)
где y' = (Yi : Y2), причем Yi и Y2 сУть соответственно ^-мерный и (k—q)-
мерные вектор-строки, а Рг — подматрица Р, заданная блочным
представлением Р = (Р± i Р2). Из C.76) заметим, что Р?Х' = 0, и, таким
образом, вектор в правой части C.78) имеет нулевой подвектор.
Полное решение системы нормальных уравнений C.78) задается
выражением1
Y - (Р'X'ХР)* Р'X'у + [I —(Р'Х'ХР)* Р'Х'ХР] z, C.79)
где (Р'Х'ХР)* обозначает матрицу, псевдообратную2 (ПОМ) к
матрице Р'Х'ХР, a z есть произвольный ^-мерный вектор-столбец.
Непосредственная подстановке вектора y, заданного C.79), в нормальные
уравнения показывает, что y есть решение3 системы нормальных
уравнений при любой ПОМ к Р'Х'ХР и для любого z.
Для того чтобы показать, как выбор ПОМ и выбор z влияют на
решения систем нормальных уравнений, заметим, что
C.80)
для любого выбора матриц С, Е и F является ПОМ к Р'Х'ХР.
Подставляя C.76) и C.80) в C.79), имеем при z' *= (z[ • г'2)
~ /уЛ /D-Pl'X'y\ / 0 X
[yj V CPI X' у ) U2~CDzJ * ^
ИЛИ
Yi-D^PlX'y C.816)
и
1 X' у—fDzx) = z2 + CD (yi — zx). C.81в)
1 См., например, [105].
2 M* есть ПОМ к М тогда и только тогда, когда ММ*М = М. Это
определение, как известно, не обеспечивает единственности М*. Подробнее о ПОМ
можно посмотреть в [52], [53], [89], [96], [104], [105, с. 24—26]. (К этой
литературе следует добавить еще [131, с. 268—273] и [16, с. 32—40]. На обычно
рассматриваемую в литературе ПОМ Мура—Пенроуза накладываются
дополнительные условия, обеспечивающие ее единственность. — Примеч. пер.)
3 А именно при N = Р'Х'ХР левые стороны C.77) имеют вид после
подстановки v = V» NV = NN*P'X'y+ N (I - N*N) z = NN*P'X'y+ (N -
— NN*N) z = NN*P'X'y = P'X'y, поскольку, по определению, N*, NN*N = N
()(p)(o) если из [C.76)
известно, что Р?Х' = 0.
94
Как следует из C.816), оцениватель параметра Yi независим от выбора
ПОМ и z. Однако выражение C.81в) для у2 совершенно очевидно
зависит от С и, таким образом, от выбора ПОМ, zx и z2.
Если, например, мы используем ПОМ Мура — Пенроуза, а именно
(Р'Х'ХР)*-/'0 °), C.82)
или любую ПОМ, где С = 0 [см. C.80)], то оцениватель Yi в
выражении C.816) не будет затронут. Однако Y2 B выражении C.81в)
обратится в
Y2 = z2, C.83)
где z2 произвольно.
Чтобы посмотреть, какие отсюда вытекают выводы для оценивания
Р, вспомним, что в соответствии с C.75) р = Ру, вследствие чего из
C.79) имеем
P = PY = P(P'X'XP)*P'X'y + [P — P(P'X'XP)* P'X'XP]z =
= (X'X)*X'y+[I—(X'X)*X'X]Pzf C.84)
поскольку Р (Р'Х'ХР)* Р' = (Х'Х)*, т. е. ПОМ к Х'Х вырожденной
матрице моментов г. Тогда из C.81) следует
[p2l D1 P{ X' y+P22 [z2+ CD (vx )] J§
откуда очевидно, что и Рх и Р2 зависят от выбора ПОМ и z.
Теперь мы хотим применить байесовский подход для анализа
модели в условиях вырожденности Х'Х, причем априорная информация,
используемая в изложенном выше подходе с применением ПОМ,
будет представлена априорной ФПВ. Функция правдоподобия,
выраженная в терминах параметров Yi> Y2 и °> задается в виде
Y» * 1У)~-^г ехР [-
exp J_-iir[a + (Y1-Yi)' D(Yl-Yi)]j, C.86)
1 По определению ПОМ, Р'Х'ХР (Р'Х'ХР)* Р'Х'ХР = Р'Х'ХР. Домножая
обе стороны слева на Р, а справа — наР\ имеем Х'ХР (Р'Х'ХР)*Р'Х'Х = Х'Х,
откуда следует, что Р (Р'Х'ХР)* Р' есть ПОМ к Х'Х.
95
где Yi = D^PiXy и а *= (у — ХР^)' (у — ХР^).
Фундаментальное значение имеет тот факт, что функция правдоподобия не зависит от
\\-
При подходе с помощью ПОМ, основанном на ПОМ вида C.80),
где С Ф 0, мы представляем априорную информацию о Yi и а
следующей несобственной расплывчатой ФПВ:
p(Vi,o)~—, -<*><Уи<°°, J^1'2'-'?' C.87)
Остальная априорная информация, соответствующая C.816),
принимает вид следующей линейной зависимости или граничного условия,
связывающего Yi и у%:
z1). C.88)
Эта зависимость может быть предложена экономической теорией или
может вытекать из каких-либо других соображений. Матрице С, а
также векторам гг и z2 должны быть приписаны значения в
соответствии с априорной информацией, имеющейся, по предположению, в
нашем распоряжении.
Объединяя априорную ФПВ C.87) с функцией правдоподобия
C.86), получаем апостериорную ФПВ для Yi и ст:
P(Yi. *1У)~ ^Т1-ехР{-1^- Ia + (Yi-Yi)'D(Yl-Yi)]}, C.89)
которая будет собственной, если п — q > 0. Математическое
ожидание Yi есть Yi~ Далее из C.88) следует, что апостериорное
математическое ожидание Y2 есть
М (у.) = гг + CD (yi - Zi), C.90)
что совпадает с точечной оценкой C.816), полученной в подходе,
опирающемся на теорию выборочных исследований и использующем ПОМ.
Таким образом, несобственная априорная ФПВ C.87), будучи
объединенной с априорными зависимостями C*88), дает апостериорные
математические ожидания, совпадающие с оценками, получаемыми
при использовании ПОМ-подхода.
Когда С = 0, как это будет в случае применения ПОМ Мура —
Пенроуза C.82), априорные зависимости C.88) упрощаются до
Y2 = z2 C.91)
В байесовских терминах, если мы припишем значение z2 и тем самым
Y2 в C.91), мы используем «догматическую» априорную информацию
о Y2» иными словами/априорная ФПВ для у2 будет вырожденной с кон-
1 Этот факт, видимо, легче всего установить на основе рассмотрения у =
u = X (Px : Р2) [ Yl)+ и = ХР,71 + и, поскольку из C.76) следует;
что ХР2 = 0.
96
центрацией всей массы в точке z2. Далее из C.88) очевидно, что
принятие С = 0 устраняет всякую зависимость \2 от Yi из нашего
анализа.
Во многих ситуациях допущение C.91) является довольно
ограничительным, если дано, что значение у2 известно неточно. Одним из
путей ослабления этого априорного допущения является принятие
C.92)
в качестве априорной ФПВ для k — q компонент у21 а также
допущения независимости у2 0T Yi- Если дано, что Q — невырожденная
матрица, то математическое ожидание этой ФПВ будет М (у2) = z2, a
дисперсия D (у2) = 0гга2. Используя C.92), можно ослабить
априорные допущения, выраженные C.91). Объединяя априорные ФПВ
C.87) и C.92I с функцией правдоподобия C.86), получаем
апостериорную ФПВ:
P(Yi. Y2> or | у) ji+k-я+х ~expj—±r[a+(y2—z2)'Q(y2—z2)+
C.93)
Осуществив обратное преобразование от v и р, получим из этой
апостериорной ФПВа
ехр[
[
+ (P_P)'PFP'(P-?)]]. C.94)
где (Г=Ру, a v'=(fi =2а)и
Если дано, что п — q > 0, то апостериорная ФПВ C.94) является
собственной, поскольку PFP' — PiDP{ + P2QP2 есть
невырожденная матрица, даже если матрицы PiDP{ = X'X и P2QP2 вырождены.
Функция в C.94) может быть использована для получения
апостериорных выводов о р и 0,
Наконец, интересно исследовать, что получится, если мы введем
расплывчатую априорную ФПВ для компонент Р в условиях вырожден-
1 Здесь, принимая С = 0, мы тем самым делаем допущение об априорной
незаменимости у± и у2.
2 Для сравнения с C.73) имеем следующую априорную ФПВ для р при
заданной сг, вытекающую из априорных предположений, сделанных относительно
Yi и 7г в C.87) и C.92), а именно
Поскольку априорная ФПВ для у' = {у[ • у'2) является несобственной, эта
априорная ФПВ для р также является несобственной.
4 зак. 1954 97
ности Х'Х. Если мы сделали допущение
р (Р) ~ const, — оо < р. < оо, / ^= 1,2, ..., /г, C.96)
апостериорная ФПВ для р при заданном о запишется в виде следующей
несобственной ФПВ:
р(Р|а,у)~ехр[-^(у-Хр)'(у-Хр)]~
~ехр \—^ (Р-|)# X' Х(р-?)], C.97)
где р есть любое решение системы нормальных уравнений, т. е.
системы Х'Хр = Х'у. Как следует из C.85), вектор р не единствен.
Поскольку р = Py (следует из C.75)), мы можем выразить C.97) в
терминах у следующим образом:
Р (Y. Y*|*. У) ~ ехр [- ^~ (Yl -~Yi)' О (Yi - Yi)l- C-98).
Эта апостериорная ФПВ является произведением собственной
нормальной ФПВ для Yi с математическим ожиданием Yi и расплывчатой
апостериорной ФПВ для Y2> которая, разумеется, совпадает с априорной
ФПВ для Y2» поскольку функция правдоподобия C.86) не содержит
у2. Ввиду того что маргинальная апостериорная ФПВ для Yi в C.98)
есть собственная нормальная ФПВ, распределение ^-мерного вектора-
строки 6Х = HiYi, где Нх — произвольная невырожденная матрица
размером q X q> будет собственным вследствие чего могут быть
получены выводы относительно 0Х при заданном а, например М FХ | а, у) =
= Н/ y-l и D @х | а, у) = Hi'D-^a2. Для того чтобы связать
эти результаты с вектором р, заметим, что Хр — XPy = XPxYi,
поскольку ХР2 = 0. Если R' есть произвольная матрица размерности
q Хп и ранга q, а R'XPi есть невырожденная матрица размером q X q,
то R'Xp =R/XP1Yi есть д'-мерный вектор-строка, имеющий
собственную нормальную ФПВ. Таким образом, хотя Х'Х есть вырожденная
матрица и мы не вводим априорной информации, возможны выводы
относительно q линейно-независимых комбинаций компонент вектора
Р, т. е. R'Xp. В терминах теории выборочных исследований q линейных
функций компонент вектора р, т. е. R'Xp, называются «оценимыми»
функциями1.
ВОПРОСЫ И УПРАЖНЕНИЯ
1, Если рассматривать переменную «инвестиции» в модели
мультипликатора инвестиций в параграфе 3.1.3 как случайную величину,
то какие следует сделать относительно нее допущения для того, чтобы
обеспечить применимость методов анализа, изложенных в параграфе
3.1.3?
1 См., например, [51, с. 227].
98
U. С Помощью априорных допущений, используемых в параграфе
3.1.3, и данных табл. 3.1 получите и постройте апостериорную ФПВ
для а2, общей дисперсии возмущения^в модели мультипликатора
инвестиций. Покажите, что апостериори величина vs2/o*2 имеет %2-ФПВ
с v = п — 2 степенями свободы. Используйте этот результат при
построении 95%-ного байесовского доверительного интервала для
дисперсии.
3. Используя данные, допущения и модель мультипликатора
инвестиций из параграфа 3.1.3, получите прогнозную ФПВ для дохода
при условии, что инвестиции принимают заданное значение, равное
50. Сравните математическое ожидание и дисперсию этой прогнозной
ФПВ с таковыми прогнозной ФПВ при условии, что инвестиции
принимают заданное значение, равное 100.
4. В задаче 3 вычислите прогнозный интервал, который с
вероятностью 0,80 содержал бы ненаблюденное значение дохода, связанного
с инвестициями, равными 50. Сделайте то же самое для значения
дохода, связанного с инвестициями, равными 100. Вычислите
прогнозную область, которая с вероятностью 0,80 содержала бы значения
дохода, связанные с инвестициями в пределах между 50 и 100. Сравните
оба полученных интервала с этой областью и интерпретируйте
результаты сравнения.
5. Введем в анализ мультипликатора из параграфа^ 3.1.3 кейнсиан-
ское предположение, связав мультипликатор инвестиций р2 с
предельной склонностью к потреблению а, а именно р2=1/A—а), где из
априорных соображений 0 < а < 1.
(а) Какие априорные ограничения на область существования р2
накладываются условием 0 < а < 1 ?
(б) Если принимается допущение, что а равномерно распределено
в интервале от нуля до единицы, то какая отсюда следует ФПВ для
р2? Прокомментируйте ее свойства.
(в) Если а имеет бета-ФПВ с параметрами а и b (см. приложение
А, параграф 5), то какая отсюда следует ФПВ для р2 = 1/A — а)
при 0 <а < 1?
(г) Анализируя модель мультипликатора инвестиций на данных
табл. 3.1, примите допущение, что априорная ФПВ для параметров
модели задана как р фъ р2, а) ~ g (р2)/а, где — оо < рх < оо, 0 <
< а < оо, a g (|32) есть априорная ФПВ для j32, полученная в п. (б)
настоящего упражнения. Получите апостериорную ФПВ для р2.
Используя процедуры одномерного численного интегрирования,
нормируйте ее. Потом сравните результаты с апостериорной ФПВ для
Р2, представленной на графике в параграфе 3.1.3, для того, чтобы
увидеть, насколько чувствительны результаты к изменениям априорных
допущений.
6. Рассмотрите апостериорную ФПВ для параметров нормальной
многомерной регрессионной модели C.31). Какова условная
апостериорная ФПВ для р при заданном а? Определите вектор ее
математического ожидания и ковариационную матрицу.
7. Допустим, что в нормальной множественной регрессионной
модели у = хр + и мы осуществили блочное представление X =
4* 99
= (Xi : X2) и p' = (p; i p;) и записали у - X3px + X2p2 + u.
Как повлияет условие Х^Х2 = 0 на свойства условной апостериорной
ФПВ для Р' = (р{ • рз) при заданном а, которое было получено в
упражнении 6? Какие следствия относительно маргинальной
апостериорной ФПВ для р' = ф[ • ра), представленной в C.32), вытекают
из условия Х^Х2 = О? В частности, вытекает ли из этого условия, что
компоненты рх не коррелированы с компонентами р2 и распределены
независимо от них?
8. Из C.32) получите выражение для рь апостериорного
математического ожидания вектора рь который является подвектором р, т.е.
Р' = (Pi i Pi).
^ Покажите, что апостериорное математическое ожидание рх есть
Pi==(Xi/-X1)Xiy, если Х^Ха^О. (Заметьте, что рх есть
математическое ожидание ФПВ, если член Х2р2 исключен из регрессионной
модели и задана расплывчатая априорная ФПВ для рх и а.) Если ХХ'Х2 Ф О,
сравните рх с апостериорным математическим ожиданием §х вектора
Рх. В частности, покажите, что
где P' = (pip&), причем ^
9. В табл. на с. 101 представлены данные по отрасли
«Транспортное машиностроение» США за 1957 г.
Допустим, что эти данные генерированы производственной
функцией Кобба — Дугласа, т. е.
или
где Рх = In Л, р2, р3 суть неизвестные параметры; Va, La> Ka и Л/"
определены в таблице; нижний индекс i соответствует номеру штата, к
которому относятся данные, i = 1, 2, ..., 25, а щ есть случайное
возмущение. Допустим также, что щ нормально и независимо
распределены, каждое с нулевым математическим ожиданием и общей
дисперсией, равной а2.
Рассмотрев альтернативные допущения о свойствах независимых
переменных в регрессионных моделях, сделайте заключение о том,
пюжно ли из априорных соображений считать, что In (LJN)i и
In (KjN)i удовлетворяют некоторым или всем этим альтернативным
допущениям.
10. Допустив целесообразность анализа данных из упражнения 9
в рамках регрессионной модели, постройте функции правдоподобия и
получите оценки наибольшего правдоподобия для рь р2, р3, а2 и Л?
100
Ежегодный обзор предприятий по отрасли «Транспортное
за 1957 г.
машиностроение»
Штат
Айова
Алабама
Вашингтон
Виргиния
Висконсин
Джорджия
Зап. Виргиния
Иллинойс
Индиана
Калифорния
Канзас
Кентукки
Коннектикут
Луизиана
Массачусетс
Миссури
Мичиган
Мэн
Мэриленд
Нью-Джерси
Нью-Йорк
Огайо
Пенсильвания
Техас
Флорида
Общая
добавленная стоимость
МЛН.
35,796
126,148
636,948
174,394
349,711
304,531
22,700
723,028
992,169
3201,486
494,515
124,948
690,670
73,328
241,530
652,085
4079,554
29,467
415,262
667,113
9*0,430
1611,899
617,579
527,413
56,296
Общий поток
затрат, услуг
капитала1 Ка
дол.
2,698
3,804
30,807
7,173
22,001
11,530
1,543
58,987
112,884
185,446
10,360
5,213
39,712
3,763
15,347
32,840
435,105
1,967
17,546
33,292
72,974
157,978
34,324
22,736
6,547
Общее число
отработанных
человеко-часов2
La
млн. чел.-ч
8,017
31,551
87,963
31,301
52,818
45,534
4,063
88,391
148,530
452,844
86,189
12,000
124,074
15,900
39,416
84,831
490,384
6,470
69,342
83,033
190,094
259,916
98,152
109,728
19,181
Число
предприятий N
75
68
179
85
142
71
15
275
260
1372
76
31
154
115
172
125
568
81
129
247
461
363
233
308
292
1 Чисто наличный капитал определен как «стоимость по цене приобретения по состоянию
на 31 декабря 1957 г.» минус «кумулятивная амортизация и списание до 31 декабря 1956 г.
включительно» минус «амортизация и списания, начисленные за 1957 г.>. Поток услуг
капитала определен как амортизация и списания, начисленные за 1957 г., плюс 6 % чистого
наличного капитала плюс сумма выплаченных страховых премий, рентных платежей и налогов
на собственность.
2 Эти данные относятся только к производственным рабочим.
11. Выведите и постройте апостериорную ФПВ для параметров
функции (б) из упражнения 9, используя данные, представленные в
таблице и расплывчатую априорную ФПВ р (Р, а) ~ 1/а, где 0 <
<а<оо и — оо < pj < оо, / = 1,?,3. Сравните математические
ожидания этих апостериорных ФПВ с оценками наибольшего
правдоподобия соответствующих параметров, полученными в
упражнении 10.
12. В упражнении 11 выведите маргинальную апостериорную
ФПВ для А = е^ и постройте ее график. Существует ли
математическое ожидание и более высокие апостериорные моменты Л? Сравните
моду апостериорной ФПВ для А с оценкой наибольшего правдоподобия
для А. Что можно сказать об этих величинах для случая большой
выборки?
101
13. С позиций теории производственных функций
прокомментируйте априорные допущения относительно параметров
производственной функции, принятые в упражнении 11. Существенно ли
влияние допущения неотрицательности р2 и р3 на численные результаты,
полученные в упражнении 11?
14. При условиях, заданных в упражнении 11, выведите и
постройте апостериорную ФПВ для г] = Р2 + Рз параметра отдачи от
масштаба. Постройте 85%-ный байесовский доверительный интервал
для этого параметра.
15. Приняв спецификацию (б) из упражнения 9, предположите,
что мы сделали допущение постоянной отдачи от масштаба, т. е.
г\ = р2 + р3 — 1 при 0<р2и0<р3. Как вы формализуете
априорную ФПВ, чтобы она отражала эту информацию при анализе
данных таблицы с помощью спецификации (б) из упражнения 9?
16. Пусть т) = р2 + рз есть параметр отдачи от масштаба.
Рассмотрите априорную ФПВ для ц и р2, а именно р (т|, Р2) = Pi (л) РгХ
Х(Р2| Л)- Могут ли обе ФПВ, т. е. рг (г\) — маргинальная априорная
ФПВ для т] и Р2 (р21 ц) — условная ФПВ для р2, одновременно
являться бета-ФПВ при 0^т]^2 и 0^р2<<г]? Приведите пример,
иллюстрирующий ваш ответ.
Глава 4 @ специальные проблемы
РЕГРЕССИОННОГО АНАЛИЗА
Темы, рассматриваемые в этой главе, дают примеры того, как
специфицирующие регрессионную модель допущения, рассмотренные в
3-й главе, могут быть ослаблены; мы рассмотрим, например,
регрессионную модель с автокоррелированными возмущениями. Поскольку
эти и некоторые другие нарушения наших «стандартных» допущений
встречаются на практике, важно иметь средства для их преодоления.
Неспособность учета возможных нарушений стандартных допущений
может, разумеется, привести к неверным выводам. Совершенно
необходимо, чтобы исследователи, пользующиеся регрессионными
моделями, критически изучали адекватность принятых ими допущений.
4.1. РЕГРЕССИОННАЯ МОДЕЛЬ С АВТОКОРРЕЛИРОВАННЫМИ
ВОЗМУЩЕНИЯМИ *
Сначала мы проанализируем простую регрессионную модель с
возмущением, генерированным авторегрессионным процессом
первого порядка, а именно:
Уг = Р** + ии D.1а)
Щ = ptt*-i + e,, t= 1,2, ..., Т. D.16)
В D.1а) ух есть t-e наблюдение за зависимой переменной, р—-скалярный
коэффициент регрессии, xt — t-e наблюдение за независимой
переменной, которая, по допущению, является нестохастической, ащ— t-e
возмущение. В D.16) представлен авторегрессионный процесс, который,
по допущению, генерирует возмущения. Это представление содержит
скалярный параметр р и ошибку гг. Принимается допущение, что
все е* нормально и независимо распределены с нулевым
математическим ожиданием и общей дисперсией, равной а2. Заметим, что если
р — 0, то D.1а, б) сводятся к простой регрессионной модели,
удовлетворяющей стандартным допущениям 3-й главы.
Из D.1а, б) получаем
y* = P0*-i + P(*t —P*t-i) + e*. *=1, 2,..., Т. D.1в)
Заметим, что в D.1в) появляется у0 и, таким образом, нужно что-то
сказать о начальных условиях прежде, чем мы можем перейти к
анализу модели.
Если мы допустим, что процесс, представленный D.1а, 6), имел место
для моментов времени t — О, —1, —2, ..., —То, где момент То
неизвестен, мы можем записать у0 — $х0 = М + е0, где М^р (у_х —
Этот параграф основан главным образом на работе [16].
ЮЗ
—Рлг_х), причем величина М может рассматриваться в качестве
параметра, поскольку она зависит как от ненаблюдаемых, так и от
наблюденных величин. В условиях этих допущений величина у0
нормально распределена с математическим ожиданием р#0 + М и дисперсией,
равной а2. Эти допущения достаточно широки для того, чтобы
охватывать как взрывную (| р | ^ 1), так и невзрывную (| р | < 1) схемы,
равно как и ситуации, при которых процесс начинается в любой момент
времени в прошлом.
С другой стороны, может случиться, что у0 фиксированно и
известно; например, если наблюдения относятся к цене и t = 0 есть
последний период, когда цена была зафиксирована государственным
агентством, целесообразно считать у0 фиксированным и известным. Эта
ситуация тоже может быть представлена в рамках нашего построения,
выполненного в предыдущем абзаце, путем принятия допущения, что
80 имеет нулевую дисперсию. Для других обстоятельств могут
оказаться пригодными другие допущения, т. е. что величина s0
распределена нормально с известной дисперсией, равной а02, или что у0
распределена независимо от у' = (уъ у2,..., у г) и что е? распределение не
содержит ни одного параметра модели. Из нижеследующего изложения
читатель убедится, что все эти допущения относительно у0 ведут к
одной и той же совместной априорной ФПВ для параметров |3, р, а.
В условиях принятых допущений совместная ФПВ для у0 и у' —
= (Уь Уъ ••> Ут) задается в виде
Р (#о, УI Р, Р, <?, М) = р(у01Р, Р, а, М)р(у\ у0, р, р, а, М) ~
2 [yt-pyt-i-Hxt-
2 [ytpyt-iHxtPXt-jA. D.2)
т. е. выражением, которое, будучи рассмотренным как функция от
параметров, есть функция правдоподобия / (Р2, р, М9 о\у0, у), где
— оо<р<;оо, — оо<р<оо, — оо<Л1<оои а>0. Вводя
— оо < р < оо , мы тем самым допускаем как взрывной, так и
невзрывной процесс D.16).
Относительно априорных допущений мы принимаем, что наша
информация скудна, и полагаем р, р, log а и М равномерно и независимо
распределенными, а именно
p(P,PfAf,a)~-i-. D.3)
Объединяя эту априорную ФПВ с функцией правдоподобия, мы
получаем следующую совместную апостериорную ФПВ для
параметров:
Р(Р, P,!a,
104
Если мы заинтересованы в исследовании М, начального уровня про*
цесса, можно получить апостериорную ФПВ для М, интегрируя D.4) по
р, р и а. В противном случае можно элиминировать влияние этого
параметра, интегрируя D.4) по М> что дает
РФ, Р> о\у) ехр \
) ехр \ 2
-H*t-P*t-i)A, D.5)
т. е. совместную апостериорную ФПВ для р, р и а. При выводе D.5)
предполагалось, что величина у0 нормально распределена с
математическим ожиданием М + Рл;0 и дисперсией, равной а2. Можно
непосредственной проверкой убедиться, что использование различных
допущений относительно у0, обсуждение которых было дано выше,
приводит также к D.5) в качестве апостериорной ФПВ.
Интегрируя D.5) по а, мы получаем следующее двумерное
апостериорное распределение:
р (р, р |у) ~{2 [ft-pyM-p to-p**-!)]2}-772 ~
~ {2 [yt- p*t_p 0/,-x-P*^)]2}-7-/*, D.6)
где суммирование производится от t = 1 до t — Т. Двумерная ФПВ
D.6) обеспечивает возможность совместных выводов относительно
Р и р; иными словами, можно использовать процедуры двумерного
численного интегрирования для вычисления нормирующей
постоянной и получать, например, апостериорные вероятности того, что
^i ^ Р ^ #2 и Ьг ^ р ^ й2, где аъ аъ Ьх и Ь2 — заданные числа.
Легко также построить контуры апостериорной ФПВ для того,
чтобы, получить информацию о форме этой двумерной
апостериорной ФПВ.
Для получения маргинальной апостериорной ФПВ для р нужно
выделить полный квадрат относительно р в первой строке D.6) и
воспользоваться свойствами tf-ФПВ Стьюдента для того, чтобы
интегрированием исключить р. Аналогично для получения маргинальной
апостериорной ФПВ для р нужно выделить полный квадрат по р во второй
строке D.6) и исключить интегрированием р, опять-таки используя
свойства одномерной tf-ФПВ Стьюдента. Эти операции дают
D.7)
2 (ет-х-р*,-!
Для того чтобы распределение D.8) было собственным, величина
S (xt — p#*-iJ должна быть положительной. Это предполагает, что
105
мы должны сделать допущение, согласно которому для любого р суще*
ствует такое /, что х% ф 9xt-\- ^r°> однако, не слишком
ограничительг
но
Апостериорные ФПВ D.7) и D.8) могут быть проанализированы при
помощи процедур одномерного численного интегрирования. В
качестве иллюстрирующего примера мы построили эти ФПВ с
использованием данных, генерированных следующей моделью:
_i о
1, Z,, ... ,
где 8, заданные в табл. 4.1, были взяты из таблицы
стандартизированных случайных нормально распределенных отклонений. Переменная
х представляет собой инвестиционные расходы, взятые из статьи Ха-
авельмо [57] (в измененном масштабе). Первый ряд из 15 наблюдений
был генерирован при р = 0,5, а второй — при р = 1,25. Мы будем
называть первый ряд у «невзрывным» рядом, а второй — «взрывным».
Хотя мы и проводим различие между этими двумя случаями, важно
понять, что результаты, представленные D.6), D.7) и D.8), пригодны
для анализа обоих случаев.
Таблица 4.1
i
0
1
2 "
3
4
5
6
7
8
9
10
11
12
13
14
15
н
6|б99
0,320
—0,799
—0,927
0,373
—0,648
1,572
—0,319
2,049
—3,077
—0,136
—0,492
—1,211
—1,994
0,400
xt
3,0
3,9
6,0
4,2
5,2
4,7
5,1
4,5
6,0
3,9
4,1
2,2
1,7
2,7
3,3
4,8
(при р=0,5)
9,500
12,649
18,794
12,198
14,372
13,909
14,556
14,700
18,281
13,890
10,318
5,473
4,044
6,361
7,036
13,368
(при р=1,25)
9,500
13,024
19,975
14,270
16,760
15,923
16,931
17,111
22,195
18,992
18,338
14,012
13,873
17,855
20,099
27,549
«o = O,5
Графики ФПВ маргинальных распределений р и р для этих
данных представлены на рис. 4.1. Из этих графиков следует, что апосте-
1 Однако, если Xf = 1 для всех t, это условие нарушается при р = 1. Если
все Xf равны 1, то наша априорная ФПВ должна приписывать р = 1 нулевую
плотность. Из D.1 в) заметим, что при р = 1 и всех х% = 1 модель должна быть
построена так, что Р в ней отсутствует.
юе
риорная ФПВ для р, полученная на основе взрывного ряда, является
. гораздо более островершинной, чем относящаяся к невзрывному ряду.
Апостериорные ФПВ для р, представленные на рис. 4.1, позволяют
нам делать выводы относительно этого параметра, в которых учиты-
2,30 2,60 2,90 3,20 3,50
Р
•0,12-0,18-0,48-0,784,08
2,18 2,48 2,78 3,08 3,3$
(б)
0,94 1,04 1,14 1,24 1,34
Рис. 4.1. Маргинальные распределения р и р:
(а) Невзрывной ряд (Т= 15); (б) Взрывной ряд (Т=15)
вается возможность отхода от допущения независимости возмущений,
постулированной в модели. Учет возможности такого отхода
чрезвычайно важен, поскольку при анализе в условиях допущения
независимости получаются результаты, весьма сильно отличающиеся от
результатов альтернативного случая. Как было показано в 3-й главе,
в условиях допущения независимости (р = 0) мы получили бы р (р | у)
107
в виде, соответствующем одномерному ^-распределению Стыодента, а
именно
s//Sx2\l/2
где v = Т — 1, р = %xtyt/%xf и vs2 = S (^ — р^J.
Апостериорные ФПВ для р, полученные в условиях допущения независимости
возмущений, представлены на рис. 4.2 кривыми с меткой р = 0. Эти
ФПВ сильно разнятся от кривых, представленных на рис. 4.1.
Для того чтобы полностью уяснить себе ситуацию, представляется
целесообразным выписать маргинальную ФПВ для р в виде
D.9)
Подынтегральное выражение в D.9) содержит два сомножителя, а
именно р (Р | р, у) ¦— условную апостериорную ФПВ для Р при
заданном р и р (р | у) — маргинальную апостериорную ФПВ для
р. Таким образом, как было установлено во 2-й главе, маргинальная
апостериорная ФПВ для р рассматривается как соответствующим
образом взвешенная средняя условной ФПВ р (Р | р, у), где весовой
функцией служит р (р | у); иными словами, условная ФПВ р (Р |.р, у)
обеспечивает возможность выводов относительно р при некотором
допущении о значении р. С другой стороны, маргинальная ФПВ р (р | у)
выражает обоснованность утверждений относительно р в свете данных
выборки и наших первоначальных допущений. Очевидно, что, если
только условная ФПВ не является нечувствительной к изменениям р,
принятие допущения, что р равняется некоторому фиксированному
значению, например р = 0 (наблюдения независимы) или р = 1
(первые разности наблюдений независимы), может привести к
апостериорной ФПВ для р, сильно отличающейся от таковой, представленной
в выражении D.7).
Для того чтобы продолжить этот анализ, заметим, что условная
ФПВ для р при заданном р, которая может легко быть получена из
D.6), есть
где v-r—1,
2 V
Из D.10) имеем
Р Р 'Р' 4 . /Л 1 1 \
/%/ *vI v*• * U
s(P)
•108
иными словами, эта величина имеет /-ФПВ Стьюдента с v = Т — 1
степенями свободы.. Для того чтобы показать, насколько
чувствительны выводы относительно р к допущениям относительно р, мы построим
условные апостериорные ФПВ для р при различных допущениях о
значениях р. Графики этих ФПВ представлены на рис. 4.2. Результаты
показывают, что для невзрывного ряда центральное значение
условной ФПВ сравнительно слабо чувствительно к изменениям р, в то
время как «сплюснутость» кривой распределения достаточно
чувствительна к таким изменениям. С другой стороны, для взрывного ряда
как центральное значение, так и «сплюснутость» кривой обнаруживают
значительную чувствительность к изменениям р. Поэтому неудачное
допущение относительно р может сильно повредить анализу. Этот
результат подчеркивает важность работы с маргинальной
апостериорной ФПВ для р, которая правильно учитывает роль р в модели.
Теперь мы обобщим эти методы и приложим их к многомерной
регрессионной модели с возмущениями, генерированными
авторегрессионным процессом первого порядка. Наша модель имеет вид г
у-XP + u; D.12а)
u = pu__i+s D.126)
или, в другой записи,
у = ру_,+(Х-рХ-,)Р + в, D.12в)
где у' = (уъу29 ..., ут) Hyli = (*/<,, Уъ • -, 0r-i) суть 7-мерные вектор-
столбцы наблюдений; и' = (иъ и2, ..., «г) и uL\ = (м0, цъ ..., иг—i)
— Т-мерные вектор-столбцы автокоррелированных возмущений;
Р' = (Pi» Рг> •••» Pft) есть ^-мерный вектор-столбец коэффициентов
регрессии; р — скалярный параметр; г' = (гъ е2, ..., вт) — Т-мерный
вектор-столбец случайных ошибок и, наконец,
: : : L Х_, = : : : D.1
т\ XT2'--XTkJ LX<7'-i)l X(T-\J ...X(T-\)k\
являются матрицами размерности Т X k с заданными элементами.
Как и выше, мы сделаем допущение, что компоненты в нормально
и независимо распределены, каждая с нулевым математическим
ожиданием и общей дисперсией, равной а2. Далее мы сделаем допущения
относительно начальных условий и априорных ФПВ для р и а,
аналогичные введенным выше. Наконец, мы сделаем допущение, что
априори коэффициенты регрессии распределены равномерно и
независимо, т. е.
р (Р) — constant, — оо < Р; < оо, / = 1,2, ..., k. D.14)
1 Здесь мы делаем допущение, что плоскость регрессии проходит через
начало координат, т. е. в модели нет свободного члена. Если это не так, то нужно
путем априорного допущения исключить случай р = 1, потому что при р = 1
свободный член в D.12в) обращается в нуль.
109
2,0
1.5
0,5
i 1 ' I
- Л'
//"¦"'¦I
/>s1,0 1 I
- /1
i i i i
'1,2
/V
\
1
1 '
\
\/
V
1 i
1
A
\
\
\
i
i j i •
—
\
\ -
\ -
i I i
2,5
3,0
3,5
/8
F)
1,0
Рис. 4.2. Условные апостериорные ФПВ для Р при различных р:
(а) Невзрывной ряд (Т= 15); (б) Взрывной ряд (Т= 15)
110
При этих допущениях совместная апостериорная ФПВ для р, р, аи
М задается выражением
р(Р,Р,<х,М|у)f
т+2 I *> DЛ5)
где х0' = [х01, х02, ..., xoh] есть первая строка матрицы Х_х.
Интегрируя D.15) по М и а, легко получить совместную апостериорную ФПВ
для р и Р:
p(P,p|y)~{[y-py-i-(x-px_i)P]'[y-py-i-
X [у-Хр-р(у_,-Х_, Р)]}-^2. D.16)
Для любого фиксированного значения р, как это очевидно из первой
строки D.16), условная ФПВ для р имеет вид
ФПВ D.17) является многомерной /-ФПВ Стьюдента, что и
неудивительно, поскольку при заданном р D.12в) может рассматриваться
как обычная регрессионная модель, к которой применимы
результаты 3-й главы.
Заметим, что при выводе D.17) в неявном виде предполагалось,
что матрица Н является положительно-определенной при любом
фиксированном значении р. Необходимое и достаточное условие этого
будет приведено в приложении 1 к настоящей главе. Для случая k —1
это условие сводится к условию, которое было приведено в связи с
D.8), а именно что для любого р существует некоторое t, такое, что
xt ф pxt-i. В более общем случае при k > 1 это условие
предполагает, что никакая линейная комбинация столбцов матрицы независимых
переменных для моментов времени 0,1, ..., Г не должна удовлетворять
точной авторегрессионной схеме первого порядка. Это условие не
является ограничительным.
Для получения маргинальных апостериорных ФПВ для р и р1
мы просто интегрируем D.16) по этим параметрам. Это нетрудно
сделать, выделяя полные квадраты и используя свойства одномерных и
1 Описанные процедуры включены в программы для ЭВМ (см. [134]).
111
многомерных t-ФПВ Стьюдента, что дает
Р(РI У) ~ [(У-1-Х-!р)' (У-1-Х_г Р)]-'/2 {(у-Хр)' (у-ХР)-
[(У-Хр)'(У-1-Х-1р)]« )-(Г-1)/2
(у_1-Х_1р)'(У-1-Х-1р)| 1 • '
и
Р (РI У) — J {vs2 (р) + [Р —Р(р)]' Н [р_р(р)]} -
D.19)
где v, Н, р (р) и s2 (р) были определены в связи с D.17).
Если в центре интересов исследователя лежит маргинальное
апостериорное распределение одной компоненты р, скажем рь то ее
апостериорная ФПВ может быть в принципе получена из D.18) путем
интегрирования. Однако это интегрирование как с аналитической, так
и с численной точки зрения представляется затруднительным, в
особенности когда k велико. В качестве альтернативы можно предложить
р(Рър1у) = р(Р|У)р(ЫР.У). D.20)
где р (р | у) задается D.19) и р (рх | р, у) можно получить из D.17)
путем интегрирования по остальным компонентам р. На основании
свойств многомерного ^-распределения мы имеем из D.17)
p) „^ D>21)
где /г11 обозначает элемент A,1) матрицы Н.
Результат, представленный в D.21), дает нам вид второго
сомножителя правой части D.20). С помощью процедуры численного
двумерного интегрирования можно исключить р и таким образом получить
маргинальную апостериорную ФПВ для р1#
Другая альтернатива заключается в том, что мы можем получить
Р Фи 9 I У), интегрируя D.16) по р2, рз, ..., pfe. Для осуществления
такого интегрирования мы представляем в блочном виде р' = фг \ р'),
X = (х • X) и Х_! = (х^х • Х_х), где х и х_х обозначают первые
столбцы X и Х_! соответственно. Далее, вводя обозначение
w = y—РУ-1—(х — рх-ОРх, D.22)
мы получаем
РФх, Р, РI У) ~ {[w-CX-pX.OP]' [w -(X-pXlj) P]j-т/2.
Интегрирование по р дает
D.23)
112
где
а вектор w определен в D.22). Апостериорная ФПВ для рх может быть
получена из D.23) путем численного интегрирования. Преимущество
выражения D.23) заключается в том, что его использование связано
с обращением матрицы Н размерности (k — 1) X (k —j), в то время
как при использовании D.20) нужно обращать матрицу Н размерности
k X k. Далее заметим, что Н является Я-матрицей1 второй степени по р.
Следовательно, обратная к ней матрица может быть выражена как
^-матрица степени 2 (k — 2) по р, деленная на скалярный многочлен
степени 2 (k — 1) по р. Представление матрицы, обратной к Н, в
таком виде удобно с вычислительной точки зрения, поскольку тем
самым удается избежать необходимости отдельного обращения
матрицы для каждого значения р при интегрировании.
Полученные выше результаты и методы легко приложимы на
практике для получения выводов относительно ($ и р. В свете этого
подробное развертывание идеи приближенных методов для больших
выборок представляется малооправданным. Интересно, однако, сравнить
результаты приближенной процедуры для больших выборок с
результатами, вытекающими из приложения изложенного выше подхода.
Как было показано в D.12в), наша модель имеет вид
У = РУ-1+(Х-рХ_1)Р + в. D.24)
Заметим, что рР есть нелинейная комбинация параметров.
Линеаризуем модель путем разложения рР в ряд в окрестности оценок
наибольшего правдоподобия 2, которые обозначим через р и р, и приложим к
линеаризованной модели теорию оценивания линейных моделей3.
Разложение дает
D.25)
или
у-Х^р ?ip(y-i-X_J)> +(X-pX^)p+e, D.26)
т. е. выражение, линейное относительно параметров р и р.
Приложение линейной теории, развернутой в 3-й главе, наряду с обычно
используемыми равномерными ФПВ в D.26) дает апостериорную ФПВ
1 Обсуждение свойств Я-матриц см. в [42]. Квадратная Я-матрица степени
N имеет вид А0Х + А^Я/^" -=)- ...+ Адг^Я-}- AN, где A$f i = 0, 1, ...; N
суть квадратные матрицы, элементы которых не зависят от Я.
2 Различные методы получения оценок наибольшего правдоподобия для
параметров D.24) рассмотрены в [161, с. 776—778].
3 Этот путь представляется байесовским аналогом подхода с позиций теории
больших выборок, предложенного в [45]. См. также [62].
113
для р и р в виде, соответствующем многомерному ^-распределению. Для
иллюстрации полученных результатов мы применили процедуры
линеаризации для анализа данных, представленных в табл. 4.1, в
варианте, генерированном простой невзрывной моделью. Затем
первоначальная выборка из 15 наблюдений расширялась до 20, 30 и 40 наб-
2,6 2,8 3,0 3,2 3,4
2,8 3,0 3,2
2,$ 3,0 3,2 3,4
Рис. 4.3. Точные ( ) и приближенные (—« ) маргинальные
ФПВ для р, соответствующие нескольким выборкам разных объемов
для невзрывного ряда
людений. На рис. 4.3 полученные приближенные ФПВ для нашего
скалярного параметра р сопоставляются с точными ФПВ, построенными в
соответствии с D.7).
Хотя моды приближенных и точных ФПВ приходятся примерно на
одни и те же значения, можно убедиться в том, что формы кривых
довольно сильно отличаются. Однако при Т = 40 приближенные и
точные ФПВ находятся в хорошем согласии. Эти результаты наглядно
показывают, насколько исследователю надо быть осторожным при
использовании аппроксимаций, основанных на больших выборках.
114
4.2. СЛУЧАЙ РЕГРЕССИИ С НЕОДИНАКОВЫМИ ДИСПЕРСИЯМИ*
Здесь мы рассмотрим два нормальных линейных уравнения
регрессии:
у1 = Х1р + и1 D.27)
у2 = Х2р + и2, D.28)
где ух есть ^-мерный вектор-столбец наблюдений за зависимой
переменной; у2 — я2"меРный вектор-столбец наблюдений за зависимой
переменной; Хх — матрица размерности пг X k и ранга k
наблюдений за k независимыми переменными; Х2 — матрица размерности
п2 X k и ранга k наблюдений за k независимыми переменными;
Р — ^-мерный вектор-столбец коэффициентов регрессии; щ — пх-мер-
ный вектор-столбец возмущений; щ — п2-мерный вектор-столбец
возмущений.
Сделаем допущение, что компоненты щ и и2 нормально и независимо
распределены с нулевыми математическими ожиданиями. Далее
допустим, что компоненты их имеют общую дисперсию а?, а компоненты
и2—общую дисперсию а\. Заметим, что, если af = ol = G2 или a? =
= caf, где с — известный множитель, мы можем для анализа наших
данных воспользоваться методами 3-й главы, а именно мы можем
записать D.27) и D.28) в виде у = Хр + и, где у' = (у[ • у?), X' =
= (Х{ :Хг) и u' = (ui : U2), т. е. в виде стандартной модели,
рассмотренной в 3-й главе. В этом параграфе мы рассмотрим случай, когда
erf Ф al. Сначала мы проанализируем случай, когда af известна, а
а! — неизвестна, а затем перейдем к случаю, когда обе дисперсии
неизвестны.
Поставленная в этом параграфе задача может на практике
встретиться при следующих обстоятельствах. Пусть наблюдения,
представленные D.27), относятся к некоторому конкретному историческому
периоду, например периоду между первой и второй мировыми
войнами2, а наблюдения, представленные D.28),— к периоду после второй
мировой войны. Возможной гипотезой является, что коэффициенты
регрессии р одинаковы в D.27) и D.28), но что дисперсии возмущений для
обоих периодов различны. В другой ситуации D.27) может
рассматриваться как регрессионная модель некоторого элемента экономики,
например фирмы, а D.28) — как регрессионная модель другого
аналогичного элемента. Хотя мы склонны принять гипотезу, что вектор
коэффициентов регрессии одинаков для обоих элементов, мы можем в
то же время допустить, что возмущения обоих элементов распределены
независимо, но с разными дисперсиями.
1 Этот параграф содержит значительную часть материала,
представленного в [138].
2 На этот период приходится так много войн, что мы остережемся назвать
его «межвоенным».
115
Обратимся к случаю, когда а? известна, т. е. к случаю, который
хотя и не часто встречается в практике, но будет нами здесь
рассмотрен для того, чтобы лучше выявить связь между байесовскими
результатами и результатами некоторых подходов, основанных на теории
выборочных исследований. Функция правдоподобия задается следующим
выражением:
I (Р, о21 а19 у) 1- ехр Г—-L. (У1-Хг Р)' (У1-Хг Р)-
—Л" (У1-Х, Р)' (У2-Х2 РI, D.29)
где у' = (у{ : уз), и предполагается, что Хг и Х2 нам заданы. В
качестве априорных допущений мы предполагаем, что и компоненты р
равномерно и независимо распределены, откуда следует
p(P)a2)~-L, -~<Р*<°°- D.30)
УК* г) о, 0<<72<оо, /=1,2,...,*.
Объединяя D.29) и D.30) и интегрируя по <г2, мы получаем
апостериорную ФПВ для Р:
Р (РI °i. У) ~ ехр [ —^L- (У1-Хх р)' (уг-Хг р)][(у2-X, Р)' X
Х
Г1+ (Р
L
где Zl = X{X1; fc = Zr»X,'yi; Z2 = X^
p2 = Z3-'X^y2; v2 = n2—k и
Очевидно, что D.31) есть произведение двух сомножителей, первый
из которых имеет вид ФПВ нормального распределения р, а второй—
ФПВ многомерного ^-распределения Стьюдента. В силу этого мы
будем называть D.31) «^-нормальной» ФПВ. Разлагая второй
сомножитель в асимптотический ряд (см. приложение 2 к данной главе),
получаем следующее выражение для главного нормального члена
разложения:
Р(РК У)~ехр \—щ- (P-Pi)' Zi(p-Px)-
—~(Р-Р2)' Z2(P- &)] -ехр [--i-(p-p)' A(P-P)], D.32)
U6
где
Ьгх; yi+i'Xi*) <ОЗ)
Вторая строка D.32) была получена просто путем выделения полного
квадрата относительно р в первой строке D.32).
Интересно отметить, что D.33) есть величина, которую Тейл [130]
рекомендует в качестве оценивателя на базе теории выборочных
исследований, учитывающего априорную стохастическую информацию;
он обосновывает этот оцениватель соображениями, основанными на
свойствах больших выборок. В нашем случае D.33) выступает как
математическое ожидание нормального первого члена в
асимптотическом разложении, аппроксимирующем апостериорную ФПВ для р.
В приложении 2 и данной главе представлены методы, позволяющие
учесть дополнительные члены асимптотического разложения и, таким
образом, получить лучшую аппроксимацию апостериорной ФПВ.
Далее мы рассмотрим случай, когда неизвестны как al9 так и а2,
случай, чаще всего встречающийся в практике. Функция
правдоподобия задается выражением
-Х* Р)' (У2-Х2 Р)] . D.35)
В качестве априорной ФПВ мы принимаем исходя из допущения о
том, что мы располагаем расплывчатой информацией о р, аг и a2,
выражение
— оо<рг<оо,
Р(ft *i.а*) ' 0<ах< оо, i = 1, 2,..., k. D.36)
0<<т3<оо,
Это является формализацией допущения, что компоненты Р, log at и
log <r2 независимо и равномерно распределены. Совместная
апостериорная ФПВ для этих параметров задается в виде
117
Нетрудно проинтегрировать это выражение по аг и сг2 и получить
следующую совместную апостериорную ФПВ для компонент 0:
Р(РI У) М(У1-ХХ РПУх-Хх Р)]-^^
X
VlSf
D.38)
где vt = щ -k; Zt = X/ Хг; рг = Zf1 X/ у, и
^«? = (У,-Х,&)'(У1-Х,&), /=1,2.
Мы видим, что D.38) есть произведение двух сомножителей, каждый
из которых имеет форму ФПВ ^-распределения Стьюдента. Поэтому
мы назовем такое распределение «двойным ^-распределением». Для
анализа выражения D.38) мы используем асимптотическое разложение
каждого из сомножителей (см. приложение 2), что дает нам следующий
нормальный первый член:
у)~ехр j^__L.(p_p1)'z1(p-|1)-1L-(p-p2)'z,(P-
[i()'()] D.39)
где ~ обозначает «приближенную пропорциональность»,
D-Mi + M.. D.40)
,), D.41)
причем Мх = Zx/sf - XI Xx/sf и М2 = Z2/sl = \'2 X2/s22.
Используя эти определения, мы можем записать D.41) в виде
-Lx;yi + 4-X2y^ D.42)
который, разумеется, равен математическому ожиданию главного
нормального члена асимптотического разложения двойной ^-ФПВ D.38).
Анализ, обеспечивающий учет членов более высокого порядка
асимптотического разложения и тем самым лучшую аппроксимацию
апостериорной ФПВ, дается в приложении 2.
Интересно также заметить, что D.42) можно получить на основе
теории выборочных исследований в качестве аппроксимации оцени-
вателя обобщенного метода наименьших квадратов (ОМНК) для
системы D.27) — D.28), если заменить в этом оценивателе неизвестные
118
параметры <s\ и о\ на s\ и s\ соответственно. Оцениватель ОМНК
задается выражением
(X' s-1x)-1x's-1y
где X'=(X,'iXi); у' = (yi lyi) и ? =
Таким образом, если принять aj = s? и а2 = s22, мы получим
аппроксимацию оценивателя ОМНК, который обычно обосновывается
свойствами больших выборок. В байесовском подходе мы видим из
D.37), что условная апостериорная ФПВ для р при заданном аг и
а2 есть
<Ъ, У) ~ exp
где
Таким образом, в байесовском подходе оцениватель ОМНК выступает
как математическое ожидание условной апостериорной ФПВ р ф \ alf
с2, у), которая имеет вид, соответствующий многомерному
нормальному распределению с ковариационной матрицей
— 1
Если в этой условной ФПВ мы положим $1 = s\ и а\ = sj, то
получим аппроксимацию оценивателя ОМНК, рассматриваемого как
математическое ожидание нашей условной ФПВ. При больших выборках
si и si будут близки к истинным значениям сг^ и а*, вследствие чего
применение условной ФПВ может дать удовлетворительный
результат. Но, вообще говоря, лучше интегрировать по (Ух и сг2, чтобы
получить маргинальную ФПВ для р и основывать выводы на этой
последней, чем использовать условную ФПВ.
Для иллюстрации приложений этих методов мы проанализируем
простую модель инвестиций с применением данных временного ряда с
годовым шагом. Эти данные относятся к двум корпорациям —
«Дженерал электрик» и «Вестингхауз» — и взяты за 1935—1954 гг. х В мо-
1 Данные за*шствованы из [16].
119
дели принято допущение, что валовые инвестиции в неизменных
ценах есть линейная функция от ожидаемой доходности и физического
объема наличного капитала на начало года. Следуя Грюнфельду [56],
примем за меру ожидаемой доходности цену на начало года
распространенных акций. Это допущение вызывает критические замечания,
но в данном случае мы воспользуемся им для чисто иллюстративных
целей. Две инвестиционные функции имеют вид:
Уг @ = ах + Mu (t) + М12 (t) + иг (/);
У% (t) - a2 + M21 (/) + M»a @ + u2 (*),
D.43a)
D.436)
где в круглых скобках обозначен номер года t, к которому относится
значение переменной (/ = 1,2,..., 20), а переменные обозначены
следующим образом:
Переменная
Годовой объем инвестиций (дефлятирован-
ный)
Цена акций на начало года
Физический объем наличного капитала на
начало года
Возмущение
«Дженерал электрик»
vi @
*ii @
42 @
«1 @
«Вестингхауз»
г/2 @
*%1 @
*22 @
«2 @
Параметры рх и р2 в D.43) согласно принятому в этом
иллюстративном примере допущению одинаковы для обеих фирм, однако
представляется, что свободные члены аг и а2 могут быть различны,— это
допущение сделано для того, чтобы обеспечить возможность
выражения различного инвестиционного поведения фирм. Далее допустим,
что иг (t) и и2 (t) независимо х и нормально распределены при всех
t с нулевыми математическими ожиданиями и дисперсиями, равными
о\ и о\ соответственно.
Если мы используем расплывчатую априорную ФПВ для
параметров, а именно
1
D.44)
где a' = (alf a2); P' = фи р2), то получим следующую совместную
апостериорную ФПВ:
— ХхР)'(УХ-СЦ1—Ххр) f-L(y, —a, i-X2p)\(ya—aai—X2P)l),
D.45)
1 Как мы покажем ниже, это допущение может быть ослаблено.
120
где п = 20; i' = A,1, ..., 1) есть /г-мерный вектор-столбец, а Хх и
Х2 — матрицы наблюдений за независимыми переменными для
«Дженерал электрик» и «Вестингхауз» соответственно, размерности п х 2.
Если аг и а2 мало интересуют исследователя, их можно исключить
из D.45)г интегрированием. Тогда, интегрируя по ах и сг2, мы
получаем
Р (РI У)
х
D.46)
где vx = v2 = 17; рх есть оцениватель обыкновенного метода
наименьших квадратов (ШНК), полученный на данных «Дженерал электрик»;
р2 — оцениватель ШНК, полученный на данных «Вестингхауз» 2:
и
1 /v 1 /
— (Х2 и'
*2 V « /\ Л
Оценки, полученные на основе выборки, представлены ниже.
«Дженерал электрик»
? /0,02655\
P1=10,1517lJ
sf = 777,4463
Vl = 17
м Г4185,Ю54 299,67481
Ml~[ 299,6748 1535,0640]
«Вестингхауз»
^ @,05289\
Pa"l0,09241 j
s| = 104,3079
v, = 17
м [9010,5868 1871,1079]
M2~L 1871,1079 706,3320J
Оценка D.42K естьр' = @,0373; 0,1446).
На рис. 4.4 приводится график линий уровней совместной
апостериорной ФПВ для рх и р2, представленной выражением D.46). На этом
рисунке представлены также проекции геометрических мест точек
условных мод. Из графика видно, что апостериорное распределение
является достаточно островершинным, концентрируясь в области
0,0278 < р! < 0,0468 и 0,1216 < Р2< 0,1676; приближенное поло-
1 Если интерес концентрируется на at и а2; можно интегрировать D.45)
по Р, о*! и а2. Тогда аг и а2 будут распределены как две независимые переменные,
каждая в соответствии с ^-распределением Стьюдента, Разность ах — а2 будет
иметь распределение Беренса—Фишера.
2 Иными словами, пусть г% = (I — Win) у* и W* = (I — и In) X$.
Тогда Вг= (W/W*)-1 Vfizi, i = i, 2.
3 Ввиду того что мы исключили интегрированием а± и а2; все моменты,
появляющиеся в D.42), становятся моментами вокруг выборочных средних
121
жение его моды соответствует точке @,0373; 0,1446). Кроме того,
между рх и р2 существует отрицательная корреляция и график линий
уровней приближенно эллиптический вследствие почти нормального
распределения, которое объясняется тем, что в нашем примере vx и
v2 достаточно велики.
Если в центре интересов исследователя лежит только один из
параметров, скажем Pi, то мы можем получить его маргинальную ФПВ
методами, обсуждаемыми в приложении 2, с использованием асимп-
0,0468
0,0421
0,0373
0,0325
0,0278
-
f-
- 4
мода
- j
1
i i
V-
V
i
Условная
—-Z
/^
^^
i
1
мода j$2 при
\
N. 600^
\
\
заданномfi
100
J
I
0,1216 0,1331 0,1446 0,1561 0,1676
Рг
Рис. 4.4. Линии уровней совместного апостериорного
распределения pi и C2
тотического разложения D.46)х. Эта маргинальная ФПВ нанесена на
график на рис. 4.5 сплошной линией. На рис. 4.5 показана также
приближенная апостериорная ФПВ для р1э основанная на главном
нормальном члене асимптотического разложения (см. D.39) и
приложение 2). Из графика видно, что апостериорная ФПВ для ра,
представленная сплошной линией, является несколько более плоской в центре
и несколько более толстой по хвостам, чем приближенная
нормальная ФПВ большой выборки, представленная пунктирной линией.
Сопоставление двух первых моментов этих ФПВ дается ниже.
1 В данном конкретном примере, где Р состоит только из двух компонент,
с целью получения маргинальной ФПВ для рх можно воспользоваться методами
двумерного численного интегрирования. Мы используем здесь асимптотическое
разложение в иллюстративных целях, поскольку им можно пользоваться,
когда размерность р больше двух. См. также сноску на с. 124.
щ
Математическое ожидание
Дисперсия
Нормальная
аппроксимация ФПВ большой
выборки*
0,0373
9,01445-10-6
Аппроксимация конечной
выборки * *
0,03726
9,6158.10-5
* Пунктирная кривая на рис. 4.5.
** Сплошная кривая на рис. 4.5, основываемая наI асимптотическом разложении D.46),
где отброшены члены, для которых i-\-]'^>2 (см. приложение 2).
0,0231
0,0373
0,0515
Рис. 4.5. Сопоставление апостериорной ФПВ для pi (сплошная
кривая) и предельной нормальной аппроксимации
(пунктирная кривая)
Математическое ожидание рх чрезвычайно близко к его
нормальной аппроксимации. С другой стороны, дисперсия распределения
примерно на 6% больше, чем дисперсия аппроксимирующего нормального
распределения.
123
Мы концентрировали внимание на выводе коэффициентов
регрессии. В некоторых случаях мы более заинтересованы в выводах
относительно ах и <у2 в условиях модели D.27) — D.28), функции
правдоподобия D.35) и априорных допущений D.36). В совместной
априорной ФПВ D.37) мы перейдем от переменных р, ах и а2 к переменным
Р, а2 и X = о\1о\, 0<Я< оо. Якобиан этого преобразования есть
J ~ g32/gI = а^-3/2. В терминах р, а и X D.37) имеет вид1
+*(у,-Хяр)'(у2-Х,Р)]|. D.47)
Теперь мы выделим полный квадрат относительно р в экспоненте:
где Ci = Х^Хз + кХ'2Х2 и С2 = Хх'у1 + ХХ'2у2. Подставив
полученное выражение в D.47) и проинтегрировав по р, мы имеем
а(л2 + 2)/2
D'48)
т. е. выражение, представляющее собой двумерную апостериорную
ФПВ для о± и X. Интегрируя D.48) по <у1э мы получаем следующую
маргинальную апостериорную ФПВ для X:
р(*|у)
D.49)
Эта апостериорная ФПВ может быть проанализирована методами
одномерного численного интегрирования. Следует заметить, что если бы
не была принята гипотеза равенства векторов коэффициентов регрессии
в D.27) и D.28) и предполагалось бы, что все коэффициенты регрессии,
log ог и log сг2, равномерно и независимо распределены, то вид
апостериорной ФПВ для Я = о\1а\ соответствовал бы /^-распределению.
Выражение D.49) отличается от Лвида, потому что оно содержит
информацию о том, что векторы коэффициентов в D.27) и D.28) равны.
1 Уравнение D.47) может быть также использовано для получения
маргинальной апостериорной ФПВ для одной компоненты р, например рх. Нужно
аналитически проинтегрировать D.47) по ох и остальным компонентам р.
Результатом является двумерная ФПВ для рх и Я, дальнейший анализ которой
может быть численным.
124
4.3. ДВЕ РЕГРЕССИИ, НЕКОТОРЫЕ ИЗ КОЭФФИЦИЕНТОВ
КОТОРЫХ СОВПАДАЮТ1
В связи с системой D.27) — D.28) сделаем допущение, что векторы
коэффициентов в этих уравнениях не совсем одинаковы; например, в
числовом примере из параграфа 4.2 мы предположим, что свободные
члены в обеих инвестиционных функциях могут быть различными.
В общей постановке задачи мы можем иметь:
D.50)
D.51)
где ух и у2 суть пх~и я2-мерные вектор-столбцы наблюдений за
зависимыми переменными; (Wx i W2) — матрица размерности пх X kx
ранга kx заданных наблюдений за kx независимыми переменными;
(Zx • Z2) — матрица размерности п2 X k2 ранга k2 заданных
наблюдений за k2 независимыми переменными; рх — m-мерный вектор-стол-
бец коэффициентов, появляющихся в обоих уравнениях; р2 и у2 —
соответственно тх- и т2-мерные вектор-столбцы коэффициентов
регрессии, а их и и2 — пх-и я2-мерные вектор-столбцы возмущений.
Заметим, что kx = т + т1 и k2 = т + Щ и что Wx имеет размерность
пг X m, a Zx — размерность п2 X т. Сделаем допущение, что
возмущения компонент их и и2 нормально и независимо распределены с
нулевым математическим ожиданием и общей дисперсией, равной а2.
Для удобства перепишем систему в следующем виде:
? D<52)
Уш) \z о zj^yU;
или
У = ХР + и, D.53)
где у' = (ух' : у^); Р' - (р; : р; : yJ); u' = (u; i ui), a X обозначает
блочное представление матрицы в правой части D.52). Очевидно, что
D.53) имеет вид множественной регрессионной модели, массив из пх+
+п2 наблюдений которой предполагается удовлетворяющим
соответствующим стандартным допущениям. Таким образом, если принять
расплывчатую априорную ФПВ для компонент р и log сг, то
апостериорная ФПВ для р будет многомерной /-ФПВ Стьюдента, а именно
Р (РI У) - {vs2 +(Р-Р)' X' X (Р-р)} -<*+*>/*, D.54)
где v = пх + п2 — т — тх — т2; р = (Х'Х)-1 Х'у и vs2 = (у— ХР)' X
X (у-ХР).
Если записано выражение D.54), задача получения маргинальной
ФПВ, скажем, для рх сводится просто к построению маргинальной
апостериорной ФПВ для подмножества множества параметров, имеющего
многомерное /-распределение Стьюдента, т. е. к задаче, уже рассмот-
1 Подробный анализ этой задачи дан Четти в [26]. Здесь мы
придерживаемся несколько иного подхода при получении некоторых результатов этого автора.
125
ренной нами в 3-й главе. Здесь мы используем блочное представление
Р' = (Pi ! Y'); Р'= (Pi : Y') и
121 )
О Zs Z2/
где y' = (P2 = Y2) и v' = Ф'з '• Ya)- Тогда маргинальная апостериорная
ФПВ для Р2 задается выражением
D.55)
где
Н = Mn-M12 Mr,1 М21 - WJ Wx —W{ W2 (Щ W,)-1 W^ Wx +
+ Z{ Zx—Z( Z2 (Z? ZO Z2 Zx. D.56)
Заметим, что ях + n2 — Щ — m2 = v + m, и, таким образом,
показатель степени в D.55) может быть записан как — (v + тI2.
Математическое ожидание D.55), р1э подвектор (J = (Х'Х) Х'у, может
быть получено в явном виде:
k = H-i(Vib+V2k), D.57)
где Н определено в D.56); V2 = W;\VX — W;W2 (WiWJ^WJWx;
V2 = ZiZx — Z;z2 (ZjZ^ZiZj, a p3 получается как оценка 1МНК
регрессии уг по Wx и W2, a px получается как оценка 1Л1НК регрессии
у2 по Zx и Z2. Из D.56), а также определений V3 и V2 следует, что
Н = Vx + V2. Таким образом, рх в D.57) есть «матричная взвешенная
средняя» р2 и рх. Аналогичный анализ может быть проведен для
получения апостериорных ФПВ для р2 и у2.
Изложенный выше анализ полезен при объединении массивов
данных, полученных из двух источников. Заметим, что результаты не
эквивалентны тем, которые были бы получены, если бы мы
исследовали D.51) условно, положив, что рх = рь оценке ШНК, получаемой
из D.50). В этом случае, например, мы получили бы условную, а не
маргинальную ФПВ для у2\ маргинальная ФПВ получается из D.54),
как мы это и сделали для ра выше. Наконец, если мы примем гипотезу
различных дисперсий для компоненты! и и2 в D.50) и D.51), например
а\ и ад, то для анализа D.50) и D.51) можно использовать методы
параграфа 4.21.
ПРИЛОЖЕНИЕ 1
Здесь мы докажем лемму, необходимую для того, чтобы матрица
Н, появляющаяся в D.17), была положительно-определенной.
Лемма. Пусть X* есть расширенная матрица размерности k X
Х(Т + 1); X* = [х'о i X'], где хо = (хО1, х02, ..., *0*), и пусть т! =
= A, р, р2, ..., рг) есть (Т + 1)-мерный вектор-строка. Матрица Н
1 Более детальный анализ и приложение этих методов можно найти в [26].
126
будет положительно-определенной, если z и X* линейно-независимы.
Доказательство. Достаточно показать, что ранг матрицы X — рХ_х
равен k. Мы можем записать
X — рХ_! = АХ*,
где
-р 1
—р
1
—р
1
есть матрица размерности Тх(Т + 1), все непоказанные элементы
которой равны нулю. Нетрудно убедиться, что ранг А равен Т и что
w = z есть единственное нетривиальное решение системы уравнений
Aw = 0. Поскольку Х# и z согласно нашему допущению
линейно-независимы, существует матрица С размерности (Т + 1) X (Т — k)y
такая, что В = [z ; X* • С] есть невырожденная матрица
размерности (Т + 1) X (Т + 1). Таким образом, ранг произведения АВ
равен Т, но при этом заметим, что
АВ = [0 : АХ* : АС]
имеет только Т ненулевых столбцов. Следовательно, ранг АХ* дол*
жен быть равен &, что и доказывает лемму *.
ПРИЛОЖЕНИЕ 2
В этом приложении мы представим асимптотическое разложение
многомерной «^-нормальной» ФПВ D.31) и многомерной «^-двойной»
ФПВ D.38).
Что касается D.31), то множитель, соответствующий
/-распределению Стьюдента, может быть разложен следующим образом. Можно
записать
V2
где Q2=(P—P2)'Z2(P —
- Затем, используя
. v, / v2 2 \ v2 ) ^ 3 U2 / '"¦ v2 ^ '
где R есть остаточный член; A) можно преобразовать в
1 Сформулированное условие является также необходимым, т. е., если z и
X* не являются линейно-независимыми, матрица Н не будет положительно-
определенной.
127
Теперь мы разложим второй экспоненциальный множитель в виде
е* = 1+ х + гУ2! + дЗ/3! + ... и получим
где % = 1; <7i = -J-[Ql-2kQ2];
2
/= о
l-2kQ2]
^ Q|] и т. д.
Таким образом, D.31) может быть аппроксимировано выражением
ехр { ~1 [(Р-Ю' -|- (Р-to
—1(р_Ю'А(Р-
J
где р и А заданы выражениями D.33) и D.34) соответственно. Таким
образом, р является математическим ожиданием главного нормального
члена в асимптотическом разложении многомерной «^-нормальной»
ФПВ, как уже указывалось в тексте данной главы.
В случае многомерной «/-двойной» ФПВ D.38), а именно
где Qi = (Р — Pi)'Zx(p — Pi)/sJ, оба сомножителя разлагаются в ряд
в точности, как это было описано выше, что дает
ехр
Г—1
= exp[-±(p-p)/D(P-P)l $
1 J/,/ =
где р и D определены в D.40) и D.41) соответственно; qt были
определены выше, а рг задается как ро= 1, Pi = -4"(QJ—2 *Qi)» Pa^-gjfX
X[3QJ — 4 C* + 4) Q\ + \2k (k + 2) QJ] и т. д. Таким образом, р
есть математическое ожидание главного нормального члена
асимптотического разложения многомерной «/-двойной» ФПВ. В статье Тиао
и Зельнера [138] описываются методы, с помощью которых можно
обеспечить учет членов более высокого порядка при анализе этой ФПВ, а
именно интегрирование указанных выше рядов осуществляется на
основе того, что каждый член есть двумерный многочлен от Qx и Q2.
В результате интегрирование каждого члена связано с вычислением
смешанных моментов квадратичных форм Qx и Q2, что делается с
помощью формулы обращения момента-кумуляты для двумерного
случая, предложенной Куком [30].
128
ВОПРОСЫ И УПРАЖНЕНИЯ
1. Используя модель, представленную D.1), и априорные
допущения, представленные D.3), получите условную прогнозную ФПВ для
ут+\, если известно, что р = р0, где р0 есть заданная величина. Как
зависят математическое ожидание и дисперсия отр0, если известно, что
р = р0? Объясните, каким образом можно построить безусловную
прогнозную ФПВ для f/r+i •
2. Допустим, что параметр р из выражения D.16) удовлетворяет
О < р < 1 и что его априорное математическое ожидание и
дисперсия равны соответственно 0,5 и 0,04. Как можно представить эту
априорную информацию с помощью бета-ФПВ? *^8***1?**?&&
3. Употребив априорную ФПВ из упражнения 2 наряду с другими
априорными допущениями параграфа 4.1, получите совместную
апостериорную ФПВ для параметров р и р в простой регрессионной
модели D.1).
4. Для каждого из двух множеств, данных в табл. 4.1, используя
результат, полученный в упражнении 3, постройте маргинальную
апостериорную ФПВ для р с помощью двумерного численного
интегрирования. Прокомментируйте свойства полученной апостериорной ФПВ
для р.
5. В 3-й главе, табл. 3.1, представлены данные Хаавельмо о
доходе (у) и инвестициях (х). Используя эти данные, постройте
апостериорную ФПВ для р в условиях следующей модели:
yt—l/ = Р (xt—x) + щ;
Щ = P«*-i + ги t = 1,2, ..., 20,
где у и х — выборочные средние дохода и инвестиций
соответственно. Используйте допущения параграфа 4.1. Чем можно объяснить тот
факт, что центр апостериорной ФПВ для р находится достаточно
далеко от нуля?
6. В условиях упражнения 5 постройте маргинальную
апостериорную ФПВ для мультипликатора инвестиций р и сравните ее с
апостериорной ФПВ, представленной на рис. 3.1.
Ш 7. Предположим, что в D.1а) присутствует свободный член р0,
т. е. yt = Po +P#t + Щ. Объединив это уравнение с D.16), мы
получим yt = Ро A — р) + pyt_t + р (xt — pxt-г) + zt. Существуют ли
затруднения для получения оценки р0 из этого уравнения, если р= 1?
Сохранятся ли эти затруднения, если мы априори ограничим область
изменения р неравенством 0 < | р | < 1 или используем априорную
ФПВ, приписывающую значению р = 1 нулевую плотность
вероятности?
8. Используя функцию правдоподобия D.2), вычислите
информационную матрицу Фишера, типовой элемент которой задается
выражением — М (д* log 1/dQidQj), где Qt и 97- обозначают соответственно
i-й и /-й параметры, а математическое ожидание берется по ФПВ
для у. Производя вычисления, заметьте, что a) yt — $xt = p'M +
5 Зак. 1954 129
6) Mfo-p*«) = pW; в) М(^-р^J =
X A — p2(m))/(l — р2). Что вы можете сказать, исследовав
М (da log / / dp2), об информации, касающейся р, когда |р| > 1.
Покажите, что если 0 < | р | < 1 и Т велико, то часть информационной
матрицы, относящейся к р и р, будет приближенно-диагональной.
Что из этого следует?
9. Пусть в модели D.12) р = р0. Получите прогнозную ФПВ для
вектора будущих наблюдений, скажем г' = (ут+i, #г+2, .-, #г+</),
если допустить, что он генерирован моделью z = W|J + и#, где W
есть матрица размерности q X k, а и# — ^-мерный вектор-столбец
будущих наблюдений, генерированных тем же самым процессом, что
и компоненты вектора и в D.12). Примените расплывчатую априорную
ФПВ для неизвестных параметров модели.
10. Получите маргинальные апостериорные ФПВ для аг и а2 в
D.43 а, б) с помощью расплывчатой априорной ФПВ для параметров
наряду с допущением, что а\ Ф <?!. Сравните эти ФПВ с таковыми,
полученными в условиях тех же самых априорных допущений для
параметров, но при а? = а* = <У2 и расплывчатой априорной ФПВ для а.
И. Дайте интерпретацию ФПВ, график которых представлен на
рис. 4.5.
12. В D.43 а, б) принято допущение о равенстве коэффициентов рх
и р2 (тангенсов угла наклона) в обеих зависимостях. Если это
допущение ставится под сомнение, то какими расчетами можно осуществить
проверку?
13. Постройте соответствующую системе D.50) — D.51)
совместную маргинальную апостериорную ФПВ для компонент вектора у2
в условиях расплывчатой априорной ФПВ для параметров и
вычислите ее математическое ожидание и ковариационную матрицу.
14. Проанализируйте систему D.50) — D.51) при условии, что
дисперсия компонент щ равна erf, а дисперсия компонент и2 равна
а!, где]а! Ф (Г22, и предполагается, что априорно ах2 и а22
распределены независимо.
Глава 5 • ошибки в переменных
Точка зрения, согласно которой экономические данные часто
содержат ошибки и присутствие ошибок измерения может серьезно
повлиять на результаты анализа, пользуется всеобщим признанием. В
свете этого значительные усилия, направленные на развитие методов
анализа данных, содержащих ошибки измерения, не должны вызвать
удивления. В настоящей главе мы рассмотрим несколько моделей и
задач, связанных с ошибками измерения. После анализа нескольких
предварительных задач, которые иллюстрируют проблемы, связанные с
некоторыми базисными моделями «ошибок в переменных» (МОП), мы
рассмотрим классическую МОП. Эта модель может считаться
обобщением простой регрессионной модели, исследованной в 3-й главе,
учитывающей ошибки как в зависимых, так и в независимых переменных.
Две формы МОП, а именно функциональная и структурная, будут
исследованы методами наибольшего правдоподобия и байесовским
методом. Такое сравнительное изложение в данном случае особенно
поучительно, поскольку (читатель в этом в дальнейшем убедится)
априорная информация играет важнейшую роль как в подходе с позиций
теории выборочных исследований, так и в байесовском подходе.
После анализа классической МОП мы рассмотрим форму этой
модели, которая включает специальные допущения о систематической
части наблюдаемых переменных, а именно что они могут быть
представлены с помощью систематической части уравнений регрессии. Мы
покажем, что такой анализ тесно связан с методом оценивания с помощью
«инструментальных переменных» параметров МОП. Хотя анализ
настоящей главы покрывает только часть проблем, связанных с МОП, это
подмножество проблем имеет важное значение для эконометрическои
практики.
5.1. КЛАССИЧЕСКАЯ МОП: ПРЕДВАРИТЕЛЬНЫЕ ЗАДАЧИ
Прежде чем обратиться к классической МОП, весьма полезно
рассмотреть тесно связанную с ней задачу об п средних *. Пусть уи уъ
•••> Уп — независимые наблюдения, выбранные из п нормально
распределенных генеральных совокупностей, которые имеют одну и ту же
дисперсию or2, но различные математические ожидания; иными
словами, делается допущение, что уг (i = 1,2,..., п) есть случайная выборка
из нормально распределенной генеральной совокупности с математи*
г Эта задача обсуждается в [72, с. 61].
131
ческим ожиданием ^ и дисперсией а*. Следует обратить внимание на
то, что мы располагаем п наблюдениями, а должны оценить п + 1
неизвестных^ параметров: п выборочных средних 11у ?2, ..., 1п и or2.
Этот простой подсчет наблюдений и параметров уже показывает, что
получить оценки всех п + 1 параметров затруднительно. Мы
исследуем природу этого затруднения, которое встречается также для
функциональной формы классической МОП, хотя и в несколько более
сложном виде.
Функция правдоподобия для задачи об п выборочных средних
имеет вид
^[i] E.1)
где |' = (gb g2> ,,,y gn) есть вектор неизвестных выборочных средних,
а У' = (Уъ #2> •••, Уп) — вектор наблюдений. Дифференцируя
логарифм функции правдоподобия по а2 и ?г и приравнивая частные
производные нулю в целях получения оценок метода наибольшего
правдоподобия (МНП), мы получаем
I = У E.2а)
и
-2 = (У-Г (У-1) ^ E.2б)
Таким образом, из E.2а), по-видимому, следует, что уг являются
оценками МНП lt. Но подстановка этих «оценок МНП» в E.26) дает, что
оценка дисперсии а2 = 0. Кендалл и Стьюарт замечают, что это —
очевидно абсурдный результат1.
Основным эффектом вышеизложенного «анализа наибольшего
правдоподобия» является то, что функция правдоподобия E.1) не
имеет конечного максимума в области допустимых изменений парамет-
ров 0 < а2 < оо и — оо < 1г < оо, i = l,2, ..., п. В этом легко
убедиться путем подстановки E.2а) в E.1), получив / (а21 у, 1 = у) ~
~ ^п> т- е- Функцию, которая явно не имеет максимума при 0<сг2<оо.
Альтернативно, если подставить E.26) в E.1), мы получим /(||у,
о2 = о2) ~ [(у—|)' (у — I)]"/2, T- е- опять-таки функцию, не имеющую
конечного максимума в допустимой области изменений параметров.
Таким образом, хотя E.2а) есть оценка МНП для | при данной конечной
дисперсии2 a2, a E.26)—оценка МНП для а2 при данном векторе |,
E.2а) и E.26) не могут совместно дать оценок МНП для | и or2. Далее
нетрудно показать, что функция правдоподобия E.1) не стремится к
Они утверждают, что это может служить примером, в котором «МНП
является неэффективным» [72, с. 61].
Стайн в [124] показывает, что оцениватель МНП в этом случае недопустим
относительно квадратичной функции потерь при п > 3. См. также [65].
132
пределу при а2 -> 0 и | -> у, вследствие чего 0 и у не являются
оценками МНП Ч
Интересно приложить к задаче об п выборочных средних
байесовские методы анализа. Для этой цели мы используем следующие
априорные ФПВ:
рA,а)~-, -°°<1г<0О'г-=1,2)...)п. E.3)
о 0<ог<оо,
Объединяя E.3) и E.1), получаем следующую апостериорную ФПВ:
Р A. о | у) ~ -±г ехр [- Jj- A-у)' A-у)]. E.4)
Из E.4) мы заметим, что условная апостериорная ФПВ для § при
заданном а есть собственная многомерная нормальная ФПВ с вектором
математических ожиданий у и ковариационной матрицей аЧп. При
заданном | условная апостериорная ФПВ для а есть собственная
обратная гамма-ФПВ. Таким образом, как и в МНП, можно легко
получить условные выводы. Однако совместные выводы о | и а не могут
быть получены, поскольку E.4) есть несобственная ФПВ; например,
если E.4) интегрировать по компонентам |, то в результате получим
Р (а I У) ~ ~~> 0< а < оо, т. е. несобственную ФПВ в точности того же
вида, как и наша расплывчатая априорная ФПВ E.3). Таким образом,
выборочная информация в этой задаче не сообщает нам никаких
дополнительных сведений о а. С другой стороны, интегрируя E.4) по а,
мы получаем р (| | у) ~ [(| — у)' (| — у)]~~п/2, которая тоже
является несобственной ФПВ. Очевидно, что выборочной информации не
хватает для получения совместных выводов о а и компонентах |. В то
же время при наличии априорной информации об одном или
нескольких параметрах, например при заданном а, можно легко получить
выводы о компонентах |. Такая априорная информация, скажем а = а0,
где сг0 известно, позволяет нам делать выводы о компонентах §.
Крайне важно уяснить себе, что менее точная информация о а,
т. е. менее точная, чем а = а0, также позволяет нам делать выводы о
компонентах |, например, если мы используем следующую
априорную ФПВ:
Lexpf—ЗЬ4\, -»<6*<»,/=1.2,...,п, E<5)
ov.+ l v\ 2о* /' О<0<оо, V '
где v0 и so — априорные параметры, v0, s0 > 0, то апостериорная ФПВ
б
0 o р
будет иметь вид
ехр{^[8» + F)'№УI) E.6)
1 Заметьте, что lim / равен бесконечности, если сначала § —> у, а затем
о -» 0. С другой стороны, lim / равен конечному значению — нулю, если
сначала а2 -» 0, а затем у -> ?; заметьте также, что lim (а72) ехр [— Bа2)-1 (у —
<7->»0
— 1)' (У — 1I = 0. Поскольку эти пределы различны в зависимости от того,
каким путем достигается точка § = у и а2 = 0, функция в этой точке не
существует. Заметьте также, что точка а2 = 0 лежит вне пределов допустимой области
изменения параметра 0 < а2 < со.
133
т. е. будет собственной ФПВ. Маргинальная апостериорная ФПВ для
| будет иметь вид
P(l\y)~lvos2o + (l-y)' (Ъ-у)]-(«+^, E.7)
т. е. будет многомерной f-ФПВ Стьюдента с вектором математических
ожиданий у. Таким образом, даже не принимая допущения о том, что
G = GOy т. е. известному значению, мы оказались в состоянии включить
в модель менее ограничительную априорную информацию, которая
позволяет нам делать выводы относительно компонент |. Однако,
интегрируя E.6) по компонентам §, мы получаем в результате априорную ФПВ
для а. Итак, выборочная информация в этом случае не дает
дополнительных сведений о or в нашей задаче1.
Перейдем теперь к следующей задаче об п выборочных средних,
в которой мы располагаем по т наблюдений для каждой средней,
т. е. наша модель наблюдений имеет вид
y* = i?i + ii|,i' = l,2,...,n, E.8)
где у/ = (yiu yi2, ..., t/im); i есть m-мерный вектор-столбец, все
компоненты] которого равны единице; ?j есть *-я неизвестная
выборочная средняя, а щ — m-мерный вектор-столбец возмущений. Мы
принимаем следующие допущения: М (и^) = О, М (и*и/) — а2 ьт для
i — 1,2, ..., п и М (щи}) = 0, т. е. является нулевой матрицей при
I ф /. Кроме того, мы предполагаем, что все компоненты вектора
щ имеют нормальное совместное распределение. Для упрощения
нотации мы можем записать
E.9а)
или
y = W|+u, E.96)
где у обозначает вектор левых сторон уравнения E.9а); W — блочно-
диагональная матрица правых сторон E.9а);
S' = Fi> ?г> •••» %п) и u'=(ub U2, ...t uA).
Заметим, что в данной постановке задачи мы имеем пт
наблюдений и/1+1 неизвестных параметров, так что при пят больше 1 мы
располагаем большим числом наблюдений, чем число неизвестных
параметров, в противоположность ситуации, когда т = 1, как это было
в проанализированном выше случае. Тем не менее, как мы покажем
ниже, сохраняется фундаментальное осложнение для применения
МНП.
1 Кроме того, с возрастанием п не происходит концентрации E.7) вокруг
вектора математических ожиданий у.
134
Функция правдоподобия для системы E.9) имеет вид
-^ [(у - wl)'(у-wD+d-D'w w(i-l)]},
E.10)
где 1 = (W'W^W'y. Поскольку матрица WW положительно
определена, очевидно, что | = |_ является оценкой МНП. Нетрудно
увидеть, что 1{ = (i'i)~Vyt = уг есть выборочная средняя, т. е.
1
у, = -
Далее, оценка МНП для ст2 есть
(|) E.11)
(y
ппг
ее можно получить, Дифференцируя логарифм функции правдоподобия
по а и приравнивая производную нулю1. Легко убедиться в том, что
| = | и а2 = 02 действительно являются значениями | и а2,
связанными с конечным максимумом функций правдоподобия. Однако, как
указывают Нейман и Скотт [92], а также Кендал л и Стьюарт, все же
остается некоторая проблема. Дело в том, что оцениватель МНП для
а2 имеет смещение, которое не обращается в нуль при п -> оо и
фиксированном т, т. е.
E.12)
TWl \ Ш /
Таким образом, при п->оои фиксированном пг смещение
оценивателя МНП не обращается в нуль. Если, например, m = 2, М (о2) = г/2о2
при любом п. Эвристически Кендалл и Стьюарт интерпретируют эту
ситуацию как сохранение смещения малой выборки для оценивателя
МНП. Заметим, что число неизвестных параметров возрастает с
возрастанием п. Действительно, отношение числа параметров к числу
наблюдений (п + \)lnm стремится к 1/т, т. е. к 1/2 при m — 2. Таким
образом, нельзя избавиться от ситуации малой выборки при
возрастании п в данной задаче.
В качестве частного пути обхода этого дефекта МНП в этой
задаче о «ветвящихся параметрах»2 Кендалл и Стьюарт предлагают
ввести поправку на «число степеней свободы» для оценивателя в E.11).
Мы располагаем ппг наблюдениями, а число ?*, которые мы должны
1 Из E.10) имеем log / = const — nm log a — Ba2)-i (y— W|)' (y — W|).
Далее, d log lido = •— nm/o+ (a3)-i (y — Щ)' (y — Щ) = 0, откуда a2 =
= (nm)-i (y — ЩУ (у — wg), последнее выражение при § = | дает E.11).
2 Нейман и Скотт [92] называют ?j «ветвящимися параметрами» (англ.
incidental parameters).
135
оценить, равняется п. Поэтому для оценивания а2 остается пт
= п (т — 1) степеней свободы. Если мы введем определение
~ W|)' (У ~
()
то М (a2) s= а2 при любом п. Ниже мы покажем, что аналогичная
проблема «ветвящихся параметров» присутствует и в классической МОП.
Для байесовского анализа модели E.9) мы используем априорные
допущения, заданные E.3).
Тогда апостериорная ФПВ будет иметь вид
--^L-[(y-wl)'(у-wl)+(|-l)'w'w (i-1)]}.
E.14)
Маргинальная апостериорная ФПВ для J есть
-1)' W Wft-D]—", E-15)
или представляет собой собственную многомерную f-ФПВ Стьюден-
та с вектором математических ожиданий М (|) = \ и ковариационной
матрицей (W'W)-Vs2/(v' — 2I. Надо отметить, что при
фиксированном т и п -> оо эта ковариационная матрица не стремится к нулевой;
иными словами, при п -»¦ оо и фиксированном т маргинальная
апостериорная ФПВ для § не концентрируется вокруг |. Этот
байесовский результат аналогичен результату теории выборочных
исследований, который заключается в том, что оцениватель МНП компонент
| имеет дисперсию, не стремящуюся к- нулю, когда п ->- оо при
фиксированном т.
Мы можем получить маргинальную ФПВ для а путем
интегрирования E.14) по п компонентам |. Эта операция дает
где v' = /i(m—1) и s2 = (y—Wf)' (у—Wt)/v\
Заметим, что интегрирование по компонентам вектора | автоматически
ведет к тому, что показатель а в знаменателе E.14) уменьшается с пт+
+ 1 до п (т — 1) + 1. Это аналогично поправке на число степеней
свободы, обсуждавшееся выше в связи с E.11). Кроме того, из E.16)
мы получаем М (о2\2у) = v's2/ (v'—2) в качестве апостериорного
математического ожидания а2. Если рассматривать эту величину в качестве
оценивателя, то очевидно, что это — состоятельный оцениватель в
отличие от E.11).
|| Далее мы рассмотрим задачу об п выборочных средних при т =2
наблюдениях для каждой неизвестной средней, причем одно наблюде-
1 Здесь v' = n(/n—l), a v' s2 = (y-Wf)' (y-Wg).
136
ние имеет дисперсию- ах2, а другое — дисперсию а22, так что наши
^-мерные вектор-столбцы наблюдений ух и у2 по допущению
генерируются следующей моделью:
yi = S+«i; E.17а)
У2 = 1+и2» E.176)
где|' = AЪ ?lf ..., УиМ(иI==М(иJ = 0, М (щщ') =а? 1П, М(щщ') =
= о\\п и М (u1u2') = 0, т. е. является нулевой матрицей размерности
п X п. Мы примем также допущение, что компоненты щ и ц2
нормально распределены. В условиях этих допущений функция
правдоподобия задается следующим образом:
/(I, а* *21У1> у2)-Чг -т ехР Г~тМу1—9'(У1-Э-
- ^Г (У2—9' (У2 — 1)] • E.18)
Попытаемся теперь найти оценки МНП. Дифференцируя log l по аг и
<х2 и приравнивая производные нулю, мы получаем
E.19)
в качестве значений ох2 и а22, максимизирующих функцию
правдоподобия и зависящих от неизвестного вектора I. Дифференцируя log /
по компонентам 1, мы получаем
лде к = а^/ста2, в качестве значений |ь максимизирующих функцию
правдоподобия и зависящих от Я. Очевидно, что |f есть взвешенная
средняя t/u и #2г, весами в которой являются величины, обратные
соответствующим дисперсиям.
Если вектор | известен, то могут^быть вычислены оценки E.19).
С другой стороны, если известно Я, то с помощью E.20) могут быть
вычислены 1г. Подставляя f вместо | в E.19), получаем для ах2 оце-
ниватель ах2 = (ух — %)' (уг —%)/п. Нетрудно, однако, показать \
что ^(a)!2^^2 V(l +K). Иными словами, oj имеет смещение, которое
1 Имеем of=l/n2[(yu—g|)—(||—ЬIа- Если ti—tt = Kyu—ll
137
не обращается в нуль при я-* оо. Далее, если-мы запишем функцию
правдоподобия E.18) в виде
E.21)
то оцениватель МНП для о±2 при заданном к выразится как
Sf = -^- [(yi-1)' (У1-1) + ^(У2-1)' (у2-Ю1, E.22)
где компоненты | задаются выражением E.20). Можно
непосредственно доказать, что математическое ожидание оценивателя E.22) есть
М (а?) 5= г/2О\. Снова получается, что смещение оценивателя МНП
не обращается в нуль при п-> оо. Это затруднение возникает
вследствие игнорирования того факта, что оцениванию подлежат п
компонент вектора |; в качестве частного обходного приема можно, конечно,
ввести поправку на число степеней свободы для устранения только что
обсужденного смещения. Аналогичная проблема возникает в МОП,
как это и будет показано ниже.
Возвращаясь к E.18), мы можем задаться вопросом, возможно ли
получение оценивателей МНП для всех параметров модели, т. е. для
п компонент вектора | и двух дисперсий, ог2 и а22, если дано 2п
наблюдений ух и у2. Интуитивно чувствуется, что это невозможно, ибо
каждой неизвестной выборочной средней противостоят только два
наблюдения, каждое со своей неизвестной дисперсией. Подставляя
E.20) в E.19), мы получаем
а для того чтобы оба этих условия выполнялись, нужно, чтобы
но это возможно только при Я2 — 1. Таким образом, в общем случае
необходимое условие максимума не может быть удовлетворено; функция
правдоподобия не существует при а2! Ф а22, если обе величины ах2 и
а22 неизвестных.
Описанное выше затруднение возникает потому, что ах2 и а22
не идентифицированы. Легче всего это увидеть из рассмотрения
распределения w != ух — у2 = щ — и2. Вектор w имеет нулевое
математическое-ожидание и ковариационную матрицу со21п, где со2 =
!== о\ + (т22. Существует бесконечное множество значений ах2 и а22,
которые в сумме дают некоторое конкретное значение со2;
невозможно идентифицировать ах2 и а22 без дополнительной априорной инфор-
1 Заметим, что, если подставить E.19) в E.18), полученная в результате
функция не будет иметь конечного максимума.
138
мации, так как ФПВ для w полностью определяется спецификацией
величины со2.
При подходе к данной задаче с байесовских позиций мы принимаем
следующую расплывчатую априорную ФПВ:
<сх>, f = l, 2, ..., п\ -9Т.
af a} 0<af<oo, t = 1,2.
В этом случае нетрудно показать, что объединение этой априорной
ФПВ с функцией правдоподобия E.18) дает следующую
апостериорную ФПВ:
E-24)
которая является несобственной. Однако условная апостериорная
ФПВ для | при заданных аг и а2, равно как и условные апостериорные
ФПВ для ах2 и а22 при заданных |, будет собственной *; например,
при заданных аг и а2 апостериорная ФПВ для | есть следующая
собственная нормальная ФПВ:
<Ь У* У*)
где 1 = (yi/Ci2 + ya/^Vtl/^i + l/^2) есть апостериорное условное
математическое ожидание. Элементы ковариационной матрицы
соответствующего условного апостериорного распределения [о\аУ(о\ +
+ff22)] h не стремятся к нулю с возрастанием п.
Для иллюстрации существа проблемы идентифицируемости,
связанной с E.24), мы выделим полный квадрат по | и проинтегрируем
по компонентам этого вектора. Операция дает следующий результат:
Х
E.26)
Множитель 1/g12g22 появляется из нашей расплывчатой априорной
ФПВ, в то время как второй множитель просто соответствует
нормальной ФПВ для уг — у2. Вид этой последней ФПВ показывает, что
идентифицировать ах и а2 невозможно без дополнения информации,
представленной нашей априорной расплывчатой ФПВ, новой
априорной информацией. Далее, переходя от переменных ог и а2 к переменным
о1 и к = oflof и интегрируя по аъ получаем маргинальную апосте
1 Условная апостериорная ФПВ для | при заданном X = о\1о\ также
будет собственной нормальной ФПВ.
139
риорную ФПВ для к, которая имеет вид просто р (к | ylf y2) ~ 1А,
О < к < оо, т. е. является несобственной \
Итак, когда как а19 так и ог2 неизвестны, возникают затруднения в
получении выводов относительно параметров, как в МНП, так и в
байесовском подходе. Если, однако, отношение неизвестных
дисперсий задано, например к *= аг2/а?, то вышеуказанное затруднение
исчезает. Действительно, если к *= 1, то задача сводится к
проанализированной ранее, в которой мы располагали двумя наблюдениями на
одну неизвестную выборочную среднюю и равными дисперсиями для
всех наблюдений. Знание значения к есть априорная информация,
позволяющая решить проблему идентифицируемости.
5.2. КЛАССИЧЕСКАЯ МОП: АНАЛИЗ ФУНКЦИОНАЛЬНОЙ ФОРМЫ
МЕТОДОМ НАИБОЛЬШЕГО ПРАВДОПОДОБИЯ
В классической МОП мы имеем п пар наблюдений (yli9 y2t), i =
= 1, 2, ..., п, относительно которых принимается допущение, что они
генерированы следующей моделью:
Уи = It + tin \ i = I 9 п
E.28)
•n. t= R 4- R?. / = 1 9 ti (b 2Q1
где Ро> Р» 'Ль %i суть неизвестные параметры. Мы принимаем для E.27),
E.28) допущение, что (yiu y2i) распределены независимо от (ylh
y2j), i Ф j и что их распределения являются нормальными, причем
М (Уи) = lu M (y2i) = ль D (уи) = ах2, D (уа0 = ^2, Cov (^/lb y2l)=0.
Последнее допущение предполагает, что ошибка в ylif а именно «1Ь
не коррелирована с ошибкой уги т. е. с u2i (а здесь и независима от
нееJ.
Если мы объединим E.28) и E.29), модель может быть записана в
виде
* = 1 2 п E<30)
' '•"' ' E.31)
Будучи записанной в таком виде, модель совершенно очевидно связана
как с простой регрессионной моделью, так и с задачей о выборочных
средних; иными словами, если бы не было ошибок измерения в E.30)
1 Заметим, что р (olf <j2) ~ l/cracr2 предполагает, что р (оъ X) ~ (l/<Ji) X
X (l/Я), и, таким образом, апостериорная ФПВ для Я тождественна ее
априорной ФПВ.
2 Как хорошо известно, система E.27)—E.29) может рассматриваться как
форма модели функции потребления Фридмана,1 если для /-го домашнего
хозяйства в выборке из п домашних хозяйств мы полагаем уц = log измеренного
дохода, y2i = log измеренного потребления, ?г = log «перманентного» дохода,
r\i = log «перманентного» потребления, и^ = «временному» доходу и u2i =
«временному» потреблению; %it г]г-, ulh u2t являются ненаблюдаемыми
величинами. Кроме того, согласно теории Фридмана, р=1 или, иными словами,
эластичность перманентного потребления от перманентного дохода равна единице.
140
(т. е. у и = U)t то наша модель в точности соответствовала бы простой
регрессионной модели. С другой стороны, если ро — 0 и Р = 1, то
данная модель превращается в задачу об п выборочных средних с
двумя наблюдениями, соответствующими каждой средней, причем
дисперсии обоих наблюдений различны и равны аг2 и а22 соответственно.
Это обстоятельство заставляет предполагать, что и в данной модели
может возникнуть проблема существования максимума правдоподобия
в том виде, как мы ее только что рассмотрели.
Функция правдоподобия для параметров системы E.30) — E.31)
задается выражением
/(P. l> °i. ст2|у)--^г^гехр Г-J_(yi_|)'(yi-|)_
—^r(y2-Poi-P5)'(y.-Poi—PS]. E.32)
где
р'ИРо. Р). l' = &> h,.... У; у' = (уь у{);
а i есть я-мерный вектор-столбец, все компоненты которого являются
единицами, т. е. i' = A,1, ..., 1). Переходя к логарифмам в обеих
частях E.32) и дифференцируя по компонентам |, аг и сг2, имеем:
tPo)]; E.зз)
E-34)
-JL +J_(y2_p0l_p|)'(y2_p0l_p|). E.35)
Необходимым условием максимума является то, что значения
параметров должны существовать в допустимом пространстве
параметров г и обращать эти производные в нуль, равно как и производные
по Ро и р. Приравняв все E.33) нулю, мы получим 2
)(y2-Po Q/p ^
где 9 = Ъ\ P2/al и w = (у2 — Ро i)/ p.
1 В данной задаче мы следующим образом определим допустимое
пространство параметров: 0 < of < оо, i= 1,2; — оо < |$ < оо, i — 1, 2, ..., п\ — оо <
< Ро» Р < °°; ai ?= af и Р2 ?= ^i^iv Причина введения последнего условия
станет ясной из дальнейшего изложения.
2 Уравнение E.36) лучше уяснить себе, записав E.30)—E.31) в виде уц =-
= Ъ + %г и (У2г — Ро)ф = li + «2j/P- Компоненты E.36) при этом
выступают как взвешенные средние уц и (у2г — РоУР- При заданных Ро и р (Ф 0) за^
дача сводится к задаче об п выборочных средних при двух наблюдениях на каж.
дую среднюю и дисперсиях наблюдений, равных соответственно af и а|/р2.
141
Подставляя E.36) в E.34) и E.35) и приравнивая эти производные
нулю, имеем следующий результат:
E-37)
г
Эти уравнения совместны тогда и только тогда, когда р2 =
Однако в нашем определении допустимого пространства параметров,
мы в ^явном виде ввели ограничение р2 Ф а22/аЛ тем самым величина
Р2 = о22/ог2 попадает в недопустимую область пространства парамет
ров. Ввиду этого необходимые условия максимума функции прав
доподобия первого порядка не могут удовлетворяться одновременно
следовательно, максимум функции правдоподобия не существует в до.
пустимой области пространства параметров 2.
Поскольку эти затруднения при • анализе модели E.30)—E.31)
являются фундаментальными в случае, если все параметры
принимаются неизвестными, анализ часто осуществляют в условиях
допущения, что ф — о^/Ох2 известно точно3. В условиях этого допущения
существует единственный максимум функции правдоподобия, что
позволяет получить оценки МНП. Для получения этих оценок запишем
функцию правдоподобия в виде
+ (У2-Ро i-PO' (У2-Р0 1 -PI)]} • E.39)
Дифференцируя логарифм функции правдоподобия L по
неизвестным параметрам и приравнивая производные нулю, имеем:
E'42)
+
" O. E.43)
1 Этот результат получен Д. В. Линдли в [80]. Его интерпретация
несколько отличается от нашей, равно как и интерпретация Дж. Джонстона [69, с. 152].
2 Если мы объединим расплывчатую априорную ФПВ р (р0, р, |, alt a2) ~
^ l/ovJg, 0 < oi < оо, i = 1, 2, и —• оо < р0, р, lt < oo; i = 1, 2, ..., п с
функцией правдоподобия E.32), то нетрудно показать, что совместная
апостериорная ФПВ является несобственной.
3 В эконометрии точные знания обычно недостижимы. Ниже мы излагаем
методы, использующи е менее точную информацию о ф.
142
Из E.40) получаем _ _
Ро = г/2 — К, E.44)
где у2 *= у2' i/л и |"— S'i/л. Подставляя значение р0 в E.41),
приходим к
р = ¦ ' == ———————————— • (о.4Ь)
(i-IO'i (i-lO'd-IO
Далее из E.42) получается
% = ФУ1+Р(У2-РоО /5#4б)
И1
s <P+Pa ' v ¦ '
Подставляя E.47) в E.45), получаем
E.48)
где mij^iyt — jfTO' (У; — Ру 0/л Для /, / = 1,2.
Последнее выражение дает
п — т22) — фт12 = 0 E.49)
в качестве необходимого условия для р. Тогда оцениватель МНП для
Р есть решение квадратного уравнения E.49), а именно
~ ы^ El50)
Заметим, что знак перед квадратным корнем положителен, поскольку
именно такой выбор ведет к максимуму функции правдоподобия а.
Приняв 1 = ух, из E.44) и E.46) получаем, что оцениватель МНП
для Ро из E.44) имеет вид
Ро=г/2-Р>7; E.51)
оцениватель МНП для \ из E.46) имеет вид
&.0 . E52)
Наконец, из E.43) мы имеем оцениватель МНП для ста2:
о! = -^-[Ф (yi—1)' (yi—1) + (у2—ро I—РI)' X
X(y2-Poi-PD]. E.53)
1 Уравнение E.47) получается путем умножения слева обеих частей E.46)
на i'/я, а справа — на i и вычитания полученных выражений из левой и правой
частей E.46).
2 См.; например,1 [86].
143
Как указывалось в литературе [72, с. 386], в то время как р0 и
JJ являются состоятельными оценивателями, а22 таковым не является.
Действительно, plim a22 = ^г2- Этот результат совершенно
аналогичен полученному в параграфе 5.2, где мы анализировали задачу об
п выборочных средних с двумя наблюдениями на каждую среднюю и
одинаковой дисперсией наблюдений. В настоящей задаче нам известны
значение <р, отношение дисперсий и фактически нам неизвестна только
одна дисперсия (см. функцию правдоподобия E.39), которая может
быть записана в терминах только а22, коль скоро ер нам известно).
Несостоятельность оценивателя а22 надо, видимо, отнести к тому
обстоятельству, что МНП не учитывает, что при построении этого
оценивателя нужно оценить еще и п компонент |. Поскольку число
компонент \ растет с ростом объема выборки, значительная часть
выборки используется для оценивания компонент |, как в малых, так и в
больших выборках. Как отмечают Кендалл и Стьюарт [72, с. 61, 387],
смещение оценивателя ДНП для сг22, существующее в малой выборке,
не обращается в нуль с ростом /г, поскольку мы никогда не выходим за
пределы ситуации малой выборки. Они предлагают следующую
процедуру корректировки несостоятельности. Имеют место 2п наблюдений
и в E.53) мы подставляем оценки п компонент |, ро и р, т. е. (п + 2)
параметров. Тогда число 2п — (п + 2) = п — 2 представляет
степени свободы, остающиеся для оценивания (г22» «Скорректированный»
состоятельный оцениватель будет иметь вид <т22 — 2по22/(п — 2).
5.3. АНАЛИЗ СТРУКТУРНОЙ ФОРМЫ МОП МЕТОДОМ
НАИБОЛЬШЕГО ПРАВДОПОДОБИЯ
Модель E.30)—E.31), в которой вектор | предполагается
стохастическим, часто называют структурной формой МОП. Может быть,
наиболее фундаментальный результат получен в этом случае Кифером и
Вольфовицом, доказавшими, что если параметры идентифицируемы, то
«при обычных условиях регулярности оцениватель МНП для
структурного параметра сильно состоятелен тогда, когда (бесконечно много)
ветвящихся параметров представляют собой независимо
распределенные случайные переменные с неизвестной общей функцией
распределения» [74].
В числе других результатов они показали, что если \>г независимо
распределены и каждая из них имеет одинаковое ненормальное
распределение, оцениватели структурных параметров будут состоятельными-
Условие ненормальности требуется для идентифицируемости струк.
турных параметров (согласно результату Рейерсола [107]), если
делается допущение, что об этих параметрах ничего не известно.
Для того чтобы показать существо проблемы идентифицируемости
для модели E.30)—E.31) в. условиях, когда \t по допущению
независимы от у и распределены нормально и независимо, каждая с
математическим ожиданием \i и дисперсией т2, мы заметим, что наряду с
другими допущениями о свойствах распределений, вводимых в связи с
E.30)—E.31), пары переменных (yli9 #ai), / = 1, 2, ..., п будут незави-
144
симо и одинаково распределены, причем каждая пара образует
двумерное нормальное распределение. Моменты (yli9 yit) для i = 1, 2, ...,
п имеют вид:
М{у1г) = \1\ E.54)
Л*(У«)~Ро + Р|« E.55)
D{yu) = * + **; E.56)
D(y,i)^^ + a^ E.57)
Cov (j/li; y2l) - рт2. E.58)
Поскольку эти пять моментов полностью определяют двумерное
нормальное распределение и поскольку выборочные моменты в этом
примере являются достаточными статистиками, мы можем приравнять
выборочные моменты к моментам генеральных совокупностей, для того
чтобы попытаться получить оценки. Есть, однако, фундаментальное
затруднение, связанное с этим подходом: оно состоит в том, что, хотя мы
располагаем пятью зависимостями E.54)—E.58), нам нужно оценить
шесть неизвестных параметров: jx, р0, Р, аД *а22, т2. Таким образом,
мы не можем получить оценки всех параметров, если не будем
располагать дополнительной априорной информацией, которая позволит нам
сократить число неизвестных параметров.
Сначала рассмотрим случай, когда нам известно, что ($0 *= 0- Если
мы располагаем подобной информацией, мы можем приравнять
выборочные моменты у-в к их соответствующим моментам генеральной
совокупности. Из E.54) следует, что |х = у, и из E.54) — E.55), что
Р = У%1\)ъ гДе Hi и У г СУТЬ выборочные средние. Оцениватель р имеет
вид отношения двух коррелированных нормальных случайных
переменных; следовательно, его математическое ожидание и более высокие
моменты не существуют \ Используя эту оценку для р, мы получаем
из E.56) — E.58):
= m22— р2т2;
=mn—т2,
где
ти= V (y»"^)^"w)y /,/=1,2.
Хотя информация ро = 0 обеспечивает нам получение оценок
остальных параметров, следует заметить, что этот подход может
привести к отрицательным оценкам для какой-либо или для всех дисперсий:
ai2> a22 и т2; иными словами, априорная информация о положитель-
1 Относительно вывода распределения отношения двух коррелированных
нормальных переменных см. [39], [46] и [87].
145
ности этих дисперсий не вводится в явном виде, вследствие чего
возможность получения бессмысленных оценок дисперсий не исключается1.
Далее из E.56) и E.58) мы можем получить оценки дисперсии D (у1г) =
= Cov (yiu у,|УР+ а» и из E.57) и E.58) D (y2i) - р Coy (yiu У*д +
+ ff22. Поскольку ах2 > 0 и а22 > 0, мы имеем
' У21)>0 E.59)
J
Р
И
D {уы) — Р cov (ylit y2i) > 0. E.60)
Из E.59) — E.60) при условии Cov {yiu y%t) > 0 мы имеем
ш E#61)
)
Если Cov («/xi, #2i) <0, неравенства E.61) изменяются на
противоположные. Таким образом, априорная информация о том, что сгх2>0
и а22 > 0, объединенная с зависимостями E.56) — E.58),
предполагает, что р попадает в один из двух конечных интервалов, заданных
E.60) или E.61) с противоположными знаками неравенства 2.
Поскольку наш оцениватель р есть у2/уъ он существует в области от — оо до
оо и тем самым может нарушить границы, установленные E.61).
Подводя итоги, можно сказать, что, если известно, что р0 — 0,
оценки остальных параметров могут быть получены путем
приравнивания выборочных моментов к соответствующим моментам
генеральной совокупности. Однако полученные таким образом оценки могут
оказаться не совместными с основной априорной информацией;)
например, оценки дисперсий могут оказаться отрицательными, что
противоречит априорной информации о неотрицательности дисперсий.
Теория выборочных исследований в настоящее время еще не
разработала процедур, позволяющих решить проблемы «отрицательной
дисперсии» для МОП3.
Если известен не параметр ро, а отношение дисперсий ср = о22/о12>
выборочные моменты т1ъ т22 и т12 могут быть подставлены в E.56)—
E.58) вместо соответствующих моментов генеральной совокупности
и таким образом получены оценки р,. т2 и ах2; иными словами, если
мы примем, что Qn=D(yu\ Q22::=D(y2i) и 912 = Cov (yUi y2i)> то E.58)
дает т2 = 012/р и E.56) дает о{ = 9^ — т2 *= 9П — Э12/р. Уравнение
E.57) принимает вид 922 — р2т2 + <т;|(р, и, подставляя в него оценки
х2 и аД получаем в результате
+ Р (фби — в22) - Ф012 =- 0.
1 Аналогичные проблемы встречаются в моделях «случайных эффектов».
См.; например, [137].
2 Это условие общепризнано и подчеркивается в [84].
3 «Стандартным» подходом была бы максимизация функции правдоподобия
в условиях ограничений на параметры в форме неравенств. Разумеется, если
оценки, полученные процедурой, описанной выше, удовлетворяют этим
неравенствам; они являются решениями задачи с ограничениями. Если же они нарушают
ограничения, для получения оценок, удовлетворяющих неравенствам, предстоит
решить задачу нелинейного программирования.
146
Заменяя 0^ соответствующими выборочными моментами, имеем
Р2 т12 + р (фтп — т22) — ц>т12 — О,
т. е. зависимость точно такого же вида, как E.49). Оценка МНП для
Р получается затем из E.50) \ Оценки остальных параметров задаются
т2 5= m12/p, ог2 = тп — х2 и а22 — ах2 ф. Кроме того, из E.54)
имеем |х = t/i и из E.55) Ро —"^2 — РИ"
Выше мы вели исследование в условиях допущения, что %г
нормально и независимо распределены, каждая компонента с математическим
ожиданием \i и дисперсией, равной т2. В условиях такого допущения
для идентифицируемости параметров требуется дополнительная
априорная информация. В свете результатов Рейерсола, однако,
получается, что если It распределены не нормально, то параметры
оказываются идентифицируемыми. Для иллюстрации рассмотрим пример и в
качестве ненормального распределения примем
р A) ~ const, — оо < & < oof I = 1, 2, ..., п. E.62).
В E.62) мы приняли допущение, что %t равномерно и независимо
распределены. Ниже мы рассмотрим, как это допущение относительно
It влияет на оценки МНП.
. Для построения функции правдоподобия в общем виде мы
рассматриваем совместную ФПВ для у1э у2, |:
Р (У1> У* 11 Ч>) = Р (Уь У21S, 4>i) g (I IЫ E.63)
где ф' = (-ф/, -фз') обозначает вектор параметров, причем я|?х есть
вектор параметров условной ФПВ для уг и у2 при заданном |, а г|?2 — под-
вектор if, участвующий в маргинальной ФПВ для компонент |. Чтобы
получить маргинальную ФПВ для ух и у2 E.63), следует интегрировать
по компонентам 1, т. е. имеет место
h (у* у21 Ч>) = J Р (Ух У. I Ъ> *i) g (I I *) d%. E.64)
Теперь h (yx, у2/ф), рассматриваемая как функция от компонент -ф,
является функцией правдоподобия.
В случае МОП, в которой вектор | по допущению имеет ФПВ вида
E.62), эта функция правдоподобия получается путем интегрирования
следующего выражения по компонентам ?:
—~ (уа —Ро I—PD' (у2—Ро I—
1 Заметим, что принятие знака плюс перед квадратным корнем в E.50)
обеспечивает совпадение знаков у]3 и т12. Это обеспечивает также положительность
оценки т2, а именно т2 = т12/р.
147
Для того чтобы осуществить интегрирование по компонентам |, мы
можем выделить полный квадрат в экспоненте, после чего,
воспользовавшись свойствами нормального распределения, мы получаем1
НУъ У» |*) —2 — X
2(+р)я/2
(У2-Р0 i-PYi)' (У2-Ро t-РУх)] , E.65)
где г|/ *= (Ро, Р, <Ъ ф)- Максимизируя log h по аъ ро и р, мы находим
следующие максимизирующие значения р0 и р:
Ро = й~Ш и Р = ^-Ь%^-ЬХ\ . E.66)
(У1—УгЧ (Ух—Ух О
Очевидно, что р0 и р есть просто оценки ШНК, полученные из
регрессии у2 по ух. Этот неожиданный результат2 зависит решающим
образом от допущения E.62) о ФПВ для |, которое предполагает, что
дисперсии | бесконечны. Если принять такое допущение, то оказывается,
что дисперсии ошибок измерения пренебрежимо малы по отношению к
дисперсиям компонент | и р становится состоятельным оценивате-
лем3. Информация о размахе распределения \и содержащаяся в
E.62), отражается на виде оценивателя МНП, который представлен в
E.66).
5.4. БАЙЕСОВСКИЙ АНАЛИЗ ФУНКЦИОНАЛЬНОЙ ФОРМЫ МОП
В байесовском анализе функциональной формы МОП информация,
требующаяся для обеспечения идентифицируемости параметров
системы E.30) — E.31), вводится с помощью априорной ФПВ для
параметров. Как читатель увидит ниже, нет необходимости в принятии
допущения,—например, о том, что значение ф = о22/ах2 известно точно,—
для того чтобы получать выводы об интересующих исследователя
параметрах. Кроме того, нужно себе уяснить, что, поскольку априорная
информация требуется для обеспечения идентифицируемости
параметров, она будет оказывать сильное влияние на апостериорные выводы
вне зависимости от возрастания, объема выборки 4.
Заметим, что <р (ух—Ю' (Yi - Ю + (У2 —Ро 1-Р6)' (У*-Ро i-P В =
i У1+(У2-Ро1)' (У2-Ро 1) = (
-V+ Ф [(У1-Ро I- Р УгУ (У2-Р0 1-Р У1)]/(ф+ Р2),
где | = [ФУ1+Р(У2-РО1)]/(Ф+Р2)-
2 Он получен в [158].
3 Заметим, что в общем случае plim ^ = р A + af/т2)-1, где Р задано
E.66), а т2 есть общая дисперсия компонент |. При т2 ->- оо, plim P -> р.
4 Влияние точных априорных допущений, например значения отношения
дисперсий ошибок, на результаты анализа МОП с помощью теории выборочных
исследований4, разумеется, тоже не зависит от объема выборки.
148
В целях построения байесовского аналога результатов E.66),
полученных с помощью МНП, мы воспользуемся следующей
априорной ФПВ:
Р(Ъ, Ро, Mi><*2) — . E.67)
GG
где — оо < р0, р, %г < оо, i = 1,2, ..., п и 0 < ог < оо , i ^= 1,2.
В E.67) мы принимаем, таким образом, априорное допущение, что
%>и Ро» Р» log <*i и log a2 равномерно и независимо распределены. ФПВ
E.67) представляет нашу субъективную уверенность в априорной
информации о неизвестных параметрах, в то время как E.62) обычно
никак не интерпретируется сторонниками теории выборочных
исследований.
Объединяя априорную ФПВ E.67) с функцией правдоподобия
E.32), мы получаем следующую апостериорную ФПВ:
} E.68)
где р' = (ро, р); у' = (уь у5) и <p =
Выделяя полный квадрат относительно | в экспоненте и
проинтегрировав по компонентам |, мы получаем
] E'69)
Переходя к переменным р, аг и ф, заметим, что do2/o2 ~ dq>/<p и, таким
образом,
Затем, интегрируя по ах, получаем
Р(Р, Ф I У) ^- [(Уа-Ро 1-РУх)' (У2-Р0 1-Pyi)]"n/2
E.71)
149
где у - п-2; X - (i 5 Ух); рИХ'Х^Х'уз и vs2 = (y2-Xp)' (y2-
— ХР). Из выражения E.71) следует, что $ =* ф0, |3) имеет
апостериорную двумерную t-ФПВ Стьюдента с математическим ожиданием %
в точности соответствующим оценивателю 1МНК, полученному
в результате регрессии у2 по у!1. Так же как и в случае анализа
МНП, который дал E.66), настоящий результат критическим образом
зависит от допущения о виде априорной ФПВ для | в E.67). Кроме
того, заметим, что апостериорная ФПВ для <р в E.71) является
несобственной и в точности соответствует виду, следующему из априорных
допущений о о1 и а2 в E.67). Таким образом, в случае априорных
допущений E.67) выборка не дает никакой новой информации
относительно ф.
Хотя допущения, воплощенные в E.67), позволяют нам делать
апостериорные выводы о ро и р, которые являются подходящими для
некоторых ситуаций, они являются таковыми далеко не для всех
ситуаций. Поскольку часто бывает затруднительно выбрать допущения
относительно п компонент |, мы попытаемся развить методы условного
анализа, т. е. анализа МОП при условии
2—РоО /572)
ф+р» *"-'
Величина в правой части E.72) точно соответствует выражению
E.46), «уравнению МНП» для |2. Совместная ФПВ для у± и у2 при
заданных параметрах имеет вид
Р (Уъ У211, P, а2, Ф) - 2^1 ехр |- -1- [Ф2 (ylf—^J +
1_У Л/ . ft ft? \2l 1 /С 7Q\
где суммирование производится от i = 1 до t = п. Если мы
используем E.72) для того, чтобы перейти к условной ФПВ в E.73), то
получим в результате
P(Vi, V2 l^^t, В, Cfo, ф) ~
/«ч/ ——~«-^ СЛи < —— ^—^—— I (]
а22п I 2с1 L
Прежде чем перейти к введению априорных ФПВ^для параметров E.74),
было бы весьма полезным исследовать свойства E.74K.
1 Этот результат получен А. Зельнером и У. Санкаром в [158].
2 См. также выше обсуждение выражения E.36); там было выяснено, что
компоненты \ являются взвешенными средними оценок |^, i = 1, 2, ..., п.
3 Поскольку |=| есть условная оценка МНП для §, свойства E.74)
релевантны в отношении анализа МОП с помощью МНП.
150
1. Если дано, что ф = ф0, заданному значению, то E.74) имеет
единственную моду в точке, соответствующей оценкам МНП для ро,
р и а2. Это вытекает из того, что | = f есть условная МНП для ?.
2. Для конечного р2 с возрастанием ф = o^lo^ второй член в
экспоненте доминирует в функции правдоподобия1. При этих
условиях модальные значения для р0 и р будут близки к значениям,
полученным из регрессии 1МНК Ум по у1г. Допущение, что ф велико,
предполагает, что дисперсия ошибок измерения y2t мала
относительно дисперсии u2i в уравнении y2i = Ро + Р?* + игь
3. Для конечного р2, по мере того как ф *= о?1о? -> 0, первый
член в экспоненте E.74) все более доминирует в функции
правдоподобия. Заметим, что этот первый член содержит сумму квадратов
2 1уц — A/Р) {у<ы — Ро)]2- Таким образом, когда ф очень мало,
приближенные оценки МНП могут быть получены путем регрессии
Уи по Уъь Оценки МНП для р будут близки к обратной величине
оценки 1МНК углового коэффициента, в то время как оценка свободного
члена, взятая с обратным знаком и умноженная на оценку р, даст
приближенную оценку МНП для ро в условиях очень малого ф.
4. Если Р=0, то первый член в экспоненте равен нулю, а второй
может быть использован для выводов о р0.
5. Хотя форма E.74) представляет интерес для исследования, ибо
она показывает, что две суммы квадратов, связанные с регрессиями
Уи п0 Учъ и Уы по У\и появляются в функции правдоподобия,
условной при | *= |, E.74) может иметь и более простое выражение, а
именно
Р (Уь У211-1, Р, а29 ф) ~ Ф«/2/а2« х
2 ^РРй)-] E.75)
Это и есть вид функции правдоподобия при заданном 1 = 1, в котором
мы теперь объединим ее с ФПВ для параметров. Важно снова
подчеркнуть, что E.75) имеет единственную моду при оценках МНП для р,
Ро и а2 при заданном ф, расположение которой зависит от наших
допущений в отношении ф2.
Что же касается априорной ФПВ для неизвестных параметров из
E.75), а именно Р' = (р0, р), а2 и ф, то мы сначала сделаем
следующее допущение:
Р(М2>Ф)~ p*Wp*^ , E.76)
°*2
1 Мы можем записать экспоненциальный сомножитель E.74) в виде
ехр {- № A + pV<p)»]-i [<р«Лр) 2 [уи - A/р) (у21 - ро)]. + V2 [yi - р0 _
—РУН) J}» по меРе того как Ф -*¦ °°f влияние первого члена убывает по сравнению
с влиянием второго. Зато, по мере того как <р -»• 0, наоборот, возрастает
влияние второго члена.
2 Мы уже установили, что, по мере того как ф -> оо, мода Р стремится к
Р21 = т12/тц; и что, по мере того как ср -> 0, она стремится к pi2 = т22/т12.
Из р12 — р2± = (^и^22 — т{2)/т11т22 следует, что $12 больше по модулю, чем
Pai- Таким образом, при т12>0, при допущении большего ф получаются меньшие
положительные значения р, чем при допущении малого <р.
151
где Рг (ф) есть априорная ФПВ для ср, вид которой остается пока не-
специфицированным. В E.76) мы принимаем допущение, что р0, р,
фиа2 априори независимо распределены. Области существования
параметров представляются как 0 < сг2, ф< оо и — оо <ро<°°-
Относительно р важно уяснить себе, что область его существования
конечна, как на это указывает приведенное выше обсуждение
выражения E.61). Поэтому мы примем^допущение, что .исследователь знает
знак р и приписывает этому параметру априорно конечную область
существования, руководствуясь анализом, который привел нас ранее
к E.61). В пределах этой области существования, скажем от р^ до
pt/, априорная ФПВ для р есть рх (Р). ФПВ для су2 мы сделаем
расплывчатой, приняв допущение равномерного распределения log a2 х.
Объединяя априорные допущения, воплощенные в E.76) с
условной функцией правдоподобия E.75), мы получаем в результате
следующую апостериорную ФПВ:
Р(М2,ф1У1,У2,1=1)~ ^Wftft)
Выражение E.77) можно проинтегрировать аналитически по р0
—оо < р0 < оо, и по а2, 0 < а2 <С оо, получив маргинальную апо-'
стериорную ФПВ для р и ф:
Р (Р, Ф 1Ух. У2, 1 = %)~ Фп/2 Pi (Р) Рг (Ф) X
X A +Р1/ф)я/{2[у2,-й-Р(й«~й)]1}я/2, E.78)
где 0 < ф < оо и Pl ^ Р ^ Рс/, причем $L и р<у являются
априорными ограничениями, наложенными на р.
Знаменатель E.78) обладает минимумом при р21 — тХ21т1Ъ т. е.
оценке ШНК, полученной из регрессии y2i no у1и и поэтому, если
бы не влияние сомножителей, содержащих р и находящихся в
числителе, E.78) имело бы моду при р21, только когда pL< P21 < Pf/.
Сомножитель A + Р^ф)" делает модальное значение р большим по его
модулю, чем р212. Величина, на которую абсолютно возрастает модальное
значение р, будет зависеть от допущения, принятого относительно ф.
Если априорная ФПВ для ф дает преимущество большим значениям,
то модальное значение р будет ближе к р21, если отвлечься от
информации о р, содержащейся в рх (рK.
1 Настоящий анализ может быть распространен на случай, когда мы
используем информативную априорную ФПВ для а2 в виде, соответствующем
обратному гамма-распределению. О свойствах ФПВ последнего см. приложение А.
2 Что может быть эвристически интерпретировано, как поправка на
несостоятельность р21-
3 Заметим, что при заданном (р значение Р, максимизирующее A + Р2/ф) /
/(т22 — 2рт12 + Р2/Яц), есть оценка МНП. Таким образом, модальное значение
из E.78) при заданном ф будет ближе к оценке МНП, если рг (Р) ~ const.
152
Для практического использования E.78) нужно приписать р и ср
априорные ФПВ. Что касается априорной ФПВ для р, рх (р), $L ^
< Р < рс/, то мы можем принять, что это — бета-ФПВ1:
E.79)
где z = (р — Pl)/(Pc/ — Pl); аи b — априорные параметры, значения
которых выбираются исследователем, а В (а, Ь) обозначает
бета-функцию, аргументами которой являются а и Ь. Представленная в E.79)
ФПВ является достаточно богатой и включает в себя априорную
информацию о том, что Pl ^ Р <[ Рс/. Если, например, а = Ъ = 1,
E.79) превращается в равномерную ФПВ для р. Что же касается <р,
то априорная ФПВ р2 (ф) может быть выбрана в форме обратной гам-
ма-ФПВ2:
^(^) 0<< E.80)
где v0 и s0 являются априорными параметрами.
Хотя E.79) и E.80) не единственные виды ФПВ, которые могут
быть использованы в настоящей задаче, они, видимо, достаточно
разнообразны для того, чтобы быть в состоянии представить наличную
априорную информацию в широком диапазоне. Подставляя E.79)
и E.80) в E.78), мы получаем двумерную апостериорную ФПВ,
которая может быть проанализирована с помощью методов двумерного
численного интегрирования. Маргинальные апостериорные ФПВ для
Р и ф могут быть построены, а статистики, характеризующие их,—
вычислены. Кроме того, можно вычислить совместные апостериорные
доверительные области для р и ф.
В целях иллюстрации приложения описанных выше методов были
искусственно генерированы данные с помощью модели у1г = ?*+
+иц> y2t = 2,0 + 1,0& + u2i, i = 1,2, ...,20. Данные были
генерированы в следующих условиях. Значения ult и u2i были выбраны
случайно и независимо из нормально распределенной совокупности с
нулевым математическим ожиданием и дисперсиями, равными
соответственно 4 и 1; иными словами, <р = о221о^ = -^-. 1-г были выбраны
случайно и независимо из нормально распределенной совокупности с
математическим ожиданием (х = 5 и дисперсией т2 = 16. 20 пар
наблюдений представлены в табл. 5.1 и на рис. 5.1.
На базе данных табл. 5.1 были сначала построены3 условные
апостериорные ФПВ для р с помощью выражения E.78) при заданных ф=0,25
и ф = 1,0; графики этих ФПВ представлены на рис. 5.2. Как
видно из положения и размаха кривых, апостериорные ФПВ не
слишком чувствительны к допущениям относительно ф. В настоящем при-
1 Обзор свойств бета-ФПВ см. в приложении А.
2 Свойства обратной гамма-ФПВ см. в приложении А.
3 Была использована равномерная априорная ФПВ для C с довольно
большой областью изменения р.
153
Таблица 5.1
Генерированные наблюдения
i
1
2
3
4
5
6
7
8
9
10
1,420
6,268
8,854
8,532
—5,398
13,776
5,278
6,298
9,886
11,362
3,695
6,925
8,923
14,043
—0,836
16,609
4,405
9,823
12,611
10,174
pi = 5,587
1Q QOO *vt
:==L IV^Ooz, /2==
i
11
12
13
14
15
16
17
18
19
20
17,945
'a
1,964
1,406
0,002
3,212
9,042
1,474
8,528
7,348
6,690
5,796
4,987
6,647
2,873
4,015
10,204
1,953
10,672
9,1Ь7
8,552
10,250
784
ml2= 16,925
tor
15
10
-5
-10
10
15
Рис. 5.1. График генерированных данных
мере, когда <р принимается по допущению равным 0,25, т. е. значению,
употребленному при генерировании данных, условная апостериорная
ФПВ для р имеет моду при р = 1,02, т. е. вблизи значения,
использованного при генерировании данных и равного 1,0. Если <р по
допущению принималось равным 1,0, то мода условной апостериорной
ФПВ для р была расположена в точке р = 0,96. Эти результаты
контрастируют с результатами, полученными из анализа модели, в
которой делалось допущение о±2 = 0, т. е. об отсутствии ошибок измерения
уи. В этом случае при условии расплывчатой априорной ФПВ для
154
р0 и р центр апостериорной ФПВ расположен в точке р21 =
= т12/тп = 0,876, которая соответствует оценке 1ЛШК1.
Хотя условная ФПВ для р при заданном ср представляет интерес,
исследователь часто сталкивается с ситуацией, в которой отсутствие
достаточно точной априорной информации не позволяет принимать <р
конкретное значение. Можно, однако, выбрать априорную ФПВ для
представления информации о ф, которой располагает исследователь:
например, для этой цели может служить обратная гамма-ФПВ, представ-
5,0
4,0
* 3,0
2,0
1,0
1 I I
/ /
1 1 I ' I
С\ ~
\ \
\ ^tr-p(fiw = 0,25, yity2)
V^-V/K^lp = U0, y1f y2)
0,80 0,90 1,00 1,10 1,20 1,30
Рис. 5.2. Условные апостериорные ФПВ для
ных ф
при
заданленная выражением E.80). В качестве иллюстрации припишем
следующие значения параметрам E.80): v0 = 8 и s02 = 1/16. При этих
значениях параметров мода априорной ФПВ есть <р = 0,236,
математическое ожидание равно 0,246, дисперсия равна 0,0230 (среднее квад-
ратическое отклонение равно 0,152J.
Подставляя эту априорную ФПВ вместо р2 (ф) в E.78), на основе
данных табл. 5.1 мы построили совместную апостериорную ФПВ для
Р и ф, причем для Р была принята равномерная априорная-ФПВ.
Кроме того, для р и <р были построены маргинальные априорные ФПВ.
Результаты представлены на рис. 5.3. Из графиков видно, что
маргинальные апостериорные ФПВ для р и ф являются унимодальными.
Что касается ФПВ для чр, то, как оказалось, информация конкретной
* Простая регрессия y2i по у^ дает следующий результат: #2* =
= 2,893 + 0,876^, где числа в скобках являются обычными средними
@,674) @,0948)
квадратичными отклонениями.
* Алгебраическое выражение для моды, математического ожидания,
дисперсии и т. п. для обратной гамма-ФПВ см. в приложении А.
155
выборки уменьшила ее моду с 0,236 в априорной ФПВ до 0,18 в
апостериорной ФПВ. Апостериорная ФПВ для |3 имела модальное значение
при 1,03, т. е. при значении, близком к использованному при
генерировании данных.
Изложенное осуществлялось при условии 6 = ?, которое с
очевидностью требует допущения о характере распределения ?г. С другой
стороны, при определенных условиях мы можем считать более под-
<МЛ
QJ0
Рис. 5.3. Маргинальные апостериорные ФПВ для р и ф, построенные
на основе генерированных данных с использованием априорной
обратной гамма-ФПВ для <р
ходящим допущение, что п компонент | априори распределены
нормально и независимо с общим математическим ожиданием и
дисперсией1, т. е.
E.81)
где \i и т2 обозначают общее математическое ожидание и дисперсию
соответственно. Если мы, кроме того, сделаем допущение, что ц, и т
неизвестны2 и что они распределены априорно с ФПВ р (|х, т) ~ const
при — оо<[[х<;оо и 0<т<оо, то маргинальная априорная
1 Если, например, It = log yf, где yf есть перманентный доход /-го
индивидуума, то априорное допущение о том, что \t распределены в соответствии
с нормальной ФПВ, является, разумеется, допущением о распределении дохода.
2 Параметрам jli и т в E.81) могут быть также приписаны значения на
основании априорных соображений. Для этого случая анализа апостериорной ФПВ
не проводилось, равно как и для случая информативной ФПВ для \i и т.
156
ФПВ для | будет иметь вид г
Р (I) ~ [(*-&)' (S-fi)]-<»-2>/2, 7^fli<°°f E.82)
1 = 1,2,..., л,
где ?* = i'|//i. Ниже мы объединим эту априорную ФПВ, а также
априорные ФПВ для других параметров с функцией правдоподобия.
Функция правдоподобия имеет вид
. О* 61У1. У*)"8^ Х
X ехр {—~г [(Р (У1—©' (У1-Э +(У2~Ро 1-Р6У (У2 —Ро i-
E.83)
где Р' = (р0, Р); Ф = в2Увх* и | = [фУ1+р (у, - р<н)]/(<Р + Р2).
Вторая строка в E.83) получается из первой путем выделения полного
квадрата по |2. Заметим, что % есть условная оценка МНП для |,
которая была использована в условном байесовском подходе, приведшем
к апостериорной ФПВ E.77).
В качестве априорной ФПВ для параметров мы используем
Р (Р> ф. <т2, I) ~ ft(P, Ф, ог2)/?2 A), E.84)
где /?2 A) задается выражением E.82), а рг (Р, ф, а2) еще не
специфицирована и будет обсуждаться ниже. Формально апостериорная ФПВ
имеет вид
Р (Р, ф, ст2,11 уь у2) ~ рх (Р, ф, 02) р% (I) I (P, ф, а2,11 уь у2), E.85)
где функция правдоподобия имеет вид, представленный выражением
E.83).
Интегрируя E.85) по компонентам |3, мы получаем
Р (Р, ф, *2 I Ун У2) ^ Pi Ф> Ф, ^) -г—f X
х ,Н1/2 V /±)« Па+1^) E>86)
1 Эта априорная ФПВ для компонент | близка к той, на которую Стайн
указывает как на возможную ФПВ при построении оценивателя для п
выборочных средних при п > 3. См. [123].
2 Подробнее см. сноску к выражению E.65) выше.
8 Это интегрирование подробно описано в приложении к данной главе.
157
где1
of
+2Фрт12).
Что касается априорной ФПВ рг ф, ф, а2) в E.86), то мы сначала
проанализируем случай, когда р0, р, ф и а2 по допущению
предполагаются распределенными независимо. Если наша информация о
Ро и сг2 представляется неясной2, то априорная ФПВ может быть
выбрана в виде3
ftftq>,oJ~fc(P)*(y), -°°<Po<<*>. E.87)
а2 0<<т2<;оо,
гДе gi (Р) и §2 (ф) пока что остаются неспецифицированными
априорными ФПВ для р и ф соответственно.
Подставляя E.87) в E.86) и интегрируя по р0, получаем в
результате следующую апостериорную ФПВ:
х ехр{-^^ 2
х «-•./** у (J±-Y rj«±llE р E.88)
^i2ol/ о1Г[о+(«1)/2] l ;
где bja\ = б, которая была определена в связи с E.86).
Интегрируя E.88) почленно по а2, 0 < а2 < оо , получаем в результате
, (,89)
где А = —Ьг 2 ^«-Уш-Р (Уи~
ф+Р2 ~*
Г(д+п—3/2) Г (g+1/2)
a\Y[a+(n — \
— 1 п 1
— 1 1
1 В этом выражении ?-— "V С<? оти "—
п ^" /г
— 1
2 В качестве альтернативы мы могли бы продолжить анализ с использова
нием информативной ФПВ для а2 в виде обратной гамма-ФПВ.
3 Линдли и Эль-Сейяд [84] также делают допущение, что р, <р, а2
априори распределены независимо. Анализируя настоящую модель, они дают
интересное обсуждение и получают аппроксимацию апостериорной ФПВ.
158
Непосредственно путем алгебраических преобразований в этом
случае можно получить
Si ф2т11+ват22+2фрт12
А (^22+ф^
Таким образом, E.89) можно выразить в виде1
х
9171гу1
(ф+Р2I/2
X У ГФ2
При заданных формах априорных ФПВ g± (Р) и g2 (ф) с помощью
методов двумерного численного интегрирования можно получить
нормирующую константу в E.90), маргинальные апостериорные ФПВ для
Р и ф, а также числовые характеристики совместных и маргинальных
апостериорных ФПВ; например, мы могли бы задать априорную бета-
ФПВ для р и обратную. гамма-ФПВ или Ф-ФПВ для ф. Поскольку
анализ E.90) осуществляется численными методами, выбор
априорных ФПВ для р и ф достаточно многообразен.
Двумерная апостериорная ФПВ для р и ф E.90) была нами
проанализирована с использованием искусственно генерированных данных,
представленных в табл. 5.1. Априорная ФПВ для р, цг (Р), была
принята равномерной на большом отрезке, в то время как в качестве
априорной ФПВ для ф, g2 (ф), была выбрана ФПВ обратного
гамма-распределения (см. E.80)), причем параметрам были приписаны
априорные значения v0 = 8 и s02 = 1/16, т. е. значения, примененные нами
при построении кривых, представленных на рис. 5.3. На рис. 5.4
представлена маргинальная апостериорная ФПВ для р2. Центр ФПВ
близок к 1,0. Кроме того, заметим, что размах распределения здесь
больше, чем в случае апостериорной ФПВ для р при заданном | = \,
которая представлена на рис. 5.3. Интегрирование по компонентам | в
данном случае, видимо, повлияло на увеличение размаха
апостериорной ФПВ.
В качестве альтернативы априорным допущениям E.87), в
которых постулируется, что ф и а2 априори распределены независимо, в
некоторых ситуациях более подходящим может оказаться допущение,
1 Заметим, что bjA = (ф2ти + Р%22+^фР^12)/(^22 + Ф^и) (ф+ Р2)»
если ф задано, имеет максимум при Р = |f, где р есть оценка МНП; иными
словами, при заданном ф производная (dldfy) (Ь±1А) = (т22 + Ф^п)"" [2 (Р^22+
+ <рт1Я)/(ф+ Р2) — 2р (ф2тп+ Р2т22+ 2фРт12)/(ф+ р2J]. Приравнивая эту
производную нулю, получаем необходимое условие максимума P2/w12+ P (утц —
— тгг) — Фт12 = 0» что тождественно выражению E.49).
8 В вычислениях были использованы первые 501 членов' разложения E.86).
159
что априори независимо распределены ах и а2г; например, мы можем
сделать допущение, что наша априорная информация об этих двух
независимых параметрах может быть представлена в виде обратных гам-
ма-ФПВ:
1
exp
E.91)
0,60
Рис. 5.4. Маргинальная апостериорная ФПВ для
р, построенная на основе выражения E.86) и
искусственного генерирования данных.
Подробности об использованной априорной информации
см. в тексте
где (vi9 бг), i = 1,2, суть априорные параметры. Переходя к
переменным ф = о\1о\ и сг2, мы получаем
(Ф.
D(V1-2)/2
ехР
E.92)
в качестве совместной априорной ФПВ.
Как следует из E.92), условная априорная ФПВ для а2 при
заданном ф является обратной гамма-ФПВ. Маргинальная ФПВ
для (sf/sl) Ф является Ф-ФПВ Фишера — Снедекора с vx
и v2
1 Это допущение было принято у Зельнера и Санкара [158], а также у
Р.Л.Райта [143]. Если, например, для генерирования уц и y2i употреблялись разные
измерительные инструменты, то допущение о независимости аг и а2 может
оказаться подходящим. В контексте гипотезы перманентного дохода Фридмана, если
считать, что лица, выбирающие род занятий с высокой дисперсией временного
дохода, также обнаруживают тенденцию к высокой вариации временного
потребления, допущение об априорной независимости af и а| не представляется
подходящим. В этом случае, видимо, лучше сделать допущение о независимости
Ф = G*|/af и ajj, как это и сделано выше.
160
степенями свободы К Затем, если вместо E.87) мы используем
Pi (Р, Ф. <Ъ) ~ ft (P)?з (ф> <Ъ). E.93)
где g3^, о2) имеет вид, представленный E.92), а ^ (Р) остается еще не-
специфицированной, подставляем E.93) в E.86) и интегрируем по
р0, — оо < ро < сх> и по а2, 0 < а2 < °° в основном таким же
образом, как и выше. Полученная в результате апостериорная ФПВ
для р и ф имеет вид
где
v0 = vx + v2;
Г [a+n+(vo-3)/2] rf a+4") ;
d' —_^ \ 2 / •
a а!Г[а+(п —1)/2J
В = Л + Ф^ s? + v2 si = n \ Й2н±*4> + ?l
L «
и
В
где 81иА определены в связи с E.88) и E.89). Таким образом, мы
можем записать совместную апостериорную ФПВ для р и ф в следующем
виде:
(Р|)«^)Ф<"+»'-а>"х
^L (+Р2)(+) J
где а0 = (ят22 + v2s22)/n и аг = (птп + ViS?)/n2.
Как уже указывалось выше, при заданном ф величина (ф2 тп +
+ Р2 Щ2 + 2фрш12)/(ср + р2) имеет максимум в точке, совпадающей
с оценкой МНП. Таким образом, при заданном ф значение условной
моды для р будет близко к оценке МНП. Если, однако, мы
проинтегрируем E.95) по ф, то при определении положения
маргинальной апостериорной ФПВ для ф роль будут играть как априорная
информация о ф, так и выборочная.
1 Подробнее об Ф-ФПВ Фишера—Снедекора см. в приложении А. Там же
дается доказательство данного утверждения.
2 В E.95) множители ф<л+^-3)/2/(а0+ а1ф)B/г+^-3)/2+а, а = 0, 1, 2, ...
имеют вид Ф-ФПВ с vx + я — 1 и v2+ я — 2+ 2а степенями свободы.
Заметим, что априорная ФПВ для ф, получаемая из E.92), имеет вид Ф-ФПВ с vx
и v2 степенями свободы.
6 Зак. 1954 161
5.5. БАЙЕСОВСКИЙ АНАЛИЗ СТРУКТУРНОЙ ФОРМЫ МОП
В случае структурной формы МОП при построении функции
правдоподобия вектор | рассматривается как случайный; другими словами,
ФПВ для | вводится как составная часть модели, а не как
субъективная априорная информация Аналиа, представленный в E.63)—E.64),
релевантен в ахношеаии построения маргинальной ФПВ для
векторов наблюдений уг и у2, которые служат основой функции
правдоподобия. Если делается допущение, что компоненты 1 нормально и
независимо распределены, каждая с неизвестным математическим ожида-
ниед \ь и неизвестной дисперсией т2, то, после того как ддя этих двух
параметров и друшх параметров модели выбраны априорные ФПВ,
формальный анализ развертывается дальше точно таким же образом,
как и в предыдущем параграфе. Аналогично в данном случае
возможен и условный анализ, базирующийся на допущении о том, что 1=1;
этот анализ также будет по форме тождествен представленному в
предыдущем параграфе. Отметим повторно, чю основная разница при
анализе функциональной и структурной форм модели заключается в
интерпретации,,даваемой ФПВ компонент вектора I1.
5.6. АЛЬТЕРНАТИВНЫЕ ДОПУЩЕНИЯ О ВЕТВЯЩИХСЯ ПАРАМЕТРАХ2
В этом параграфе мы будем анализировать МОП в условиях
допущения, что ветвящиеся параметры, т. е. компоненты 1, могут быть
представлены линейной комбинацией независимых наблюдаемых
переменных; иначе говоря, gj — я3 + n2x2i + ~- + Щ^кь *1= 1»2, ..., /г,
где Xkt являются наблюдаемыми значениями, a k величин nk сутыне-
известные параметры3. Важность этого допущения заключается в том,
что в его условиях число параметров модели уже не зависит от объема
выборки п\ иными словами, вместо п неизвестных %г мы теперь имеем
дело с k неизвестными я, и, таким образом, осложнения, связанные
с проблемой ветвящихся параметров, часть которых обсуждалась
выше, обходятся. В этом случае наша модель имеет вид:
E.96)
E.97)
S = X*x E.98)
или
E.99)
E Л 00)
х Аналогичные соображения относятся в целом к сопоставлению моделей со
случайными^ параметрами,- в^осневекоторы-х лежит'теория выборочных*
исследований с байесовским анализом соответствующих моделей с фиксированными
'параметрами?^ Более'чшдрюбноё обсуждение этй»х вопросов с позшшй юегоесеи©иных
моделей ем> в' {127. с. 77].
? ^$ат$риал эхода параграфа основывается на [1ЗД.
3 Это допущение использовалось во многих эконометрических
исследованиях, включая [33] и [88].
162
где yi и у2 являются n-мерными вектор-столбцами наблюдений; X —
матрицей наблюдений за к независимыми переменными, размерности
п X к и ранга k\ пг — /г-мерным вектор-столбцом параметров;
р—скалярным параметром *, а их н щ я-мерцыми вектор -столбцами ошибок.
Мы сделаем допущение, что 'M(u)i = M(uJ = 0; М(пг ц[) = а] /Л;
М («г11?) = a22Ai и М (и^') = 0, причем в последнем равенстве в
правой части стоит матрица размерности п X п, ясе элементы, которой
являются нулями. Таким образом, мы предполагаем, что ошибки
имеют нулевые математические ожидания, гомоскедастичны и не коррели-
рованы. В дальнейшем мы потребуем для ошибок еще и допущения
нормальности.
Прежде чем обратиться к байесовскому анализу модели E.99)—
E.100), будет полезным рассмотреть подходы с позиций теории
выборочных исследований, которые находят довольно широкое
применение, в особенности так называемый подход с помощью
^инструментальных переменных» 2. При этом подходе обычно предполагается,
что, если бы значения вектора лгх в E.100) были известны, выражение
E.100) представляло бы простую регрессионную модель, анализ
которой не вызывает затруднений. Поскольку на практике значения
компонент пх известны крайне редко, с. помощью E.99) получают оцени-
ватель otlf т. е. яг = (Х'Х^Х'у^ а аатем строят регрессию у2 по
уг = Хйа, получая, следующий, оцениаатель для р.*
E.101)
У1У1
где у2 = Хя2 = Х(Х'Х)"Хлу2, а объяснение нижнему индексу оде-
нивателя р (ао) будет дано в ходе последующего изложения. Этот оце-
ниватель, часто называемый оценивателем «двушагового метода на-
имельших квадратов» BМНК), очевидно, представляет собой условное
выражение, полученное при условии, что Х% = Хл;^
Если мы введем определение я2 = л$ и сделаем подстановку в
E.99) — E.100), то система примет вид:
E.102)
E.103)
Значения компонент вектор Xjt2 неизвестны, однако можно
использовать E.103) для получения вектора оценок, а именно Хл:2, где
яа = (X'XJ^X'ya. Затем полученную оценку можно подставить в
E.102). Тогда оцениватель ^ получается путем регрессии уг по у2 =
= Хлг2 и перехода к величине, обратной оценивателю углового козф-
В E.100) мы опустили свободный член, Нижа мы вернемся к анализу
модели, расширив E.100) с тем, что^ы включить свободный член и
дополнительные независимые наблюдаемые переменные с неизвестными коэффициентами.
См., например, [?0], а также [22],
6* 163
фициента, т. е.
^ф E.104)
У 2 У1 У2' yi
где ух = Хя±.
Сделаем несколько замечаний относительно оценивателей р^)
и Р@).
1. Как 6(оо), так и р<0) являются состоятельными оценивателями
2. В малых выборках распределения р(оо) и р(о) различаются 2;
например, в условиях допущения нормальности для вектора ошибок
оцениватель р(то) может иметь конечное математическое ожидание, в
то время как, вообще говоря, математическое ожидание и более
высокие элементы р<о) не существуют3.
3. Если существует математическое ожидание р^, то, как
указывается в литературе, р^) имеет смещение в сторону нуля, т. е.
/ MJJ^) | < | р |. Эвристически это смещение возникает вследствие
того, что замена Хзгг на Хл^ в E.100) вводит ошибку измерения в
независимую переменную в условиях конечного объема выборки.
4. Оцениватель лх = (X'X^X'yi в E.99) — E.100) использует
только п наблюдений за ух. Поскольку у2 тоже содержит выборочную
информацию, относящуюся к пи в этом случае при помощи оценива-
теля л. оценивание ях осуществляется на базе лишь части имеющейся
у исследователя выборочной информации.
5. Тот факт, что р^) и р@> являются разными оценивателями,
означает, что числовые результаты на практике будут различными в
зависимости от того, какой оцениватель применяется.
В качестве альтернативы подхода, ведущего к оценивателям вида
Р(оо) и Р(о) для р, рассмотрим следующий подход с помощью метода
наименьших квадратов. Сумма квадратов (SS), которую нам надлежит
минимизировать по лг и р, имеет вид
SS =-^ (Л-**)' (yi-**i)+ -~" (У2-Х%р)' (у2 -
(У2- ZxJ* (y2-
E.105)
1 Заметим, что р(оо) = ЯаХ'Хя'/я^Х'Х^. Поскольку plim щ = яхр и
п щ = Ях» то plim Р(оо)=Р, plim p(oj = ?lini (я^Х'Хях/ядХ'Хя!) = р. При
этом делается допущение, что lim X'X//z = M — матрица, все элементы которой
конечны. л
а Анализ свойств распределения Р(«>) см. в [109] и [117],.а также в
литературе, на которую ссылаются в этих работах.
8 Из E.104) следует, что при заданном у2 в знаменателе оценивателя Р{0)
стоит нормально распределенная случайная переменная У2У1.
164
где ф «* а21о^ и Z = Хр1. Если мы выделим полный квадрат
относительно л1у в E.105), то получим
+ (я1—!Л-1уУЩя1—M-4)]f E.106)
где М = ZZ + фХ'Х и v = <рХ/у1 + Z'y2.
Из E.106) и положительной определенности матрицы М следует,
что условное минимизирующее значение для % дается формулой
^(Z'Z + cpX'X^cpX'yx+Z'y^—i—^ + p^), E.107)
Ф+Р2
где я4 = (Х'Д^Х'у,-, * == 1, 2. Поскольку для оценивания яхр
служит л2, мы можем записать E.107) в виде
_ У E108)
Таким образом, пх является взвешенной средней двух оценивателей
для Jtlf а именно яг и Я2/р. При заданном f$, или ср-> оо,^-»-
-> ли т. е. к значению, употребленному выше для построения оценива-
теля р^), в то время как если ф -> 0, то^ -> jt2/p, т. е. мы
пользуемся только информацией, содержащейся в у2 для получения оценки
л1э участвующей в построении оценивателя Р@), рассмотренного
выше. В общем же случае л;х в E.108) использует информацию как ylf_
так и у2, т. е. 2п наблюдений, и, таким образом, ях является более
точным оценивателем для пъ чем оцениватель, базирующийся только на
п наблюдениях2.
Полагая в E.106) jtx = щ = M^v, мы получаем
) j EЛО9)
где уг = ХЯ| и su = (yt — Хщ)' (yt — Хя?) при i = 1, 2.
Дифференцируя E.109) по р и приравнивая производную нулю, мы получаем
E.110)
1 Заметим, что, если компоненты \хг и и2 нормально распределены, то
функция правдоподобия пропорциональна уп12/о%пе~~^^/2. Таким образом, значения
параметров, максимизирующие SS, будут максимизировать функцию
правдоподобия,
2 Поскольку М(щ) = щ и М(п2) = пъ % М(з?) = пг при заданных Р и Ф-
Кроме того, М\(пг— ях) (пг —щ)'] = A + pVcp)-1 af (X'X)-1, вследствие чего
М l(nx — nx) (jci — ^!)'] = af (X'X)-1. Таким образом, если Р2/<р велико,
дисперсии компонент щ гораздо меньше, чем дисперсии компонент ях при заданных
Р и <р.
165
в качестве необходимого условия для р, минимизирующего SS.
Следует заметить, что E.110) имеет точно ту же форму, как и необходимое
условие, возникающее в классической МОП, за исключением того,
что выборочные моменты выражены в терминах «расчетных» значений
Ух и у2. Решая квадратное уравнение E.110) относительно р,
переходим к
6 = У» Уз—ФУ1 У1 +У (ФУ1 У1—Уг УгJ+4ф (у! у2J E.111)
^У1 Уа
в качестве оцешгаателя для Р при заданном ф. Ввиду того что в
данной задаче мы можем оценить <р, а именно1
Ч> = -*Ц EЛ12)
Hi
Р ($), оцениватель для р, может быть получен путем принятия ф =
= ф в E.111). Кроме того, Ф и |3 <<?} можно подставить в E.108) и
получить оцениватель2 для лг,
Из E.109) очевидно, что при ф/р2-> оо минимизирующее значение
дляр-^р^) равно yjyi/yjyi- С другой стороны, при ф/Р2/^ 0
минимизирующее значение для р стремится к J3@)> равному у?уа/у1Ув*
Для любой заданной выборки нетрудно показать, что справедливо
|^(оо)|<|Р(ф)|<|Р@)|. E.113)
Кроме тот, при п ->- со все три оценивателя сходятся3 к истинному
значению Р-
Система E.99) — E.100) может быть расширена путем включения
свободного члена и других наблюдаемых независимых переменных:
у1^Хп1 + щ; E.114)
у2 = Х*хр + W9 + u2, EЛ15)
где W есть матрица размерности nXkx и ранга ^ наблюдений за kx
независимыми переменными; в есть ^-мерный вектор-столбец
неизвестных параметров. Как и выше, мы рассматриваем задачу минимизации
y»—z^- we)], E.П6)
по л1э в и p, причем Z = Xp. Дифференцируя по 9f мы получаем
значение 8, соответствующее условному минимуму.
9 = (Wf W)-1 W (yt—ZjtJ- E.117)
1 При нормально распределенных ошибках ф есть оцениватель МНП для
ф = <j|/af.
2 Результаты нескольких выборочных акспериментов по этим оцеяивателям
были сообщены в [21].
3 В малых выборках, если ф/р2 очень велико или очень мало, центры
распределений р"(<») и р@) весьма далеко отстоят друг от друга.
Шб
которое при подстановке в (.5.116) дает
SSi = —— [ф(У1—Xjrx)' (ух—Xjt!) + (y2—Z*jt1)/ (у5—Z*Jtx)], E.118)
где
Уа—Z* % = 1/ — W (W W)-i W'J (у2 —
Ввиду того что E.118) имеет точно такой же вид, как EЛ05),
получение минимизирующих значений для щ и |3 может быть осуществлено
тем же самым путем. Получаемый в результате оцениватель р будет
зависеть от ф, и, как и выше, мы можем получить оценку ср, опираясь
на которую получаем расчетную оценку р. Полученные оценки Р и ф
могут послужить для получения оценки rtlf подстановка которой в
E.117) дает оценку в.
Рассматривая приведенные выше результаты, которые были
получены с помощью теории выборочных исследований, мы убедились в том,
что они критическим образом зависят от порядка величины ф =
= a|/tf J г. Развитый выше подход с позиций наименьших квадратов
приводит к оценивателям, зависящим от ф. К счастью, в данной
модели у нас есть возможность получения оценки ф на базе наблюденных
данных. Эта оценка может быть, в свою очередь использована для
получения аппроксимации оценивателя наименьших квадратов2 для
р. В байесовском подходе будет показано, что величина fi ($> близка
к моде условной апостериорной ФПВ для р, если мы применяем
расплывчатую априорную ФПВ и принимаем допущение, что ф = ф.
Переходя к байесовскому анализу модели E.99) — E.100), мы в
дополнение к другим допущениям о свойствах ошибок принимаем,
что они нормально распределены. Тогда функция правдоподобия имеет
вид
X ехр{—±^ [Ф (ух-Xrti)' (л-ХлО + (yi-Z«i)' (у, -2йч)]}, E.119)
где Z = Хр. В качестве априорной ФПВ мы используем
р (р, щ, ф, а2) ^ uiSUfeffi. j ° < *• Ф < ^ E.120)
i=U.f ft,
где Pi (ф) и р2(Р) остаются пока неспецифицированными. В E.120)
мы делаем допущение, что р, компоненты %, ф, log cr2, независимо
распределены, причем априорные ФПВ для компонент лх и log or2 соот-
1 Точнее, от порядка Р2Лр
2 Это случай, когда оптимальный (в смысле .наименьших квадратов)
оцениватель зависит от мешающего параметра ф.
167
ветствуют равномерным распределениям г. Тогда апостериорная ФПВ
для параметров задается выражением
~~^1 1ф (у1-Хя1>' (У1~Хях) +
+ (ya-Zrt1)'(y2-Z*1)]). E.121)
Выделяя полный квадрат относительно лг в экспоненте, мы получаем
Хехр|^^ ^
+К—М-1 v)' M (jti — М-1 v)]l, E.122)
где v и М уже были определены выше в связи с E.106). Таким
образом, при заданных J3, ср и а2 условная апостериорная ФПВ для ях
соответствует нормальному распределению, причем
М\ а2, у1э yi) = M-1v =
^^ E.123)
, E.124)
где jtj = (X'XJ^X'y^, i = 1, 2. Выражение E.123) имеет точно такой
же вид, как выражение E.107) для условно минимизирующего
значения щ в подходе с использованием принципа наименьших квадратов
с позиций теории выборочных исследований.
Интегрируя E.122) по компонентам л3, мы получаем 2
E.125)
хехр|
1 Анализ»может быть продолжен путем введения информативной априорной
ФПВ для сг2 в виде, соответствующем обратному гамма-распределению.
» Заметим, что | М/аЦ"/2 = [а^/(Р2 + фй/2]|Х'ХГ1/2.
168
Затем, интегрируя E.125) по сг2, получаем
где
у,-»'
, E.126)
|; su = (yi — Xrtf)' (yf — Хя4), /=1,2.
М
1,2
1,0
0,8
0,6
0,4
0,2
2,0 \0,1 -
I
!_
0,5 0,6 0,7 0,8
0,9
1,0 1,1 1,1 1,3
Рис. 5.5. Линии уровней совместной
апостериорной ФПВ для Риф. Значение моды в точке
C=0,88 и ф = 0,56 равно 8,55
Это и есть совместная апостериорная ФПВ для р и ф. Сомножитель в
скобках в числителе тождествен величине в скобках в выражении
E.109). Таким образом, при заданном ф оцениватель р = р (ф), как
это показано в E.111), минимизирует величину в скобках в
выражении E.126). Без априорных сомножителей при заданном ф мода
апостериорной ФПВ E.126f приблизительно равна Р = Р (ф>.
Если априорные ФПВ рг (ф) и р2 (Р) г заданы в явном виде, можно
воспользоваться методами двумерного численного интегрирования
1 Если мы выбираем расплывчатую ФПВ для ф и сг2 вида р (q>; o2) ~ /фа,
то это предполагает, что р (аг; а2) /^ \/агаг; и; таким образом, применение этой
последней расплывчатой ФПВ приведет к той же самой апостериорной ФПВ, что
и использование первой при одинаковых априорных допущениях
относительно р и щ.
169
для вычисления нормирующей постоянной в E.126) и построенця
совместной и маргинальной ФПВ1.
Для иллюстрации результатов, полученных с использованием
E.126), наряду с расплывчатой априорной ФПВ2 для <р и р, мы
искусственно генерировали данные на базе следующей модели:
Уи =
иги
30,
2,0
0,5
где
= 5,0; яи = 0,5 и р = 0,9.
0,4 0,8
1,2
1,6 2,0
Ошибки иц и «2j были
получены путем случайного выбора из
нормально распределенной
совокупности с нулевым
математическим ожиданием и дисперсией,
равной 225; иными словами, ах2 =
= <т2" = 225. Значения х% были
получены путем случайного
выбора из нормально распределенной
генеральной совокупности с
математическим ожиданием и
дисперсией, равными соответственно 5 и 9.
Ш рис. 5.5. представлены
линии уровней совместной
апостериорной ФПВ для р и ф. Если
дисперсии ошибок достаточно
велики, совместная апостериорная ФПВ
имеет достаточно вытянутую
форму. Мода находится в точке р=0,88
иф= 0,56. Маргинальные
апостериорные ФПВ для ф и р
представлены на рис. 5.6.
Маргинальная апостериорная ФПВ для <р
имеет математическое ожидание,
равное 0,694, и* апостериорное
среднее квадратичное отклонение,
равное 0,279, Т; е. рассеяние в данном
случае достаточно велико. С другой
стороны, апостериорная ФПВ дзш р додта^нно оетротершинна, с
мтоттжеъшм оя&дешем, равным 0.898 й ефедншш квадрагшшым
>Г W-
Рис. 5.6. Маргинальные
апостериорные ФПВ для ф и Р
1 Мы не приводим здесь дальнейших подробностей байесовского анализа,
поскольку они в достаточной мере аналогичны таковым для системы (б. 114)—
E.115).
2 Т. е. рг (ф) р2 Ф) ~ I/ф» 0<ф<оо, — оо < р < оо.
«IW)
отклонением, равным 0,0847. Кроме того, маргинальная
апостериорная ФПВ для р симметрична г.
В заключение настоящей главы нужно отметить, что
рассматривались только случайные ошибки измерения. На практике чаще всего
случается, что присутствуют как случайные, так и систематические
ошибки измерения. Общие методы рассмотрения ошибок обоих родов
представляли бы большую ценность, но, к сожалению, их разработка
еще предстоит2
ПРИЛОЖЕНИЕ
В этом приложении мы рассмотрим задачу интегрирования E.85)
по п компонентам |3. Сомножители E.85), содержащие |,
представлены ниже:
-б' A-1)], A)
где | было определено выше в связи с E.83). Это выражение должно
быть проинтегрировано по компонентам g в области — оо < |г <
< оо, i = 1, 2, ..., п.
Прежде всего произведем замену переменных
Г (h-Ui-U^n Bа)
или
^Zi-qt), 1=1,2 п, B6)
где <7i = (<p + P2I/2!i/<*2. Тогда
П rfSi=
L
Li (Ф+Р2)п/2 iJ,
и A) можно переписать в терминах г' = (zL, z2, .... zn):
(Ф+Р2)
C)
где q' = (ql9 #2,..., qn) и M = ln — и7/г, причем 1п есть единичная
матрица размерйости п X я, a i — n-мерный вектор-столбец, все
1 Интересно заметить, что |Л из E*111) для этих искусственно
генерированных данных равна 0,$94, т. е. близка к апостсрионому математическому
ожиданию для р. С другой стороны, для этих же данных Р@) = 1,033 и $(<„) =
= 0,832; эти значения несколько отличаются от апостериорного
математического ожидания для р.
2 Частные примеры анализа задач, в котором участвуют как случайные,
так и систематические ошибки измерения, можно найти в [66, с. 300—307].
3 Излагаемый ниже подход предложен А. Зельнером и У, Санкаром в [168],
применен и развит в [143].
171
компоненты которого являются единицами. Полагая w = г + q,
получаем из C)
а2 e-l/2(w-q)' (w-q)
02D)
(л-2)/2
(Ф+Р2) Г у (w._l
Мы можем рассматривать интегрирование D) по компонентам w как
п _
задачу нахождения математического ожидания [2 (wt — wJ] 2 ,
где wi нормально распределены. Для того чтобы избавиться от w в
знаменателе, мы используем преобразование Гельмерта с = Bw, где
Т/2
VT2
С„-1 =
Известно, что матрица В в преобразовании Гельмерта ортогональна.
Таким образом, якобиан преобразования равен единице. Поскольку
сг являются линейными комбинациями wiy они также нормально
распределены, причем М(с) = BAf(w) = Bq. Отсюда следует, что с —
— М(с) = В (w — q) или w — q = В [с — М(с)] и (w—q)' (w—q) =
= [с—Af(c)]' (В-1)' В [с—Л1(с)] - [с—М(с)]' [с—М(с)]> F)
что имеет место ввиду ортогональности В. Наконец, из свойств
преобразования Гельмерта E) следует, что
2(a>i-aOa = *S <*• G)
Используя F) и G), мы можем из выражения D) получить
]
X ехр Г-у2 (^-^J1 ехр[-Y(^-O21 f (8)
^ = М{сг), i = 1, 2, ..., /г.
172
Интегрируя (8) по сп в пределах от — оо до + с», мы получаем
численную константу. Интегрирование по остальным сх рассматрива-
п—1
ется как процесс получения математического ожидания B ct?)~(n~~2)/2,
где d нормально и независимо распределены, каждая со своим матема-
_ я—1
тическим ожиданием ct. При этих условиях v = 2 с? имеет следующую
нецентральную %2-ФПВ *:
e-i/2 (e+o)oi/2p-i V ***" Г(а+1/2)
Bа)! Г(а+1/2р) *
0<t><oo,
Где р = п — 1. В (9) б есть параметр нецентральности, который за-
п—1_ « _
дается как б = 2 cl = 2 (^j — qJt где ^ было определено выше в
связи с выражением B6). Затем, домножая (9) на гг-К*-2)/2],
получаем, что интересующий нас интеграл пропорционален
Г(а+1/2) do. (Ю)
o+(nIJ/2J V ;
jf Bа)! Г [o+(n-IJ/2J
Производя почленное интегрирование и учитывая
A1)
j
о
мы получаем, что интеграл в выражении A0) пропорционален
а=о Bа)!
или2
V 6а [Г(а+1/2)]« .
=о Bа)! г [«+(«-0/2] 1
A26)
2/ а!Г[о+(я1)/2]' 1 '
причем f= 2&/л-
1 См.; например, [2, с. 113].
2 2 При переходе от A2а) к A26) учитывалось то, что Г (а+ 1/2) = Bа)!
/2 Г(а-(-1) и Г(а+ 1)=а!
173
ВОПРОСЫ И УПРАЖНЕНИЯ
1. Рассмотрите задачу об п выборочных средних из параграфа 5.1
с функцией правдоподобия, заданной выражением E.1). Предположим,
что вместо E.3) мы используем следующую априорную ФПВ для п
компонент | и о;
0<а<оо,
Р A, о).—-L- ехр Г -±— (Ъ-Що)' A—Що)]} -оо <lt < оо,
i = 1,2,..., л,
где т0 и A0 суть значения, выбираемые исследователем, (а) Дайте
интерпретацию приведенной выше априорной ФПВ. (б) Определите
математическое ожидалие апостериорной ФПВ для | при заданном о.
(в) Прокомментируйте свойства маргинальной апостериорной ФПВ
для ст.
2. Проанализируйте систему E.17а,б) с функцией правдоподобия
E.18), используя информативные априорные ФПВ для о^ и сг2 в виде
обратных гамма-ФПВ. (Выразите при этом апостериорную ФПВ в
терминах \, а1у и Я, где % = orj/crj.)
3. Какое допущение о значениях параметров достаточно для того,
чтобы сделать возможным анализ системы E.30)—E.31), как простой
регрессионной модели? Если вы считаете это допущение обоснованным,
определите математическое ожидание апостериорной ФПВ для р с
использованием расплывчатой априорной ФПВ для ро, р и сг2?
4. В связи с неравенствами, представленными в E.61),
сформулируйте допущения (ртнооительно значений параметров в выражениях
E.56)—E.68), при которых следующие оцениватели в условиях
больших, выборок определяют границы достаточно узкого интервала,
содержащего истинное знанёвие Р:
p12 — — и p2i— —-
5. Докажите, что именно яредставленный выражением E.50)
корень уравнения E.49) обеспечивает максимум функции
правдоподобия.
6. Пусть в E*27) ^ представляет логарифм перманентного дохода
/-го индивидуума, а г]е в E.28) — логарифм перманентного
потребления. Объясните подробно различие допущений об этих величинах в
функциональной и структурной формах МОП.
7. При выводе E.61) мы предполагали, что ult и a2i в E.30) и
E.31) некоррелированы. Как должны измениться зависимости E.56)—
E.58) и неравенства E.61), если имеет место М, (uti, u2i) = ст12,
/= 1, 2, .... и?
8. Допустим, что мы располагаем данными об измерениях одной
и той же величины, например среднего дохода домашнего хозяйства,
174
полученными из двух различных источников. Пусть данные для г-го
региона, yiu получены на основании некоторого обследования, а
данные уц — на основании другого независимого обследования.
Рассмотрим эти данные в контексте МОП:
1=1,2,,.,, п.
(а) Уи=
(б) y2i =
в) Л|=Ро+РЬ
(а) Интерпретируйте 1и т\и uiu u2i.
(б) Если в (в) Ро = 0 и р = 1, то в каком смысле совместны оба
множества измерений?
(в) Если заданы допущения, сделанные выше в связи с E.30) и E.31),
объясните, как получить оценки Ро и р при условии, что 0*
приписывается известное значение, или при условии, что g\ = 0.
(г) Обсудите возможные источники априорной информации о
параметрах и укажите, как она может быть использована при оценивании.
9. Представьте себе, что мы используем априорную ФПВ,
представленную в E.67) при анализе МОП. Будет ли с возрастанием объема
выборки влияние априорной ФПВ стремиться к пренебрежимо малому?
Только ли в малых выборках влияет допущение о нормальном и
независимом распределении %г на результаты оценивания байесовскими
методами и МНП?
10. Используя информацию из табл. 5.1, получите оценки границ
интервала углового коэффициента в E.61).
11. Рассмотрите систему E.27) — E.30) в качестве представления
модели перманентного дохода Фридмана, где ylU y2» It и r\t
обозначают соответственно логарифмы измеренного дохода и потребления,
перманентного дохода и потребления. Дайте интерпретацию этой
модели в контексте функциональной и структурной форм МОП.
12. В упражнении 11 примите допущение структурной формы
МОП и установите достаточные условия идентифицируемости всех
параметров. Как влияет допущение М (ult u2t) = а12 Ф 0 на
результаты вашего анализа?
13. В условиях допущений, обеспечивающих идентифицируемость
в упражнении 12, получите оценки МНП параметров модели
перманентного дохода.
14. Выберите априорную ФПВ для параметров модели
перманентного потребления, обсужденной выше в упражнениях 11 и 12; укажите
путь построения маргинальных апостериорных ФПВ для этой модели.
15. Пусть мы располагаем измеримыми
переменными-заменителями, которые могут быть использованы вместо перманентного пот-
?ебления и перманентного дохода. Обозначим ил соответственно через
Сг и Y\ б исследуем гипотезу пропорциональности, которая
предполагает, что перманентное потребление пропорционально перманентному
доходу. Является ли С? = ро + P^i + ?ь где ро Ф 0 и вг есть член,
представляющий ошибку (возмущение), экономически обоснованной
альтернативной моделью, в особенности в области низких значений
Fj? В качестве другой альтернативы гипотезе пропорциональности
рассмотрите
log
1-CtlYi
где vt есть ошибка (возмущение). Как ведет себя средняя склонность
к потреблению Cj/Fj при стремлении Yt ->- 0 при условии аг < О?
16. Ниже представлены ^данные на душу населения в долларах
США 1955 г. для Yt и St = Yt — Ci9 которые являются переменными-
заменителями, представляющими перманентный доход и
перманентные сбережения. Эти данные относятся к 26 странам1; на основе этих
данных наряду с расплывчатой априорной ФПВ проанализируйте
две зависимости, предложенные в упражнении 15 в качестве
альтернатив гипотезе пропорциональности в рамках регрессионного
исследования. В частности, какова апостериорная вероятность того, что аг < О?
Страна
США
Канада
Новая Зеландия
Австралия
Бельгия
Франция
Люксембург
Швеция
Англия
Дания
Нидерланды
Ирландия
Австрия
Мальта
Коста-Рика
Ямайка
Испания
Япония
Колумбия
Гана
Маврикий
Гондурас
Эквадор
Бразилия
Родезия
Бельгийское Конго*
1659,1
1208,1
928,0
905,0
877,6
835,7
801,2
765,0
737,6
723,2
476,4
416,5
411,9
316,8
257,8
235,8
234,8
199,2
198,7
197,7
197,0
164,0
134,5
127,7
115,5
58,3
123,2
84,0
81,2
96,6
95,9
47,7
107,3
58,5
30,7
65,7
45,7
29,5
41,2
64,8
13,7
8,0
10,7
28,8
8,6
9,6
18,0
11,4
5,2
5,6
8,8
2,4
с=уг-8г
1535,9
1124,1
846,8
808,4
781,7
788,0
693,9
706,5
706,9
657,5
430,7
387,0
370,7
252,0
244,1
227,8
224,1
170,4
190,1
188,1
179,0
152,6
129,3
122,1
106,7
55,9
Данные относятся к периоду до образования государства Заир.— Примеч. пер.
_ 1 Данные приводятся в [64]. Данные по двум странам, Панаме и Перу, где
S отрицательны, опущены. Метод расчета и веса, использованные при
получении приведенных в таблице данных, см. там же.
176
17. В зависимость log (Сг/Уг)/ (l_— CJYif = а0 + «i log Yt +
+ vi введите допущение, что Ct и Yt имеют общие ошибки
измерения, может быть, вследствие общих ошибок в выборе весов или
использования валютных курсов при переводе в доллары США; иными
словами, что Ct = с ~CUUi и
где С\ и Y\ являются истинными значениями переменных; с —
константа, а щ — случайная ошибка с нулевым математическим
ожиданием и дисперсией, равной о%. Как повлияет присутствие ошибки
измерения на результаты расчетов, приведенных в упражнении 16? __
18. В условиях допущения о структуре ошибок измерения Ct и
Yt, принятого в упражнении 17, вычислите оценку МНП параметра
ах в зависимости
log c^l = а0 + аг log Yt +vh
lCY
причем log Yt = log с + log Yt + uu с использованием данных из
упражнения 16 и принимая различные значения для К == ollo%.
19. При допущении, что К = о%1а1У задано некоторое значение.
Осуществите байесовский анализ модели из упражнения 18.
Определите, как свойства условной апостериорной ФПВ для ах при заданном
% зависят от значения, приписанного Я.
20. Объясните, как модель из упражнения 18 может быть
проанализирована с байесовских позиций при помощи априорной ФПВ для
К = оЦо1 и других параметров. Используя данные из упражнения 16,
постройте апостериорные ФПВ.
21. Рассмотрите систему, аналогичную E.99) — E.100):
но в условиях допущения, что ^-мерный вектор-столбец х* является
стохастическим, независимым от и с нулевым математическим
ожиданием и ковариационной матрицей М (х*х/) = Ф размерности k x к.
Путем исследования вторых моментов уи и y2t могут быть определены
неравенства, ограничивающие 0, которые аналогичны представленным
выражением E.61). Содержит ли ФПВ для хь t = 1, 2, ..., 7\
информацию, относящуюся к этим ограничениям, а тем самым к Р?
22. Докажите результат, представленный выражением E.113).
23. В прогнозировании много внимания уделяется сравнению
прогнозов (Ft) с фактическими измеренными исходами (Аг). Поскольку
как Ft, так и At содержат ошибки, рассмотрите следующую модель:
(а) /7, = е
(б) At = 1
(в) Л1 = |
/ = 1,2,..., п,
177
причем M(Ft) = Qt и M(At) = r\t. Если в (в) 0О = 0 и Р = 1, то в каком
смысле можно сказать, что прогнозы являются несмещенными?
24. В связи с упражнением 28 приведите примеры, в которых
рационально допустить, что ии по всей вероятности, распределены
независимо, и примеры, в которых, по всей вероятности, щ распределены
не независимо.
25. Проверьте анализ системы из упражнения 23 при условии
допущений для МОП, рассмотренных в настоящей главе.
26. Выскажите мнение по поводу следующего утверждения: хотя
регрессия At no Ft дает несостоятельные оценки ро и р в (в)
упражнения 23. такая регрессия все же может оказаться полезной для система
тических корректировок прогнозов.
Глава 6 Ф анализ нелинейных моделей,
СОСТОЯЩИХ ИЗ ОДНОГО УРАВНЕНИЯ
В некоторых случаях экономические и (или) статистические
соображения приводят нас к задаче анализа моделей, нелинейных
относительно параметров. В параграфе 4.1 мы уже встречались с нелинейной
зависимостью при анализе регрессионной модели с авто
коррелированными возмущениями, в частности в выражениях D.1 в) и D.12в). В этой
главе мы подвергнем анализу другие нелинейные модели, например
производственную функцию (ПФ), функцию «постоянной
эластичности замены» (ПЭЗ) и «обобщенную производственную функцию»
(ОПФ). В этих случаях нелинейность возникает главным образом из
экономических соображений, иными словами, ПЭЗ ПФ является
обобщением ПФ Кобба — Дугласа (К — Д) в том смысле, что допускает
для параметра эластичности замены и другие значения, кроме единицы,
которые являются единственно возможным в ПФ К — Д. Аналогично
ОПФ позволяет сделать дальнейшие обобщения в этом направлении,
а также в области поведения параметра отдачи от масштаба.
Экономическое и статистическое значение выбора адекватного вида функции
для зависимости трудно переоценить. Использование неадекватного
вида функции часто ведет к серьезным ошибкам. Поэтому в данной
главе специальное внимание уделяется анализу нескольких видов
нелинейных функций, что может оказаться полезным в ряде
приложений.
6.1. АНАЛИЗ ПРЕОБРАЗОВАНИЙ БОКСА-КОКСА
В случае анализа преобразований, осуществленного Боксом и
Коксом [17], мы встречаемся с зависимостями, нелинейными
относительно одного или нескольких параметров; например, в числе
рассмотренных преобразований Бокс и Кокс анализируют следующее
преобразование для зависимой переменной уа в регрессионной модели, где
#а>0, а = 1, 2, ..., п:
FЛ)
где Рь i = 1, 2, ..., k и А являются неизвестными параметрами,
xia9 i — U 2, ..., k — наблюдениями за независимыми переменными,
а иа — возмущениями. Они делают допущение, что для некоторого,
неизвестного значения X преобразованные наблюдения (у^ — 1)/Я,
а = 1, 2, ..., пу удовлетворяют стандартным допущениям нормальной
179
множественной регрессионной модели; иначе говоря, они нормально1
и независимо распределены с общей (постоянной) дисперсией, равной
а2. Таким образом, делается допущение, что для некоторого значения
X существует преобразование зависимой переменной, которое (а)
обеспечивает нормальность, (б) стабилизирует дисперсию и (в)
обеспечивает простоту структуры в том смысле, что М (у%, — \IХ = Pi +
+ Рг*2а + ... + Рй#ьа является простой функцией от Рг и xia.
Надо отметить, что данное степенное преобразование F.1) имеет
следующие свойства. При Х—1(уа — 1)/А, = уа — 1 и модель F.1)
является линейной относительно уа. При X.= О lim (у*—l)/X=\ogya.
При других значениях X в качестве зависимой переменной выступают
степени уа и зависимой переменной модели является log ya- Поскольку
X представляет собой неизвестный параметр, он подлежит оцениванию
наряду с другими параметрами, р^ и а. Поэтому для определения
подходящего преобразования используется информация, содержащаяся
в выборочных данных. Ниже мы покажем, как проблема оценивания
может быть решена при помощи МНП2 и с применением байесовского
подхода.
Для удобства, следуя Боксу и Коксу, мы перепишем F.1) в
следующем виде:
у(Х) = хр + и, F.2)
где у(Я> есть n-мерный вектор-столбец, типовой компонентой3
которого является (уа — \)/Х; X есть матрица размерности п X k и
ранга k заданных наблюдений за k независимыми переменными,
а и есть я-мерный вектор-столбец возмущений, относительно которых
делается допущение, что они нормально и независимо распределены,
каждая с нулевым математическим ожиданием и общей дисперсией,
равной а2. Для того чтобы записать совместную ФПВ для уа> а = 1,...,
..., я, при данных параметрах X, р, а, X нам требуется якобиан
преобразования п величин иа в п величин уа. Поскольку dujdya = у^Г1
и /= f] —— , мы имеем
а= 1 ^
"Я (А»— 1 ) /п г\\
= у , (о.о)
1 Заметим, что, как было показано Дж. Б. Рамсеем, область существования
(у^ — \I% не совпадает с интервалом от — оо до+ оо, а является подынтервалом
этого интервала. Однако, если вероятность попадания (tfa — \)/к в остальную
часть бесконечного интервала мала, допущение нормальности не будет
существенно затронуто.
2 Во 2-й главе было установлено, что в условиях больших выборок оценки
МНП представляют собой приближенные математические ожидания совместной
апостериорной ФПВ для параметров, которая обычно бывает приближенно
нормальной.
3 Если используется преобразование, отличное от представленного в F.1),
то типовая компонента вектора у^* будет, разумеется, иной. Примеры других
преобразований см. в [17].
180
где у = ( П уа){/п есть средняя геометрическая уа. J > О ввиду до-
1
пущения, что #а>> 0, а = 1, 2, ..., п. Теперь в качестве совместной
ФПВ для компонент у мы имеем
Р(У\К Р, °2)~ -~гехр [—^ (У(Х)-ХР)' (yW-XP)] , F.4)
о"
причем выражение F.4),если его рассматривать как функцию от
параметров, есть функция правдоподобия, / (Я, р, а21 у). Пусть L = log /,
тогда мы имеем
L = const + log J — — log a2 — (y(M _ xp)' (y(*> — Xp). F.5)
2 2a2
Дифференцируя по р и a2 и приравнивая частные производные нулю,
мы получаем
и
а2(Я) = — (у(М — XP)' (y(^—XP). F.7)
п
Если Я была бы известной, мы могли бы вычислить значения F.6) и
F.7), которые и являлись бы оценками МНП. Однако ввиду того, что
согласно допущению Я неизвестна, мы представляем F.6) и F.7)
в F.5), для того чтобы получить максимум логарифма функции
правдоподобия, обозначаемый через Lmax <x> и задаваемый следующим
выражением:
= const
—1) У logya—- Iogo2(k). F.8)
l 2
Теперь мы вычисляем (и строим график) Lmax щ для различных
значений Я до тех пор, пока не находим значение, скажем Я, при котором
F.8) достигает максимального значения. Это и будет оценкой МНП
для Я. Тогда F.6) и F.7), вычисленные при Я = ?, являются оценками
МНП для р и а2 соответственно. Далее Бокс и Кокс замечают, что
аппроксимация доверительного интервала в условиях больших выборок
может быть построена путем использования результата, что в
условиях больших выборок величина 2 [Lmax (Я) — Lmax (Я)] распределена
приближенно, как %2 с одной степенью свободы. Этот результат следует
из более общих результатов, касающихся распределения логарифма
отношения правдоподобия в условиях больших выборок1.
Кроме приложений, указанных в работе Бокса и Кокса [17],
изложенный выше подход с помощью МНП был использован в приложе-
1 См., например, [72, с. 230—231].
181
нии к анализу функции спроса на деньги [14.4]. Результаты анализа
показывают, что функция спроса на деньги может быть записана
в виде
06=1,2,..-я,
где индекс а обозначает, что значение переменной относится к году
а, причем Ма есть денежная наличность, текущие и срочные
депозиты, дефлятированные индексом цен; Ya — измеренный доход, деф-
лятированный индексом цен; га — норма процента по коммерческим
бумагам; иа — возмущение.
Данные представляют собой годичные наблюдения по экономике
США, 1869—1963 гг.
В F.9) степенное преобразование применено не только к зависимой
переменной Ма, но также и к переменным Ya и га, которые являются
заданными независимыми переменными1. Если X = 1, то зависимость
F.9) линейна в переменных. Если К = 0, то она линейна в логарифмах
переменных. Как и выше, задача заключается в том, чтобы с помощью
выборочных данных оценить К наряду с 0* и а2, общей дисперсией
иа- Предполагается, что иа нормально и независимо распределены,
каждая с нулевым математическим ожиданием и дисперсией а2. В
целях удобства нотации мы переобозначим наши переменные следую
щим образом:
^)=—т~''
" =-^-; F.Ю)
Далее y(>v> x^> их^> обозначают л-мерные вектор-столбцы, типовые
компоненты которых представлены в F.10), а Х(Л) = (ц х^> х^>) есть
матрица размерности п X 3, где t является я-мерным вектор-столбцом,
все компоненты которого равны единице. После того как введена эта
нотация, функция правдоподобия может быть выражена в следующем
виде:
где P' = (plf Р., Ре) и /== П ^/а"- П Mir1.
а=1 а=1
1 В этом исследований не было сделано попытки справиться с воз-можными
проблемами «системы одновременных уравнений». Обсуждение применения
преобразований как к зависимым, так и к независимым переменным приводится з
работе Бокса и Кокса [17].
182
Как и выше, мы максимизируем L = log / по рД и а2 двушаговой
процедурой. Сначала при заданном X максимизирующие значения р и а2
выражаются следующим образом:
у(М; F.12)
_X<*>fT(A,)].
Подставляя эти значения в L, мы получаем
— [y(M_x(Mp(A,)]'[y(M_X<*>fT(A,)]. F.13)
F.14)
т. е. максимум логарифма функции правдоподобия за исключением
константы. Были построены графики изменения Lmax в зависимости
от К. Анализ базировался на данных по всему периоду 1869—1963 гг.
и по периоду 1915—1963 гг. с использованием двух определений денег,
а именно денежной наличности, текущих и срочных депозитов, деф-
лятированных индексом цен (С + D + 71), и денежной наличности и
текущих депозитов, дефлятированных индексом цен (С + D).
Результаты представлены на рис. 6.1. При использовании данных за период
1869—1963 гг. точечная оценка X составила X = 0,19. Приближенный
95%-ный доверительный интервал для X был получен из неравенства
^шаХ (Ц - Ьтлх (X) < -g- х? @,05) =1,92 и составил 0,19 ± 0,10.
Этот и другие результаты, представленные на рис. 6.1, показывают,
что логарифмический вариант («log — log») функции спроса на деньги,
сформулированный в терминах указанных выше переменных,
по-видимому, находится в приближенном согласии с выборочными данными.
Если подставить X = X в F.12), то получаются1:
Рх(Я,) =-1,0551; ра(?)= 1,1124; Р8ф)=-0,0974
@,2387) @,0163) @,0160)
в качестве оценок МНП для рх, р2 и Рз) числа в скобках являются
средними квадратичными отклонениями большой выборки. Аналогично
оценка МНП для а2 может быть получена путем подстановки \ в F.13).
Анализ в рамках вышеизложенной схемы, при котором в функции
спроса на деньги используется переменная «ожидаемый доход» и
учитывается процесс регулирования денежного обращения, излагается
в работе Зарембки [144]. Кроме того, можно рассмотреть проблему
автокорреляции, если сделать допущение, что иа генерируется
авторегрессионным процессом первого порядка, иа = риа-\ + еа, где
по допущению га нормально и независимо распределены, каждое
с нулевым математическим ожиданием и общей дисперсией, равной
1 Полученные Р^ не инвариантны к изменениям единиц измерения, в то
время как Я, /-статистики и эластичности, являющиеся безразмерными
величинами, инвариантны.
at. В этом случае объединение принятых выше допущений с F.9)
дает
а} —P^i^P^l-pJ + fo^
При заданных значениях X нелинейные методы наименьших квадратов
могут быть привлечены для получения условных оценок рь р и а|,
которые, в свою очередь, могут быть использованы наряду с ассоци-
-80
_Ю|_ у** | -0.08 ± 0,31 | ^х
^ х/х \ /? + D, 1915-1963
-юо\-
-110
-4
-120
-130
-140
-150
I I
-0,90
-0,45
1,35
Рис. 6.1. Значения логарифма функции правдоподобия при заданном %
ируемыми с ними значениями % для вычисления значений логарифма
функции правдоподобия в целях нахождения его максимума путем
перебора, как это было описано выше.
Рассмотрев анализ модели F.1) с помощью МПН, который, как
уже указывалось, может рассматриваться как приближенный
байесовский анализ в условиях большой выборки, мы теперь перейдем к
байесовскому анализу модели, осуществленному Боксом и Коксом. Эти
авторы следующим образом строят расплывчатую априорную ФПВ
для параметров модели, т. е. k компонент вектора р, а и X. Пусть
р (Р, а, К) = Pi (p, а | X) р2 (к)
F.16)
184
есть совместная априорная ФПВ, где рг (Р, о\Х) является условной
априорной ФПВ для JJ и а при заданном Х9 а р2 (X) — маргинальной
априорной ФПВ для Я. Авторы полагают р2 (X) равномерной, т. е.
р2 (X) ~ const, pi (р, а\Х) указывают, что допущение независимости
этой ФПВ от X «может привести к получению бессмысленных
результатов». Это имеет место потому, что как общее число, так и область
существования преобразованных наблюдений у(Л> могут сильно зависеть
от X. Учитывая это, Бокс и Кокс записывают расплывчатую условную
ФПВ для р и log а как
g (*) d fad (log orx). F 17)
где нижний индекс X вводится для того, чтобы подчеркнуть, что
соответствующая величина является условной при заданном Л, и где g (X)
показывает зависимость рг (Р, сг | Я) от X. Используя аргументацию
приближенной совместности1, Бокс и Кокс полагают g (X) = /~*/п,
где J есть якобиан, представленный выражением F.3). Таким образом,
окончательное выражение для расплывчатой априорной ФПВ, которое
используют Бокс и Кокс, имеет вид
p<fi,o,X)~-L-. F.18)
oJ*/n
Объединяя F.18) с функцией правдоподобия F.4), мы получаем
следующую апостериорную ФПВ для параметров:
] F.19)
Заметим, что мы можем записать
>-Хр)- vs*(X) + №-&(&)]' X' X [p-p>)J, F.20)
1 Аргументация Бокса и Кокса заключается в следующем: выберем
произвольное опорное значение Я, скажем Xlf и сделаем временное допущение, что при
фиксированном Я зависимость между у?) и у ^ является практически линейной
в области существования наблюдений, т. е. (а) у^ = const + ^У^1^- Затем
выберем g(k) в F.17) так, что при условии выполнения линейной зависимости между
у^ и у*?1) условные априорные ФПВ для р и а совместны между собой при
различных значениях Я. Из допущения, сделанного выше, следует (б) log a? =
«a const + log ottl и, таким образом; в пределах этих допущений априорная ФПВ
для о$ является независимой от X. Кроме того, из (а) следует, что Р$ в уравнении
для yW линейно связаны с таковыми в уравнении дл,я у^1^ и d$^/dfi^ «Z^.
Поскольку общее число Р$ равняется к, мы принимаем g (Я) пропорциональной 1//?
Наконец; для того чтобы определить 1^; мы замечаем; что при переходе от Хг
к Я малый элемент объема n-мерного выборочного пространства домножается на
J (X)/J (Ях), где J есть якобиан, представленный F.3). Среднее изменение
масштаба единичного элемента у есть корень /i-й степени из этого отношения. Но
ввиду того что Ях есть всего лишь произвольное опорное значение, мы получаем
приближенно l% « [J (Я)]1/л. Таким образом, g (Я) - 1?* == [J (Я) ]""л/л и есть
окончательное выражение для g (Я), которое Бокс и Кокс пытаются использовать.
185
где v = п — k\
(Х'Х)Х'у^) F.21)
]. F.22)
Подставляя F.20) в F.19), мы получаем
РФ,°,
—р(Я)]'Х'Х[Э—p(X)}J . F.23)
Для получения маргинальной апостериорной ФПВ для Я F.23)
надо проинтегрировать по а. Получаем
р-р(Я)]}-«/2. F.24)
Интегрирование по р дает
F.25)
т. е. маргинальную апостериорную ФПВ для К. Эту 'ФПВ можно
проанализировать численными методами. Заметим также, что
logР(М У) = const +-j UogJ—1 logsa(\)l =
= const+-l Г(Ь-1) 2 log</a-y logs*(*)] , F.26)
L a=l J
и сопоставление с F.8) показывает, что мода этой ФПВ тождественна
оценке МНП.
Чтобы получить маргинальную ФПВ для отдельной компоненты
вектора Р, скажем рх, можно интегрировать F.24) по р2, рз ,..., Р^
с использованием свойств многомерной /-ФПВ Стьюдента. В
результате получается двумерная ФПВ для К и plf которая может быть
проанализирована численными методами. Наконец, из F.24) следует, что
условная ФПВ для р при заданном % является многомерной /-ФПВ
Стьюдента. Этот факт можно использовать для исследования вопроса,
насколько выводы относительно р* чувствительны к допущениям о Л.
6.2. ПРОИЗВОДСТВЕННАЯ ФУНКЦИЯ ПОСТОЯННОЙ
ЭЛАСТИЧНОСТИ ЗАМЕНЫ (ПЭЗ)
В своем пионерном исследовании Эрроу, Ченери, Минхас и Солоу
[8] проанализировали класс ПФ с постоянным параметром
эластичности замены, который мы обозначим через Щ, 0 ^ 8 < оо. Они
показали, что, если рассматриваются два вида затрат и8 = 1, ПФ
ПЭЗ обращается в ПФ Кобба—Дугласа (К — Д), при Щ = 0 —
в ПФ Леонтьева с фиксированными пропорциями затрат и при Щ =
= оо — в ПФ неограниченной заменимости факторов. Хотя пара-
186
метр Ш чаще всего оценивается с использованием необходимого
условия максимизации прибыли, здесь мы займемся непосредственным
оцениванием нелинейной функции с двумя видами затрат, следуя
работе Торнбера [136], а затем перейдем к рассмотрению
альтернативного подхода, который позволяет учитывать более двух видов затрат и
тесно связан с анализом преобразований Бокса — Кокса,
рассмотренным выше.
В ПФ ПЭЗ наблюдение за выпуском уа связано с затратами капитала
и труда, Ка и La, следующим образом:
Гр' + A—
e\ 06=1,2,..., я, F.27)
или
\ogt/a= log 7 +vlog[[8Kap +A-6) L^
+u*f F.28)
где 7, б, v и р = — 1 + MS являются параметрами,
удовлетворяющими условиям 0<y<°°» 0 < б < 1, — оо<у<оо и — 1 <
< р < оо . Далее, иа есть a-е возмущение. Мы принимаем
допущение, что иа нормально и независимо распределены, каждое с нулевым
математическим ожиданием и общей дисперсией, равной а2. Наконец,
мы сделаем допущение, что либо Ка и La суть неслучайные величины,
либо, если они случайные величины, то распределены независимо от
иа, причем распределения не зависят от параметров у> р, б, v и а.
В условиях этих допущений функция правдоподобия имеет вид
, v, б, р, а | у, К, L)
ехр{—
—в)]],
F.29)
где в^
X —
log
у;
+A-бI„-р I-1'"}
log ft'
У =
и G'u = (y—Хв)'(у — Х9).
Заметим, что матрица X размерности п х 2, в и u', u являются
функциями от параметров б и р.
Для того чтобы получить оценку МНП, мы переходим к логарифму
F.29), обозначаемому через L = log /, и максимизируем его по а и
9, получая в результате
02=—u'u и 8=Н
n
F.30)
187
в качестве максимизирующих значений. Вычисляя L при этих
значениях, мы получаем Lmax, который задается выражением
Lmax = const- -2- log (u' if), F.31)
где u'u, как это было показано выше, есть функция от р и б. Путем
поиска на решетке значений р и б1 мы можем получить такие
значения р и б, которые минимизируют u'u, если, конечно, таковые
существуют. Полученные значения будут оценками МНП. Затем
можно вычислить величины из выражения F.30), соответствующие
минимизирующим значениям р и б, и тем самым получить оценки
МНП айв. Торнбер показал, что математическое ожидание и
дисперсия оценивателя МНП %, параметра эластичности замены, не
существуют в условиях конечных выборок. Однако математическое
ожидание и дисперсия его асимптотического нормального
распределения при заданных у, v, б и а существуют. Математическое ожидание
этого асимптотического условного распределения есть $, в то время
как дисперсия представляется выражением
^\]Y9 F.32)
где
j, F.33)
причем р = A — $)/8. Этот результат может быть употреблен для
вычисления приближенного среднего квадратичного отклонения
большой выборки.
В дополнение к этим результатам, справедливым в условиях
большой выборки, Торнбер сообщает некоторые результаты экспериментов
Монте-Карло, которые были поставлены с тем, чтобы получить оценки
функций риска, ассоциированных с альтернативными оценивателями
<?, в том числе оценивателем МНП, линеаризованным оценивателем
МНП и двумя оценивателями, построенными с помощью критерия
минимизации ожидаемых потерь, причем переход к математическому
ожиданию осуществляется с использованием апостериорной ФПВ
для параметров. Торнбер пользовался следующей функцией потерь:
г /» &ч_ I® ®) F34)
х На практике удобна перепараметризация в терминах Я = 1/A -j- #)' =
= 0 + Р) Д2 + Р) или Р =г B^— 1)/A — Д поскольку 0 < % < 1, и, таким
образом, поиск по б и X ограничен единичным квадратом, как это было
предложено Торнбером.
188
т. е. функцией потерь, которая дает большие относительные потери при
недооценке по сравнению с таковыми при переоценке. Примененные
им в этих экспериментах две ФПВ представлены ниже:
первая априорная ФПВ: р±(у, v, а, б, &)~LjLzLJ. ;
уо
CD /1
вторая априорная ФПВ: р2 (у, v, а, б, Е) ~
уо
0,2
0,1
I I I I
/\
III I
о МНП
I
• Линеаризованный МНП
о MELO-1
л MELQ-Z
V ^?=z
^xS Ш—^
•
^—о
^-°
^—а
I
0,1 0,25 0,45 0,1 0,95 1,05 7,4
1,8
2,3
2,8
8
Рис. 6.2. Функции риска для выборки из 10 наблюдений. Функции
риска оценивались при Ц$$ #) = ($--|>O[A+ #J0+|? J]
причем 0 < а, у, v<Z оо,0^б^1и^^
гинальные априорные ФПВ для Ш имеют вид
^ и /,(«0=-
. Нормированные
марМода первой из этих ФПВ, fx (Щу есть 9 — 1, мода второй ФПВ, /2 ($),
есть приблизительно 9 == 2,12.
На рис. 6.2 и 6.3 представлены результаты экспериментов Торн-
бера для двух выборок объемом 10 и 20 наблюдений. Точки,
обозначенные как MELO-1 и MELO-2, являются результатами для байесовских
оценивателей минимума ожидаемых потерь, полученных с помощью
первой и второй априорных ФПВ соответственно. Очевидно, что
проведение процедуры минимизации ожидаемых потерь для построения
оценивателей, включающих априорную информацию, ведет к
существенному снижению риска почти по всему пространству параметров.
Только в области низких значений 9 риск, связанный с оценивателями
МНП, меньше, чем риск, связанный с оценивателями минимума
ожидаемых потерь.
Касаясь полученных Торнбером результатов, следует
подчеркнуть, что употреблялся частотный критерий, с которым отнюдь не
все согласны. Многие исследователи считают, что оценка,
минимизирующая ожидаемые потери при заданной выборочной информации,
189
является оптимальной в свете гипотезы ожидаемой полезности, а
частотная аргументация представляется здесь излишней.
Мы рассмотрим теперь альтернативный подход к анализу ПФ
ПЭЗ, который обнаруживает интересную связь с анализом
преобразований Бокса — Кокса. Сначала мы рассмотрим детерминированную
форму ПФ ПЭЗ с двумя видами затрат, х\а и хга, и постоянной отдачей
от масштаба, а именно
Va = y [6,*f« + A - Sx) 4aV", a = lK 2, ..., n, F.35)
где Va обозначает систематическую часть выпуска, а g = — р =
= (S — 1)/#, где % есть параметр эластичности замены. Возводя обе
0,1 0,25 0,45 0,7 0,95 1,05 1,4 1,8
2,3
2,8
Рис. 6.3. Функции риска для /г=20
части F.35) в степень g и производя перегруппировку членов, мы
получаем
v?W2«i+/e1[xV2-4S)] +Y(e)(i+g4ec0, F.36)
где V<f я (Vi- l)/g; у<ю = (у- l)lg и *}« = (xfa- l)/g, i = 1,2.
Допустим теперь, что наблюденные выпуски уа удовлетворяют
PW a = l,2,...,/i, F.37)
где
или
где
Уа =
(в)
l
F.38)
= 1. 2,.... л,
ир2 = у№, F.39)
причем ф есть свободный параметр1. Заметим, что в F.38) мы не
записываем у(а} = (yi — l)/g в качестве зависимой переменной, поскольку
1 Уравнение F.38) получено путем применения степенного преобразования
к обеим частям и представляет собой поэтому пример, относящийся к обсуждению
в 8-м параграфе работы Бокса и Кокса [17]. Ниже следует приложение
разработанной этими авторами процедуры для анализа нашего случая.
190
не представляется обоснованным допущение, что степенное
преобразование с параметром g = (<$ — !)/<§ приведет к нормальности
распределения возмущений и стабилизации их дисперсий. Вместо этого
мы вводим новый параметр Я = q>g и используем его для степенного
преобразования зависимой переменной. Если g = 0, то F.38)
обращается в ПФ К — Д. Если Я = 1 и g = 1, мы получаем зависимость,
линейную относительно переменных. Кроме того, если Я = 0 и g = 1,
мы получаем полулогарифмическую зависимость. Очевидно, что
введение нового параметра Я расширяет область возможных форм
рассматриваемой нами функциональной зависимости.
Полагая w = у<*> - х</>, X = (х<*>)- х<*> ... + gx<*>, р' = (plf p2)
и принимая допущение, что иа в F.38) нормально и независимо
распределены, каждое с нулевым математическим ожиданием и общей
дисперсией а2 мы получаем функцию правдоподобия вида
/(Р, ?, К о\у) ~-^- ехр[- ^L. (w-Xp)' (w-XP)] ~
F.40)
где / = П i/a есть якобиан преобразования иа в уа\
a=l
? = (Х X)-xX'w F.41)
и
3* = ± (w-Xp)' (w-XP). F.42)
л
Следует подчеркнуть, что величины р и а2 являются функциями от
Я и g. Кроме того, р и а2 суть значения, соответствующие максимуму
функции правдоподобия при заданных Я и g. Логарифмируя F.40)
и подставляя F.41) и F.42) вместо р и or2 соответственно, мы получаем
оёУа—1 log a2, F.43)
Теперь, используя ЭВМ, можно организовать процедуру перебора на
решетке значений g и Я, связанных с Lmax (g, Я). С помощью этой
процедуры мы найдем пару значений g и Я, соответствующую максимуму
Lmax (g, Я), если, конечно, такая пара существует. Эта пара значений,
скажем g и Я, а также соответствующие им значения р" и а2 являются
оценками МНП. Далее из F.39) при условии, что мы располагаем
оценками g, Я, рх и р2, нетрудно получить оценки у> 8г и ф.
Если мы имеем дело с более чем двумя видами затрат и допускаем
возможность непостоянства отдачи от масштаба, для получения
оценок МНП может быть использован аналогичный подход. Здесь мы имеем
дело с х±, х2у ..., хк видами затрат, всего k переменных (мы отбрасыва-
191
ем индекс а, обозначающий номер наблюдения, в целях удобства
нотации), и вместо F.35) ПФ принимает вид
V=y[bxl +62 xl + ... +6^4-1 +(l-61b2-...-8k_1)xgk]v/g,{6A4)
где V опять-таки есть систематическая часть выпуска, g = — р =
= (Ш — 1)/<8; у и 8t являются параметрами и v — параметр отдачи
от масштаба. Возводя в степень g/v обе части F.44) и
перегруппировывая члены, мы получаем
vg/v = yg/v [ьщ
+ ...+6*.iD-i-4) +4]. F.45)
Дальнейшие преобразования приводят F.45) к виду
g)). F.46)
В F.46) р^ определяется следующим образом:
р. = t,6i7*/<\ i = 1, 2, ..., к — 1, и рЛ = 7г/г. F.47)
Как и выше, мы не видим причин, в силу которых степенное
преобразование с помощью параметров g и v могло бы обеспечить нормальность
и стабилизировать дисперсию. Вместо этого мы примем в качестве
допущения, что наблюденный выпуск связан с V зависимостью
F.48)
где и есть возмущение, а Я = <р glv, причем <р — свободный параметр.
Тогда в матричной форме модель наблюдений может быть представлена
в виде
w = Хр + и, F.49)
где w = у<*>; Р' = (v, рь р2, ..., pfe); u' = (щ, и2, ..., ип) и
причем i есть /г-мерный вектор-столбец, все компоненты которого
равны единице. Так же как и выше, мы можем построить функцию
правдоподобия
1Ф, К g, v, а\у) ~-?гехр [__L-(w-Xp)'(w-Xp)] , F.50)
где J есть сомножитель-якобиан. Далее мы максимизируем эту
функцию двушаговой процедурой Бокса — Кокса. Для любых значений
% и g условные максимизирующие значения р и а2 имеют вид
р^Х'Х^Х'у**) F.51)
и
<92 = — (у(М—хр)' (у(М_хр). F.52)
п
192
Подставляя эти величины в выражение для логарифма функции
правдоподобия, мы получаем
(К g) « Const + {X-l) ^ l<>g#a- -J- log o\ F.53)
a=l
т. е. функцию, зависящую только от параметров % и g. С помощью
ЭВМ можно вычислить значения F.53) для разных сочетаний % и g в
некоторой области и найти пару значений этих параметров, которые
соответствуют ее максимуму. Затем могут быть исследованы свойства
полученной поверхности. Если дано, что значения к и g соответствуют
максимуму F.53), р и а2, соответствующие этим значениям % и g,
являются оценками МНП р и а2. Поскольку первая компонента
вектора Р определена как vy мы тем самым получаем v, т. е. оценку v. Далее,
возвращаясь к F.47), мы можем определить оценки МНП у и 8г. Как
обычно, при оценивании МНП можно получить средние квадратичные
отклонения большой выборки из матрицы, обратной к оценке
информационной матрицы1.
Эти результаты МНП будут полезны в случае, если мы располагаем
адекватным числом наблюдений, обнаруживающих достаточную
вариацию для того, чтобы измерить свойства сильно нелинейной ПФ
ПЭЗ. Если же исследователь располагает только малой выборкой,
обнаруживающей сравнительно слабую вариацию, то сделать точные
выводы с помощью этих методов, разработанных применительно к
условиям большой выборки, будет, разумеется, затруднительно.
6.3. ОБОБЩЕННЫЕ ПРОИЗВОДСТВЕННЫЕ ФУНКЦИИ 2
Обобщенные производственные функции (ОПФ) представляют
собой другой широкий класс функций, которые обычно нелинейны
как относительно параметров, так и относительно переменных. Эти
функции введены для того, чтобы обеспечить возможность обобщения
в двух [направлениях. Мы хотим иметь ПФ с некоторой эластичностью
замены^ свойства которой заранее определены исследователем: она
может быть, например, постоянной, но неизвестной, или переменной,
являющейся функцией от капиталовооруженности. Кроме того, мы
хотим, чтобы наша ПФ обладала отдачей от масштаба, которая
изменялась бы в зависимости от уровня выпуска в соответствии с заранее
заданной исследователем функцией. Зельнер и Реванкар [158]
разработали метод, кратко излагаемый ниже, который позволяет строить ПФ,
удовлетворяющие обоим требованиям. Затем мы перейдем к задаче
оценивания параметров некоторой конкретной ОПФ.
В детерминированных терминах мы рассматриваем следующее
дифференциальное уравнение:
* - Va{V) F.54)
df /«/ *
1 См., например, [71, с. 51].
2 Этот параграф построен на результатах, представленных в [158].
7 зак. 1964 193
решение которого есть
V = g (/), F.55)
где а (V) является функцией отдачи от масштаба, зависящей от уровня
выпуска V; f = f (К, L) есть форма неоклассической ПФ и af есть
параметр отдачи от масштаба, связанный с /. Функция а (V) выбирается
так, чтобы обеспечить выполнение неравенства dV/df > 0 при всех
А 0 < / < оо . Таким образом, F.55) есть монотонное
преобразование А обладающее тем свойством, что изокванты g (/) будут иметь ту
же форму, что и изокванты /. Вследствие этого параметр эластичности
замены, постоянный или переменный, связанный с V = g (/), будет
тем же самым1, что и параметр замены, связанный с функцией /.
Чтобы показать анализ конкретной ОПФ, выберем а (V),
напри2
мер, в следующем виде2:
_2_ F.56)
1 + QV9
где а и 9 — параметры. Если 0 = 0, то отдача от масштаба не зависит
от V. С другой стороны, если 0 > 0, то отдача от масштаба ниже
а (а > 0) при У-vO и стремится к нулю при V ~* оо . Подставляя
а (V) из F.56) в F.54), получаем следующее дифференциальное урав»
нение:
dV _ V а F5?)
df /- a(l+W) ' '
решение которого есть VeQV = Cf*/af, где С—произвольная
постоянная интегрирования. Если мы положим f = ALaf{l'~6)Kaf6, то получим
F.58)
в качестве нашей ОПФ, где у = С А. Логарифмируя обе части F.58)
и добавляя возмущение, мы получаем3
logy, + QVt = Рх + Р2 log Ki + рз log L% + ии F.59)
где индекс i обозначает номер наблюдения, / = 1, 2, ..., п; рх =
= log?; p2 = <*(!-б); р8 = аб.«
Делая допущение, что щ нормально и независимо распределены,
каждое с нулевым математическим ожиданием и общей дисперсией,
равной а2, мы можем построить функцию правдоподобия вида4
I (Р, 0, а | data) ~ -? exp [--±- (*e-XP)' (ze-XP)] , -F.60)
1 Полное доказательство см. в [158].
2 Другие примеры приводятся в [158].
3 Заметим, что , в то время как Р2 и Рз являются безразмерными величинами,
Pi и 0 имеют размерность и их значения зависят от единиц измерения.
4 Мы принимаем либо допущение, что Ki и Li неслучайны, либо, что если
они случайны, то распределены независимо от возмущений, а их ФПВ не
содержат параметров F.59). См. [158, с. 246] и [156], где проводится подробное
обсуждение этих допущений.
194
где ze есть л-мерный вектор-столбец, типовая компонента которого
имеет вид log Vt + QVt\ Р' = (Plf р2, рз); X есть матрица размерности
п X 3, типовой столбец которой задается как A, log Kt, log Lt),
2l J обозначает якобиан преобразования, переводящего п величин
Ш в п величин Vt и заданного F.59). В явном виде этот якобиан
записывается как
Сначала мы покажем, как в данном случае может быть приложен для
получения оценок МНП подход Бокса — Кокса. Для этого мы
подставим F.61) в F.60) и прологарифмируем обе части:
L = const—- logo2+2 log(l +Wi)—
—J_(Ze-XP)'(ze-XP), F.62)
2<J2
где L обозначает логарифм функции правдоподобия, log L
Максимизация по а2 дает
a* = J-(ze-Xp)'(ze-Xp) F.63)
/i
в качестве условного максимизирующего значения а2 при заданных
0 и р. Подстановка а2 = а2 в F.62) дает
Li = const—| log(ze-Xp)'(ze-Xp) + 2 log(l -\-Wt). F.64)
Форма F.64) с очевидностью показывает, что при любом заданном
8 достигается максимум Ll9 если минимизируется (ze *— XP)' (ze —
— ХР) по компонентам р. Минимизирующее значение р при заданном
9 представляет собой просто
Pe = (X'X)-iX'z0, (б!б5)
и после подстановки этого значения в F.64) мы имеем
F.66)
где
^2_ (ze-xP8Lze-xP8) t F.67)
V
причем в данной задаче v = п — 3. Теперь мы можем вычислить
последние два члена в правой части F.66) при различных значениях
Э, для того чтобы получить его значение, соответствующее максимуму
7* 195
La1. Обозначим это значение через "в. Полученное значение можно
подставить в F.66) и получить оценку МНП р, обозначаемую через
?<§-. Затем мы можем в F.63) положить р = р^ и zq = z<$ и вычислить
оценку МНП а2. Средние квадратичные отклонения большой выборки,
соответствующие этим оценкам МНП параметров, могут быть
получены из матрицы, обратной к оценке информационной матрицы.
Параметры, связанные с F.59), были оценены с помощью подхода,
в основе которого лежат МНП и перекрестные наблюдения в
промышленности транспортного машиностроения США за 1957 г. (годовые
данныеJ. В этом примере оценка МНП 0, основанная на выборке
п = 2, составила 0,134, ее среднее квадратичное отклонение большой
выборки равнялось 0,0638. Затем при 0 = 0,134 и а == 1,493
вычислили значения функции отдачи от масштаба F.56) при заданных
значениях V. Было установлено, что отдача от масштаба колебалась от
верхнего значения 1,45 до нижнего 0,76 в области значений F,
содержавшихся в выборочных данных.
Для того чтобы осуществить байесовский анализ модели F.59),
нам требуется априорная ФПВ для параметров. Мы сделаем
допущение, что при заданном 0 априорная ФПВ для рь р2, а и а задается
следующими выражениями4:
( О<0, а<оо,
Р (Pi, Р2, а, о 10) ~ g @) Pl (р21 ос) рг (а) р3 (а) 0 < р2 < а, F.68а)
10<а<оо,
причем
)J~3'n; F.686/
/?2 (а) ~ const F.68г)
Рз(а) L. F.68д)
а
1 Заметим, что это можно сделать, построив регрессию z0 по X для
некоторых выбранных значений 0 и получив sq. Затем вычисляются два последних члена
правой стороны F.65). Условные регрессии zQ по X часто представляют интерес,
поскольку они показывают, насколько результаты чувствительны к допущениям
относительно значений 9.
2 Более полное обсуждение этих данных, равно как и результатов
оценивания с помощью МНП, см. в [158].
3 В [158] представлены следующие результаты оценивания:
Рх = 3,0129, р2 = 0,3330, р8 я 1Л551
@,3854) @,1023) @,1564)
(в скобках даны средние квадратичные отклонения большой выборки).
Поскольку а = р2+ Рз> оценка МНП а есть а = f?2+ j?8.
4 Поскольку Р2+ Р3 = а, мы считаем удобным первоначально
параметризовать априогзную ФПВ в терминах р2 и а, вместо того, чтобы сделать это в
терминах р2 и р3. Заметим, что F.59) может быть записано как log V% + 0Vj =
= Pi -f P2 bg Killi + a log Li + ut.
196
В F.686) мы следуем аргументации Бокса и Кокса, представленной
выше в связи с F.16) и F.17) для того, чтобы получить множитель
пропорциональности, g F), в условной априорной ФПВ F.68). Априорная
ФПВ для р2 при заданном а, представленная F.68в), есть бета-ФПВ
с параметрами qx и q2J в то время как F.68г) и F.68д) представляют
собой расплывчатые априорные допущения относительно а и а1.
Маргинальную априорную ФПВ для 0, обозначенную через р4 (б)> еде
предстоит специфицировать. В условиях использования методов численного
интегрирования р4 (9) может быть придана любая подходящая из
многообразных форм, которыми располагает исследователь для
представления имеющейся у него информации о Э.
В настоящем приложении мы делаем допущение, что наша
априорная информация о параметрах является довольно неясной. В F.68в)
мы полагаем qx = q2 = 1, а р4 (9)> маргинальную априорную ФПВ
для Э, выбираем равномерной. Таким образом, априорная ФПВ для
параметров, используемая при вычислениях, имеет вид
/4Pi> 02,^,9)-^, F.69)
где J задан F.61). В данном примере мы можем преобразовать F.69)
и получить2
р(Рх, 02,03,^6)--^. F,70)
Объединяя F.70) с функцией правдоподобия F.60), мы получаем
следующую апостериорную ФПВ для параметров:
Ил— 3)/л Г 1 1
рф, a, e|data)~i-^-exp I _--1--Bе-Хр)'Bе-ХР) I ~
^ exp j—J^ [vsg +ф-Ы' X' X(Р-ре)]} . F.71)
где v = п — 3 и Ре и s| представлены соответственно в F.65) и F.66).
Из второй строки F.71) с очевидностью следует, что условная
апостериорная ФПВ для р при заданных 0 и or является многомерной
нормальной ФПВ3 с условным математическим ожиданием Ре и
ковариационной матрицей (Х'Х) а2.
1 В качестве альтернативы можно принять при анализе априорную
обратную гамма-ФПВ для а и оставить себе достаточно свободы при выборе
априорных ФПВ для а, если анализ апостериорных ФПВ осуществляется с помощью
методов численного интегрирования.
2 Якобиан преобразования из переменных. F.69) в переменные F.70)
равен 1, поскольку а = р2 + Рз-
9 Поскольку из экономической теории, лежащей в основе задачи, следует,
что Р2> Рз > 0, это распределение является усеченным нормальным
распределением. В настоящем анализе мы не будем пользоваться априорной информацией
относящейся к неотрицательности Р2 и Р3, и определим область их существо
вания от — оо до + оо. Ниже будет показано; что для использованных
выборочных данных усечение распределения не играет роли. Если бы оно было
проведено, то для получения маргинальных апостериорных ФПВ потребовалось бы
трехмерное численное интегрирование.
197
.Маргинальные апостериорные ФПВ для параметров могут быть
получены следующим образом.
Если в центре интересов исследователя лежат а и 0, то можно
проинтегрировать F.71) по р и получить двумерную апостериорную ФПВ
для 0 и а:
ьjv/n / vsl \
р (а, 0 | выборочные данные) ~ ехр • F.72)
ФПВ F.72) может быть проанализирована численными методами
с целью получения маргинальных апостериорных ФПВ для а и 0.
С другой стороны, маргинальная апостериорная ФПВ для 0 может
быть получена путем аналитического интегрирования F.72) по а, что
дает
jv/n
р@| выборочные данные) ~—- . F.73)
Одномерные методы численного интегрирования могут быть
использованы для получения нормирующей постоянной и для анализа
других свойств1 этой маргинальной ФПВ. Поскольку, как указывалось
выше, 0 имеет размерность, обратную выпуску (см. F.59)), следует
отдавать себе отчет в том, что как оценка МНП 0, так и ФПВ F.73)
подвержены влияниям изменения единиц измерения выпуска. Точно
так же, как отношение оценки МНП к ее среднему квадратичному
отклонению свободно от влияния единиц измерения, математическое
ожидание 0, деленное на среднее квадратичное отклонение, т. е.
коэффициент вариации, не зависит от единиц измерения. С другой стороны,
при заданном выпуске, скажем Vu величина 01^ является
безразмерной, и ее апостериорная ФПВ может быть получена из F.73) путем
простой замены переменной 0 на х\г = VtQ. Апостериорная ФПВ для
v)i = QVi представляет интерес потому, что, как явствует из F.59),
она представляет собой в точности тот член, который отражает отход
от ПФ К -* Д.
В целях получения маргинальных ФПВ для одной из компонент
Р, скажем рх, проинтегрируем F.71) аналитически по а, р2 и Рз- Ре~
зультатом является двумерная апостериорная ФПВ для рх и 0. Потом
можно воспользоваться методами двумерного интегрирования, чтобы
получить маргинальную апостериорную ФПВ для р1# Аналогичные
операции дают маргинальные апостериорные ФПВ для р2 и р3.
Апостериорная ФПВ для а = р2 + р3 получается путем
аналитического интегрирования F.71) по рх и а. Результатом является ФПВ
для р2, Рз и 0. При заданном 0 эта ФПВ имеет вид ФПВ двумерного
^-распределения Стьюдента. Затем производится замена переменных,
т. е. переход ка = ра+РзиРз»и интегрирование по р 3. Эта операция
х Интересно заметить, что мода F.73) равна в = §7 оценке МНП, т. е.
log р (Э | выборочные данные) = const + (v/n) (log J — n/2 log sq) = const -f-
П 2
4~ (v/n) [ 2 log A -f~ GVj) — n/2 log sq]. Величина в квадратных скобках в точ-
ности тождественна последним двум членам правой части (Q.66), и, таким
образом, мода апостериорной ФПВ в точности равна оценке МНП.
198
О 0,10 0,20 0,30 0,40 0,50 0,60
Рис. 6.4. Маргинальная апостериорная ФПВ для 8,
построенная с помощью F.73)
I i i i | i i i i i i i i i i i
Mil I I I L
О 0,2 0,4 Л 0,6 0,8 1,0
II I I | I I I I | I I ! I | I I I I
0,6 0,8 1,0 „ 1,2 1,4 1,6
Рис. 6.5. Маргинальные апостериорные ФПВ для ffr2 и
199
дает совместную апостериорную ФПВ для 9 и а. Методы двумерного
численного интегрирования могут применяться с целью построения
маргинальной апостериорной ФПВ для а.
Вышеизложенные операции были использованы в приложении
к перекрестным данным промышленной переписи США, относящимся
к отрасли транспортного машиностроения. Данные приводятся в
работе Зельнера и Реванкара [158]. Для п = 25 штатов употреблялись
данные о добавленной стоимости, затратах труда и затратах капитала,
все данные исчислены на базе обследования каждого предприятия. На
рис. 6.4 представлена апостериорная ФПВ для 0. Очевидно, что
основная часть плотности вероятностей этой ФПВ сосредоточена в
области положительных значений 0, что предполагает изменение отдачи
от масштаба с изменениями уровня выпуска. На рис. 6.5 представлены
маргинальные апостериорные ФПВ для р2 и рз. Видно, что
апостериорные ФПВ имеют моды, близкие к оценкам МНП, при условии,
что в нашем анализе использованы относительно расплывчатые
априорные ФПВ. Хотя мы и имеем подобный случай, однако следует
отметить, что в этом случае апостериорные ФПВ отличаются от нормальной,
и это указывает на невыполнение условий «большой выборки» при
п » 251.
ВОПРОСЫ И УПРАЖНЕНИЯ
I. Рассмотрите простую регрессионную модель у% = р0 + Р#* +
+ ft,, i = 1,2, ..., Пу и, кроме того, щ = М (yt \ хи Ро, Р) == Ро + Р*|.
После того как выдвинуто достаточно допущений для получения
апостериорной ФПВ для ро и р, постройте апостериорную ФПВ для 0if
эластичности r\t от хи а именно
в
**
если задано, что х% Ф 0.
2. Если вид апостериорной ФПВ для р0 и р соответствует
двумерному ^-распределению Стьюдента, то будет ли существовать
апостериорное математическое ожидание 0t в упражнении 1? В условиях, когда
вероятность неположительности знаменателя 0* с возрастанием п
становится очень малой, дайте обоснование аппроксимации М (Qt) =
л >ч л уч — уч— л П —
«= *»р/(Ро + *iP) при больших п, где р0 =»У — Р* и р= 2 (yt — у) X
X (xt—~x)/i (xt—xJ.
3. Пусть наблюдение уг удовлетворяет
У% = / (хи °0 + 8ь i = Ь 2> —• п,
1 Это имеет своим следствием то, что свойства «большой выборки» для
средних квадратичных отклонений, основанные на матрице, обратной к оценке
информационной матрицы, равно как и свойства доверительных интервалов теорий
выборочных исследований в условиях большой выборки, могут для данной
модели при|п as 25 не выполняться.
200
причем сделаны допущений, что е* нормально и независимо
распределены, каждая с нулевым математическим ожиданием и дисперсией,
равной а2, и / (хи а) есть непрерывная, дважды дифференцируемая
функция от независимой переменной хх и скалярного параметра а.
Пусть мы разложили / (хи а) в ряд Тейлора в окрестности а (т. е.
оценки МНП а), сохранили только линейные члены и записали
|а-а
Попытайтесь объяснить, как линейная байесовская теория может быть
приложена для анализа этого линеаризованного уравнения.
Прокомментируйте вид, математическое ожидание и дисперсию апостериорной
ФПВ для ос, если задана расплывчатая априорная ФПВ для а и а.
4. В упражнении 3 была введена аппроксимация для нелинейного
уравнения. Прокомментируйте качество аппроксимации с
возрастанием п и увеличением островершинности функции правдоподобия.
В частности, рассмотрите поведение члена второго порядка ряда
Тейлора при возрастании п. В случае малых п можно ли пользоваться
этой аппроксимацией для / (*,, а) вместе с информативной априорной
ФПВ для а?
5. Сделайте обобщение соображений из упражнений 3 и 4 для
случая, в котором а представляет не скалярный параметр, а вектор
параметров.
6. Пусть дана зависимость logyt = рх + р2^ + и,, f = 1,2,.... л,
причем щ нормально и независимо распределены, каждое с нулевым
математическим ожиданием и дисперсией, равной а2, а хг1 являются
заданными значениями независимой переменной. Выведите выражения
для математического ожидания и медианы ФПВ для уг при заданных
*гь Pi> Рг и 0 и объясните, как получить апостериорные ФПВ этих
двух мер центральной тенденции ФПВ для уг.
7. Пусть дана дискретная случайная переменная уи которая
принимает значение 1 с вероятностью рг и значение 0 с вероятностью
1 — pit Допустим также, что в п независимых испытаниях мы
наблюдали пг раз 1 и п — щ раз 0, тогда функция правдоподобия задается
выражением
Н П Pi П A-Я*).
Далее предположим, что Pt удовлетворяет Pt = 1 _ а^****,
i = 1, 2, ..., я, где а3 и а2 являются параметрами, а хг есть
неотрицательное значение, задаваемое наблюдаемой «стимулирующей» перемен
ной. (а) Обсудите свойства введенной выше функции,*построив
геометрическое место ph i = 1, 2, ..., п\ (б) объясните, как^может быть при-
ложен метод поиска, реализованный на ЭВМ, для?получения оценок
МНП <хг и а2; (в) построите априорную ФПВ для аг и а2 и укажите
каким образом можно применить методы двумерного численного
интегрирования для получения апостериорных выводов.
201
8. Пусть в упражнении 7 принята следующая альтернатива:
в качестве вида функциональной зависимости для pi9 i — 1, 2, ..., га,
выбрана логистическая зависимость Pi = A + е""^1""^2^)-1, / == l,
2; ..., га, где zt есть заданная наблюдаемая переменная,
существующая в области от — оо до + оо . (а) Исследуйте математические
свойства логистической функции, в частности зависимость формы
ее кривой от знака р2; б) представьте процедуру вычисления оценок
МНП рх и р2 при заданной информации выборки; (в) предложите
некоторое конкретное приложение и применительно к нему, используя
вышеозначенную модель, сформулируйте априорные ФПВ для рх и ра
и укажите, как должен вестись байесовский анализ.
9. Проделайте упражнение 8 в условиях допущения, что
V1+Y2Z;
V2n J
где Yi и Va — параметры, значения которых неизвестны. (В пункте (а)
исследуйте зависимость формы кривой функции нормального
распределения, представленной выше, от символа у2.)
10. Рассмотрите следующую зависимость Энгеля:
= axf + е^, i = 1, 2,
пу
где t/i есть расход; х% — доход; аир — параметры, значения которых
неизвестны; ъг — возмущение, а индекс i обозначает, что переменные
относятся к t-му домашнему хозяйству. Сделайте допущения, что xt
являются независимыми переменными, гг распределены нормально и
независимо, каждое с нулевым математическим ожиданием и
дисперсией а2, значение которой неизвестно. Постройте удобный алгоритм для
вычисления оценок МНП о^ р и а2*
11. Пусть в условиях упражнения 10 задана априорная ФПВ для
а, Р и а, скажем р (а, р, or) ~ рх (а, Р)/а, причем 0 < or < оо ,
а рг (а, Р) есть априорная ФПВ для аир. Затем объясните, как
вычислить апостериорное математическое ожидание и дисперсию axf, если
задано, что хг = хо> где х0 — известное значение.
12. Пусть в упражнении 11 сделано допущение, что рх (a, p) ~
~ const. Чему равны моды аир совместной апостериорной ФПВ для
аир? Прокомментируйте допущение рх (а, Р) ~ const и предложите
альтернативу, более согласную с прежним опытом анализа кривой
Энгеля.
13. Пусть yt = p (xl — xt) + sh где xt = azu i = 1, 2, ..., /г,
что предполагает yt = p (azt — xt) + еь причем zt и xt являются
заданными независимыми переменными, аир — неизвестными
параметрами, аб; — случайными возмущениями. Последние, по допуще*
юно, нормально и независимо распределены, каждое с нулевым
математическим ожиданием и неизвестной общей дисперсией, равной в2.
Получите оценки МНП а и р и прокомментируйте выборочные свойств
202
ва оценивателя МНП а. В частности, существует ли его математическое
ожидание? Вычислите информационную матрицу Фишера для
параметров а, § и о12 и прокомментируйте ее свойства.
14. Задано, что а = а0; получите в условиях упражнения 13
апостериорную ФПВ для р с использованием следующей априорной ФПВ:
р (Р, а) ~ р^ (P)/tf, где 0 < or < оо, а рг (Р) есть собственная
априорная ФПВ для р. К чему стремится математическое ожидание
апостериорной ФПВ для р при возрастании /г, если задано, что а = а0, и
дана информация выборки?
15. Объясните, как модель из упражнения 13 может быть
проанализирована с помощью следующей информативной априорной ФПВ:
р (а, р, а) = /?! (а) р2 ф) р3 (а), где рх (а) и р2 (р) суть бета-ФПВ,
а р3 (сг) — обратная гамма-ФПВ.
Глава 7 фМОДЕЛИ ВРЕМЕННЫХ РЯДОВ:
НЕСКОЛЬКО ИЗБРАННЫХ ПРИМЕРОВ
Большинство, если не все, случаев экономического анализа
связано с данными в виде временных рядов1. Это вызывает потребность
в хороших методах анализа моделей временных рядов. В этой главе мы
обратимся к анализу избранных моделей временных рядов для того,
чтобы продемонстрировать, как байесовский подход может быть
приложен к анализу данных, представленных в виде временных рядов.
Читатель сможет убедиться, что, если задана функция правдоподобия и
если мы располагаем априорной ФПВ, общие принципы байесовского
анализа, изложенные во 2-й главе, могут быть приложены без каких-
либо специальных модификаций. Это весьма ценный результат, ибо
он означает, что наши общие принципы так же приложимы к задачам,
связанным с временными рядами, как и к другим задачам.
7.1. НОРМАЛЬНЫЙ АВТОРЕГРЕССИОННЫЙ ПРОЦЕСС
ПЕРВОГО ПОРЯДКА
Мы делаем допущение, что модель, генерирующая наши
наблюдения, у' = (уг, у2, ..., ут), имеет вид2
Уг = Pi + Р2 У«-1 + ии t= 1, 2, ..., 7\ G.1)
где рх и р2 являются неизвестными параметрами, а щ — возмущением.
Мы принимаем допущение, что щ нормально и независимо
распределены, каждое с нулевым математическим ожиданием и общей
дисперсией, равной а2. Что касается начальных условий, то мы сначала
произведем условный анализ при заданном у0 — наблюдении для момента
времени t = О3. При этих допущениях функция правдоподобия имеет
вид
^[^] G.2)
причем суммирование производится от t = 1 до t = 7\
1 Часто проводимое различие между временными рядами и перекрестными
данными не противоречит нашему утверждению, поскольку перекрестные
данные являются на самом деле не чем иным, как наблюдениями за переменными
временных рядов, относящимися к разным объектам в срезе, сделанном в
некоторый момент времени. Неучет временной природы перекрестных данных может
иногда привести к серьезным ошибкам при их анализе.
2 Здесь индекс 4 обозначает, что значение переменной относится к f-му
моменту времени.
8 См. обсуждение начальных условий, представленных в связи с проблемой
автокорреляции в регрессионном анализе, в 4-й главе, где рассматриваются
другие возможные допущения.
204
Относительно априорной ФПВ для параметров мы примем
допущение, что наша информация является расплывчатой, и представим
это обычным способом, а именно
Р(РьР2,ог)~-±-, G.3)
где — оо < рх < оо , —оо <р2<оо и 0<ог<оо. Заметим,
что мы не ограничиваем область существования 02 интервалом от — 1
до + 1, и, таким образом, наш анализ приложим как к взрывному,
так и к невзрывному случаям1. На самом деле наша апостериорная
ФПВ для р2 отразит то, что может сообщить информация выборки о
характере процесса, т. е. является ли он взрывным или нет.
Объединяя G.2) и G.3), получаем апостериорную ФПВ для
параметров, которая имеет вид
[^ ] G.4)
где Р' = (plf p2). Вид этой апостериорной ФПВ в точности
соответствует ее виду, полученному при анализе простой нормальной
регрессионной модели в параграфе 3.1. В целях получения маргинальной
апостериорной ФПВ для вектора Р мы интегрируем G.4)по or, получая
)' H(P-P)r(v+2)/2, G.5)
где v = Т — 2;
(/ 1У[Л G.6)
2yt-iy
и vs2 = 2 (yt — р! — Р2^-зJ. Из G.5) очевидно, что совместная
апостериорная ФПВ для Pi и р2 имеет вид, соответствующий
двумерному ^-распределению Стьюдента, математическое ожидание этой
ФПВ задается G.7) и соответствует оценивателю метода наименьших
квадратов. Это дает простую возможность получения выводов о рх и
Р2. В частности, маргинальные апостериорные ФПВ для р2 и р2
являются одномерными /-ФПВ Стьюдента. В явном виде величины
Pi—Pi и fc—-Рг
будут распределены по /-распределению Стьюдента с v = Т — 2
степенями свободы. Затем, интегрируя G.4) по р, получаем маргинальную
1 Разумеется, если мы располагаем информацией о невзрывном характере
процесса и хотим ее использовать, можно изменить'априорную ФПВ G.3), для
того чтобы включить в нее эту информацию. См. пример, приводимый ниже.
205
ФПВ для or, имеющую вид
^(^) G.8)
причем v = T—2 и vs2 = I>(yt — $г — p2f/*-iJ.
Как указывалось выше, эти результаты для нормального
авторегрессионного процесса первого порядка соответствуют таковым для
простой нормальной регрессионной модели. Кроме того, прогнозная
ФПВ для следующего будущего наблюдения ут+\ является
одномерной /-ФПВ Стьюдента с математическим ожиданием рх + Р2#г,
которое зависит только от заданных значений выборки.
Если мы получаем дополнительную информацию об
авторегрессионном процессе G.1) и хотим включить ее в анализ, то это осуществить
нетрудно; например, мы можем сделать допущение, что процесс
является стационарным при | р21 < !• Тогда первоначальное
наблюдение, уОу задается выражением1
или
2"-'- G-9)
трг2
Из G.9) следует, что величина у0 нормально распределена с
математическим ожиданием Pi/ A — pi) и дисперсией а2/ A — Р|). Таким
образом, совместная ФПВ для Т + 1 наблюдений, у0 и у, задается в виде
х
где | р21 < 1, 0 < а < оо и — оо < рх < с». Эта ФПВ,
рассматриваемая как функция от параметров, разумеется, является функцией
правдоподобия. Что касается априорных допущений, то мы примем,
что рх, р2 и log а независимо распределены. Относительно pxHloga
мы допустим также, что они распределены равномерно и независимо.
Наша априорная ФПВ для р2 обозначается через р (р2). Таким
образом, наша совместная априорная ФПВ имеет вид2
рфъ P., or) ~ p (р8)/сг, G.11)
где — оо < рх < оо, | ра | < 1 и 0 < а < оо.
1 Как обычно, если принято допущение стационарности, ряд «стартует»
где-то в бесконечном прошлом. Если бы ряд стартовал при — То и То было бы
конечным, то ряд не был бы в строгом смысле стационарным. Однако и в этом
случае при спецификации G.9) модель может быть проанализирована
изложенными выше методами, если Го известно.
2 Анализ может быть также осуществлен и с информативными ФПВ для
а и Рх.
206
В условиях прййяТык выше Допущений апостериорная ФПВ дли
параметров представляется как
'*у х
]}• G.Г2)
Выделяя полный квадрат относительно рх в G.12), мы получаем
P-MI" х
где с = A + Р,)/A - р.) + Г; 2Х = 2 [yt -~у - р2 (yt.x -l^)]2;
22 - S [yt - $2у^г - A - р2) у0]2; у = 2 ^/Г; у^ = 2 у^/Г
и Pi = [(l + Pa)yo+2(y« —p^^Ol/c. Из G.13) очевидно, что
условное математическое ожидание рх при заданных р2 и сг равно
Рз. Кроме того, р! можно записать в следующем виде*
- h 2 (у#—Р1У/-
Pi=
где hx = Г/а2 и /г2 = A + р2)/A + р2) а2. Заметим, что из G.9)
следует, что при заданном р2 величина A — р2) у0 является оценкой рх>
в то время как 2 (yt — §?,yt-i)IT есть другая оценка рх. Величина рх
является взвешенной средней этих двух оценок, причем весами
выступают соответствующие параметры точности. Более того, из G.13)
следует, что условная апостериорная ФПВ для рх при заданных р2 и a
является нормальной ФПВ с математическим ожиданием рх и
дисперсией ог2/с« аУс -> 0 с возрастанием Т и рх -> 2 (yt — P2#*-i)/7\ T- e-
влияние величины A — р2)#0 на положение условной апостериорной
ФПВ убывает с возрастанием 7\ В целях получения маргинальной
апостериорной ФПВ для pj можно проинтегрировать G.13) по а, а
затем анализировать полученную двумерную апостериорную ФПВ для
Рх и р2 с приложением методов двумерного численного интегрирования.
Поскольку в центре интереса исследователя часто лежит р2, мы
обсудим ниже маргинальную апостериорную ФПВ для этого параметра,
которая может быть получена путем интегрирования G.13) по рх и а.
Интегрирование по рх дает
207
Ввиду того что /ij = Т/а2, с возрастанием Т апостериорная ФПВ
в условиях больших выборок1 становится приблизительно
пропорциональной A/а)г+1 ехр [ — B а2) 2J, т. е. имеет вид, свободный
от информации о начальных условиях, если пренебречь тем, что у0
входит в 2j. ФПВ G.14а) может служить для получения совместных
выводов относительно ($2 и а или маргинальных выводов
относительно а.
Затем мы можем проинтегрировать G.14а) по or и получить
следующую маргинальную апостериорную ФПВ для р2:
U-p?___-|l/2
12. G.146)
Эта ФПВ может быть проанализирована численными методами. В
условиях больших выборок она приблизительно пропорциональна2
Bх)-г/2 = {2 [ytt — у — р2 (уг„г —~У-.1)]2Уг/2у выражению, которое,
как уже было установлено выше, представляет собой одномерную
t-ФПВ Стьюдента и не отражает ни априорной ФПВ р ф2), ни
других сомножителей второй строки G.146), появление которых связано
с соображениями относительно ФПВ для у0..
Что же касается р (р2), априорной ФПВ для р2, то в большинстве
случаев бета-ФПВ, определенная на интервале от — 1 до + 1,
является достаточно гибкой для представления априорной информации3:
Р (Рг) ~ A — Рг)*1"" 0 + Рг)**^1» гДе К и ^2 являются
параметрами, значения которым априорно приписываются исследователем. Если
kx — k2; = V2, то эта априорная ФПВ тождественна той, которая была
получена путем приближенного приложения теории инвариантности
Джеффриса, а именно р ф2) ~ A — ра)-1'2 A + Р2)~1/2 = 0 —
— Ра)~1/2, |Рг|< U ••• (подробности см. в приложении к настоящей
главе). Таким образом, если мы хотим вести анализ данной задачи
с использованием аппроксимации расплывчатой априорной ФПВ
1 Поскольку сомножитель р (р2) A — Р!I^2 не зависит от Ту в условиях
больших выборок он не играет существенной роли.
2 Эту аппроксимацию легче всего уяснить себе, перейдя к логарифмам в
обеих частях G.146) и заметив, что — Г/2 log Si становится главным членом при
возрастании Г.
3 Эта априорная ФПВ была предложена Г. Торнбером в [135], который
изучал приведенную выше систему при Рх = 0. Заметим, что замена переменной
z = A + Р2)/2 дает 1 — z = A — Р2)/2, и, таким образом, р (z) - zk*~l (I —
— z)*1""*1 при 0 < z < 1 ввиду — 1 < Р2 < I; p (z) имеет вид стандартной
бета-ФПВ, которая является собственной при kb k2 > 0.
208
Джеффриса, то она имеет вид1 р (plf р2, от) ^— A — Р*)~1/2 of. Как
уже было указано, с возрастанием объема выборки влияние априорной
фПВ на свойства апостериорной ФПВ убывает. Кроме того, как видно
из настоящего анализа стационарного процесса первого порядка,
влияние начальных условий или, иначе говоря, допущений относительно
у0 убывает с возрастанием объема выборки. Этот последний результат
неудивителен, поскольку начальные условия охватывают только одно
наблюдение, уо> т. е. лишь небольшую часть информации, даже если
Т сравнительно умеренно велико и | р21 < 1.
7.2. МОДЕЛЬ АВТОРЕГРЕССИОННОГО ПРОЦЕССА ПЕРВОГО ПОРЯДКА,
ОСНОВАННАЯ НА НЕПОЛНЫХ ДАННЫХ
Предположим, что мы заинтересованы в выводах о параметрах
следующей авторегрессионной модели с квартальным шагом:
y(t) = py(t-l) + X(t)fi + u (t)ft = 1, 2, ..., 4 7\ G.15)
где t в скобках обозначает, что значение соответствующей величины
относится к f-му кварталу, причем у (t) есть зависимая переменная
категории «запас», u(t) — возмущение, X (t) = (xx (t), x2 (*), ...,
Xk(t))—^-мерный вектор-строка наблюдений за k независимыми
переменными, а р' = (р1э р2, ..., Рь) и р являются неизвестными
коэффициентами. Мы принимаем допущение, согласно которому
возмущения нормально и независимо распределены, каждое с нулевым
математическим ожиданием и общей дисперсией, равной а2. Мы
располагаем всеми квартальными наблюдениями X (*), но в отношении у (t)
у нас есть только Т + 1 годовых наблюдений: у @), у D), у (8), ...,
...г у DГ). Например, у (t) может представлять собой запас денег или
капитала на конец соответствующего квартала. Наша задача
заключается в получении выводов о параметрах G.15), а именно р, р и <т,
в условиях, когда мы располагаем только Т + 1 годовыми
наблюдениями за переменной у (t).
Обозначив квартал, за который у нас есть наблюденное значение
зависимой переменной, через /', мы путем простых преобразований
получаем
у (О - pV (t'-4) + [X (О + рХ (f-1) + р2Х (Г - 2) + р*Х (Г -
-3)] р + и (О + ри (f - 1) + p2w (f - 2) + р3и (? - 3),
f = 4, 8, ..., 47\ G.16)
1 См. [135] и [29]. Эти исследования показывают, что по свойствам в выбор*
ке байесовские оцениватели выгодно сопоставимы со свойствами других оценива-
телей. В частности, в экспериментах Торнбера оценка среднего риска при
использовании оценивателя МНП была на 50% выше, чем в случае байесовского оце-
нивателя. См. также [94], где излагаются результаты экспериментов Монте-
Карло, относящиеся к свойствам в конечной выборке некоторых оценивателей,
полученных методами теории выборочных исследований.
209
т. е. именно то, что логически следует из модели G.15) при тех
наблюдениях, которыми мы располагаем относительно у. Если мы положим
w (Г) = и (Г) + ри (Г - 1) + р2и (Г - 2) + Р*и (Г - 3),
Ц = 4,8, .... 47\ G.17)
то очевидно, что возмущения w(f) нормально и независимо
распределены, каждое с нулевым математическим ожиданием и общей
дисперсией, равной A + р2 + р4 + р6) а2. Теперь, если допустить, что
у @) — фиксированная и известная величина, функция правдоподобия,
базирующаяся на тех наблюдениях, которыми мы располагаем для
переменной у, будет иметь вид
'(Р. Р> °|У)
х ехр/ - У [w(t')]*\9 G.18)
где у обозначает вектор, состоящий из Т + 1 наблюдений у @),
у D), ...,?/ D Т)\ суммирование в экспоненте производится по
следующим значениям f : f = 4, 8, ..., 47\ a w (t')> задаваемое G.17),
представляет
(О = » (О - Р*У V - 4) - [X (f) + рХ (f - 1) 4- р^Х (^
G.19)
Прежде всего мы укажем, как получить оценки параметров МНП.
Логарифмируя функцию правдоподобия, дифференцируя ее по с2 и
приравнивая ее производную к нулю, мы получаем
а2 = У [w (OJ2. G.20)
ГA+р2 + р4+р6) JU^ У П 1
JU
Подставляя а2 вместо а2 в логарифм функции правдоподобия, мы
получаем следующий результат:
последнее выражение максимизируется по р и р, т. е. ищутся значения
р и р, минимизирующие 2*« [w(t')]2. Одним из методов поиска этих
значений является вычисление остаточной суммы квадратов, назовем
ees2(p), в регрессии [у (Г) — р*у (f — 4)] по [X (*') + рХ (f —
— 1) + Р2Х (f — 2) + р3Х (f — 3)] при различных значениях р. Если
р есть значение р, минимизирующее s2 (p), то р и соответствующие
значения компонент вектора JJ, задаваемые
+ р3 X (f'-3)]' [у (t')-fry (*'- 4I G.22)
210
где
являются оценками МНП. Подставляя эти оценки в G.20), мы
получаем оценку МНП (Г2. Вместе со средним квадратичным отклонением
большой выборки, полученным из оценки информационной матрицы,
эти результаты могут служить для приближенных выводов большой
выборки.
В байесовском анализе конечной выборки мы используем функцию
правдоподобия G.18) вместе со следующей расплывчатой априорной
ФПВ:
р(р,р,а)~-1-, G.24)
причем — оо < $t < оо , i = 1, 2, ..., k, и 0 < а < оо. Что
касается р, то можно принять как допущение — оо < р < + оо,
так и — 1 < р < 1, поскольку это затрагивает только область
численного интегрирования в последующих выкладках. Надо, однако, иметь
в виду, что принятие допущения | р | < 1 предполагает невзрывной
характер авторегрессионного процесса. В условиях этих априорных
допущений апостериорная ФПВ для параметров имеет вид
\
Р (р, р, ст у) ~ X
х ехр / - У [w (f)]*\, G.25)
*1 A+Р2+Р4+Рв)а2^ К И У К
причем w (t') представлена в явном виде G.19).
В целях получения совместной маргинальной апостериорной ФПВ
для р и р мы проинтегрируем G.25) по <т и получим
Гг/2. G.26)
Удобно представить G.26) в виде
p(p,Ply)~[(z-Ap)' (z-Ap)]-r/2, G.27)
где z есть Г-мерный вектор-столбец, типовая компонента которого
имеет вид у (?) — р4# (f — 4); А есть матрица размерности Т X ку
типовая строка которой имеет вид X (f) + рХ (f — 1) + р2Х (f —
— 2) + Р3Х(Г — 3). Положим
G.28)
G.29)
тогда мы можем переписать G.27) в виде
Р (Р, № - т?)ГТ/2 (v + [Р ~ * Ш'*11*-* (Р)] ] 2 • G-30)
211
где v = Т — k. Из G.30) непосредственно следует, что условная
апостериорная ФПВ для вектора р при заданном р есть многомерная
*-ФПВ Стьюдента с математическим ожиданием, представленным
G.28I. Этот факт показывает, насколько чувствительны выводы
относительно компонент Р к допущениям о р.
В целях получения маргинальной апостериорной ФПВ для р мы
проинтегрируем G.30) по вектору Э с использованием свойств
многомерной ?-ФПВ Стьюдента и получим
Р(Р|У)~[53(Р)Г/2|А'АГ1/2; G.31)
последнее выражение может быть проанализировано численно для
получения выводов относительно р. Что же касается маргинальной
апостериорной ФПВ для компоненты р, скажем plf то G.30) можно
проинтегрировать по р2, Рз> •••» Рь> чтобы получить
+ {v + (Vu- V^VFs1 V21) [fc-fc (p)p|- <^>'2, G.32)
где V являются подматрицами матрицы A'A/s2 (p), или
1.^21^22
причем блочное представление соответствует блочному представлению
вектора р в виде рх и подвектора остальных компонент. Таким образом,
Vu есть скаляр, V12 является (k — 1)-мерным вектор-строкой, V?i =
= V21, a V22 есть матрица размерности (k— 1) х (k— 1). Для
анализа двумерной ФПВ G.32) могут быть использованы методы
численного интегрирования.
7.3. АНАЛИЗ АВТОРЕГРЕССИОННОГО ПРОЦЕССА ВТОРОГО ПОРЯДКА г
В этом параграфе мы покажем, как байесовские методы могут
применяться для получения выводов о динамических свойствах решений
стохастических разностных уравнений, которые часто встречаются
в практике. Ниже будет представлен анализ линейной
авторегрессионной модели второго порядка, предназначенной для ответа на
следующего рода вопросы: какова на основе данных, которыми мы
располагаем, апостериорная вероятность того, что решение модели будет
невзрывным и колебательным? Или какова апостериорная
вероятность того, что решение будет колебательным? Очевидно, что такие
вопросы напоминают вопросы, заданные Самуэльсоном в его широко
1 Если в качестве р выбрать р, оценку МНП, то G.28) даст оценку МНП
р в виде математического ожидания условной апостериорной ФПВ. Поскольку
выводы относительно Р могут быть чувствительны к допущениям о р, лучше для
получения этих выводов использовать маргинальную апостериорную ФПВ для
р. В этой связи см., например, анализ проблемы автокорреляции в 4-й главе.
2 За основу этого параграфа взят материал одного из параграфов доклада
Зельнера на 1-м Мировом конгрессе эконометрического общества [148].
212
известной работе [ИЗ] о взаимодействии
мультипликатора-акселератора, а также рассмотренные Тейлом и Бутом в работе, посвященной
анализу методами, базирующимися на больших выборках модели
I Клейна [132]Ч
Наша модель имеет следующий вид:
*-i + «2#*-2 + ии t « 1, 2, ..., 7\ G.33)
где yt есть t-e наблюдение за случайной переменной; аг и а2 являются
неизвестными коэффициентами, a ut есть возмущение. Мы сделаем
допущение, что щ нормально и независимо распределены, каждое с
нулевым математическим ожиданием и общей дисперсией, равной а2.
Кроме того, мы примем допущение, что заданы начальные значения
#-i и у0> после чего функция правдоподобия примет вид
/(ох, а2, а| у) ~ -L ехр Г —^ j? (^-^ ^ _ а2^2)Ч, G.34)
Где у' = (y_lf y09 уи ..., ут). Что касается априорной информации
о alf a2 и а, то мы сделаем допущение, что. наша информация о них
скудна, и формализуем это допущение следующим образом2:
Р (аь а2, а) - ±, G.35)
где — оо < ах, а2 •< оо иО<а< со. Потом, используя теорему
Байеса, мы получим следующую апостериорную ФПВ для параметров:
,«2,а|у) - -1^ ехр —^2 ^—ЪУ^г—ЪУ^)* I G-36)
—^2 ^—ЪУ^г—ЪУ^)*
Интегрирование по о даст маргинальную ФПВ для ах и а2
[vs2+(a-a)' Н(а-а)]-г/2, G-37)
где a'=(aba2);v = T—2; vs2 = 2 (yt—о
s,. , ,«.. ... G-38)
причем суммирование во всех случаях производится от t = 1 до
t = Т. Очевидно, что апостериорная ФПВ для а, и а2 G.37) есть
двумерная tf-ФПВ Стьюдента с вектором математического ожидания а, т. е.
величиной, соответствующей оценивателю метода наименьших
квадратов и представленной выражением G.38).
1 Перепечатано в [106].
2 Этот анализ легко может быть распространен на случай информативной
ФПВ для аг и аа.
213
Если нам заданы наблюдения у, мы можем использовать G.37)
для получения совместных выводов относительно аг и а2, а тем самым
и свойств решений, т. е. именно тех выводов, которые получил Саму-
эльсон в своей работе о модели мультипликатора-акселератора [ИЗ].
Мы можем определить области на плоскости (alf a2), соответствующие
решениям, имеющим заданные свойства. Эти области для исследуемой
нами модели представлены на рис. 7.1. Располагая совместной
апостериорной ФПВ р (ах, а21 у), мы можем приложить методы двумерного
численного интегрирования для вычисления соответствующих нор-
'1
C)
E-/V0
NE-Q
-/
Е-0
Рис. 7.1. Области в пространстве параметров, для которых
решение обладает заданными конкретными свойствами:
A) Е—N0: взрывное и неколебательное; B) NE—NO:
невзрывное и неколебательное; C) NE—О: невзрывное и
колебательное; D) Е—О: взрывное и колебательное
мирующих постоянных1 и объемов, расположенных над каждой из
областей. Если апостериорные ФПВ для ах и а2 нормированы, то эти
объемы являются вероятностями, относящимися к свойствам решения.
Пусть, например, вычисленный апостериорный объем под ФПВ над
областью «колебательного невзрывного решения» составляет 0,85,
тогда мы скажем, что с вероятностью 0,85 решение будет
колебательным и невзрывным. Кроме того, складывая вероятности того, что
решение будет колебательным и невзрывным, и того, что решение будет
колебательным и взрывным, мы получим вероятность колебательного
решения. Аналогично, складывая вероятности того, что решение будет
колебательным невзрывным, и того, что решение будет
колебательным и невзрывным, мы получим вероятность невзрывного решения.
Приложение этого подхода с использованием искусственно
генерированных при помощи известных моделей данных представлено ниже.
Мы заметим далее, что можно строить апостериорные ФПВ для
величин, определяющих конкретные свойства решения; например,
из характеристического уравнения для нашей модели г5 — а±х —
_ а2 =- о мы имеем следующие корни:
_ <*i—У<Xi4-4a2
и *2- 2
G.40)
1 Альтернативно это нормирующая постоянная может быть получена на
основе свойств двумерной /-ФПВ Стьюдента.
214
Известно, что решение будет колебательным, если а\ + 4 а2 < 0.
Таким образом, может случиться, что интерес представляет
получение апостериорной ФПВ для величины а\ + 4 а2. Для.получения этой
фПВ мы введем следующее преобразование:
v± = ax и v2 = а* + 4 а2, G.41)
т. е. перейдем от переменных а2 и а2 к переменным v} и и2 с ненулевым
якобианом, не содержащим ни одной из переменных. Используя
апостериорную ФПВ G.37), получаем апостериорную ФПВ для v± и v2:
+ {vx—а± У Ли + ^^р± — a2j h22 +
l j ]^2, G.42)
где /iu, /ii2 и h22 суть элементы матрицы Н, представленной в G.39).
Используя методы двумерного численного интегрирования, можно
проинтегрировать G.42) по v± и нормировать ФПВ. В результате
будет получена нормированная маргинальная апостериорная ФПВ для
v2 = а\ + 4а2, которую мы обозначим через p(v2 \ у). На основе
полученного распределения можно делать выводы относительно
а\ + 4а2, а следовательно, и относительно того, будет ли решение
колебательным или нет.
Для иллюстрации приложения изложенных выше методов мы
искусственно генерировали данные с помощью модели, представленной
в G.33), при условиях, заданных табл. 7.1. В каждом варианте щ
получались путем независимого отбора из нормальной генеральной
совокупности с нулевым математическим ожиданием и единичной
дисперсией. Объем выборки в каждом варианте составлял Т = 20, а
начальные значения у_± и у0 принимались равными нулю во всех трех
вариантах.
Таблица 7.1
Вариант
Л
Б
В
Значение cti
0,500
1,250
1,600
Значение а*
—0,750
—0,375
—0,550
Свойства решения
Колебательное и невзрывное
Неколебательные и невзрывное
Неколебательное и взрывное
Линии уровней апостериорной ФПВ р (ab a21 у) для вариантов
А, Б, В представлены на рис. 7.2 вместе со средними для ах и а2,
обозначенными через ах и а2. Последние являются оценками метода
наименьших квадратов, представленными в G.38). Вычисленные
объемы над областями, представленными на рис. 7.1, приводятся
в табл. 7.2. Эти результаты хорошо согласуются с заранее известными
свойствами решений, представленными в табл. 7.1. Анализируя
вариант Б, следует иметь в виду, что при истинных значениях ах и а2
величина а\ + 4a2 = -g-, т. е. является малым числом. Располагая
215
только 20 наблюдениями, трудно Делать точные вьШОДЫ, й ато
отражается на результатах, а именно вероятность того, что решение будет
неколебательным, составляет 0,593 + 0,162 = 0,755, в то время как
апостериорная вероятность колебательного решения составляет 0,245,
т. е. является весьма существенной.
Наконец, в каждом из вышеуказанных вариантов была построена
апостериорная ФПВ для v2 *= aj + 4 a2. Результаты представлены на
вариант А
*,* 0,6011
~0,7895
Вариант Б
ос, * 1,2064
& -0,2941
-1
вариант В
\ = 1,4551
\=- 0,3645
Рис. 7.2. Линии уровней апостериорных распределений
216
Таблица 7.2
Вариант
А
Б
В
Вероятность того, что решение будет
неколебательным
и невзрывным
ооо
колебательным
и невзрывным
0,866
0,242
0,016
неколебательным и взрывным
0,000
0,162
0,953
колебательным
и взрывным
0,134
0,003
0,006
рис. 7.3. Из графика следует, что в вариантах Л и В на основе выборки
ясно можно было диагностировать, является ли решение
колебательным или нет. Как уже указывалось выше, в варианте Б v2 = otj +
-f 4 а2 = -3-» т* е- является малым числом, и существенная часть ФПВ
расположена над отрицательными значениями. Однако эта ФПВ
корректно отражает информацию выборки относительно v2.
l!
11'.»
-
-8,0
1!
It
-i,o
1
«5»
1
1
<*5
I
У
-4.0 -2,0 0
H
i i
^—*—— —
^y
0,0 1,0 2JL
H
i i
^ i i
-0,5
-0,5 0,5
7.3. Апостериорные распределения для
%5
2,5
217
В заключение параграфа мы подчеркнем важность анализа
динамических свойств моделей и выразим надежду, что последующие
обобщения обсужденных выше методов, пригодные для анализа более
широкого множества моделей1, привлекут внимание исследователей.
7.4. МОДЕЛИ «РАСПРЕДЕЛЕННЫХ ЗАПАЗДЫВАНИЙ» (ЛАГОВ)
После пионерной работы Койка [76] модели распределенных
запаздываний (лагов) нашли применение в целом ряде эконометрических
исследований. Эти модели обычно включают запаздывание воздействий,
происходящее в силу устойчивости традиций, институциональных или
технических ограничений, и (или) воздействие ожиданий, связывающее
предвидение с опытом. Кроме того, в целях предотвращения
разбухания числа параметров в моделях распределенных запаздываний
обычно делается допущение, что коэффициенты при запаздывающих
переменных не все независимы, а связаны функциональной зависимостью.
Эта функциональная зависимость позволяет свести число параметров,
требующихся для формального представления запаздывающих
откликов, к одному или нескольким.
Сперва мы рассмотрим такую модель:
J/f-a^ Mxt-t + щ, GA3)
где индексы tut — I обозначают переменные соответственно в t-я и
(t — i)-u периоды времени; yt есть наблюдаемая случайная переменная
«отклика»; щ — ненаблюдаемое случайное возмущение; xt-t —
значение переменной «стимула» в период (t — i) и а, к — неизвестные
параметры, причем— оо <; а < оо и 0^&<1. Вычитая к уг_г
из обеих частей G.43), получаем
Ух = ty%-\ + axt + Щ — Яи*-ь G>44)
т. е. тот вид модели, который мы собираемся анализировать.
Относительно G.44) мы примем допущение, что щ нормально и
независимо распределены с нулевым математическим ожиданием и общей
дисперсией, равной а2. Заметим, что дисперсия щ — ^Щ-х есть
а2 A + А,2), в то время как коэффициент автоковариации первого
порядка задается как М (ut — hut-i) (ut-i — ^_2) = —ог2^- Если
принято допущение, что щ независимо распределены, то все
коэффициенты автоковариации более высокого порядка равны нулю. Таким
образом, для t j= I, 2, ..., Т ковариационная матрица скользящей
средней возмущения первого порядка из выражения G.44) есть М (и —
1 Представляли бы, например, интерес анализ модели и получение
маргинальной ФПВ для аг и а2, в случае, когда вместо G.33) имеет место
спецификация yt = а1Уг-г + a2yt-2 + X (t) p + иь / = 1, 2, ..., Г, где X @ есть
^-мерный вектор-строка независимых переменных, а E —^-мерный вектор»
столбец коэффициентов,
218
u_i). (u — X.u_i
—X
0
<rG, причем
! —X 0 ¦••
l.+ X2 —X •••
— X 1+X* ¦¦•
0
0
0
0
0
0
0
0
0
0
0
0
—X
—x
G.45)
где все элементы, кроме главной и первых над- и поддиагоналей, равны
нулю. Совместная ФПВ для у' = (уъ уъ .... ут) при заданном у0
имеет вид1
IQI-1/2 г 1
expj- —(у—Яуг—
^—Ху.!—ахI
где ylx — (г/о. г/i, г/г, —. #r-i) и х' — (хъ ха, ..., хГ).
Наша расплывчатая априорная ФПВ для параметров есть
р (Я, a, a) ~ 1/а.
G.46)
G.47)
При этих условиях апостериорная ФПВ для параметров задается
выражением
IQ1—1/2 Г 1
р(Ка,°\У,Уо)~ ^+1 ехР[~"^(У~
—^У-1—ax)'G""x(y—Яу_!—ахI. G.48)
Мы можем просто проинтегрировать G.48) по а и получить
[(У-* У-1-« х)' G-i (у-Я, y-i-ax)]T'2
, G.49)
т. е. совместную апостериорную ФПВ для параметров Я и а. Применяя
методы двумерного численного интегрирования, можно вычислить
нормирующую постоянную и построить двумерную ФПВ, с помощью
которой можно делать совместные выводы относительно Я и а.
Маргинальные апостериорные ФПВ для К и а могут быть также построены
численными методами2.
1 Этот анализ аналогичен проведенному Торнбером в [133], за исключением-
того, что наша матрица G несколько отличается от использованной этим
автором.
2 Что касается маргинальной апостериорной ФПВ для Я, то альтернативно
ее можно получить из'G.49), выделив полный квадрат относительно а в
знаменателе и использовав свойства одномерной /-ФПВ Стьюдента для аналитического
интегрирования по а. В результате получается одномерная апостериорная ФПВ
Для Я, которая, в свою очередь, может быть проанализирована численными
методами.
219
В развитие модели G.43) мы можем принять гипотезу, что наши
данные генерируются моделью
Vt = <*2 X *«-i + 2 *' "*-" G.50)
где а, Я, t/t и xw определены выше. Здесь мы предполагаем, что
отклик на текущее и запаздывающее возмущения принимает ту же самую
форму, что и для текущего и запаздывающего х с тем же самым
параметром к. Вычитая fyt-г из обеих частей G.50), получим
Ух =* tyt-% + *xt + ut. G.51)
Если мы, как и выше, примем стандартные допущения относительно
щ и предположим, что мы имеем t *= 1, 2, ..., Т наблюдений, то при
заданном у0 функция правдоподобия имеет вид
/(К а, <* I У.Уо) ~ -Vехр [~ 15" *У~ЯУв1""
—ах)'(у—Я у_!—ахI. G.52)
Пользуясь априорными допущениями в G.47), образуем совместную
апостериорную ФПВ и, проинтегрировав по а, получим
Р (К а I У, Уо) ~ КУ-* У-1-а «У (У~^ У-i-» »)ГГ/а. G.53)
которая имела бы форму двумерной *-ФПВ, если бы не предположение
0^Я<1. С учетом этого ограничения G.53) может быть
проанализировано численными методами для получения совместных
выводов о к и а и совместных апостериорных ФПВ1 для а и Я.
В некоторых случаях мы хотели бы расширить модель, включив
в нее предположение о возможной автокорреляции ut в G.51);
например, можно предположить, что
и**=Р^1 + в«, *=1, 2, ..., Т, G.54)
где et нормально и независимо распределены, каждое с нулевым
математическим ожиданием и общей дисперсией, равной т2, а р есть
параметр авторегрессионной схемы первого порядка, которой по
допущению генерируются щ. Затем, объединяя2 G.51) и G.54), можно получить
ух = (К + р) уг_г — plyt_2 + a (xt — p*,_i) + в|. G.55)
Альтернативным путем получения G.55) является принятие
допущения3, что возмущение щ — %иг_г в G.44) удовлетворяет
щ — Ых-Х *= р (и*«1 — ktit-d + 8* G.56а)
или
щ = (р + Я) щ„г — рЯлм + е«, G.566)
1 Альтернативно маргинальная ФПВ для X может быть получена с помощью
выделения полного квадрата относительно а в G.Щ) и интегрирования по а,
с учетом свойств одномерной tf-ФПВ Стьюдента.
2 Для получения G.55) мы вычитаем? p^-i = рЯ^-а+ po*<-i+ pw«-i
из G.51).
8 Следующее ниже допущение было использовано в [45] и [157].
220
что является допущением в достаточной степени общего процесса
второго порядка. Объединение G.56) и G.44) ведет в точности к
уравнению G.55). Таким образом, оказывается, что допущения, ведущие
к G.44), объединенные с допущениями G.56), являются
эквивалентными тем, которые лежат в основе G.51), если их объединить с G.54).
2 -
1 -
2,6 2,7 2,8 2,9 3,0 3,1 3,2 3,3 3,4.
0,80 0,85 0,90
Рис. 7.4. Маргинальные апостериорные распределения для аиу,
построенные на массиве данных, генерированных при р=*~0,5
Для анализа G.55I мы принимаем следующую расплывчатую
априорную ФПВ:
*,р,т)~*1, G.57)
где — оо < р, а < оо , 0 < Я < 1, 0 < т < оо, а т2 есть общая
дисперсия 8*. Если заданы эти априорные допущения относительно et
в G.55) и два начальных значения, у0 и у„ъ то апостериорная ФПВ
Для параметров имеет вид
1 ( 1 т
Р (К а, р, т | У) ~-^Т{ ехР —?Г 2 1У*—%У*-1~
—axt
G.58)
Этот, анализ был представлен А. Зельнером и К. Дж. Парком в [157].
221
где у- = (у-ъ у о, уъ ..., ут). Интегрирование no f Дает
К «, Ply) ^ J2 lyt—kyt-1—aXt
Т )—Г/2
J\
2t У« РУ«
Из второй строки G.59) следует, что условная ФПВ для Я и а при
заданном р была бы двумерной f-ФПВ Стьюдента, если бы мы не приняли
допущение О < к < 1. Ниже мы покажем, насколько чувствительны
Рис. 7.5. Маргинальные апостериорные распределения для а и у,
построенные на массиве данных, генерированных при р= 1,25
выводы относительно Я и а к допущениям о р при анализе условной
ФПВ р (Я, а | р, у) численными методами.
Из первой строки G.59) следует, что, выделяя полный квадрат
относительно р и интегрируя по р аналитически, можно в результате
получить
Р (Ь. а | у) ~ [2 (&-1—Ьу«-2—<
2 . G,60)
t_i—Xyt-2—
Для определения того, насколько чувствительны выводы к
неверным допущениям относительно параметра р, мы построим условные
222
апостериорные ФПВ р (а | р0, у) и р (к | р0, у) (см. вторую строку
G.59)) для отдельных значений р0 и тех же самых данных (Т = 20),
которые послужили для построения маргинальных апостериорных
распределений (рис. 7.4 и 7.5). Эти условные ФПВ представлены на
рис. 7.6, но только для массива данных, генерированных при р —
= —0,5. Чувствительность этих апостериорных ФПВ (как в отношении
положения, так и в отношении «сплюснутости» кривой) к допущениям от-
ft*
У
1
1,0
х
/ ч
I —-*
I
о* 0,5
I
I
Р "
/
/
: 0,0 /
"Ч /
1
1
. У - - ^5
1 -
(а/
Рис. 7.6а. Условные апостериорные распределения для а,
построенные на массиве данных, генерированных при
р='—0,5
Рис. 7.66. Условные апостериорные распределения для К
построенные на массиве данных, генерированных при
о = -0,5
223
носительно р оказалась чрезвычайно большой1. Поэтому, когда есть
подозрения, что р отлично от нуля, мы рекомендуем применять для
получения выводов относительно а и р не условные ФПВ, а
маргинальные апостериорные ФПВ.
Наконец, мы отметим, что поскольку мы располагаем совместной
апостериорной ФПВ для а и А,, р (а Д | у), то, вообще говоря, нетрудно
построить распределение функции от переменных а и к; например,
в некоторых задачах интерес концентрируется вокруг
«долговременной» величины т| = а/ A — к). В целях получения апостериорной ФПВ
для у\ мы перейдем в р (а, к \ у) от переменных а и к к переменным
г\ и к. Якобиан этого преобразования равен 1 — к, т. е. отличен от нуля
при 0 < к < 1, и маргинальная апостериорная ФПВ для т|,
обозначим ее g (т| | у), получается путем численного интегрирования по к:
§(l-k)p[i\(l-k),k\y]dk, G.61)
где с есть нормирующая постоянная, которая может быть получена
численными методами. Располагая g (i\ \ у), мы можем принять ее за
основу для получения выводов о «долговременном» параметре у\ =
*= а/ A — к).
7.5. ПРИЛОЖЕНИЕ В ОБЛАСТИ ОЦЕНИВАНИЯ ФУНКЦИИ
ПОТРЕБЛЕНИЯ2
Пусть
G.62)
является нашей функцией потребления, где для периодов времени
t = 1, 2,..., Т измеряется Си т. е. реальное потребление; F* есть
«нормальный» реальный доход; k — параметр, значение которого
неизвестно, а щ — возмущение. Примем допущение, что «нормальный»
доход удовлетворяет следующей зависимости:
у;-У!-1~A-к)(Уг-У;-г), G.63а)
или, если произвести последовательную подстановку в G.63а)
запаздывающих значений У?, зависимости
Y*t=(l-k)(Yt + kYt-x+WYt-2 + ...+k»Y^n +...), G.636)
где параметр к по допущению принимает значения в области 0 <
<к< 1. Объединяя G.62) и G.636), мы получим
Ct = *A-i + & A —Я) Yt +щ—кщ„г. G.64)
1 Аналогичные результаты были получены и для условных апостериорных
ФПВ, построенных с помощью второго массива данных, истинное значение р для
которого равно 1,25. В том случае была обнаружена даже большая
чувствительность.
2 Этот параграф построен на результатах, представленных А. Зельнером
и М. С. Гейселом^в [153J.
224
Это уравнение и будет основным объектом нашего анализа в условиях
допущения, что Yt есть внесистемная переменная: тем самым мы
исключаем осложнения, связанные с «системой одновременных уравнений».
Что касается возмущения в G.64), щ — кщ_ъ то мы примем
следующие допущения.
Допущение I. щ — %и%-\ — siu t ~ 1, 2, ..., Г, причем ги
нормально и независимо распределены, каждое с нулевым
математическим ожиданием и общей дисперсией, равной
а*. Назовем такое распределение NID @, а12).
Допущение II. Для щ в G.64) имеет место NID @, а2 2).
Допущение III. Для щ в G.64) осуществляется авторегрессионная
схема первого порядка, ut = put_t + 83*, где для
e3j имеет место NID @, а3 2).
Допущение IV. Возмущение в G.64) удовлетворяет зависимости щ —
— kut-i = 7 (ut-i—^Щ-т) + Чь гДе Для 4t имеет место
NID @, о\).
Надо заметить, что если бы параметр р в допущении III равнялся Я, то
допущения III и I были бы неразличимы. Аналогично, если бы у было
равно 0 в IV, то IV было бы эквивалентно 1.
Теперь мы вернемся к анализу G.64) в условиях допущений I —
IV и использования квартальных данных по США о личном доходе и
расходах на потребление за 1947 (I)—1960 (IV) годы в неизменных
ценах и с устранением сезонных колебаний1. В условиях допущения I
совместная ФПВ для наблюдений имеет вид2
р (С | X, к, о,) ~ -L ехр |—±- 2 [(С,-ЯСМ-А A -K)yA , G.65)
2
где С = (Си С2, ..., Ст). С учетом ранее сделанных допущений о
параметрах Я, k и ог мы принимаем
p{,,J<l> G.66)
<*i ) 0< аг < оо.
В G.66) мы формализовали допущение о том, что параметры
распределены независимо и ФПВ3 для Я, k и log аг являются равномерными.
Заметим, что употребляется априорная информация 0<Ал<1 и
0 < k < 1. Объединяя G.65) и G.66) и интегрируя по аъ мы
получаем совместную апостериорную ФПВ для Я и k
Р{КЦС)~ J 2 [Ct-KCt^-k(l-X)YtA~V\ G.67)
0<Я, k< 1.
1 Эти данные приводятся в [55].
2 На протяжении всего этого параграфа мы осуществляем условный анализ
при -заданных начальных значениях, например Со в G.65).
8 О применении неравномерных априорных ФПВ для К и k см. ниже.
8 Зак. 1954 225
Интересно, что условная апостериорная ФПВ для к при заданном
k, а также условная апостериорная ФПВ для k при заданном к
являются усеченными одномерными /-ФПВ Стьюдента. Ввиду усеченности
этих ФПВ аналитическое получение маргинальных апостериорных
ФПВ для к и k затруднительно. Поэтому для построения маргинальных
ФПВ с использованием упомянутых выше квартальных данных по
США за период 1947 (I) — 1960 (IV) годов были применены методы
численного интегрирования. Некоторые характеристики этих ФПВ
представлены в табл. 7.3. Из полученных результатов следует, что
апостериори ая ФПВ для k обнаруживает довольно сильную
островершинность, в то время как ФПВ для к обнаруживает «сплюснутость».
Результаты также подкрепляют гипотезу о том, что значение к
существенно отличается от нуля1.
Таблица 7.3
Апостериорные меры, характеризующие маргинальные
апостериорные ФПВ, построенные на основе G.67)
в условиях допущения I
Апостериорная мера
Математическое ожидание
Мода
Дисперсия
Маргинальная
апостериорная ФПВ для X
0,759
0,78
0,0074
Маргинальная
апостериорная ФПВ для k
0,959
0,95
0,00021
Далее мы перейдем к анализу G.64) в условиях допущения II.
В этих условиях совместная ФПВ для наблюдений имеет вид
p(C\k,k,o2)~ 'G|~1/2exp(—-^[C-kC^-il
x
X G-ЧС—ЯС_Х—A— k)k\)\, G.68)
где Cl, = (Со, Съ ..., Cr-i), Г = (Yly У2, ..., Г7), a G есть полосно-
диагональная матрица вида G.45).
Что касается априорных допущений о параметрах, то мы
используем G.66) с заменой аг на а2. Применяя теорему Байеса, мы
объединим G.66) и G.68) и проинтегрируем полученное выражение по а2.
В результате получается совместная апостериорная ФПВ для к и
k в условиях допущения II:
р a, k | с)
G|""/2
G.69)
1 Если X = 0, то из G.63а) мы получаем Yt == Yf и G.62) превращается
в Ct = kYf + Щ, т. е. принимает вид, соответствующий гипотезе абсолютного
дохода. Установление факта, что X Ф 0, таким образом, имеет важное значение
с точки зрения уяснения эмпирической обоснованности гипотезы абсолютного
дохода.
226
где 0 < к, k <С 1. Эта апостериорная ФПВ была проанализирована
методами численного интегрирования1 с применением квартальных
данных за 1947 (I) — 1960 (IV) годы; результаты представлены
в табл. 7.4. В этом случае оказалось, что маргинальные ФПВ для
параметров сильно отличаются от таковых в случае принятия допущения I
о возмущениях. Полученные маргинальные ФПВ оказались
бимодальными2, а использование в качестве априорной информации 0 < Я,
k < 1 привело к существенному усечению апостериорных ФПВ. Эти
результаты показывают, что допущения относительно возмущений
оказывают серьезное влияние на результаты анализа. В данном случае
мы видим, что эмпирические данные не подтверждают возможность
осуществления допущения II в сочетании с другими допущениями,
включенными в модель3.
Таблица 7.4
Апостериорные меры, характеризующие маргинальные
апостериорные ФПВ G.69), базирующиеся на допущении II
Апостериорная мера
Математическое ожидание
Мода
Дисперсия
Маргинальная
апостериорная ФПВ для К
0,508
0,38 и 0,90
0,0643
Маргинальная
апостериорная ФПВ для к
0,948
0,94 и 1,0
0,0004
При анализе G.64) в условиях допущения III удобно, заметив,
что % ь= Q — щ, выразить G.64) как % — Яг|^_х + k A — к) Yt
или T|t — рцг_г = к (ц^г — pv\t_2) + k (I — к) (Yt — р У^0, что
приводит к
или
е T)t (р) = г)(
(P) = С, -
рт14_ж; т|0 (р) = ц'о; Yt (р) — Yt — р
(_! и Z, (р, К) = Yt (р) + КУг-г (р) + .
tx
+
G.70а)
G.706)
(р).
1 Для каждого значения к знаменатель G.69) вычислялся методом,
указанным в [141, с. 195]. В [153] использовался также следующий подход для анализа
допущения II. При r\t = Ct — ut мы имеем из G.64) r\t = kr]t^1 -j- k A — к) X
X Yt = M)o + A — к) kZt (к) и затем Ct = А/т]0 + A — к) kZt (к) + иь
где Zt (к) = Yf-\- kYf-\-\- ... + Я'-1 Ух. При допущении, что для щ
имеет место NID @, а|), может быть построена функция правдоподобия для к, k>
Л о и а2, которая затем объединяется с априорной ФПВ для параметров. Заметим,
что в этом подходе используется параметр %, связанный с начальными условиями.
2 Зельнер и Гейсел [153] установили, что и функция правдоподобия также
является бимодальной с глобальным максимумом при к = 0,963 и k = 1,129
Трудно поверить в истинность такого большого k, вероятнее всего, оно
получайся в силу неадекватности допущения II.
3 Об апостериорных вероятностях, связанных с моделью в условиях
различных допущений о возмущениях, см. в 10-й главе.
8* 227
Тогда совместная ФПВ для наблюдений в условиях допущения III
имеет вид
Р (С | К К Ло, Р, о,) ~ -V exp I—-L- V [С, (р)-If Ло-
20Г ?
В качестве априорной ФПВ мы используем
р (К К Чо, Рэ аз)
—
° < аз
—oo<rio,p<oo.
G.71)
G.72)
Объединение G.72) с G.71) дает совместную апостериорную ФПВ
для параметров. Эта апостериорная ФПВ может быть
проинтегрирована аналитически пог)о,рисг3в целях получения маргинальной
двумерной ФПВ для к и k:
^!?';^1 ^<!- G.73)
f— 1
где v' = (vlf v2i ..., vu ..., vT), причем vt—Ct —(\ —К) k S VFf_b
a R есть матрица размерности Т X 2, ?-я строка которой имеет вид
[V : Q_! — A — Я) ft s4' r^^J и р = (R'R)-1 R'v.
ФПВ G.73) была проанализирована численными методами; результаты
представлены в табл. 7.51.
Таблица 7.5
Апостериорные меры, характеризующие маргинальные
апостериорные ФПВ G.73), базирующиеся на допущении III
Апостериорная мера
Математическое ожидание
Мода
Дисперсия
Маргинальная
апостериорная ФПВ для Я,
0,597
0,61
0,0338
Маргинальная
апостериорная ФПВ для k
0,878
0,94
0,0403
Теперь мы обратимся к анализу G.64) в условиях допущения IV
относительно возмущений. Совместная ФПВ для наблюдений задается
выражением2:
Ufl0 G.74)
1 Более подробное обсуждение и графики апостериорных ФПВ см. в работе
Зельнера и Гейсела [ 153].
2 Этот анализ аналогичен анализу, осуществленному для G.44) в
объединении с G.56).
228
где е4 = С — к €_! — (! — Jt)ifeY —?[С_1 —ЛХ_2—A—X)*Y_J есть
Т-мерный вектор-столбец. В этом случае использовалась следующая
априорная ФПВ:
| 0<k,k<lf
Р (К ft, Y. <**) ~ -Ч ° < а4 <<*>> G.75)
j— оо< y < оо.
Объединяя с помощью теоремы Байеса G.74) и G.75), можно получить
апостериорную ФПВ для параметров, аналитическое интегрирование
которой по а4 и У Дает следующую двумерную апостериорную ФПВ
для к и k:
p(Kk\C)~
WT-D/2
G.76)
S
где 0 < к, k < 1 и где
2 [С^!—ХС«_» —A—Я) Л^-J [Q-XC^x-Cl-
~ / = 1
V = т : '
2 [Q-x—Л?Г#«,—A—Я) ЛГ*_ J»
Апостериорная ФПВ G.76) была проанализирована численными
методами с использованием квартальных данных по США. Результаты
в целом согласуются с ранее изложенными в том смысле, что к
существенно отлична от нуля. Однако математическое ожидание Я в табл. 7.6
несколько отличается от приведенного выше, что указывает на
некоторую чувствительность результатов к допущениям относительно
возмущений.
Таблица 7.6
Апостериорные меры, характеризующие маргинальные
апостериорные ФПВ G.76), базирующиеся на допущении IV
Апостериорная мера
Математическое ожидание
Мода
Дисперсия
Маргинальная
апостериорная ФПВ для %
0,769
0,81
0,00937
Маргинальная
апостериорная ФПВ для к
0,959
0,95
0,00183
До сих пор мы работали с относительно расплывчатыми
априорными ФПВ и, таким образом, давали возможность отражения в наших
апостериорных ФПВ в основном информации выборки. Для
иллюстрации того, как информация выборки влияет на априорные представле-
229
ния, которые нельзя считать, относительно расплывчатыми, мы
приняли допущение о том, что априорные представления исследователей
А и В различны. Оба исследователя согласны в том, что К и k
распределены априори независимо, но расходятся в предположениях о
значении к. Допустим, что априорные ФПВ этих исследователей имеют
вид1:
G77)
0<а1<оо,
0<a1<oo.
G.78)
Оба исследователя пользуются одними и теми же допущениями
относительно k и ох. Их априорная ФПВ для k есть бета-ФПВ с
математическим ожиданием 0,9 и дисперсией 0,00089. Для ог они применяют
одну и ту же расплывчатую ФПВ. Что же касается Я, то оба они
используют априорную бета-ФПВ, но с различными параметрами.
Исследователь А так выбрал параметры своей априорной ФПВ для Я в G.77),
чтобы обеспечить равенство математического ожидания 0,7, а
априорной дисперсии — 0,0041; исследователь В приписал своим априорным
параметрам значения, при которых априорное математическое
ожидание К равняется 0,2, а дисперсия — 0,0146.
Объединив априорные ФПВ G.77) и G.78) с функцией
правдоподобия G.65), мы можем увидеть, как меняет информация,
содержащаяся в квартальных данных по США, априорные представления
исследователей А и В, формализованные в виде G.77) и G.78). В
частности, перемножая G.65) и G.77) или G.78) и интегрируя результат
аналитически по аъ мы приходим к двумерным апостериорным ФПВ
для к и k исследователей А и В. Эти апостериорные ФПВ были
проанализированы численными методами, а результаты представлены
в табл. 7.7.
Таблица 7.7
Маргинальные апостериорные ФПВ для X и k> соответствующие априорным
ФПВ исследователей А G.77)
и В G.78) в условиях принятия допущения I*
Апостериорная мера
Математическое ожидание
Мода
Дисперсия
Маргинальная апостериорная
ФПВ для X
А
0,704
0,71
0,0025
в
0,581
0,59
0,0066
Маргинальная апостериорная
ФПВ для k
А
0,947
0,95
0,00004
в
0,941
0,94
0,00003
* Априорные математические ожидания и дисперсии составляют для исследователя Л:
М,= 0,7, D\ = 0,0041; для исследователя В: М,= 0,2, ?Я=0,0146. Как А, так и В
приняли априорное допущение, согласно которому Af& = 0,9 и Dk= 0,00089.
1 Мы предполагаем, что оба исследователя работают с G.64), приняв
допущение I относительно возмущений.
230
Результаты, представленные в табл. 7.7, показывают, что в
результате воздействия информации выборки как Л, так и В получили
более высокое значение параметра k по сравнению со своими
априорными ожиданиями. Кроме того, информация выборки обеспечила
значительное снижение дисперсии ФПВ для k. Что же качается к> то под
воздействием информации выборки представления исследователей А
и В несколько сблизились. Априори исследователь А приписывал к
математическое ожидание, равное 0,7, в то время как исследователь
В считал, что соответствующее значение равно 0,2. Апостериорные
ФПВ для к этих исследователей имеют математические ожидания
0,704 и 0,581 соответственно. Таким образом, общая информация
выборки при объединении с априорными ФПВ исследователей А и В
сократила разрыв в их представлениях относительно к.'
7.6. НЕКОТОРЫЕ ОБОБЩЕНИЯ МОДЕЛИ РАСПРЕДЕЛЕННОГО
ЗАПАЗДЫВАНИЯ
Имеется много обобщений простых моделей распределенного
запаздывания. Здесь мы займемся только двумя из них. Первое исходит
из допущения, что данные генерируются следующим образом:
2 2 2
t=0 1=0 1=0
или
•+р* 2 *¦'*«-'.*+«« G-79a>
10
yt= 2 Ь'Х(*-0Р+и„ G.796)
где X (* — /)*= (*t_itl, *t-if2» •••> #*-*,*) есть ^-мерный вектор-
строка; Р' — (Рх, р2» •••! Pfe) есть ^-мерный вектор-строка неизвестных
коэффициентов, а щ есть случайное возмущение. В G.79а, б) мы
приняли допущение, что на yt оказывают влияние k переменных, каждая
со своим собственным коэффициентом, но с общей структурой
запаздывания и общим параметром, характеризующим эту структуру.
Вычитая tyt-i из обеих частей G.796), мы получаем
yt-tyi-i = X @ Р +Щ—\иг_г. G.80)
Здесь мы примем допущение, что возмущение ut — кщ_г
удовлетворяет G.56). Объединяя G.56) и G.80), мы получаем
Л-^-1-р(У«-1-^м) = [Х@-рХ(^-1)]Р+е|. G.81)
Пусть мы располагаем t = 1, 2, ...., Т наблюдениями, et
удовлетворяет стандартным допущениям и наши априорные допущения о
параметрах имеют вид
231
где т2 есть дисперсия st. Апостериорная ФПВ для параметров
представляется в виде
Р (К Р, Р, т | у) ~ -—^ ехр {—-L. [w^x-pX.i) P]'[w-(x-px_!)p]j.
G.83)
где
w = y-Xy_1.-p(y_1-Xy_t), G.84)
причем у' = (У1,:;Ут), У-1=(!/о,У1,-,Ут-\),
Из вида выражения G.83) с очевидностью следует, что компоненты
вектора Рит могут быть исключены аналитическим интегрированием.
Интегрирование по т дает следующий результат:
Затем, пользуясь свойствами многомерной t-ФПВ Стьюдента, мы
можем проинтегрировать1 по р, что дает
G.86)
где Н = (X — рХ_х)' (X — рХ_х). Двумерная апостериорная ФПВ
G.86) может быть проанализирована численными методами в целях
вычисления ее нормирующей постоянной, получения совместных
выводов относительно р и Я, а также маргинальных апостериорных ФПВ
для этих параметров. Что же касается отдельной компоненты Р,
скажем рх, то апостериорная ФПВ для нее может быть получена из G.85)
путем интегрирования по р2, р8, ..., pft в целях получения трехмерной
ФПВ р(к, рх, р|у), которая может быть проанализирована
численными методами для того, чтобы получить маргинальную ФПВ для р1в
В качестве второго обобщения модели мы рассмотрим
j5 G.87)
где за исключением добавления члена Z (t)y модель остается прежней.
Z (t) в G.87) есть 6-мерный вектор-строка наблюдений за m заданными
независимыми переменными, а у — m-мерный вектор-строка коэффи-
1 Это предполагает положительную определенность (X — pX-x)' (X—рХ_х)
при любом фиксированном значении р. Условия, обеспечивающие это,
рассмотрены в приложении к 4-й главе, причем условие на элементы х не является
чрезмерно ограничительным.
232
циентов. Вычитание kt/t-i из обеих частей G.87) дает
lut^ 'G.88а)
или y—b>y1 = {x'.Z — 'kZ_1)(a:.) +u—Xu.i^Wp-fu—Яи.х, G.886)
\7/
где у' = (уг, ..., #г); yli = (#о. #i. ••> */r-i); х' = (*b *а, ..., *г);
Z есть матрица наблюдений за заданными независимыми переменными
размерности Т X m; W ~ (х • Z — A,Z_X) и f = (а • 7')- Если мы
сделаем допущение, что щ распределены нормально и независимо с
нулевыми математическими ожиданиями и общей дисперсией, равной
а2, и применим наш анализ условно, при условии заданного yQ> то
функция правдоподобия будет иметь вид
G.89)
где Ga2 есть ковариационная матрица для и — Яи_х размерности
Т X 7\ причем явный вид G задается G.45). При использовании
расплывчатой априорной ФПВ
1 oo<pi<oo I * = 1,2, ...,& G.90)
a
0<а < оо
совместная априорная ФПВ есть
Р(КЬо\у9у0)~ '
G.91)
где мы положили w — у — Яу„1в Очевидно^ что G.91) аналогично
выражению G.48). Его можно проанализировать следующим образом:
сначала проинтегрируем G.91) по а и получим
^. G.92)
Заметим, что при заданном к условная апостериорная ФПВ для р
является многомерной f-ФПВ Стьюдента. Этот факт может быть
использован при определении чувствительности выводов относительно
Р к допущениям о Я.
В целях построения маргинальной апостериорной ФПВ для р
мы проинтегрируем G.92) по р и получим1
Р (М у, у0) iorl/aiw'o-'wr'/»
ИК 1У ™ ('GiP'W'GiWp)(r-*)/2 *
* Заметим, что (w — Щ)' G-1 (w — Щ) = w'G-%+ P'W'Gp
— 2p'W'G-% = w'G-% -p/W/G-1Wp+ ф—W W'G-^W (P—P), где^р
определено G.94).
233
где w = у — ку_г и
G w, G.94)
т. е. является функцией от к. Одномерная ФПВ G.93) может быть
проанализирована численными методами. Наконец, если интерес
исследователя концентрируется на некоторой отдельной компоненте вектора
Р, скажем р1э то остальные компоненты р могут быть исключены путем
интегрирования, которое осуществляется с использованием свойств
многомерной /-ФПВ Стьюдента и дает двумерную апостериорную ФПВ
Р (^» Pi I У> У о)- Последняя может быть проанализирована
численными методами.
В заключение настоящей главы важно подчеркнуть, что
приложение общих принципов байесовского анализа к исследованию моделей
временных рядов не требует специальных модификаций.
Необходимо лишь, разумеется, тщательно подходить к формализации моделей
временных рядов в целях адекватного представления экономических
явлений, например к выбору адекватной аппроксимации структур
запаздывания, к использованию подходящих допущений относительно
начальных условий и к употреблению подходящих функциональных
зависимостей в спецификации. Если такое адекватное представление
получено и может быть построена функция правдоподобия, то, как
уже указывалось, анализ может осуществляться в обычных рамках
байесовских методов. Точечные оценки, доверительные интервалы и т. п.
могут быть получены на основе принципов, изложенных во 2-й главе.
ПРИЛОЖЕНИЕ. РАСПЛЫВЧАТЫЕ АПРИОРНЫЕ ФПВ,
ИСПОЛЬЗУЕМЫЕ ДЛЯ ПРЕДСТАВЛЕНИЯ СТАЦИОНАРНЫХ
АВТОРЕГРЕССИОННЫХ ПРОЦЕССОВ
В параграфе 7.1 мы рассмотрели стационарный авторегрессионный
процесс, заданный моделью
\ i«*-i. *=1,2,...,Т, A)
где для щ имеет место NID @, а2) и 0 < | р21 < 1. Из A) очевидно, что
9 == Pi/A — Рг) задает уровень yt. Ниже мы перепараметризируем
модель в терминах
Р2
т. е.
yt = A - Р)9 + ру^ + щ. C)
Функция правдоподобия в этом случае представляется выражением
/(Р, в, о|у,Уо)-A
} D)
234
Как мы помним из 2-й главы, Джеффрис предложил принять
корень квадратный из определителя информационной матрицы в
качестве расплывчатой априорной ФПВ, хотя и предупредил о
необходимости действовать при этом осторожно и обдуманно; таким образом,
расплывчатая априорная ФПВ Джеффриса задается выражением
р (р, 9, а) - | Inf | \ E)
причем
Inf-— M
да* da d$ da dQ
да
ae да ae ар ae*
F)
где оператор М обозначает операции перехода к математическому
ожиданию по ФПВ для наблюдений и L = log /, т. е. является
логарифмом функции правдоподобия. После того как построена ФПВ E), мы
можем преобразовать ее в предполагаемую априорную ФПВ для plf
р2 и о с использованием зависимости B).
Для того чтобы проиллюстрировать операции, которые требуются
для получения расплывчатой априорной ФПВ Джеффриса в данной
задаче, мы прежде всего построим информационную матрицу. Из D)
имеем
L - const+ у log A — р2)—(Г+ 1) logo—
Затем, обозначив величину в фигурных скобках в выражении G) {•},
записываем
dL т+\
da ~
3
а
5а2
двда
= ~{-2A-
>0—8) —22[&—в —
Переходя к математическому ожиданию по у, имеем
М——= ; М _ =0;
да* а*
(8)
235
При получении результатов, представленных в (8), мы используем
соотношения М (yt — 9J = а2/A — Р2) и М l(yt — Э) (ум — в)] =
= ра2/ A — р2) при всех значениях t.
Далее,
-^-= g^- {—2A—р»)(у0 —в)
<—в —ЭСУ*-х—6IA—
№
Переходя в двух последних выражениях к ожиданиям, имеем
-ри и
Наконец,
е-
.!—еI х
х (у«_1-
д'2 L 1 + Р2 1 \2 а\2
В качестве математического ожидания последнего выражения имеем
М^ = r^r-1 T +-^-1. A0)
Сводя воедино результаты (8)—A0), получаем информационную
матрицу из выражения F) в виде
Inf =
о
2G4-1)
0
Р
2E
е
о
0
а2
(И)
Из A1) следует, что информация о 0 независима как от информации о
а, так и от информации о р.
Подсчитав определитель матрицы A1) и сохранив только главные
члены порядка Т8, мы имеем в результате 2 A — РJ/ A — Р2)о*. Пос-
236
ле извлечения из этой величины квадратного корня получаем
приближенную расплывчатую априорную ФПВ Джеффриса, а именно
Появление сомножителя -у в этом последнем выражении вместо I/a
связано с причинами, аналогичными тем, которые обсуждались в
приложении ко 2-й главе1. Если мы последуем Джеффрису и приложим
его принцип отдельно для а и для других параметров, т. е. извлечем
квадратный корень иа элемента A, 1) матрицы A1) в целях получения
расплывчатой априорной ФПВ для а, а затем извлечем корень
квадратный из определителя информационной матрицы для р и 0
размерности 2x2, сохраняя только члены порядка Т2, то в результате
получим
где вместо сомножителя I/a2 появляется сомножитель I/a. Чтобы
получить априорную ФПВ для р1э р2 и а> заметим сначала, что из B)
следует dQ = d$J (I — р2), и» таким образом, мы имеем
p(Pi.P..a)~l/0(l-p;)'/». A4)
Приближенная априорная ФПВ Джеффриса включает допущение, что
рь log a и р2 распределены независимо, причем первые две величины
распределены равномерно, а ФПВ последней величины
пропорциональна A — Р^)-1'2 = A. — P2)-1/2 A + Р2)~1/2, т. е. является
бета-ФПВ с параметрами A/2, 1/2). Эта ФПВ для р2 имеет
наибольшую плотность в конечных точках р2 = —1 и р2 = 1, а минимум
плотности — при р2 = 0.
Интересно установить вид «априорной ФПВ с минимальной
информацией» (см. приложение ко 2-й главе) для настоящей задачи. ФПВ
для одного наблюдения задается выражением
Тогда в ФПВ для выборочных данных имеется следующее
информационное содержание:
оо
—! -log 2л,
2 2S
1 При этом, если бы у нас было более одного 9, для каждого
дополнительного 6 появлялся бы дополнительный сомножитель I/a в априорной ФПВ.
237
Если мы максимизируем априорное среднее информационное
содержание ФПВ для выборочных данных и вычтем информацию,
содержащуюся в априорной ФПВ, при условии ограничения, требующего, чтобы
ФПВ была собственной, то получим в результате
Р(Р,е,о)~ <'-Р'>"а , o<ip|<i. A5)
О
Эта априорная ФПВ для р, 8 и а обладает по 0 и а свойствами,
аналогичными A3I. Однако р входит в нее в несколько ином виде, а именно
ФПВ A5) унимодальна по р с максимумом при р = 0 и падением
плотности вероятности до нуля при р *= ±1. Сомножитель 1 — Р в A3)
ведет себя точно так же, как A—Р2I/2, но A — Р)/ A — р2I/2
обладает совершенно другими свойствами.
ВОПРОСЫ И УПРАЖНЕНИЯ
1. Примем допущение, согласно которому yt генерируется
линейной авторегрессионной схемой первого порядка, т. е. yt = pyt-i +
+ et, t = 1,2, ..., T, где для гг имеет место NID @, а2).
Специфицируйте априорную ФПВ для р и а, выбрав для этого гамма-нормальный
вид ФПВ; иными словами, пусть выполняется р (р, о)~р1 (р | а)р2 (а),
причем /?х (р | а) ~ 1/а ехр [— (с/2а2) (р — рJ], — оо < оо р < и
р2 (а) ~ (av°+1)~1 ехр (—VosJ/2a2), 0 < а < оо, где с, р, v0 и s2Q
являются априорными параметрами, значения которым
приписываются исследователем в соответствии с его априорными представлениями,
(а) Какой вид и какие свойства имеет маргинальная априорная ФПВ
для р при заданном выше виде априорной ФПВ для р и а? (б) Пусть
г/о задано. Постройте маргинальные апостериорные ФПВ для р и а
и дайте сводку их свойств.
2. В упражнении 1 формализуйте и нанесите на график априорную
ФПВ для р, которая отражала бы априорное представление — 1 <р<1
и обладала бы априорными математическим ожиданием и дисперсией
для р, равными 0,5 и 0,04 соответственно.
3. Покажите, каким образом априорную ФПВ, построенную в
упражнении 2, можно использовать для анализа линейной
авторегрессионной схемы, описанной в упражнении 1.
4. Допустим, что имеет место линейная авторегрессионная схема
yt = P#*-i + fy, f = 1,2, ..., 71; известно, что она «стартует» при t =
= —Т^, причем значение То известно и у-т0 = Ю. Постройте ФПВ для
у0 при этих допущениях и допущении, что st имеет NID @, а2) при
всех t.
5. Рассмотрим процесс yt = pyt-i + Щ, где ut = aut_t + ги
р и а являются параметрами, а щ и et суть возмущения с нулевыми
математическими ожиданиями. Кроме того, примем допущение, что
для et имеет место NID@, су2). Заметим, что мы можем записать yt—
м = р (^_i — ayt_2) + et или yt — pyt_± = a (yt_x — pyt-2)+
1 Здесь мы принимаем допущение, что области существования аи 0 в A5)
очень велики.
238
-\-&t. Объясните утверждение: «параметры аир неидентифицируемы
без дополнительной априорной информации о них». Приведите
несколько примеров априорной информации относительно р и (или) а,
которая была бы достаточной для обеспечения идентифицируемости
этих параметров.
т
6. Пусть yt = 2 WiXu + еь где wt есть неизвестный весовой
парато
метр при xt-i, i = О, 1, 2, ..., wu причем значение т известно, xt-t
являются значениями независимой переменной в период времени t—i,
a et есть возмущение. В подходе Алмон было принято допущение, что
wt могут быть аппроксимированы многочленом от i\ например, если
мы используем многочлен второй степени, то получим
Щ = Yo + yii + y^i2, i = 0, 1, 2, ..., m,
который затем подставляется в выражение для yt:
tn тп m
^=Yo2 x*-*+vi 2 ixt-i+y* 2 i2xt-i+*t-
Теперь сделаем допущение, что для et имеет место NID@, а2), и
используем расплывчатую априорную ФПВ р (yOi уъ у2У а) ~ 1/сг,
причем у принадлежит области от — оодо +оо, а 0<а<оо.
Постройте совместную апостериорную ФПВ для у при заданных
выборочных наблюдениях уи t= 1,2, ..., Т и A:^(m_D, #_(m_2), ..., хОу
хъ ..., хт* Что представляет из себя маргинальная апостериорная ФПВ
для Yi?
7. В упражнении 6 постройте совместную апостериорную ФПВ для
^о = Yo» Щ = Yo + Yi + Y2 и Щ ==: Yo + tyi + 4Y2- Объясните, как
построить 95%-ный байесовский доверительный интервал для wQ и хин*
8. Часто в приложениях подхода Алмон (см. упражнение 6)
делаются допущения, что ау_х= Yo—Yi+Y«s=O и oym + 1 = Yo+(m+l)Yi+
+ (т + 1J72 = О.4 Для исследования этих допущений постройте,
используя результаты, полученные в упражнении 6, совместную и
маргинальные апостериорные ФПВ для w^ = Yo — Yi + Y2 и wm+i =
= Yo+ (m + 1) Yi +(m + 1JY2- Если апостериорная плотность
вероятности очень низка в окрестности точки w^ = 0, то что это означает
(и вообще означает ли это что-либо) с точки зрения обоснованности
допущения, согласно которому W-x = 0?
9. Рассмотрите следующую модель
«мультипликатора-акселератора»:
(a) Ct = aYt^+ut;
/q\ 1 ._. ft /у y ) 4- ti1 /=1 2 , T
(в) Yt = Ct+It; )
где Ct есть потребление; lt — инвестиции; Yt — доход; аир —
скалярные параметры, а щ и vt — случайные возмущения. Подставляя
(а) и (б) в (в), запишите «финальное уравнение» для Yt. Снабдите
модель допущениями о свойствах возмущений и априорной ФПВ для
239
параметров. Затем объясните, как получить совместную и
маргинальную апостериорные ФПВ для а и р.
10. Покажите, как апостериорная ФПВ для а и р в упражнении
9 может быть использована в целях получения вероятностных
утверждений о свойствах решения финального уравнения для Yu
полученного в упражнении 9.
11. Пусть чистые расходы на жилищное строительство в /-й
период Et по допущениям удовлетворяют зависимости
где р — параметр запаздывания; Ht_x — заданный запас жилого
фонда в конце периода t — 1; 8* — случайное возмущение; Щ —
желаемый запас жилого фонда на t-и период. Поскольку переменная Н\ не-
наблюдаема, допустим, что Я? = а0 + ыгхи где х% есть наблюдаемая
независимая переменная, а0 и аг суть параметры, значения которых
неизвестны. Подставляя это выражение вместо Щ в уравнение для Et9
имеем
/=1,2,..., Г,
7о Рао; Yi = Pai; 7г == — Р- Если рассматривать эти три
последние зависимости как преобразование перехода от уОУ уг, и уг к <х0,
аг и р, то, для того чтобы это преобразование было
взаимно-однозначным, нужно, чтобы его якобиан был отличен от нуля. Постройте
якобиан и покажите, что он отличен от нуля при р2 Ф 0. Затем, приняв
допущение, согласно которому для et имеет место NID @, а2), при
заданном начальном наблюдении Но получите оцениватели МНП для
70, Yi и ?2- Из оценивателей МНП yt, / = 0,1,2, получите оцениватели
МНП а0, аг и р и прокомментируйте их выборочные свойства в
условиях больших выборок.
12. Пусть в упражнении 11 мы использовали расплывчатую
априорную ФПВ р (у0, уъ 7г» в) ~1/<J, причем—Eо<7? <оо , t = 0f 1,2, и
0 < а < оо. Постройте предполагаемую тем самым априорную ФПВ
для а0, аь Р и а, если у0 = ра0, уг = рах и yz = — р, и
прокомментируйте ее свойства. Затем получите совместную апостериорную ФПВ
для Yo» Yi и Тг • Покажите, что маргинальная апостериорная ФПВ для
Р = — угесть одномерная t -ФПВ Стьюдента. Заметим, что
маргинальные апостериорные ФПВ для а0 = — Y0/Y2 и ах = — Yi^Y2 имеют вид
отношений коррелированных /-переменных Стьюдента. Покажите, что
эти величины в больших выборках будут распределены как
отношения коррелированных нормальных переменных. __
13. Запишите уравнение для Et в упражнении 11 в
следующем виде:
Ег = р (а0 + a±xt — #*-i) + et.
Объясните, как можно получить оценки МНП р, а0 и аг путем мини-
т
мизации 2 е?, используя двухпараметрический поиск перебором по
значениям а0 и ах. Даст ли эта процедура те же оценки МНП, которые
были получены в упражнении 11?
240
14. В упражнении 13 примите допущение, согласно которому
априорная ФПВ для р, а0, ах и а задается выражением р (р, а0, а1э а) ~
~ Pi (Р)А*> 0 < (Г < оо, —оо < at < оо, i = 0, 1.
Постройте условную апостериорную ФПВ для а0 и о^ при заданных
Р и ст. Какое условие требуется наложить на р, чтобы эта условная
ФПВ для а0 и ах была собственной?
15. В упражнении 11 предположим, что у нас нет данных о Еи
чистых расходах, но есть данные о валовых расходах, Gt — Et + Rt,
где Rt представляет возмещение. Если сделать допущение, что Rt =
бЯ^з, где б есть параметр амортизации, то мы имеем
Gt = ра0 + paxjc« + (б - р) #
Идентифицируемы ли параметры этого уравнения, если значение б
неизвестно? С другой стороны, если значение б известно, скажем
б = б0, то объясните, как получить оценки МНП и байесовские
оценки параметров р, а0 и аг.
16. В упражнении 15 сформулируйте информативную априорную
ФПВ для параметра б и покажите, как ее можно использовать при
построении маргинальных апостериорных ФПВ для параметров
уравнения, объясняющего Gt.
Глава 8 ф МНОГОМЕРНАЯ РЕГРЕССИОННАЯ
МОДЕЛЬ
Во многих случаях в экономике и других областях мы встречаемся
с системой регрессионных уравнений. Более того, во многих случаях
возмущения в разных уравнениях коррелированы; например, если мы
имеем систему регрессионных зависимостей, относящихся к фирмам из
одной и той же отрасли промышленности, то вероятнее всего, что
возмущения в регрессионных уравнениях для одной фирмы
коррелированы с возмущениями в уравнениях для других фирм \ Это может иметь
место ввиду того, что фирмы из одной и той же отрасли
промышленности испытывают общие случайные воздействия. Или если мы имеем
систему уравнений типа спроса и предложения, то в этом случае
возмущения в различных уравнениях спроса часто могут быть
коррелированными 2. Существенно, чтобы зависимость возмущений была принята во
внимание в процессе получения выводов. Если это не будет сделано, то
полученные выводы будут весьма ненадежными.
В данной главе мы вначале проанализируем традиционную
многомерную регрессионную модель. Затем внимание будет направлено на
интерпретацию и анализ регрессионной модели, независимость
уравнений которой является кажущейся («модель с кажущейся
независимостью»). Эта модель является в некоторых отношениях более общей,
чем традиционная модель, ее приложения часто описывались в
литературе.
8.1. ТРАДИЦИОННАЯ МНОГОМЕРНАЯ РЕГРЕССИОННАЯ МОДЕЛЬ?
Мы предполагаем, что Y = (ylf y2, ..., ут) есть матрица
размерности п X т наблюдений за т переменными, которая порождается
моделью
Y = XB + U, (8.1)
где X есть матрица размерности п х k и ранга k, причем k является
числом независимых переменных, an — числом имеющихся
наблюдений. В есть матрица размерности k х т параметров регрессии, а
U = (ulf ua, ..., um) — матрица размерности п X т ненаблюдаемых
случайных возмущений. Примем допущение, что строки U
распределены независимо, каждая по m-мерному нормальному закону с нуле-
1 Этот факт на самом деле наблюдался эмпирически. Пример см. ниже.
2 См., например, [10].
8 Байесовский анализ этой модели дается в работах [48] и [139].
242
вым вектором математического ожидания и
положительно-определенной ковариационной матрицей 2 размерности т х т г. В этих
условиях ФПВ для Y при заданных X, В и 2 будет иметь вид
Р (Y| X, В, 2) - | S!-"/2exp [-у tr(Y-XB)' (Y-XB)»], (8.2)
где символ «tr» обозначает операцию нахождения следа. Заметив, что
(Y—XB)'(Y—XB) = (Y — XB)'(Y — XB)+(B — В)'Х'Х(В—B) =
= S + (B—В)'Х'Х(В — В), (8.3)
где В = (Х'Х)~Х X'Y, (8.4)
является матрицей оценок метода наименьших квадратов, а
S = (Y — ХВ)' (Y - ХВ) (8.5)
есть матрица, пропорциональная выборочной ковариационной
матрице возмущений, мы можем выписать функцию правдоподобия для В и
2 в следующем виде:
/(В, 2|Y, Х)~|2|-«/2ехрГ — ytrSS—
_ J-tr(B — В)' X' X (В —В) 2-1] . (8.6)
Сделаем допущения о скудости априорных знаний относительно
параметров, т. е. элементов матрицы В, и т (т + 1)/2 — различных
элементов матрицы 2.
Что же касается расплывчатой априорной ФПВ, мы допустим, что
элементы матрицы В и соответствующие элементы матрицы 2
независимо распределены, т. е. имеет место
р(В, 2) = р(В)рB). (8.7)
В (8.7) согласно теории инвариантности Джеффриса2 положим
р (В) = const (8.8)
и
причем в отношении (8.9) мы заметим, что в частном случае при т =1
имеет место
p@n)^-_L- (8.10)
— априорное предположение, которое мы использовали выше много
раз. Интересно также отметить, что если мы обозначим через <rw*'
(fi, fjt')-ft элемент матрицы 2, то якобиан преобразования т (т + 1)/2
переменных (oru, а12,..., отт) в (от11, а12,..., отт) можно записать как
1 Это допущение исключает возможность автокорреляции возмущений.
2 См. [67, с. 179] и конец 2-й главы.
243
Соответственно априорная ФПВ в (8.9) предполагает следующую
априорную ФПВ т (т + 1)/2 различных элементов матрицы 2:
р B-1) ~ | S |-e»+i)/2t (8.12)
т. е. расплывчатую априорную ФПВ, использованную Сэвиджем
[115], который пришел к тому же результату с помощью несколько
иной аргументации, и другими авторами. В дополнение к подходу с
точки зрения теории инвариантности Джеффриса, приведшему к (8.12),
Гейсер [48] обратил внимание на то, что (8.12) могло бы следовать из
принятия в качестве информативной априорной ФПВ для 2~х ФПВ
Уишарта и принятия равным нулю х «числа степеней свободы» в этой
априорной ФПВ. В отношении расплывчатых априорных ФПВ
(8.8) и (8.9) Гейсер [48] также замечает: «Эти ненормированные ФПВ,
или весовые функции, по-видимому, могут быть «объяснены» на
основе различных правил, например инвариантности, сопряженных
семейств, устойчивого оценивания и т. п., или эвристическими
аргументами. Хотя их использование здесь не обязательно устраняет других
претендентов, которые могут быть рассмотрены в качестве меры
незнания, с нашей точки зрения, в настоящее время не существует других,
более подходящих или удобных мер. Тот факт, что их применение во
многих случаях приводит к тем же самым доверительным областям,
что и в классической теории, определенно не является препятствием
для их использования, но, более того, в действительнрсти
обеспечивает байесовскую интерпретацию этих хорошо разработанных
классических процедур».
Учитывая сказанное относительно расплывчатых априорных ФПВ
(8.8), (8.9) и (8.12), мы объединим их с функцией правдоподобия (8.6),
чтобы получить следующую совместную апостериорную ФПВ для
параметров:
Xexpf Ltr[S + (B — В)'Х'Х(В — В)] S) , (8.13а)
ИЛИ
хехр(—Ltr[S+(B — B)'X'X(B-B)]2-i}? (8.136)
1 Если мы возьмем информативную априорную ФПВ для Е в виде
где матрица Л является положительно-определенной, т. е. в форме ФПВ
Уишарта (см. приложение Б), и допустим, что число степеней свободы равняется т — v +
+ 1=0, то v = т-\- 1 и ФПВ Уишарта приводится к виду C.12),
Если число степеней свободы равно нулю, то мы имеем «сплюснутую» ФПВ
Уишарта, которая может служить в качестве расплывчатой априорной ФПВ в том
смысле, что она является достаточно расплывчатой для того, чтобы небольшое
число наблюдений могло ее изменить.
244
Учитывая (8.13а), мы можем написать
р(В, S | Y, X) = р (В ! S, Y, X)pB|Y, X),
где
р (В | 2, Y, X) ~ | 2|-*/*ехр{ j tr [(В —6)' X' Х(В-В) S]) -
-|2|-*/»ехр[—i-tP-prS-^X'Xdi-fi]. (8.14)
причем Р' = (Р1,р;,...,рт),Р' = (fc.fc. ..., Рт), а символ ®
обозначает кронекерово, или прямое матричное, перемножение, и
pB|Y, X)-|S|-v/2exp(—itrS-is), (8.15)
где v = я — k + m+ I.
Из (8.14) видно, что условная апостериорная ФПВ В при заданной
2 является многомерной нормальной ФПВ с вектором математических
ожиданий р и ковариационной матрицей1 2 ® (Х'Х)". Если
основной интерес представляет некоторый отдельный вектор коэффициентов
системы, скажем рд, то его условная апостериорная ФПВ имеет вид
(—-i-(b-k)'X'X(fc-fc)). (8.16)
exp
Она, разумеется, является нормальной с вектором математических
ожиданий рх и ковариационной матрицей (Х'Х)-1^.
Маргинальная апостериорная ФПВ 2, заданная (8.15), является
тем, что Тиао и Зельнер называют «обратной» формой Уишарта. Они
показали [139], что элементы Su, верхнего главного минора2
размерности р х р ир<т матрицы 2 также имеют апостериорную ФПВ в
форме обратной ФПВ Уишарта:
^_AtrSriiS11), (8.17)
где Sn есть верхний главный минор матрицы S. В частности, если р = 1,
апостериорная ФПВ а1Х есть
(8.18)
т. е. имеет форму обратной гамма-ФПВ. Если мы имеем только одно
уравнение регрессии (т = 1), то (8.18) должно быть специфицировано
1 Отметим, что B-1© Х'Х)-1 = 2® (Х'Х)-1 и | S-^X'X |1/2~ |2Г*/2.
Первое равенство может быть проверено прямым перемножением матриц.
2 Таким образом, 2И определяется следующим путем:
См. в приложении Б анализ, ведущий к маргинальной ФПВ для 2И;
приведенной в (8.17).
245
в виде
J (g) (8.19)
Из (8.18) видно, что при увеличении т апостериорная ФПВ оп
становится все менее и менее сконцентрированной около sn. Этот результат
интуитивно представляется весьма привлекательным, так как при
увеличении т большая часть информации выборки используется для
оценивания а12, а13,.--, о1т. В действительности показатель степени
величины ап"/2 в (8.18) отличается от аналогичного показателя в
(8.19) на п — k + 2 — [п — k + m + 1—2 (m — 1)] = m — 1.
Таким образом, мы можем сказать, что «для каждого из т — 1
элементов су12, ..., а1т потеряна одна степень свободы».
Далее, рассматривая (8.17) для случая р = 2, мы можем следовать
теории, развитой Джеффрисом х для получения апостериорной ФПВ
для коэффициента корреляции р12 = oJ2/(au(y22I/2> которая имеет вид
Р (Pi21Y, X) ~ (^Pb)(^)/ Sn, (pi2 rii)f (g
A—pi2r12)
где п = п — k — (т — 2), г12 = s12 /(S11S22I/2 и
12; -r^ л (/t/+1/2)(n' + ?i/2)V 8 / V
Результат в (8.20), за исключением изменений числа «степеней
свободы», по форме совпадает с результатом, полученным Джеффрисом
для выборки из двумерной, нормально распределенной генеральной
совокупности.
Для того чтобы получить маргинальную апостериорную ФПВ для
некоторого отдельного вектора коэффициентов уравнений, скажем,
вектора р2, уместно заметить (из (8.16)), что условная апостериорная
ФПВ для вектора рх при заданной S зависит только от <г1г. Таким
образом, из (8.16) и (8.18) мы имеем маргинальную апостериорную ФПВ
распределения вектора рх
(8-22)
которая имеет форму ФПВ многомерного ^-распределения
(распределения Стьюдента). Это позволяет нам легко сделать выводы
относительно элементов рх. Если мы имеем точно одно уравнение регрессии,
т. е. т = 1, то (8.22) сведется к результату, полученному ранее в 3-й
главе. В случае т Ф 1 единственным различием является изменение
числа «степеней свободы» вследствие включения в модель т — 1
параметров а12, ..., а1т. Несколько иной путь рассмотрения этой
проблемы состоит в переходе к случаю системы т уравнений регрессии с
диагональной ковариационной матрицей, содержащей неизвестные
246
1 [67, с. 174]. См. также §3 приложения Б.
дисперсии на главной диагонали. Тогда, если априорная ФПВ выбра-
т
на в виде р(В, an, cr12, ...,crmm) ~ П ffjii, маргинальная
апостериорная ФПВ для Pi должна быть в форме ФПВ многомерного
/-распределения, как показано в (8.22), но с показателем—я/2. В случае тхт
недиагональной ковариационной матрицы 2, т. е. в случае
коррелированных наблюдений, в данных содержится меньше информации, чем
в случае некоррелированных наблюдений, и этот факт отражен в
(8.22) посредством уменьшения числа степеней свободы сравнительно
со случаем отсутствия корреляции.
Что касается совместной апостериорной ФПВ всех регрессионных
коэффициентов регрессии, представленных матрицей В, то, используя
свойства ФПВ Уишарта г при интегрировании (8.136) по различным
элементам матрицы S, получим
p(B|Y, X) ^ —- X
| S+(B —В)' X' X (В —В) \п/2
с expj — -i-tr[S+(B — В)'Х'Х(В —B)]S~i)|S-i|(/l~w~1)/2
X [-—- ; \ &Ъ~\ (8.23)
J | S+ (В —В)' X' X (В — Б)\~п/2
откуда следует
р (В IY, X) - — т—г0 , (8.24)
V1 |S+(B —B)'X' Х(В — B)|rt/2 V
так как интеграл в (8.23) в точности равен нормирующей постоянной
ФПВ Уишарта и не зависит от параметров В. Совместную ФПВ (8.24)
называют «обобщенной многомерной ФПВ Стьюдента». Рассмотрим
некоторые свойства этой ФПВ.
Во-первых, как мы уже видели, маргинальная апостериорная ФПВ
вектора коэффициентов регрессии, скажем, вектора plf является ?-ФПВ
Стьюдента (см. (8.22)). Мы сейчас покажем, что если выразить
совместную ФПВ В = (Рх, р2, ..., рте) в виде2
р(В | Y)=p(px | Y | р(Р2 | P,,Y)....p(pm | рх,р2, ...,Pm_i,Y), (8.25)
то каждый из сомножителей в правой части (8.25) может быть
выражен в виде многомерной f-ФПВ Стьюдента3. Вначале мы получим
выражение для р(р3, р2,..., рт^ | Y)p(pm | рь ра..., pm_lf Y).
Заметим, что определитель в (8.24) может быть представлен в виде
|S+Q|= §+Q
(s+q)'
smm ~\~ Qmm
(8.26)
См. приложение Б.
Д б
1 См. приложение Б.
2 Далее будет видно, что X рассматривается в качестве известной матрицы.
8 Этот факт доказан Тиао и Зельнером [139].
247
где Q = (В — В)'Х'Х (В -- В); S + Q есть верхний левый
главный минор размерности (т — 1) X (т — 1) матрицы S + Q; s' =
= (s«i, sm2, ..., Snin-v) и q' = (qml, qm29 ...,qm <m-i)). Введем
обозначение
*x« = YiYi, где Yi = X(p,-ff,), a,/=l,2 m (8.27)
и q' = Y^Y. где y = (Yi. Y*.-. Ym-i)- (8-28)
Затем, после некоторых алгебраических преобразований, получим
I S + Q | = | S + Q| [ст + (y« - Ц)' Dm (Ym - pt)J, (8-29)
где
и ст = smm — s' (S + Q) s' — fi' Dmfi.
Воспользуемся теоремой Точера [140], которая гласит, что если А
является матрицей размерности т х п, а В — матрица размерности
яХ/п, то справедливо следующее матричное равенство:
= Im + А AП - ВА)-^В. (8.30)
С помощью (8.30) и замечая, что y'Y = Q» получим
D^^I+yS^y', (8.31а)
H = YSs (8.316)
и
cm = smm-s'S-ls. (8.31b)
Таким образом, ст является (т,т)-м элементом матрицы S. Теперь
можно заметить, что второй сомножитель в правой части (8.29) имеет
вид
[С» +(Y»-FO' Dm (Ym-I*)] = \Ст +(РТО-Пт)' X' Dro X {K~4m)l
(8.32)
где 4m = pm + dS-»e и d = (k-
Пользуясь (8.29) и (8.32), мы можем выписать совместную ФПВ для
матрицы В, приведенную в (8.24) в следующем виде:
р (В | Y) ~ | S + Q |-«/2 {ст + (Вж -1?) X'DmX | рго - Чго)}-«/2.
(8.33)
Определитель матрицы X'DmX равен:
|X'DmX| = |X'X||I-(X'X)-1.X'v(S+Q)-1Y'XH
= |X'X||I—d(S+Q)-iY' X|. (8.34)
Известно, что если А и В являются матрицами, размерность каждой
из которых — п X п, то 11 — АВ | = 11 — ВА | [14]. Обобщим эту
248
теорему на случай, когда А является матрицей размерности т X п,
а В есть матрица размерности п X т. Предположим, что т<. п.
Тогда
А
|Im-AB| =
1„-(в; о)
BAI.
Воспользовавшись этим результатом, мы можем второй определитель
в правой части (8.34) представить в виде
Следовательно,
Соответственно ФПВ (8.33) может быть записана в виде
где
К (8.35)
(8.36)
(8.37)
X [с
-ЧтУ X' Dm X фп-
(8.38)
Из (8.38) видно, что условная ФПВ вектора 0m может быть
представлена в форме ФПВ многомерного ^-распределения Стьюдента, тогда
как форма маргинальной ФПВ (&, ..., рт_г) в (8.37) совпадает с
формой первоначальной ФПВ для матрицы В (см. (8.24)), за
исключением, конечно, изменений в размерности матрицы S + Q и значения
показателя степени определителя. Продолжая рассмотренный процесс
т — 1 раз, мы сможем выразить совместную ФПВ матрицы В в виде
р (В | Y)
-&,)' X' X (Pi—'Px)]-In~(№~1>3/2 X
X
fl
где Da, Ча и са определяют, как и выше, полагая, что а = т.
Сомножители в (8.39) в точности соответствуют сомножителям в
(8.25). Отсюда становится ясно, что первый сомножитель является
маргинальной ФПВ вектора рх, что, конечно, находится в согласии с
(8.22). Таким образом, ФПВ обобщенного многомерного f-распределе-
ния Стьюдента является интересным примером, иллюстрирующим
тот факт, что, хотя условная ФПВ и маргинальная ФПВ для
определенных подмножеств их переменных имеют форму ФПВ многомер-
249
ного ^-распределения Стьюдента, совместная ФПВ имеет форму,
отличную от этой ФПВ.
В качестве второго свойства обобщенной многомерной /-ФПВ
Стьюдента получим маргинальную апостериорную ФПВ матрицы Bj,
являющейся подматрицей В:
/ в, \
Y = (X1 •• Х2) ... +U = X1B1 + X2B2 + U. (8.40)
\ В2 /
Из (8.40) видно, что элементами Вх являются коэффициенты при тех
неизвестных во всех уравнениях системы, которые содержатся в
матрице XL. Используя результаты Гейсера [48], можно показать, что
определитель в (8.24) равен:
S + (B — В)'Х'Х(В — B) = S +
/
= S + (Bl-fi1)/F(B1-61)+(Ba-A)/X5X,(Ba-A). (8.41)
Здесь мы выделили полный квадрат относительно В2. При этом
F = Х{ Xi—Xi Х2 (Х2 Х2) Х2 Xi
т. е. выражение, не зависящее от В2. Таким образом, совместная ФПВ
матриц Вх и В2 имеет вид
р (Ъъ В21Y) ~ | S +(&-%)' F (8,-ВО +
+ (В2-A)' XsX2 (В,-А) \-nift. (8.42)
Если ФПВ в (8.42) рассматривать как функцию только В2 при
заданной В], то ее форма совпадает с формой ФПВ в (8.24.) Используя
свойства обобщенной многомерной t-ФПВ Стьюдента г и проинтегрировав
(8.42) по В2, получим
р (Вх | Y) ~ | S +(Bi-Bi)' F(Вх-ВО |-(*-**>/2, (8.43)
где F была определена выше и k% обозначает число строк в В2. Отсюда
видно, что маргинальная апостериорная ФПВ матрицы В2 является
обобщенной многомерной ?-ФПВ Стьюдента. Таким образом,
результаты Тиао и Зельнера могут быть привлечены в этом анализе для
получения маргинальной ФПВ любого столбца матрицы Вх, а также
условных ФПВ.
Обсудим последнее свойство совместной ФПВ матрицы В в (8.24).
Гейсер отмечает, что величина
<~ 141
U = — (8.44)
|S-f(B-B)'X'X(B-B)|
1 См. [3], [35] и приложение Б к настоящей книге.
250
распределена как Uw, k>n-k> т. е. определенное Андерсоном х
произведение бета-распределенных переменных. Следовательно, как
отмечает Гейсер, апостериорная ФПВ для U, где В есть случайная
матрица, а все другие величины фиксированы, является такой же, как и
выборочная ФПВ для 0, где В фиксирована, a S и В являются
множествами случайных переменных. Тогда апостериорная область для
элементов матрицы В определяется посредством
где Um, ft, n_fe есть а-й перцентиль.
8.2. ПРОГНОЗНАЯ ФПВ ДЛЯ ТРАДИЦИОННОЙ МНОГОМЕРНОЙ
РЕГРЕССИВНОЙ МОДЕЛИ2
Допустим, как и в 8.1, что мы имеем выборочные наблюдения,
генерируемые многомерной нормальной регрессионной моделью
Y = ХВ + U, (8.45)
и хотели бы получить прогнозную ФПВ для будущих наблюдений
зависимых переменных, скажем W, где W — матрица размерности
р X т. Допустим далее, что W генерируется той же самой моделью,
которая генерирует Y, или
W - ZB + V, (8.46)
где Z является матрицей размерности р х k заданных значений
независимых переменных в следующие р периодов времени, а V
размерности р X т является матрицей будущих нормальных возмущений,
строки которой распределены каждая с нулевыми математическими
ожиданиями и ковариационной матрицей 2, совпадающей с
ковариационной матрицей для строк матрицы U. Тогда прогнозная ФПВ для
матрицы W есть
/?(W|Y,X,Z) =
X р (W | Z, В, 2-1) dB dS-1, (8.47)
где
р (W | Z, В, 2-1) ~ | 2-1 |р/2 ехр |-у tr [(W-ZB)' (W-ZB) 2^4J
(8.48)
является совместной ФПВ матрицы W при заданных Z, В, 2 и где
р (В, 2 | Y, X) является совместной апостериорной ФПВ матриц
1 [2, с. 194] и дальше Андерсон обсуждает величину U, являющуюся
корнем степени /г/2 из отношения правдоподобия в случае проверки гипотезы
относительно подмножества элементов В.
2 Разработка различных аспектов этой проблемы встречается в работах
[3], [48] и [152].
251
В и 2, которые определяются, как показано в (8.13). Подставляя
выражение для р (В, S | Y, X) и (8.48) в (8.47), получим
подынтегральное выражение в виде
где A = (Y — ХВ)' (Y — XB) +(W —ZB)' (W—ZB).
После приведения к виду (8.49) свойства ФПВ Уишарта могут быть
использованы для интегрирования по различным элементам 2~\ что
приводит к следующему результату:
| А |-(«+р>/2 = | (Y —ХВ)' (Y-XB) + (W —ZB)' (W—ZB)|-c»+p>/2. (g#50)
Для интегрирования по элементам матрицы В выделим полный
квадрат относительно В, что дает
= |Y'Y + W'W — B'MB+(B — В)'М(В — 6)Г(Я+Р)/2, (8.51)
где M = X'X + Z'ZhB= М1 (X'Y + Z'W). ФПВ в (8.51)
имеет вид, с которым мы уже встречались (см. сноску в связи с (8.42)).
Таким образом, проинтегрировав по В, мы получим прогнозирующую
ФПВ для W:
р (W| Y, X, Z) - | Y' Y + W W-В' MB |-(«+p-*)/a# (8.52)
Для упрощения этого выражения выделим полный квадрат
относительно W следующим образом:
Y'Y + W'W—B'MB^Y'Y + W'W—
—(Y' X + W'Z) M (X' Y +Z' W) = Y' (I —XM-1 X') Y +
+W (I—ZM^Z') W —Y' XM^Z' W—W ZM-1 X' Y =
= Y'(I — XM^X' — XM-1Z'C~1ZM-1X')Y +
+(W—C^ZM X' Y)' С (W—C^ZM^X' Y), (8.53)
где С = I — ZMZ/. Далее мы имеем
что может быть доказано простым перемножением г. Справедливо
также равенство
(8.54)
i (i _ ZM-^Z') [I + Z (X'X)-1 Z] = I — Z (M-1 — (X'X)-1 + M^Z'Z X
X (X'X)-1] Г = I — ZM-ЧХ'Х ~M+ Z'Z] (X'X)-1^, так как XX — M +
+ Z'Z = 0, если принято, что М = Х'Х+ Z'Z, по определению.
252
Окончательно имеем
ХМ X' + ХМ-1 Г С ZM X' = X [М-1 + М-1 Z' Z(X' X)] X' =
= XM-1(XfX + Z'Z)(X'X)-1X'-X(X'X)-1X', (8.55)
где (8.54) было использовано в первой строке (8.55). Подставляя
результаты из (8.54) и (8.55) в (8.53), получим
Y'Y-fW'W—B'MB = Y'[I— X(X'X)-1X']Y-b
+ (W— ZB)'C(W—ZB), (8.56)
причем В = (X'X) X'Y. Замечая, что
Y'[I—X(X'X)-1X']Y = (Y—XB)'(Y—XB) = S,
мы можем выписать прогнозную ФПВ (8.52) в следующем виде:
р (W | Y, X, Z) ~1S +(W—ZB)' (I—ZM-1 Z') (W—ZB) |-(«+p-*)/2
(8.57)
Таким образом, мы показали, что W — матрица будущих
наблюдений — имеет обобщенную многомерную t-ФПВ Стьюдента. Как
видно из (8.24), апостериорная ФПВ матрицы В имеет такой же вид.
Таким образом, относительно вида ФПВ результаты, установленные
для (8.24), справедливы также и для (8.57). В частности, маргинальная
прогнозная ФПВ любой вектор-строки (или столбца) матрицы W
будет иметь вид многомерной t-ФПВ Стьюдента. Далее, если мы
представим матрицу W в блочном виде, т. е. положим, что W = (W^W^),
то маргинальная прогнозная ФПВ матрицы Wx будет иметь вид
обобщенной многомерной /-ФПВ Стьюдента. Окончательно, отметил Гей-
сер, мы, как и в (8.44), приходим к тому, что величина
I s+(w—zb)' (i—zm-i z') (w—zb) I
распределена как1 Tjm>p, п-ь- В частном случае простой регрессии
при т = 1 S является скалярной величиной и
S-^W—ZB)' (I—ZM-1Z')(W—ZB)
— квадратичной формой, распределенной как [р/(п — k)]FPtn^k.
При р = 1, т. е. в случае, когда W является m-мерной вектор-стро-
1 См. [2, с. 194] и дальше, где обсуждается это распределение. Андерсон
употребляет символ U там, где мы пользуемся U.
253
кой, ФПВ в (8.57) сводится к многомерной /-ФПВ Стыодента г и
величина
распределена как [т/(п — k — т + 1)] /\nf n-fe-m+i> гДе zi является
первой строкой Z и Wx — первой строкой W.
8.3. ТРАДИЦИОННАЯ МНОГОМЕРНАЯ МОДЕЛЬ
С ТОЧНЫМИ ОГРАНИЧЕНИЯМИ
В некоторых случаях известно, что определенные элементы в
матрице В равны нулю или что некоторые элементы матрицы В
подчинены точным линейным ограничениям. В этих условиях совместная
апостериорная ФПВ матрицы В, приведенная в (8.24), должна быть
представлена в условной форме, позволяющей включить эту
информацию, и эта условная апостериорная ФПВ может быть использована для
получения выводов относительно остальных, ненулевых
коэффициентов. Обсуждение нескольких подобных примеров приводится ниже.
Если точные нулевые ограничения относятся только к
компонентам некоторого конкретного вектора коэффициентов, скажем,
вектора рх, то апостериорное распределение вектора рх в (8.22), имеющее
форму многомерной ^=ФПВ Стыодента, может быть легко
проанализировано с целью получения условной ФПВ, которая включила бы
условную информацию; например, если мы представим рх в блочном
виде, т. е. рассмотрим р{ = фа, Ро)» и нам известно дополнительно,
что ро = 0, то апостериорная ФПВ р фа | у, Ро = 0) легко может быть
получена. Другие точные линейные ограничения на компоненты
вектора Pi также могут быть использованы с учетом свойств
многомерной ^-ФПВ Стьюдента.
С другой стороны, если ограничения относятся к компонентам
нескольких или всех векторов, то ситуация становится более
запутанной. Частный случай, когда Вх = С1э где Y = ХХВХ + Х2В2 + U и
Сг известно, может быть легко рассмотрен при приложении результата
(8.42); иными словами, если положить, что Вх = Clf то мы получим
условную апостериорную ФПВ для матрицы В2 при заданной Ъг =
= Сх в форме обобщенного ^-распределения Стьюдента. Если же
нулевые ограничения принадлежат к коэффициентам различных
подмножеств переменных в уравнениях системы
Уа = Ха1 ра1 +Хао рао +иа, а = 1,2,..., т, (8.58)
ГДе X = (Ха1 : Хао) И ра = (Ра,, Ра0), Причем Ра0 = 0, ТО Пробле-
ма становится более сложной, так как представление X в блочном виде
1 Этот результат следует из (8.57). Обозначая через \УА и Хг первые строки
матриц W и Z соответственно, мы можем написать определитель в (8.57) в виде
| 1 + abb' | = 1 + яЬ'Ь, где а = 1 - Zx (X'X + ZjZx) Z[ и b = А (Щ -
— Zx В)' является m-мерным вектор-столбцом, А—невырожденной матрицей,
такой, что ASA' = Im или 8~г= А'А. Тогда р(Щ |ХХ Y, ZJ - |1 +аЪЪ'Г{п+ x~k)l2 =
= A + аЪ'Ъ)-(п+1-к)/2 = [1 + a (Wx—ZxB) S (W1-Z1BI~('l+1-^/2, т. е.
имеет форму многомерной /-ФПВ Стьюдента.
254
производится в общем случае различными способами для различных
уравнений системы. Для анализа этого случая совместная
апостериорная ФПВ матрицы В в (8.24) должна быть разложена в ряд и главный
нормальный член в разложении должен быть рассмотрен при
использовании ограничений Ра, = 0, а = 1,2, ..., т.
Для разложения (8.24) представим его в виде
p(B|Y)~|S+(B — В)'М(В — В)Г"/2, (8.59)
где S = nS иМ = я"Х'Х. Пусть Н является невырожденной
матрицей, такой, что HSH' = I и Н (В — 1В)'М (В — В)Н' = D, где D =
= D (Xt) есть диагональная матрица с характеристическими корнями
%г матрицы (В — В)' М (В — В) на главной диагонали. Корни будут
малыми, если п велико и lim М = М, где М — постоянная матрица.
Из HSH' = I следует, что Н'Н = S. Таким образом, получим
В)'М(В — В)|-Л/2 = |НН'|п/2|
(8.60)
Заметим, что tr D =^tr Н (В — В)'М (В —В) Н' = jtr Н'Н (В — В)'Мх
X (В — В) = tr S^Q, где Q = (В — В)'М (В — В). С помощью
аналогичных преобразований получим
Используя полученные результаты, приведем (8.60) к виду
р (В IY) ~ ехр / —- Г— tr S Q — tr S" QS1
I 2 I n 2м2
\ —_ — — "|i
+ 1^ Г "JJ^
- exp ( tr S QJ exp (±- tr S11 QS1 Q—
— tr S QS QS Q —...) , (8.61)
6n2 ;
где Q = (В — B)'X'X (B — В). С помощью разложения ех = 1 +
+ x + x2/2! + ... мы получим
+ —trSr1QS-1Q + ...j, (8.62)
255
где символ ~ означает «приблизительно пропорционально».
Главный сомножитель в (8.62) имеет многомерную нормальную форму
распределения, т. е.г
— В) "L
[] (8.63)
Тогда
p(P.i|Y,p.o = O)^exp{-J-d'[Sa/(Xai • Xao)'(Xh \ X,.)]dJ. (8.64)
где р.2 обозначает вектор коэффициентов, по предположению
отличных от нуля; р.о — вектор коэффициентов, по предположению равных
нулю; sal является (а, /)-м элементом матрицы S; sal (Xai • Xa2)' х
X(Xh • Xlo) — типовой элемент блочного представления матрицы и
d' = [(Pb-Pi.)', -Pi0 (Pm.-ftnJ'-ftj (8-65)
является модифицированным вектором (р — Р)', при
построении-которого учтено условие, что часть коэффициентов априори равна нулю.
Используя введенные обозначения, (8.64) может быть выражено в виде
IY, Р.о = 0) ^ ехр [ —1 (Рд-рл)' (Xi, Xh lal) (Рл-fo-
-2р/0(Х;оXIt 8«0(Рд-Рд) +Р.'о(Х^Х,оsa/)р.о] • (8.66)
Полагая V = (Ха, Х/4 sa/), R = (Xa0 X/t sal) и выделяя полный
квадрат в экспоненте в (8.66), получим
Р (Рд I Y, Р.о)<* ехр [ -± (рд_рд_ v-i R' р.о)' х
xV(p.1-p.1-VR'p,0)]. (8.67)
Таким образом, математическое ожидание этой нормальной
аппроксимации условной апостериорной ФПВ равно J.x + V^R'p.o, а
ее ковариационная матрица равна: V = (Х^ Xh s^). Можно
убедиться, что математическое ожидание равно сумме вектора оценок
наименьших квадратов р.х и члена, содержащего вектор выборочных
оценок нулевых ограничений р.о.
1 Интересно отметить, что главный нормальный член в этом разложении
в точности соответствует условной апостериорной ФПВ для матрицы В при
заданной матрице S =~S.
256
8.4. ТРАДИЦИОННАЯ МОДЕЛЬ С ИНФОРМАТИВНОЙ АПРИОРНОЙ ФПВ
Мы продвинулись вперед в использовании расплывчатой
априорной ФПВ и в рассмотрении, случаев наличия точных ограничений на
некоторые из элементов матрицы В. В этом параграфе мы
рассмотрим проблему включения априорной информации относительно
элементов В с помощью информативной априорной ФПВ. Предположим,
что существующая априорная информация является достаточно
точной. Тогда, применив ее, мы, разумеется, можем повысить точность
получаемых нами выводов. Дополнительно мы путем сравнения
свойств априорной и апостериорной ФПВ посмотрим, как выборочная
информация изменяет наши представления. Проблема состоит в
формулировании такого вида априорной ФПВ, который был бы пригоден
с точки зрения представления априорной информации о широком
круге проблем и достаточно удобной в применении. Должно быть ясно
осознано, что нельзя выделить какой-либо единственный класс ФПВ,
пригодный для приложения во всех мыслимых ситуациях, однако
есть основания полагать, что класс, изучаемой ниже, будет полезным
при рассмотрении многих проблем.
Как заметил Ротенберг [111], если мы используем «простое»
естественно сопряженное априорное распределение 1 при изучении
традиционной многомерной регрессионной модели, то это повлечет за собой
наложение ограничений на параметры, а именно на дисперсии и кова-
риации коэффициентов в уравнениях системы. Это является
результатом того, что матрица (Х'Х) входит в ковариационную структуру в
следующем виде: 2 ® (Х'Х). Таким образом, например, все
отношения дисперсий соответствующих коэффициентов в первом и во
втором уравнениях будут равными, если мы употребим простую
естественно сопряженную априорную ФПВ. Путь решения этой проблемы
состоит в применении обобщенной многомерной нормальной
априорной ФПВ всех коэффициентов модели 2. Поступая подобным образом,
мы обойдем проблему, отмеченную Ротенбергом, заплатив за это
определенную цену в связи с тем, что такая обобщенная нормальная
априорная ФПВ не сочетается так же аккуратно с функцией
правдоподобия, как простая естественно сопряженная ФПВ. Однако эта цена не
является чересчур высокой, поскольку ограничения, появляющиеся
в ходе применения естественно сопряженной априорной ФПВ при
изучении традиционной модели, не являются приемлемыми в
большинстве рассматриваемых ситуаций.
Учитывая все вышесказанное, мы рассмотрим следующую
априорную ФПВ:
р (р, 2-1) ~ |2-i|-е*+1>/2ехр Г--1-(р-Р)' С-1 (p-p")j, (8.68)
1 Иными словами, мы берем априорную ФПВ в той же форме, что и функцию
правдоподобия, и имеем естественно сопряженную априорную ФПВ.
2 Как это будет ясно из последующего изложения, используемая априорная
ФПВ является естественно сопряженной априорной ФПВ для
«псевдонезависимой регрессионной модели» (см. 8.5).
9 Зек, 1964 257
где р — mk x 1-мерный вектор-столбец математического ожидания
априорного распределения, введенного в рассмотрение
исследователем, а матрица С = || cai II размерности mk x mk является
априорной ковариационной матрицей, также заданной исследователем.
Как и выше, предположим, что априорные знания относительно
элементов матрицы 2 скудны, и используем расплывчатую априорную
ФПВ, введенную и рассмотренную в параграфе 8.1.
Объединяя априорную ФПВ в (8.68) с функцией правдоподобия
в (8.6), получим совместную апостериорную ФПВ в виде
(В-В)' Х'Х(В-В)]|ехр[--1 (Р-р)С-ЧР-Р)], (8.69)
где В = (Plf..Mpm)fp/= (?;,...,?;) и B^
Проинтегрировав (83)9) по S, получим
(8.70)
Можно видеть, что апостериорная ФПВ матрицы В является
произведением сомножителей в форме ФПВ многомерного ^-распределения
Стьюдента и ФПВ многомерного нормального распределения.
Поскольку (8.70) выглядит достаточно сложно, разложим первый
сомножитель в правой части (8.70), как это мы уже делали в 8.3. В
результате получим следующую аппроксимацию апостериорной ФПВ
главным нормальным членом разложения:
р (В | Y)~ ехр [--1 (р-ру S-1 <g> XX (Р-р) ] ехр х
X [—f(P-FrC^(P-P)]^exp[-i-(P-byF(P-b)], (8.71)
где ч
® X'X^C^p + S-1 ® Х'Х Р) (8.72)
^X'X. (8.73)
Величина в (8.72) является математическим ожиданием главного
нормального члена в разложении, причем видно, что она является
«матричной средней взвешенной» априорного математического ожидания
Р и вектора оценок наименьших квадратов р, веса которых задаются
матрицей, обратной к априорной ковариационной матрице С, и
выборочной ковариационной матрицей (S ® (Х'Х))
соответственно. Матрица F в (8.73) является обратной к ковариационной матрице
главного нормального члена, аппроксимирующего г апостериорную
ФПВ для В.
1 Учет дополнительных членов разложения согласно приложению 4.2.
должен привести к лучшей аппроксимации апостериорной ФПВ для В-
258
$.5. ПСЕВДОНЕЗАВИСИМАЯ РЕГРЕССИОННАЯ МОДЕЛЬ
Эта регрессионная модель1 является обобщением традиционной
многомерной регрессионной модели в том смысле, что здесь в левых
частях каждого уравнения модели могут стоять разные матрицы X
наблюдений за независимыми переменными, или, иными словами,
делается допущение, что модель, генерирующая наблюдения, имеет вид
(8.74)
где уа (а = 1,2, ..., т) является ^-мерным вектор-столбцом
наблюдений за а-й зависимой переменной; Ха есть матрица размерности nXka
и ранга ka наблюдений за ka независимыми переменными,
участвующими в а-м уравнении; Р2 — &а-мерный вектор-столбец
коэффициентов а-го уравнения; иа — n-мерный вектор-столбец возмущений а-го
уравнения. Например, индекс а (а-е уравнение) может относиться к
а-й фирме. Таким образом, (8.74) представляет собой модель,
состоящую из т уравнений для каждой из т фирм, причем исследователь
располагает я наблюдениями за каждой из фирм и каждая фирма имеет
свой набор независимых переменных2 и свой вектор коэффициентов.
Для простоты перепишем (8.74) в следующем виде:
У-Zp + u, (8.75)
где у' = (у[, у?, ..., у^), Р' = (р[, р?, ..., j&), и' = (и{, и^, ..., и'т) и Z
является блочно-диагональной матрицей, структура которой видна из
правой части (8.74). Наши допущения о распределении пт элементов
вектора и совпадают с допущениями в традиционной модели, а именно
допускается нормальное распределение, причем М (и)=0 и
M(uu') = 2® In, (8.76)
где \п есть единичная матрица размерности п X п, a S —
положительно-определенная симметричная матрица размерности т X т. Тогда
функция правдоподобия параметров р и S имеет вид
I(р, 2 |у) ~ рв-1!»/* ехр [-± (y-Z Р)' 2-1 ® In (y-Z P)] ~
ехр ( — — tr AS-1], (8.77)
1 Анализ этой модели с точки зрения теории выборочных исследований
дается в работах [75], [146], [147], [154].
2 Допущение, что матрицы X в разных уравнениях модели (8.74) различны,
приводит к иным результатам, чем традиционная модель, это оказалось
неожиданным. Термин «псевдонезависимая регрессионная модель» был выбран для
того, чтобы акцентировать этот факт.
9* 259
где
yi-Xi Pi)' (у»-хх pj;... (y.-x, px)' (ym-xm pj
.... (ym-xm pmy (ym-x
m
(8.78)
является симметрической матрицей размерности т X т.
Мы будем пользоваться теми же самыми расплывчатыми
априорными допущениями относительно параметров, которые были сделаны
при анализе информационной многомерной регрессионной модели, а
именно
р (Р, 2-1) = рф)р B-1) - 12Ч-СН-1 )/2. (8J9)
Объединяя (8.77) и (8.79), получим совместную апостериорную ФПВ
для параметров модели в виде
р (р, 2-Чу) - |2р-(«+ О/*] ехр [—1- (y-Zp)' 2-1®
<g> In (у—Z p)l^|2-1p-(m+l)^2 exp[—~ tr A 2-1!, (8.80)
где А определена в (8.78).
Из (8.80) видно, что условная апостериорная ФПВ для р при
фиксированной S имеет форму ФПВ многомерного нормального
распределения с математическим ожиданием
М (р 12-\ у) = [Г (S-1 ® In) Z] Г B-i ® 1Л) у, (8.81)
а условная ковариационная матрица имеет вид
Cov (P12-1, у) = [Г B-i ® In) ZJ-*. (8.82)
Условное математическое ожидание в (8.81) в точности совпадает с
обобщенной оценкой наименьших квадратов, полученной Зельнером
при изучении системы (8.74) с точки зрения теории выборочных
исследований. Для того, чтобы убедиться в справедливости последнего
утверждения, умножим обе части (8.75) на некоторую матрицу Н.
Получим Ну = HZP + Ни, где Н является невырожденной
матрицей, такой, что М (Huu'H') = Н2 ® 1ПН' = 1тп. Последнее
равенство возможно ввиду того, что принимается допущение, согласно
которому матрица S ® 1П является положительно-определенной
симметрической матрицей. Таким образом, из HS ® 1ЛН' = 1тп следует,
что Н'Н = S ® 1П. Следовательно, преобразованная система
Ну = HZp + Ни удовлетворяет условиям теоремы Гаусса
—Маркова; и это означает, что оцениватель метода наименьших квадратов
вектора р, полученный методами теории выборочных исследований, вида
Р = (Z'H'HZ)-1 Z'H'Hy = [Г [2-1 <g> In) Z]-1 Z' 2-1 ® In у (8.83)
с ковариационной матрицей
CovCPHlZ'tS^UZr* (8.84)
260
является эффективным в классе линейных оценивателей. Кроме foro,
учитывая предположения нормальности, из функции правдоподобия
(8.77) можно видеть, что оцениватель (8.83) является оценивателем
МНП вектора Р при заданной матрице 2. Можно легко убедиться в
том, что если матрицы X совпадают или являются пропорциональными
и/или если 2 является диагональной, то выражения в (8.81) и (8.83)
сводятся к векторам оценивателям метода наименьших квадратов
единственного уравнения, т. е. относительно (8.83) при этих условиях
можно сказать, что"ра = (XaXJ-^Xaya, а = 1,2, ..., т. Аналогич
ное утверждение можно сделать относительно (8.81).
Как уже отмечалось выше, выборочный оцениватель теории
выборочных исследований (8.83) идентичен математическому ожиданию
условной апостериорной ФПВ вектора р при заданной матрице S или
эквивалентно при заданной матрице S. Отметим, однако, что
оцениватель теории выборочных исследований (8.83) зависит от матрицы
2, обычно неизвестной. Для решения этой проблемы Зельнер
предложил заменить 2 состоятельной оценкой 2, полученной с
использованием остатков для уравнений, каждое из которых оценивается
отдельно с помощью метода наименьших квадратов. Полученный при
этом оцениватель равен г:
Ь = [Г (S-1 ® In) Z]-1 Z 'S-1 ® 1пу, (8.85
т. е. эквивалентен оценивателю, получаемому с помощью байесовского
анализа при использовании допущения, что 2 = ?. Тогда условное
математическое ожидание (8.81) в точности совпадает с оценивателем
в (8.85). В случае больших выборок 2 не существенно отличается от
2 и при предположении, что 2 = 2, будут получаться
удовлетворительные результаты. Однако в случае выборок малого объема2
лучше получить маргинальную апостериорную ФПВ для р и, основываясь
на ней, делать необходимые выводы, в меньшей степени полагаясь на
условные результаты.
Для получения маргинальной апостериорной ФПВ р можно
использовать свойства ФПВ Уишарта при интегрировании (8.80)
по различным элементам матрицы 2-1. В результате получим
•Л/2
(8.86)
Yi-Xx fc)' (Yi-Xi Pi)... (У1-Хх рх)' (ym-Xm pm)
L(ym-xmpmyXyi-x^)'. .. (ym-xmpm)'(ym-xrapm)J
1 Этот оцениватель имеет те же самые свойства в случае выборок большого
объема, что и оцениватель р в (8.83).
2 См. в [147], где приводится анализ свойств оценивателя в (8.85) для
случая выборок конечного объема и для модели, состоящей из двух уравнений. Кмен-
та и Гильберт [75] приводят интересные результаты, полученные методом Монте-
Карло, а Каквани [70] показывает, что оцениватель b является несмещенным.
261
*— совместную апостериорную ФПВ элементов матрицы р. Хотя это
распределение напоминает обобщенное многомерное /-распределение
Стьюдента, не представляется возможным привести его к этому виду,
так как матрицы X разных уравнений различаются. Прежде чем
перейти к практическому использованию (8.86), требуется разработка
специального аппарата для анализа этой совместной апостериорной ФПВ.
Задачу анализа псевдонезависимой регрессионной модели можно
рассмотреть и с другой точки зрения, представляя саму модель в виде
«ограниченной» традиционной, многомерной модели, т. е. в виде
(Ух.»
мУ«) = (*
г у у
/
т)
'Pi
0
0 ...
Ра...
0
0
+ (и1,...,иж), (8.87)
О ... ft,
где ясно представлены нулевые ограничения модели. В случаях, когда
матрица (Х2, Х2, ..., Хт) имеет полный ранг, можно применить
подход, рассмотренный в 8.3 для включения нулевых ограничений в
традиционную модель. Однако если мы имеем дело только с главным
нормальным членом разложения, то можем заметить, что этот подход
равносилен использованию условной апостериорной ФПВ р @ | 2 =
== 2, у). Таким образом, с некоторой степенью точности приложение
результатов (8.81) и (8.82) при условии 2 = 2 является
удовлетворительным для случая больших выборок.
Чтобы проиллюстрировать применение этих результатов теории,
основанных на больших выборках, мы рассмотрим данные о
ежегодных инвестициях 10 крупнейших корпораций США с 1935 по 1954 г.
Для каждой из этих 10 фирм мы строим регрессионное уравнение,
которое объясняет их годовые валовые инвестиции в неизменных ценах в
терминах двух объясняющих переменных: общей стоимостью
проданных на начало года акций и физическим объемом капитала на начало
года.
Дополнительно мы примем допущение о наличии ненулевого
свободного члена в каждом уравнении. Допустим также, что модель,
генерирующая данные, является нормальной регрессионной моделью с
кажущейся независимостью, т. е. имеет место вид (8.74) при т = 10.
В табл. 8.1 приведены приближенные значения математических
ожиданий апостериорных ФПВ для коэффициентов, которые основаны на
условной апостериорной ФПВ р (В | 2 = 2, Y). В скобках даны
условные средние квадратичные отклонения коэффициентов, равные
квадратным корням из диагональных элементов матрицы (8.84). Далее
представлены результаты изолированного анализа 10 регрессионных
уравнений на основе расплывчатой априорной ФПВ, как и в 4-й главе,
в случае множественной регрессионной модели. В таблице даны
элементы ра = (ХаХа)~1Хауа» подсчитанные для данных каждой из
фирм; числа в скобках являются корнями квадратными из
диагональных элементов (ХаХа) saa, а = 1, 2, ..., 10. Сравнивая точность,
с которой определены коэффициенты, можно видеть, что анализ, ис-
262
Таблица 8.1
Апостериорные математические ожидания
и средние квадратичные отклонения коэффициентов уравнений регрессии
для инвестиций по десяти фирмам*
Корпорация
Дженерал Электрик
Вестингауз
Юнайтед Стейтс Стил
Даймонд Мэтч
Атлантик Рефайнинг
Юнион Ойл
Гудьир
Дженерал Моторз
Крайслер
ИБМ
Анализ, основанный
на (8.8J), (8.82)
1
8 в*
—11,2
B1,1)
4,11
E,09)
—18,6
G8,4)
2,20
A,12)
26,5
F,48)
—9,67
(9,01)
—2,58
G,59)
— 133,0
G3,2)
2,45
A1,5)
—5,56
C,56)
угловые
коэффициенты* *
, | ,
0,0332
@,00928)
0,0525
@,00794)
0,170
@,0377)
—0,0181
@,0151)
0,131
@,0473)
0,112
@,0456)
0,0760
@,0202)
0,113
@,0167)
0,0672
@,0166)
0,131
@,0167)
0,124
@,0214)
0,0412
@,0347)
0,320
@,101)
0,365
@,0578)
0,0102
@,0187)
0,128
@,0155)
0,0641
@,0229)
0,386
@,0312)
0,306
@,0271)
0,0571
@,0575)
Анализ, основанный только
на данных отдельных фирм
1
3
\О Я
О w
%9
—9,96
C1,4)
—0,509
(8,02)
—49,2
A48)
0,162
B,07)
22,7
F,87)
—4,50
A1,3)
—7,72
(9,36)
-150
A06)
—6,19
A3,5)
—8,69
D,54)
угловые
коэффициенты* ¦
1
0,0266
@,0156)
0,0529
@,0157)
0,175
@,0742)
0,00457
@,0272)
0,162
@,0570)
0,0875
@,0656)
0,0754
@,0340)
0,119
@,0268)
0,0780
@,0200)
0,132
@,0312)
2
0,152
@,0257)
0,0924
@,0561)
0,390
@,142)
0,437
@,0760)
0,00310
@,0220)
0,124
@,0171)
0,0821
@,0280)
0,371
@,0371)
0,316
@,0288)
0,0854
@,100)
¦ Данные, лежащие в основе этих вычислений, взяты из [16].
** Угловой коэффициент A) является коэффициентом при общей стоимости проданных
на начало года акций, в то время как угловой коэффициент B)
при физическом объеме капитала на начало года.
является коэффициентом
пользующий все наблюдения, дает более островершинные
апостериорные ФПВ для коэффициентов, чем анализ, базирующийся на
изолированных данных отдельных фирм для выводов относительно этих
коэффициентов. Изолированный анализ, принимающий во внимание
только часть данных, не может обеспечить применение информации,
относящейся ко всей системе в целом, и эта информация теряется.
В качестве меры коррелированности наблюдений в табл. 8.2
приведена выборочная корреляционная матрица возмущений. Можно
Убедиться, что некоторые из этих коэффициентов корреляции
являются существенными и что, следовательно, имеются основания
сомневаться в независимости этих наблюдений.
Таблица 8.2
Выборочная корреляционная матрица возмущений
I
I?
CO <h
ё
о
|
Дженерал
Электрик
Вестингауз
Юнайтед Стейтс
Стил
Даймонд Мэтч
Атлантик ре-
файнинг
Юнион Ойл
Гудьир
Дженерал Мо-
торз
Крайслер
ИБМ
1,00
0,74
1,00
0,45
0,64
1,00
0,60
0,62
0,75
1,00
—0,02
0,00
0,24
0,13
1,00
0,02
0,14
—0,30
-0,23
0,15
1,00
0,43
0,54
0,30
0,
0,29
0,16
—0,28
,27
28—0
-0,15
0,20
1,00
—0,32
0,53
0,21
1,00
—0
о
о
о
о,
—о,
о,
-О
1,
,07
,12
,36
,12
06
13
07
28
00
0,48
0,55
0,39
0,41
0,22
0,14
—0,18
0,12
0,21
1,00
ВОПРОСЫ И УПРАЖНЕНИЯ
1. Дана расплывчатая априорная ФПВ для различных элементов
оп, а22, о12 положительно-определенной симметрической
ковариационной матрицы размерности 2x2; иными словами, известна р B) ~
~ | 2 I, причем аи, а22 > 0 и — оо < а12 < оо . Выведите
следующую отсюда априорную ФПВ коэффициента корреляции р =
= <WJ/ ona22 и опишите ее свойства.
2. Пусть ух, у2,..., уп являются двумерными вектор-столбцами
наблюдений, полученными независимым случайным отбором из
двумерной нормальной генеральной совокупности с вектором математических
ожиданий \ir = (|ilf fi2) и положительно-определенной симметрической
ковариационной матрицей S размерности 2x2. Выведите двумерную
маргинальную апостериорную ФПВ для \it и [i2 с помощью
расплывчатой априорной ФПВ для р, и различных элементов матрицы S.
3. Используя условия упражнения 2, выведите апостериорную ФПВ
для разности математических ожиданий \1г — |х2. Получите также
маргинальные апостериорные ФПВ для параметра ап и коэффициента
корреляции р.
4. Предположим, что в упражнении 2 каждый у^ является т-мер-
ным вектор-столбцом, \i' = (jxj, \i2, ..., jO и S является
положительно-определенной симметрической матрицей размерности т X т.
Приняв расплывчатые априорные допущения относительно \i и
различных элементов матрицы S, покажите, что маргинальная
апостериорная ФПВ для параметра ji имеет форму многомерной /-ФПВ Стью-
дента, и получите маргинальную апостериорную ФПВ для параметра
264
5. В условиях задачи 4 объясните, как построить 90%-йый доберй-
тельный байесовский интервал для c'ji» где с' ¦¦ (с1э с2, ...» ст)
является известной /n-мерной вектор-строкой.
6. В упражнении 4 получите маргинальную апостериорную ФПВ
для различных элементов матрицы 2 и прокомментируйте ее свойства.
Из апостериорной ФПВ для матрицы 2 выведите апостериорную ФПВ
для матрицы й = А' 2 А, где А является невырожденной
матрицей размерности т X т, элементы которой суть известные величины.
7. Используя апостериорную ФПВ для матрицы 2, полученную
в упражнении 6, выведите маргинальную апостериорную ФПВ для
различных элементов матрицы 2П размерности тх X т±, которая,
являясь подматрицей матрицы 2, определяется следующим образом:
^ii 212^
8. Постройте апостериорные ФПВ для матриц 2~* и 2п1.2 —
== BU — 232 2j2122i)* = 211 при условии, что апостериорная ФПВ
для матрицы 2 получена в упражнении 6.
9. Рассмотрим стандартную многомерную регрессионную модель
Y = ХВ + U, которая проанализирована в 8.3. Из маргинальной
апостериорной ФПВ для элементов матрицы В, показанной в (8.24),
выведите апостериорную ФПВ для элементов матрицы в = СВ,
где С является невырожденной матрицей размерности k X k, элементы
которой суть известные величины.
10. Пусть Yx = Х^ + Vt и Y2 = Х2 В + U2, где матрицы
Yb Xt и \Jt — имеют размерности щ X т, п% X к, п% X т при
f = 1,2 и В является матрицей регрессионных коэффициентов
размерности k X т. Пусть строки матриц Ux и U2 размерности 1 X т
являются независимо и нормально распределенными с нулевыми
векторами математических ожиданий и строки матрицы U2 имеют общую
положительно-определенную симметрическую ковариационную
матрицу 2Х размерности т X т, а строки матрицы U2 имеют общую
положительно-определенную симметрическую ковариационную матрицу 2а
размерности тХт. Пусть Х2 и Х2 являются заданными матрицами,
ранг которых равен k. Используя следующую расплывчатую
априорную ФПВ:
р (В, 2Х, 22) - | 2Х | -(m+D!2 | sa | -Оп+О/2,
где элементы В принадлежат (— оо, + оо) и | 2* | > 0 при I = 1,2,
покажите, что предельная апостериорная ФПВ для матрицы В
представляется в виде произведения двух сомножителей, каждый из
которых имеет форму обобщенной /-ФПВ Стьюдента.
11. Постройте главный нормальный член в асимптотическом
разложении апостериорной ФПВ для матрицы В, полученной в
упражнении 10.
12. Рассмотрим следующую систему регрессионных уравнений
265
УН = fillXli + *12*2i + Hi* 1 / | о п
где pi7- являются коэффициентами регрессии; хц и x2t — заданными
величинами двух независимых переменных; у1г и y2i — зависимыми
переменными; ии и u2i — возмущениями. Предположим, что матрица
X = (х^), размерность которой лх2, имеет ранг 2 и что пара
случайных переменных (ulU u2i) для i = 1,2, ..., п является нормально
и независимо распределенной, каждая с нулевым вектором
математических ожиданий и общей положительно-определенной симметрической
ковариационной матрицей 2 размерности 2x2. Предполагая, что
элементы матрицы 2 являются известными величинами, выведите
условную апостериорную ФПВ для коэффициентов регрессии р^,
используя расплывчатую априорную ФПВ.
13. Пусть в упражнении 12 р12 = р21 = 0. Получите условную
апостериорную ФПВ для ри и р22 при заданной матрице 2 и р12 = Р21~О.
Иными словами, постройте р (Pu, p22 | 2, р12 = p2i = 0, yl9 y2).
Каковы математическое ожидание и ковариационная матрица этой
условной апостериорной ФПВ? Какое влияние оказывает условие
п
XiX2 == 2 xux2i = 0 на апостериорную дисперсию коэффициента
Ри?
14. Используя результаты упражения 13, сравните
апостериорную дисперсию рп при заданных 2 и р12 = р21 = 0 с апостериорной
дисперсией рп в случае известной ап, полученной из анализа #,,- =«
= Рл хи + ии с помощью расплывчатой априорной ФПВ для
коэффициента рп.
15. Покажите, что выражение в (8.81) сводится к М ф \ S,
yJ-CZ'Z^Z'y, если
а) S-1 является диагональной матрицей и/или
б) Хг = Х2 == ... = Хт.
Интерпретируйте величину (Z/Z)Z'y. Рассмотрите также форму
(8.82) при условиях а) и б).
Глава 9 • одновременные уравнения
В ЭКОНОМЕТРИЧЕСКИХ МОДЕЛЯХ
Так как большинство экономических явлений включает
взаимодействие нескольких или многих переменных, важную проблему
составляет построение и анализ моделей, которые включают такие
взаимодействия или образные связи и способны «объяснить» вариацию
множества переменных. Именно это обстоятельство мы имели в виду при
построении модели, содержащей одновременные уравнения для
изучения, скажем, отдельного конкретного рынка или национальной
экономики. В первом случае модель обеспечит объяснение вариаций
цены и количества товара или услуг, предлагаемых на рынке. Что
касается модели национальной экономики \ то одной из целей
построения модели является объяснение вариаций таких переменных, как
национальный доход, потребление, инвестиции и уровень цен.
Здесь термин «одновременные уравнения в эконометрических
моделях» служит для обозначения стохастической модели, которая
позволяет исследователю сделать вероятностные утверждения
относительно множества случайных переменных, так называемых
внутрисистемных переменных2. Модель, которую мы будем рассматривать,
является линейной относительно параметров и представляет собой
обобщение многомерной регрессионной модели в том смысле, что в
многомерных регрессионных моделях мы имеем точно одну «зависимую»
переменную в каждом уравнении, в то время как в эконометрических
моделях, содержащих одновременные уравнения, в каждом уравнении мы
можем иметь более чем одну зависимую переменную. Таким образом,
мы сделаем допущение, что в рассматриваемом случае данные
генерируются с помощью модели, имеющей вид3
УГ= ХВ+ U, (9.1)
где Y = (ух, у2, ..., ут) является матрицей наблюдений (размерности
п X т) за т «зависимыми», или внутрисистемными, переменными, ва-
1 См. работу [91], в которой приводится обзор основных свойств ряда
моделей, которые были опубликованы.
2 Для того чтобы сделать такие вероятностные утверждения, необходима
информация относительно начальных условий модели, вида ФПВ для ее
стохастических переменных, внесистемных значениях переменных и значений ее
параметров. Получение информации о значениях параметров является задачей
статистических методов оценивания.
3 До тех пор пока это будет возможно, обозначения в этой главе будут
совпадать соответственно с употребляемыми при обсуждении многомерной
регрессионной модели в 8-й главе.
267
риации которых должны быть объяснены с помощью модели, Г —
невырожденная матрица коэффициентов при внутрисистемных
переменных, размерность которой равна т X т, X = (х1э х2, ..., xk)
— матрица наблюдений (размерности п X k) за k «заранее»
определенными переменными, В — матрица коэффициентов при «заранее»
определенных переменных и U = (и19 и2, ...» ит) — матрица
(размерности п X т) случайных возмущений. Переменные в матрице X,
матрице заранее определенных переменных, могут включать
запаздывающие значения внутрисистемных переменных и/или внесистемные
переменные. В последнюю категорию мы включаем нестохастические
и стохастические переменные, вариации которых определяются вне
модели. По определению, мы предполагаем, что стохастические
внутрисистемные переменные распределены независимо от элементов U и
от параметров модели, т. е. распределение не зависит от матриц Г,
В и от элементов корреляционной матрицы, элементов матрицы U.
Далее в этой главе мы сделаем допущение, что элементы матрицы U
имеют нулевые математические ожидания и что строки матрицы U
нормально и независимо распределены с положительно-определенной
симметрической ковариационной матрицей 2 размерности т X т. Это
предположение независимости исключает любую форму
автокорреляции.
Заметим, что если элементы матрицы Г в (9.1) являются
известными величинами, то модель может быть проанализирована с помощью
результатов, полученных в 8-й главе для многомерных регрессионных
моделей1. Рассмотрим отдельно частный случай, когда Г = Im, где
\т — единичная матрица размерности тх т. Такая модель имеет
форму регрессионной системы, за исключением того, что матрица X
обычно содержит запаздывающие значения экзогенных переменных у.
Более точно можно сказать, что в случае Г = \т рассматривается
система авторегрессионных уравнений. Случай Г = \т не означает, что
в системе отсутствует обратная связь; он означает, что любая
обратная связь в системе проявляется с некоторым запаздыванием.
Другие частные случаи, которые мы будем различать ниже,
заключаются в том, что: 1) матрица Г является треугольной и
ковариационная матрица возмущений 2 — диагональной; 2) матрица Г —
треугольная, а 2 — не диагональная. Отмеченные частные случаи
называются обычно «полностью рекурсивными» и «"Треугольными»
системами. Можно также различать случаи, получающиеся
комбинированием блочно-диагональной матрицы Г и ковариационной матрицы
возмущений, имеющей диагональную или блочно-диагональную
структуру. Если же матрица Г и ковариационная матрица возмущений не
имеют специальной формы, то мы будем называть такую систему просто
«взаимозависимой» моделью.
Мы обсудим вначале анализ полностью рекурсивной и треугольной
моделей. После этого мы обратимся к концепции идентификации в
байесовских терминах. Затем будут рассмотрены несколько простых
х Это предполагает, как уже отмечалось выше, зависимость от известных
начальных условий, если модель имеет авторегрессионные свойства.
моделей с последующим представлением методов «ограниченной
информации», байесовского анализа одного изолированного уравнения и
полной системы уравнений в целом. Наконец, сообщаются
результаты некоторых экспериментов, полученных методом Монте-Карло,
сравниваются выборочные свойства байесовских и хорошо известных оце-
нивателей теории выборочных исследований.
9.1. ПОЛНОСТЬЮ РЕКУРСИВНЫЕ МОДЕЛИ
Мы предположим, что наблюдения Y = (ух, у2, ..., ут)
генерированы следующей моделью:
Уз = У1 Тз1 + У2 Ys2 + Х3 р3+и3, (9.2)
У -1 Ут. т-\
где уа является n-мерным вектор-столбцом наблюдений за а-й
внутрисистемной переменной; Ха — матрица размерности п X ka
наблюдений за ka заранее определенными переменными, входящими в а-е
уравнение с вектором коэффициентов ра, ранг которой равен ka;
вектор ра — ka-мерный вектор-столбец коэффициентов; иа — л-мер-
ный вектор-столбец возмущении; уаг являются скалярными
коэффициентами К Далее мы предположим, что компоненты вектора иа9
а = 1,2, ..., т, нормально распределены с нулевыми
математическими ожиданиями и ковариационной матрицей
М (шГ) = 1> К) ®1П, (9.3)
где u' = (uf,..., и^) и D (da) является диагональной матрицей, в
которой на главной диагонали стоят дисперсии af, a?, ... стД. Таким
образом, (9.3) наряду с допущением нормальности означает, что все
компоненты и являются независимо распределенными и что возмущения
в различных уравнениях имеют разные дисперсии.
"' Учитывая сделанные выше допущения о распределениях и замечая,
что якобиан преобразования от переменных и к переменным у равен 1,
мы получим функцию правдоподобия в следующем виде:
/(б, a| Y, Yo) - П — ехр [ Х— (Уа: -Zaва)' (уа -Z^^
(9.4)
1 В (9.2) мы предполагаем, что все yat отличны от нуля при принятом
условии нормирования и треугольной структуре. Если известно, что некоторые из
этих коэффициентов априори равны нулю, то это не будет существенно
воздействовать на анализ системы.
269
где Yq обозначает заданные начальные условия, о' =» (alt a2, ...,
Za = (УъУ*...,уа_г ; Ха), 6a = (Y; : Ра], причем
Ya = (Yal, Ya2,..., 7а, a- l) И fi' = ( б; f Ъ'2 ,..., 6m).
Что касается априорных допущений, то мы используем
расплывчатую ФПВ, р F, о) = р (Ь)р (a), где
p(8)~constant и p(cT)^n-L\-ool<6<ooi> (9.5)
a=1aa]Oi<(r<ooi,
причем нижний индекс обозначает вектор-столбец. В этих условиях
совместная апостериорная ФПВ для векторов 6 и or имеет вид
. (9.6)
Можно сразу заметить, что в (9.6) каждый сомножитель содержит
параметры определенных уравнений, aa и ба, и, следовательно,
параметры каждого уравнения апостериори распределены независимо от
параметров других уравнений. Апостериорная ФПВ для параметров
a-го уравнения имеет вид
где
6a=(z;za)-1z;ya (9.8)
и ua = ya — Za5a. Таким образом, условная апостериорная ФПВ для
вектора ба при фиксированном aa является многомерной нормальной
ФПВ с вектором математических ожиданий аа. Интегрируя далее (9,7)
по aa, мы найдем, что маргинальная апостериорная ФПВ параметра
aa имеет вид
где qa есть число компонент 6а. Иными словами, (9.9) является
обратной гамма-ФПВ. Наконец, интегрируя (9.7) по aa получим
маргинальную апостериорную ФПВ для 6а в виде выражения
(9.10)
т. е. в форме, соответствующей многомерному /-распределению Стью-
дента с вектором математических ожиданий 6а, который был
представлен в (9.8). Необходимо также отметить, что ба является оценкой МНП
вектора 6а.
270
Можно видеть, что-результаты, Полученные для полностью
рекурсивных систем, при известных начальных условиях полностью
аналогичны байесовским результатам анализа многомерной
регрессионной модели. Таким образом, многие из результатов, полученных для
многомерной регрессионной модели, могут применяться при анализе
уравнений полностью рекурсивных моделей. Например, если мы
вместо расплывчатой априорной ФПВ для компонент вектора 6а возьмем
информативную априорную ФПВ в многомерной нормальной форме,
т. е.
fV (9Л1)
где 6a является вектором априорных математических ожиданий и
TaRa1 — априорной ковариационной матрицей, то совместная
апостериорная ФПВ для вектора 8а при условии, что априорная ФПВ для
параметра aa есть р (аа) ~ l/aa, имеет вид
X
Хехр F-1-Fa--6a)' RaFa-6a)l, (9.12)
L Ла J
где PI означает априорную информацию.
Можно убедиться в том, что апостериорная ФПВ в (9.12) является
тем, чтоТиаои Зельнер [138] назвали «^-нормальная форма», для
анализа которой могут быть приложены развитые этими авторами методы
(см. приложение 4.1). Кроме того, если информативная априорная
ФПВ для aa имеет форму обратной гамма-ФПВ и введена в
рассмотрение вместе с нормальной априорной ФПВ для 6а в (9.11), то легко
может быть показано, что совместная апостериорная ФПВ вектора 6а
имеет /-нормальную форму. Среди других результатов, которые могут
быть перенесены из регрессионного анализа и применены для анализа
полностью рекурсивных моделей, надо указать анализ автокорреляций
и преобразований Бокса — Кокса. Затем также нетрудно получить
прогнозную ФПВ для у- в п + 1-й момент времени. Получение
соответствующего результата для моментов времени я + 2, я + 3 и т. д.
является в случае авторегрессионных систем затруднительным.
Простота полностью рекурсивной модели в части, касающейся
ее треугольной формы и анализа, является впечатляющей. Однако
есть основания полагать, что предположение о некоррелированности
возмущений во многих случаях не является удовлетворительным.
Займемся теперь анализом треугольных систем, не предполагая, что
ковариационная матрица является диагональной.
.9.2. ОБЩИЕ ТРЕУГОЛЬНЫЕ СИСТЕМЫ
В этом параграфе мы займемся анализом (9.2), причем допущение
(9.3) замещается допущением
М (uu') =. 2 ® 1Л, (9.13)
271
еде 2 является положительно-определенной симметрической
матрицей размерности т X т. Условие (9.13) допускает ненулевые кова-
риации одновременных возмущений и разные дисперсии возмущений
в различных уравнениях, но исключает любой вид автокорреляции.
За исключением допущения (9.13), все другие допущения о свойствах
распределений остаются такими же, что и в 9.1.
Заметим, что система (9.2) может быть представлена в виде
(9Л4)
причем Z и б были определены ранее. Уравнение (9.14) представлено
в виде регрессионной модели с кажущейся независимостью. Таким
образом, при заданных начальных условиях и использовании
расплывчатой априорной ФПВ
—ooi<6<ooi (9.15)
анализ системы (9.14) проводится аналогично анализу регрессионной
модели с кажущейся независимостью. В частности, условная
апостериорная ФПВ для вектора 6 при заданной матрице 2 будет иметь
многомерную нормальную форму с вектором математических
ожиданий
Z^S-^IJy (9.16)
и условной ковариационной матрицей
где Z обозначает блочно-диагональную матрицу в правой части (9.14,
а у есть вектор левой части (9.14). Анализ, основанный на этих
условных результатах, при наличии выборки большого объема может быть
проведён с помощью состоятельной оценки матрицы 2,
базирующейся на теории выборочных исследований г. Что касается результатов
для условий конечной выборки, то совместная апостериорная ФПВ для
компонент 6 имеет вид
р (в | Y, уо)~| А|-*/2, (9.18)
где
.(yi-Z161)'(y7n-Zm6m)
(ym-zm6my (yw-zme
) J
Апостериорная ФПВ (9.18) имеет ту же форму, что и ФПВ для
коэффициентов регрессионной модели с кажущейся независимостью.
Необходимы дальнейшие исследования для разработки способа получения
маргинальных ФПВ, связанных с ФПВ (9.18).
* В дополнение можно сказать, что для анализа треугольных систем могут
быть применены результаты параграфов 9.5 и 9.6.
272
9.3. КОНЦЕПЦИЯ ИДЕНТИФИЦИРУЕМОСТИ
В БАЙЕСОВСКОМ АНАЛИЗЕ
В этом параграфе мы перейдем к рассмотрению проблемы
идентифицируемости. Вначале точно так же, как и в теории выборочных
исследований, важно подчеркнуть, что проблема идентифицируемости
возникает не только для моделей, содержащих системы
одновременных уравнений, но и при рассмотрении всех статистических моделей.
Иными словами, в терминах теории выборочных исследований
делается допущение о том, что наблюдения у генерируются ФПВ р (у | 6),
где в есть вектор параметров. При этом можно задаться вопросом: не
существует ли другой вектор параметров, скажем вектор <р, такой
что р (у | в) = р (у | ср)? Если это имеет место, то ясно, что вне
зависимости от информации, содержащейся в произвольной выборке, все-таки
сохраняется проблема выбора: решить, генерируются ли
наблюдения моделью р (у | в) или моделью р (у | ср); т. е. возникает задача
идентификации модели, генерирующей наблюдения, В этой ситуации
говорят, что модель не является идентифицируемой. Соответственно
имеет место проблема идентификации параметров; в рассматриваемом
случае параметры не являются идентифицируемыми. Обычно в
теории выборочных исследований на параметры модели накладываются
точные ограничения для достижения идентифицируемости; например,
определенные элементы могут быть по предположению равными нулю.
Если мы обозначим ограниченный вектор параметров через 9Г и
р (у [ 6Г) Ф р (у | <р) для всех векторов <р нетождественных 0г, то
модель р (у | 6Г) является идентифицируемой или, что эквивалентно,
вектор параметров 0Г является идентифицируемым.
Так как априорная информация в байесовском подходе не
обязательно имеет форму точных ограничений, но и может быть гибко
задана с помощью априорных ФПВ, существует необходимость
расширения концепции идентифицируемости, чтобы обеспечить возможность
использования в байесовском подходе более общих видов априорной
информации. Приступим к рассмотрению этой проблемы.
Предположим, что мы имеем две модели, скажем, модель Мг с
вектором параметров 02 и априорной ФПВ р (Вг | Л1Х) и модель М2 со
своим вектором параметров 62 и априорной ФПВ р (821 М2). Если
обе модели наряду с их априорной информацией ведут в точности к той
же самой маргинальной ФПВ для некоторого массива наблюдений \
то мы будем говорить, по определению, что модель Мг вместе с ее
априорной информацией и М2 вместе с ее априорной информацией
являются эмпирически эквивалентными, и мы не в состоянии применить
данные для их различения. Другими словами, можно сказать, что Мг с
ее априорной информацией неидентифицируема относительно М2 с ее
априорной информацией. Мы имеем
(9,20)
См. во 2-й главе определение маргинальной ФПВ для наблюдений.
273
где у является вектором наблюдений; р (у, 6г | Мг) — совместной
ФПВ у и 6Х при заданной модели М^ р (у\ 0х, Мг) есть ФПВ вектора
у при заданном векторе 02 и модели М19 а р (вг | Мх) является
априорной ФПВ для вектора параметров 6lf связанного с моделью Мг.
Тогда маргинальная ФПВ вектора у имеет вид
р (у | Мг) = J р (у | вх, Ali) P (Ox I Mx) d 0i. (9.21)
Аналогично, для модели М2 с ее связанным вектором параметров 02
имеем
Р (У I М2) = J р (у | 02, Л* 2) р @а | М2) d02. (9.22)
Тогда М2 и М2 вместе с соответствующей им априорной информацией
определяются как эмпирически эквивалентные в том и только в том
случае, если
Р <y\MJ = p<y\MJ. (9.23)
При выполнении условия (9.23) мы не в состоянии решить вопрос о
том, какая же информация «объясняет» выборочные данные — модель
Мг и информация, содержащаяся в р (вг \ Мг)9 или модель М2 и
информация, содержащаяся в р @21 М2). Оба случая предполагают
одинаковую природу распределения наблюдений.
Рассмотрим частный случай, когда модели представляются в виде
систем одновременных уравнений, и пусть Мг имеет вид г
YI\ = ХВХ + Ux (9.24)
с ковариационной матрицей возмущений Slf a M2 — вид
УГ1А=ХВ1 + и1, (9.25)
где А есть произвольная невырожденная матрица, или
Yr2-XB2+U2 (9.26)
с ковариационной матрицей возмущений 22, причем Г2 = ГХА,
В2 = ВхА, U2 = UxA и S2 = A'SiA. В этих условиях, которые не
накладывают ограничений на элементы ковариационной матрицы, мы
имеем, как известно,
Р (Y16lf М^ ¦ р (Y | в2, М2), (9.27)
где вх = (Гх; Blf Sx) и в2 = (Г2, В2, 22).
Считая справедливым тождество (9.27), посмотрим, что получится
при использовании «неинформативных» априорных ФПВ для
параметров. Пусть наши неинформативные или расплывчатые априорные
1 Ниже употребляются обозначения и допущения о свойствах
распределений, введенные в §9.1,
274
ФПВ инвариантны х относительно рассмотренного выше класса
преобразований, а именно: Г2 = 1\А, В2 — BjA и 22 = A'S^A. В этом
случае априорная ФПВ для Qx будет иметь ту же самую форму, что
априорная ФПВ для 62. Тогда
Р (Y | М2) = $ р (Y |вь Мх) р (вх | Мх) d вх (9.28)
и
р (Y | М2) = J p (Y102, М2) р (в2 \М? d в2 (9.29)
будут тождественными в смысле соотношения (9.27) и предположений
относительно способов получения неинформативных или
расплывчатых априорных ФПВ.
Конечно, при использовании информативных априорных ФПВ
общего вида, ФПВ (9.28) и (9.29), разумеется, не будут тождественны,
вследствие чего можно утверждать, что Мг и соответствующая ей
априорная информация не являются эмпирически эквивалентной М2 и
соответствующей ей априорной информации. Таким образом, в связи
с общей моделью, содержащей систему линейных одновременных
уравнений, YF = ХВ + U, можно утверждать, что для ее
идентифицируемости должна быть использована априорная информация.
Для определения меры строгости, с которой априорная информация
идентифицирует Мг относительно М2, мы предложим использование
J> или «дивергенцию»2, величину, используемую в теории информации
в качестве возможной меры идентифицируемости, т. е. рассмотрим
(9.30)
Этот подход к проблеме идентифицируемости легко может быть
распространен на случай апостериорных ФПВ для параметров. Напри-
1 Обсуждение теории инвариантности и процедур получения
инвариантных неинформативных априорных ФПВ можно посмотреть в [67, с. 175 и даль-
ше] и в [60]. См. также приложение 2.1. Рассмотрим пример. Предположим, что
наша априорная ФПВ для 2Х имеет вид р BJ ~ | 2Х |~(/п+1)/2, уже
использованный выше. Рассмотрим 22 = A'SiA (где А является невырожденной матрицей)
как преобразование от различных элементов 2Х к соответствующим элементам
22. Якобиан этого преобразования равен |А|~^т"^^. Следовательно,
Можно убедиться, что наша неинформативная априорная ФПВ имеет точно ту
же форму и для 22, и для 2Х. Этот результат следует из того факта, что
примененная конкретная априорная ФПВ р BХ) ~ \ 2j p(m+1)/2 является
инвариантом, как следует из теории инвариантности Джеффриса. Если употребляются
несобственные априорные ФПВ, то интегралы в (9.28) и (9.29) не будут в общем
случае сходящимися. Этот факт указывает на то, что введенной в рассмотрение
априорной информации недостаточно для получения собственных маргинальных
предельных ФПВ для наблюдений. Ниже мы предположим существование
достаточно широкой области существования параметров, что позволяет представить
априорные ФПВ Джеффриса в виде собственных ФПВ.
2 Обсуждение свойств этой меры можно найти в [67, с. 179 и дальше], а
также в [77, с. 6 и дальше].
275
мер, если допущения, обеспечивающие равенства в (9.28) и (9.29),
справедливы, то можно увидеть, что апостериорные ФПВ для вг и
62 не различимы.. Мы имеем для апостериорных ФПВ следующие
выражения:
Р (YI Мг)
(9.31)
(9-32)
Из (9.27), равенств (9.28) и (9.29) и р FХ | Af,) d6x = р (в21 М2) d62
в условиях, заданных инвариантных априорных ФПВ Джеф-
фриса, следует, что (9.31) и (9.32) точно совпадают в смысле формы и
параметров распределения. Таким образом, нет оснований для
суждения о том, относится ли апостериорная ФПВ к 6j или к 62. Но это и
означает наличие проблемы идентифицируемости.
Мы обсудили проблему идентифицируемости в достаточно общих
терминах, применимых к широкому кругу статистических моделей,
включающему, как частный случай, модели, содержащие системы
одновременных уравнений. Так как проблема идентифицируемости для
систем одновременных уравнений часто обсуждается в терминах
соотношений между параметрами модели, записанной в структурной и
приведенной формах, то мы рассмотрим этот подход в терминах
байесовского анализа, используя работу Дреза [36]. Приведенная форма
системы одновременных уравнений, YF = ХВ + U, имеет вид
Y = ХП + V, (9.33)
где П = ВГ и V = UP-1. Обозначим ковариационную матрицу
возмущений приведенной формы через Q = (Г)' 2Г и сначала
сделаем допущение, что матрица Q известна. Тогда, рассматривая П и
Г как матрицы неизвестных параметров, мы в качестве совместйой
апостериорной ФПВ для них будем иметь
р(Г, P|Y)~/>(I\ П)'/ (П | Y), (9.34)
где р (Г, П) является априорной ФПВ и / (П | Y) — функцией
правдоподобия. Из (9.34) сразу следует, что *
/?(Г|П, ?)~/>(Г|П). (9.35)
Таким образом, условная апостериорная ФПВ матрицы Г при
заданной матрице П пропорциональна априорной условной ФПВ для Г при
заданной П. Этот результат, полученный Дрезом [36], показывает, что
поскольку условная априорная ФПВ р (Г | П) не зависит от
наблюдений, то на апостериорную условную ФПВ р (Г | П, Y) влияет только
априорная информация. В то же время именно априорная ФПВ
матрицы П, /?(П), модифицируется в результате использования информа-
1 Отметим, 4Top(r,n|Y)=p(rL|n,Y)p(n|Y):H p (Г, П)~р (Г| П)р(П).
276
ции выборки г и естественно, что выборочная информация улучшает
наше знание матрицы П.
В традиционном подходе для достижения идентифицируемости
вводятся точные ограничения на элементы матриц Г, В, 2.
Ограничиваясь рассмотрением случая точных ограничений на элементы
матриц Г и В, мы можем различить три ситуации, а именно: а)
ограничений слишком мало для того, чтобы получить единственный набор
элементов матриц Г и В при известных значениях элементов матрицы П—
так называемый случай «недоидентифицируемости»; б) ограничений
достаточно для получения единственного множества значений
элементов матриц Г и В при известных значениях элементов матрицы П—
так называемый случай «точной идентифицируемости»; в) ограничений
слишком много для того, чтобы получить единственный набор
элементов матриц Г и В при известных значениях элементов П — так
называемый случай «сверхидентифицируемости». В терминах
байесовского анализа, следуя изложению Дреза [36], с нестохастическими
априорными ограничениями в случае точной идентифицируемости и
априорной ФПВ для матрицы П, имеющей вид р (П) ~ const, вся
масса р (Г | П) сосредоточена в единственной точке 2. Если одно (или, в
более общем случае, г) из этих ограничений опущено, то мы имеем
случай (а) — случай недоидентифицируемости. В этом случае масса р
(Г| П) не будет сосредоточена в одной точке, а будет равномерно
распределена вдоль линии или, в более общем случае,— вдоль г-мерной
гиперплоскости. Следовательно, имеет место одномерная или г-мер-
ная равномерные апостериорные ФПВ р (Г, П | Y) или р (Г, В | Y).
Наконец, если мы добавим одно (или г) дополнительных априорных
ограничений, то априорная ФПВ р (П) не будет равномерно
распределенной, так как не все значения П являются свободными при заданных
точных априорных ограничениях. Ниже будут рассмотрены примеры,
иллюстрирующие некоторые аспекты этих упомянутых выше ситуаций.
9.4. АНАЛИЗ НЕКОТОРЫХ КОНКРЕТНЫХ МОДЕЛЕЙ,
ПРЕДСТАВЛЕННЫХ СИСТЕМАМИ ОДНОВРЕМЕННЫХ УРАВНЕНИИ
Модель, которая будет проанализирована нами_ первой, — это
модель потребления Хаавельмо3
«Ь=12 Т (9в36)
J ' '"" ' (9.37)
1 Если ковариационная матрица возмущений приведенной формы
неизвестна и априорная ФПВ р (Г, П, Q) = р (Г, П) р (ft), то отмеченный выше
результат следует немедленно; если р (О'|Т, П) = р (Q | П), т. е. когда априори Q
не зависит от Г для данного П и р (Й | Г, П) Ф р (Q), то можно получить тот
же результат. Хотя в общем случае результат не сохраняется, он имеет место
при расплывчатой априорной ФПВ для й.
2 Отметим, что линейные ограничения на элементы Г и В подразумевают
наличие множества билинейных ограничений на Г и П, так как П = ВГ.
Таким образом, мы рассматриваем проблему в терминах Г и П вместо терминов
Г и В.
8 [57]. Эта модель была проанализирована с байесовской точки зрения в [23];
[24] и [111].
277
где Ct и yt — эндогенные переменные — соответственно дефлятирован-
ный расход на потребление и располагаемый доход на душу
населения; zt—внесистемная переменная, представляющая «автономные
расходы»; ut — возмущение. Мы сделаем допущение, что ut имеют
нулевые математические ожидания, общую дисперсию, равную а2, и
являются нормально и независимо распределенными. При этих
условиях функция правдоподобия модели имеет видг
/(а,р,а|данные)~ ^f ехр
Г—^^ fa_p_
Допустим также, что априорная ФПВ имеет вид
р (а, р, а) ~ 1/а, (9.39)
Где — оо<Р<оо, 0<а< 1 и 0 < а < оо. Априорно мы
утверждаем, что а, Р и log а равномерно и независимо распределены и что а,
предельная склонность к потреблению, существует в интервале @,1).
Этот пример показывает, как в анализ могут быть введены ограничения,
заданные в виде неравенств 2.
Объединяя функцию правдоподобия (9.38) с априорной ФПВ (9.39),
мы получим апостериорную ФПВ для параметров
L *=1
Если целью анализа является получение выводов относительно
предельной склонности к потреблению а, то необходимо проинтегри*
ровать (9.40) по р и а, чтобы получить предельную апостериорную
ФПВ для а, которая будет иметь вид3
(\—а)т
р (а | данные) — — ! 1
S 1С*~" с~~a(fJt—У]
2
,0<а<1, (9.41)
1 Из (9.41) и (9.42) мы имеем, что ct = Р+ a (ct-\- zt)-{- щ.
Следовательно, якобиан преобразования от каждого щ к каждому с% равен | 1 — а |. Так как
имеется Т таких преобразований, то в (9.38) появился сомножитель | 1 —а|г#
2 Если бы мы пожелали, то могли бы ввести в рассмотрение другие, не
плоские ФПВ для а и log a без существенной модификации последующего анализа;
например, мы могли бы использовать бета-ФПВ для а и обратную гамма-ФПВ
для а. См. в [23], [24] результаты расчетов, в которых использовалась бета-
ФПВ в качестве априорной ФПВ для a — предельной склонности к
потреблению.
8 Интегрирование по.Р производится с помощью выделения полного
квадрата относительно р в экспоненте и использования свойств одномерной нормальной
ФПВ. Затем интегрирование по а может быть произведено с помощью свойств
обратной гамма-ФПВ.
278
где с**\
и
— Л
— с—ai
2 (</<-
(9.42)
0,14 <X
I
$
0,12-
является оценкой метода наименьших квадратов, полученной путем
регрессии ct no yt.
Рассматривая (9.41), можно заметить, что ФПВ является
произведением сомножителя в форме ФПВ усеченного многомерного
/-распределения Стьюдента с центром в
оценке наименьших квадратов а,
приведенной в (9.42), если 0<
< а <1, и второго сомножителя —
якобиана A — а)т. Сомножитель
A — а)т сдвигает центр
апостериорной ФПВ в направлении нуля
и, следовательно, может быть
грубо интерпретирован в терминах
теории выборочных исследований
как компенсирующий
полученный Хаавельмо результат,
согласно которому plim a > а. Эта
интерпретация предложена Ротенбер-
гом [111].
Пользуясь ежегодными
данными Хаавельмо за 1929—1941 гг
(Т=13), Четти [23], [24] построил
апостериорную ФПВ (9.41), график
которой показан на рис. 9.1 г.
Математическое ожидание
апостериорной ФПВ для параметра а равно
0,66, т. е. меньше чем значение
оценки метода наименьших
квадратов (9.42), равной по подсчету
Хаавельмо 0,732. Дополнительно
следует отметить, что поскольку мы
располагаем полной апостериорной
ФПВ для параметра а, получение апостериорных вероятностных
утверждений не вызывает никаких затруднений.
Далее, апостериорная ФПВ для мультипликатора Кейнса, 1/A—а),
может быть получена из функции р (а | выборочные данные), приве-
1
_ У
106
/
108 110
i
\
\
112
I
\
114
116 fi
Рис.
ные
(а)
апостериорпараметров
(б)
9.1. Маргинальные
распределения для
аир:
ЛГ(а) =0,660; М[а—М(а)]*
= 0,004;
М[а—М(а)]3=0,001;
М [а—М(а)]4 = 0,0002;
(б) ЛГ(Р) = 111,589;
М[Р—М(р)]2= 129,642;
М[р—М(Р)]3=71,3034;
М[р—М(Р)]4=49283,172
х Маргинальная апостериорная ФПВ для Р, полученная с помощью
двумерного численного интегрирования, также представлена на рис. 9.1.
279
денной в (9.41I. Эта апостериорная ФПВ для мультипликатора
будет включать как априорную информацию о принадлежности
коэффициента предельной склонности к потреблению а к интервалу @,1),
так и всю информацию выборки. Естественно, что если вводится в
рассмотрение дополнительная априорная информация относительно
параметра а, то она также должна быть отражена в апостериорной ФПВ
для мультипликатора.
Точно так же, как при недавних дискуссиях, касавшихся проверки
«доходно-расходной» и «количественно-теоретической» моделей
Фридмана — Мейзельмана [44], Хаавельмо [57] в своей работе 1947 г.
рассмотрел допущение, согласно которому zt в (9.37) является внесистемной
переменной. Для исследования этого допущения он сформулировал
две более широкие модели, в которых оно было ослаблено. Здесь мы
рассмотрим анализ его .третьей модели2, уравнения которой имеют
вид
(9.43)
/=1,2,..., Т. (9.44)
(9.45)
В этой модели функция потребления (9.43) является в точности той же
самой, что и в его первой модели. Уравнение (9.44) представляет
«валовое накопление предпринимательского сектора», т. е. связывает это
накопление rt с совокупным «валовым располагаемым доходом» ct и xt —
инвестициями частного сектора3. Наконец, Хаавельмо рассматривает
(9.45) в качестве балансового тождества, приняв допущение, что xt
является внесистемной переменной и вводит в рассмотрение возмущения ult
if u2t- В этой системе си yt и rt являются внутрисистемными
переменными. Заметим, что, по определению, мы имеем zt = xt — ги где zt
является переменной, входящей в (9.37). Таким образом, если в (9.44)
[х = 0 и ult9 u2t независимо распределены, то zt будет
внесистемной переменной, как это и было принято в первой модели. Изучение
влияния отказа от этих предположений на выводы, получаемые
относительно параметров модели, представляет наилучшую возможность
исследовать следствия, вытекающие из допущения о внесистемности
1 Используя сформулированные выше допущения и приняв, что щ
генерируются авторегрессионной моделью первого порядка, щ = pWf-i+ 8f, Чет-
ти [23, 24] на основе данных Хаавельмо построил условную апостериорную ФПВ,
р (а | выборочные данные), и предельные маргинальные апостериорные ФПВ,
р (а | выборочные данные), р (р | данные). Эти результаты показывают, что выводы
относительно а являются в некоторой степени чувствительными к отклонениям
р от нуля. В частности, апостериорная ФПВ для р сильно сконцентрирована
около 0,898, ее математического ожидания.
2 Краткий анализ его второй модели имеется в [148]. Анализ третьей модели
Хаавельмо начат в лекционных заметках автора в 1963 г. В дальнейшем она
анализировалась в работах Четти [23], [24].
8 Все переменные являются дефлятированными и исчисленными в расчете
иа душу. Детали определения переменных и их связи с национальными счетами
см. в [57).
280
Если мы подставим (9.45) в (9.43), то получим
= 12 T (9e46)
i = v+li (ct+xt)+u2t J ' f '"" (9.47)
— модель, состоящую из двух уравнений с двумя внутрисистемными
переменными с% и rt и одной внесистемной переменной xt. Мы
предположим, что ult и w2i имеют двумерную нормальную ФПВ с нулевым
вектором математических ожиданий и ковариационной матрицей 2,
положительно-определенной симметрической матрицей размерности 2x2..
Далее предположим, что разновременные случайные возмущения
распределены независимо. При этих условиях функция правдоподобия
модели имеет вид
/ (9, 21 данные) ~ Л 2~* ТТ12ехр (—i- tr U' U2-1], (9.48)
где / является якобианом соответствующего преобразования от и к с
и г:
j = | 1_а A — |i) | г, (9.49)
U = (ux, u2) — матрицей размерности 7x2, связанной со
структурными параметрами и наблюдениями через зависимости (9.46), (9.47),
и 9' = (а, Р, [х, v) — вектором структурных коэффициентов.
Мы принимаем допущение, согласно которому не только 0 < а < 1,
но также и 0 < \i < 1, поскольку \i есть предельная склонность к
сбережению в частном предпринимательском секторе. Для целей нашего
исследования допустим также, что
рF, S-^IS^rOM-»)/2, (9.50)
т. е. что компоненты 0 равномерно и независимо распределены1, и мы
располагаем расплывчатой априорной информацией относительно
различных элементов 2 или, что эквивалентно, относительно различных
элементов 2. С учетом этих априорных предположений совместная
апостериорная ФПВ параметров может быть представлена в виде
р (9, 2-11 выборочные данные) ~ J \ 2-i|<r-«-i>/2 ^
(9.51)
Интегрируя по 2, получим
р (9 I выборочные данные) - [1~~аA~^)] • (9-52)
|U' V\T'2
1 Без существенных затруднений анализ может быть проведен и в случае
неравномерных априорных ФПВ для а и ц.
281
Далее интегрирование по свободным членам р и v приводит к1
р (a, \i | выборочные данные) ~ L~~J^ ~~ —> 0 < а, ц, < 1, (9.53)
где U = (UiU2) является матрицей размерности Г X 2, в которой
типовые элементы иг и и2 задаются следующими выражениями
«it = ct — с — a [ct — с + xt — a:— (rt — г) (9.54)
и ма4 = rt — F— \л (ct — Г+ xt—x)
соответственно. В определении u±t и u2t величины с, х, и г являются
выборочными средними.
Используя информацию Хаавельмо и методы численного
интегрирования, вычислим с помощью (9.53) маргинальную апостериорную
ФПВ для параметров а и [х. Обе маргинальные функции являются
унимодальными. Функция для параметра а имеет математическое
ожидание, равное 0,705 и дисперсию, равную 0,00137, в то время как
функция для параметра \х имеет математическое ожидание, равное
0,158, и дисперсию равную 0,00050. На рис. 9.2 показаны линии
уровней совместной апостериорной ФПВ. Полученные результаты дают
основание полагать, что параметр [х имеет ненулевое значение.
Следует также отметить, что (9.53) может служить для изучения
чувствительности выводов сделанных относительно а к различным
допущениям относительно параметра ц; иными словами, если допустить,
например, что \i = (г0, где [х0 — известная величина, то для анализа
1 Р и v появляются только в знаменателе (9.52). Заметим, что |U'U| =
= UjUiUgUa — (и[и2J. Из (9.46) при wlt = ct — a (ct-\- xt — rt) получим, что
иц = wlt — щ — (Р -— щ), где w1 = 2 wlt/T. Аналогично, из (9.47) при
условии, что w2t = rt — ц (ct -f- xt), получим, что u2t = Щг — W2 — (v —¦ ^2)» где
w2 = 2 w2t/T. Путем алгебраических преобразований далее получаем
+ Тшп (V—w2J—2Гт12(р—w{) (v—ш2), A)
2 wt)(wjt—Wj)9 /, / = 1, 2 и wt= 2 Wa/T> *# = Ь2.
Подставляя (I) в (9.52), имеем
[1 —ее A —!Л)]:Г
р (а [ выборочные данные) ~ X
( lyl2
11 m12\ — . — 7721 —
Интегрирование по р и v может быть произведено при использовании свойств
двумерной /-ФПВ Стьюдента. Оно дает (9.53). Апостериорная ФПВ, полученная
Четти 123], [24] для этой задачи, является некорректной.
282
(9.53) при данном допущении могут быть приложены численные
методы. Далее, если принять допущение, что возмущения в (9.46) и (9.47)
некоррелированны (а12 = 0), и если введены расплывчатые
априорные допущения относительно ап и сг22, то апостериорные ФПВ для
параметров а и ix в условиях априорных допущений относительно
других параметров и относительно областей существования аир, легко
могут быть получены.
0,600
0,1123 0,1250 0,1375 0,1500 0,1625 0,1725 0,1875
М
Рис. 9.2. Линии уровней совместной апостериорной ФПВ
для параметров а и jji, построенные в соответствии с (9.53)
Для иллюстрации некоторых сторон «сверхидентифицируемых» в
традиционном смысле систем рассмотрим следующую простую модель:
Угг = Pi хи + Р2 x*t +un
/—19 Т
(9.55)
(9.56)
где у19 у2 являются внутрисистемными переменными; х19 х2 —
внесистемными переменными; у, рх, р2 есть скалярные параметры и ulU
u2t являются возмущениями с ковариационной матрицей 2
размерности 2x2. Приведенная форма системы имеет вид
y2t = nn Xlt
\/_. 1 о Т
J
где
= Pi»
Очевидно, что у = яи/яа = я12/я22 или
зхпя22 — я12л;21 = 0.
(9.57)
(9.58)
(9.59)
(9.60)
Иными словами, мы получили ограничение на элементы матрицы я.
Таким образом, не все элементы л;^- обладают способностью к независи-
283
мой вариации при условий использования (9.60) в качестве априорной
информации в нашем анализе модели. В этом случае особая
осторожность должна быть проявлена при выборе априорной ФПВ для
параметров л;,^. В больших системах из ограничений на структурные
коэффициенты обычно вытекает целый ряд ограничений на коэффициенты
приведенной формы, которые должны быть приняты во внимание при
анализе системы. Конечно, если наша априорная информация задана в
терминах структурных параметров Г, В и 2, то, как и выше, анализ
системы должен проводиться без привлечения параметров приведенной
формы системы.
В следующем параграфе мы рассмотрим байесовский аналог
подхода к оцениванию с позиций теории выборочных исследований,
который известен как оценивание уравнений «по одному». В этом подходе
принимается во внимание идентифицирующая информация,
относящаяся только к параметрам оцениваемого в данный момент уравнения.
Такой подход полезен, например, в случае, когда имеется некоторая
неопределенность относительно построения некоторых или всех
остальных структурных уравнений модели или же когда мы желаем
включить в наш анализ только ту часть априорной идентифицирующей
информации, которая относится к параметрам оцениваемого в данный
момент уравнения.
9.5. БАЙЕСОВСКИЙ АНАЛИЗ В УСЛОВИЯХ
«ОГРАНИЧЕННОЙ ИНФОРМАЦИИ»
Рассмотрим одно уравнение, скажем первое, принадлежащее к
модели, состоящей из т структурных уравнений, иначе говоря,
рассмотрим уравнение
x, (9.61)
где ух есть ^-мерный вектор-столбец наблюдений за внутрисистемной
переменной, коэффициент при которой приравнен единице в
результате нормирования; \г является матрицей размерности п X тг
наблюдений за т1 другими внутрисистемными переменными, входящими в
первое уравнение с отличными от нуля коэффициентами; Хх является
матрицей размерности п X kx наблюдений за k± заранее
определенными переменными, входящими в первое уравнение с отличными от нуля
коэффициентами; Yi и рх являются соответственно тг и /^-мерными
вектор-столбцами коэффициентов, а иг есть я-мерный вектор-столбец не-
автокоррелированных нормальных возмущений с нулевыми
математическими ожиданиями и общей дисперсией, равной оп. Мы делаем
допущение, что параметры (9.61) идентифицируются посредством
наложения ограничений \
1 Иными словами, мы можем записать (9.61) в виде ух — YxVi — YoVo =
= Х1Р1 + Xopo+ ui c To = 0, Ро = 0, где Y = (ух : Yx • Yo) является
матрицей наблюдений размерности п X т наблюдений за всеми внутрисистемными
переменными, а X = (Хх • Хо) — матрицей размерности п X k наблюдений за
всеми заранее определенными переменными. Тогда идентифицирующими
ограничениями являются Vo = 0 и р0 = 0.
284
Приведенная форма уравнений для (уг \ Ух) имеет вид
зт10 I По
где X = (Хх • Хо) является матрицей размерности п X k и ранга k
наблюдений за k заранее определенными переменными, причем Хх
есть матрица размерности п X kx наблюдений за заранее определенными
переменными, входящими в (9.61), а Хо есть матрица размерности пXk0
наблюдений за k0 заранее определенными переменными, априори
исключенными из (9.61). Матрица коэффициентов приведенной формы
в (9.62) подразделена на подматрицы: яп есть ^-мерный вектор-столбец;
пю — &(гмеРный вектор-столбец; П01 является матрицей
размерности kx х т1 и II0Q — матрицей размерности kQ X mx\ матрица
(vi : Vi) размерности п X (тх +1) — матрицей возмущений
приведенной формы системы, где vx — есть /г-мерный вектор-столбец и
Vx — матрица размерности п X mv
Домножая обе части (9.62) справа на A ; — yO' и приравнивая
коэффициенты полученного уравнения к соответствующим
коэффициентам из (9.61), мы получаем
яи - nolTl = Px (9.63)
и
Po = O, (9.64)
где р0 априорно предполагается равным нулю. Используя (9.63) и
(9.64), мы можем записать уравнения приведенной формы (9.62)
следующим образом
(9.65a)
Yx - ХП0 + Vlf (9.656)
где По' = (П01 .: Поо). Мы преобразовали систему уравнений
приведенной формы (9.62) к виду (9.65) для того, чтобы показать, что при
известной По, скажем По = По = (Х'Х^Х'У^ (9.65а) имеет форму
многомерной регрессионной модели. Если принята расплывчатая
априорная ФПВ для компонент \ъ рх, а со1г — общая дисперсия
элементов vlf по допущению нормально и независимо распределенных с
нулевыми математическими ожиданиями, то условная апостериорная
ФПВ для Yi и р2 является многомерной /-ФПВ Стьюдента с вектором
математических ожиданий, определяемым по формуле
б\= (к) = (S^X^j JU^lV1 (По X' уЛ
VP/ \ XfXft i XiX4 / \ Х{У1 ) У }
что в точности соответствует оценивателю 2МНК. Однако необходимо
подчеркнуть, что Ьх является условным апостериорным
математическим ожиданием, определенным при заданной матрице По = По, и
может оказаться плохой аппроксимацией безусловного
апостериорного математического ожидания 6Х в условиях малой выборки. Интересно
285
также отметить, что поскольку уг — vx = Xrtlt где пг'«=(jtn'
можно (9.65а) представить в виде
(9-67)
Домножая обе части (9.67) слева на (ХП0 ' Хх)' и разрешая относи-
тельно I e I, получим
' /Yl\ / Щ X' ХЩ Ш X' X, \ -W Щ X' ХлЛ
P/ X Xll { X Х j \ X Xjt /
т. е. выражение для компонент бх через параметры приведенной формы
системы. Если мы далее разложим правую часть (9.68) в окрестности
По = (Х'Х)~1Х'\1 и жг = (XfX)~1X/y1 математических ожиданий
ФПВ для параметров приведенной формы при использовании
расплывчатой ФПВ в связи с системой (9.62) г9 то получим апостериорное
математическое ожидание 6Х, допуская его существование в следующем
виде:
(ЛГ' Y' YTT 'r ft' Y' Y Л / IT' Y' Y^ \
г-- r"V>V "'"-"''^ + остаток.
Xi Л11О } Л1Л1 / \ Л1 Alii /
(9.69)
Член нулевого порядка в этом разложении и является оценкой 2МНК.
Неизвестно, достаточно ли хорошо оценка 2МНК аппроксимирует
апостериорное математическое ожидание 6/ = (у/ Pi') в случае, когда
априорная информация относительно 6Х является расплывчатой,
однако можно высказать предположение, что при отбрасывании
остатка в (9.69) мы получаем плохую аппроксимацию при малой выборке.
В целях построения в явном виде апостериорной ФПВ для
параметров в (9.61) мы используем подход аналогичный в некоторых
отношениях подходу, развитому Дрезом 2. Объединяя (9.61) и часть (9.62),
относящуюся к Ylf получаем
/ а тт \
: Vj), (9.70)
где мы уже включили априорную информацию о том, что часть
внутрисистемных переменных не входит в (9.61) и введем позднее, что ро=О.
Заметим, что матрица возмущений в (9.70) равна:
1 Иначе говоря, (9.62) рассматривается как нормальная многомерная
регрессионная система, изученная в 8-й главе, причем используется расплывчатая
априорная ФПВ для элементов (пъ По) и ковариационной матрицы возмущений
Q в форме (8.7—8.9).
2 [37]. См. также работу A. Z е 1 1 n e г «Bayesian and Non-bayesian
Analysis of Simultaneaes Equation Models», представленную на второй мировой
конгресс эконометрического общества, Кэмбридж, 1970.
286
поскольку ux = Vj — ViYi1. При условии, что строки матрицы
(Vi • Vx) нормально и независимо распределены с нулевыми векторами
математических ожиданий и положительно-определенной
симметрической ковариационной матрицей й2 размерности (т1 + 1) X (тг+1),
ковариационная матрица каждой строки (иг • \г) есть ft* = A'ftiA,
где Л — треугольная матрица, стоящая в правой части (9.71). Тогда
функция правдоподобия системы (9.70) есть 2
/(Yi. Р> По, Q*|yi,Yi)HU*r*/2x
X ехр Г - tr (W—ХП*)' (W—ХП*) Or1 ] , (9.72)
где W = (y1-YlYi : Yj, П* = (Р i По) и p'=(Pi ! р{),
причем априорная информация р0 = 0 употреблялась в априорной
ФПВ. Отметим, что при заданном Yi функция правдоподобия в (9.72)
имеет форму, встречавшуюся уже нам ранее в ходе анализа
многомерной регрессионной модели. Априорная ФПВ, которую мы будем
применять, имеет вид
где /?х 2= рг (yx, р3 | р0 = 0) и т' = т3 + 1. В (9.73) мы принимаем
допущение, что (yl9 Pj), По и Q* распределены независимо.
Делается также допущение, что элементы По распределены равномерно и
непрерывно и что для й* мы используем расплывчатую априорную ФПВ
в форме, рассмотренной в 8-й главе. Тогда апостериорная ФПВ имеет
вид
X exp tr(W—
r1 ] . (9.74)
где D обозначает известные данные и Р — априорные допущения.
Анализируя (9.74), проинтегрируем вначале по элементам Й#, а
затем по элементам матрицы По, являющейся подматрицей П#. От
полученной таким образом ФПВ перейдем затем к условной для того,
чтобы отразить идентифицирующую априорную информацию р0 = 0.
Интегрируя (9.74) по элементам Й*, мы получим
Р (Yi, Р> По | Д Р) ~ рг | (W-ХП*)' (W-
- ft IA + (Щ-П*)' X' X (П*-П*) Гп/2, (9.75)
где II!i! = (X/X)-1X'W и A = (W
Ввиду того что (9.75) имеет форму обобщенного /-распределения Стью-
дента (см. приложение Б), мы можем применить этот результат для
1 Отметим, что из (9.33) следует U = VI\ Поскольку U = (Ui, u2, ..., um),
V = (vj : Vx • Vo) и первый столбец Г равен A : — Vi 5 °')'» имеет место
Ui = Vj — УхУь как и отмечено выше.
а Якобиан преобразования от (иг • Vx) в (9.70) к (уг • Yx) равен единице.
287
интегрирования (9.75) по элементам По подматрицы матрицы П*.
В результате имеем *
+(Р-Р)' — (Р-Р) ]-("-'"')/2 . (9.76)
« J
В (9.76) р = (Х'Х)-1^ (ух — YlYl) и ап есть элемент A.1) матрицы
А, имеющий вид
Vi-V1Yi), (9.77)
где (vx • Vj-(yi: Yj-Xfe
Для квадратичной формы относительно компонент вектора р в
(9.76) имеет место следующий результат2:
(р-Р)' X' X (Р-й = (Ъ-Ъд1 Ъ
где 6Х является оценкой 2МНК, приведенной в (9.66). Таким образом,
ФПВ (9.76) может быть выражена в следующем виде:
p(bx\D9 Р)~Ла-}{*[1 +Fx-6i)'HF1-61)]-(^mi)/2, (9.78)
где HeZlZi/ou.
Если в (9.78) мы возьмем рг = рх (у1У р31 ро = 0) ~ const, to
апостериорная ФПВ для вектора Ьг была бы многомерной /-ФПВ Стьюден-
1 Заметим, что выражение
i\ /яи—Пю Tl \ /Pi—(«и —Пю Yi) \
, I™" I - а Is* I а - 1 •
>о/ \я;1о—lloo , l / \ "оо Vi—яю /
где Ро = 0 отражает при заданных рх и Vi то, в какой степени ограничения
(9.63—9.64) не выполняются. Может быть также показано, что при ро = О
значения Vi и Pi» минимизирующие G—р)' Х'Х (Р—¦ p)/au, являются
оценками МНП с ограниченной информацией.
2 Этот алгебраический результат может быть получен таким образом:
X ф - 0) = ХА+ Хоро - X (X'X)-i X' (У1 - YlVi) = ХА -СУг- %Ъ) =
где у1=Х(Х'Х)-1Х'у1, Y1=X(X'X)-1X'Y1=Xn0, Z1=(Y;x1) и
используется условие ро=О. Тогда (Р~]>)' X' X (P-$)=(yi-Z161)' (У1—ZifiJ и(ух-
-Zi 6i)' (ух- Zx 6x) = In- Zx Si-fx (h-K)\' [У1- ZiSi-Zi (бх-б!) =
= (yi-Zi Si)' (yx-Zx Гх)+ Fx-6~x)' Zi Zi F1-6,)=F1-6x)' Zi Z, (8i-Sx),
так как Zi (ух—Zx&^O из (9.66) и y1 = Zi 8;=^-^ ^—XiPi=yx-Yx%-
—Xx jfi—(Vx — Vi vi)=Ui—(vi—ViVx)=O, поскольку u = yx — Yx^ — X^,
являющийся структурным остаточным вектором 2МНК, равен vt —
288
та с центром в "бх, если бы элемент ап не зависел от вектора Yi1-
Однако, поскольку условная апостериорная ФПВ для р2 при заданном
Yx является многомерной /-ФПВ Стьюдента, (9.78) может быть
проинтегрировано по kx компонентам вектора plf в результате чего
получается маргинальная апостериорная ФПВ для вектора Yi> представимая
в виде
| А Р) ~ аГ1(*-**>/2 [ 1 +(Yi-fi)' Hx (Yi-fi)l^(v+mi)/2, (9.79)
где v^n—2m1—k1 и Н1 = [У[\1 — \[Х1(Х[Х1)-1Х[У1]/а11.
Если, как это часто бывает в приложениях, y имеет небольшое число
компонент, скажем одна или две, то для оценки постоянных
нормирования и анализа других свойств (9.79) могут быть применены
методы численного интегрирования. Что же касается апостериорной ФПВ
для компоненты рх, скажем рп, то (9.78) должно быть
проинтегрировано аналитически по компонентам р2, отличным от рп, и полученная
совместная апостериорная ФПВ для вектора уг и компоненты рп
легко может быть проанализирована с помощью численных методов
интегрирования при условии, что размерность Yi достаточно мала 2.
Если априорная ФПВ рх в (9.78) предполагает многомерную
нормальную ФПВ для компонент бх, то апостериорная ФПВ имеет
нормальную ^-форму, встречавшуюся ранее в 4-й главе, за исключением
зависимости ап от Yi- Методы асимптотического разложения,
обсуждаемые в приложении 4.1 совместно с разложением по
отрицательным степеням а1Ъ могут рассматриваться в качестве полезного подхода
при аппроксимации апостериорной ФПВ. Однако детали этого подхода
требуют еще дополнительной проработки.
1 Не очевидно, что (9.78) является собственной ФПВ. Если мы запишем ее
в виде "
где Н2 = anHlv и заметим, что а1г является квадратичной формой
относительно компонент 7ъ то> Для того чтобы интегрирование (9.78) давало константу, нам
необходимо существование моментов порядка (п — т1 — k) компонент уг.
Момент порядка (п — т1 — k) будет существовать, если v > п — mL — k или
k — &i > тх. Поскольку k — kx есть число заранее определенных переменных,
исключенных из первого структурного уравнения с помощью
идентифицирующего ограничения р0 = 0, и тх -{- 1 есть число эндогенных переменных,
входящих в первое структурное уравнение, то условие k — kx > тг формально
является обычным условием идентифицируемости, «условием порядка». Далее может
быть показано, что условие Н2 является положительно-определенной
симметричной матрицей, формально эквивалентно обычному «условию ранга» для
идентифицируемости.
2 Другой подход к анализу (9.78) заключается в развитии метода
асимптотического разложения. Аналогичный подход рассмотрен в приложении 4.1.
В этом подходе должно быть принято во внимание, что а1г зависит от ?i-
Полезно отметить, что vx — VxVi = vx •— V^ — V2 (yx — yj = щ — Vx (уг — уг) и
an = uiu2 [l + А], где A = [- 2^ (Vi~Vi) + (Yi-^Yi)' Vfri (Vi -W/ufui-
Тогда ax[k kl^2 и а^ могут быть разложены в ряд, включающий степени А.
Главный нормальный член в асимптотическом разложении имеет
математическое ожидание bt и ковариационную матрицу (Zi^)-1 оп, где ап =• ufa/in—т^.
О Зак. 1954 289
9.6. АНАЛИЗ ПОЛНОЙ СИСТЕМЫ
В противоположность подходу, рассмотренному в параграфе 9.4,
который привел к апостериорной ФПВ для параметров одного
уравнения, с применением точно идентифицирующей априорной информации
об этих параметрах, ниже мы обратим внимание на проблему вывода
совместной апостериорной ФПВ для параметров, входящих во все
структурные уравнения, которая будет включать в себя априорную
идентифицирующую информацию относительно всех параметров всех
уравнений системы ?Г = ХВ + U.
Если получена совместная апостериорная ФПВ для тех элементов
матриц Г и В, на которые отсутствуют ограничения, то маргинальная
ФПВ для параметров одного уравнения легко может быть получена.
Поскольку эта маргинальная апостериорная ФПВ для всей системы
включает больше априорной и выборочной информации, чем
соответствующая ФПВ для параметров, полученная при оценивании
уравнений «по одному», то в общем можно утверждать, что в первом случае
дисперсия будет меньше, чем в случае соответствующей
апостериорной ФПВ для параметров, полученной в подходе, использующем
оценивание «по одному» г.
Если идентифицирующая информация имеет форму точных
нулевых ограничений на элементы Г и В в YF = ХВ + U и если
априорная ФПВ для оставшихся параметров не является вырожденной, то
для большой выборки функция правдоподобия будет аппроксимировать
апостериорную ФПВ, как это уже было объяснено во 2-й главе.
Поскольку функция правдоподобия предполагает нормальную форму
в случае большой выборки, то апостериорная ФПВ для параметров,
на которые не наложены ограничения, при выборке большого объема
является многомерной нормальной ФПВ с вектором математических
ожиданий, имеющим своими компонентами оценки МНП с полной
информацией, а ковариационная матрица равна матрице, обратной к
информационной матрице Фишера, вычисленной для оценок МНП с
полной информацией 2. Учитывая, что вычислительные процедуры МНП
с полной информацией широко представлены в литературе, мы не
будем их рассматривать в настоящей работе. Однако необходимо
подчеркнуть, что эта аппроксимация апостериорной ФПВ является допустимой
только для случая большой выборки, и мало что можно сказать о том,
каков должен быть объем выборки для того, чтобы в рассматриваемом
случае нормальная аппроксимация давала хорошие результаты.
Другая интересная аппроксимация математического ожидания
апостериорной ФПВ полной системы в случае большой выборки может
быть получена при записи зависимости (9.67) для каждого уравнения
1 Это будет справедливым и для больших, и для малых выборок,5 так как
идентифицирующая априорная информация оказывает влияние на
апостериорную ФПВ элементов Г и В в обоих-случаях.
2 Точная оценка информационной матрицы дана в работе Т. J. R о t h e n-
b e r g and С. Т. L e e n d e r s. Efficient Estimation of Simultaneous Equation
Systems, Econornetrica, 32, 1964, p. 57—76,
290
модели, f. 6.
(9.80а)
Ут __
ИЛИ у = Z6, (9.806)
где при а = 1,2, ..., т в (9.80а) уа = Хла есть систематическая часть
уравнения в приведенной форме для уа; Za = (Ya ; Xa), причем
Ya есть систематическая часть уравнений приведенной формы для Ya —
матрицы наблюдений за внутрисистемными переменными, входящими
в a-е уравнение с ненулевыми коэффициентами; Ха—матрица
наблюдений за заранее определенными переменными, входящими в a-е
уравнение с ненулевыми коэффициентами; 6« = (Ya, Pa) —_вектор
коэффициентов a-ro уравнения. В (9.806) "у' = Ъ\*~Чг* ...,*ym);"Z
представляет собой блочно-диагональную матрицу в правой части (9.80а)
и 6' = (Ьх\ 62', ..., 6m'). Тогда при условии, что Н является^вадрат-
ной невырожденной матрицей, мы будем иметь Ну = HZ6, или
d^^'H'HZ^Z'H'HY^tZ^S^^IJZriZ^S-^IJy, (9.81)
если матрица Н выбрана так, что Н'Н= S ® 1П. Поскольку
(9.81) является алгебраическим соотношением, связывающим
компоненты б с элементами П матрицы приведенной формы и с
элементами S ковариационной матрицы возмущений уравнений в
структурной форме, мы можем аппроксимировать апостериорное
математическое ожидание 6, М F) (в предположении, что оно существует),
разлагая правую часть (9.81) в окрестности состоятельных выборочных
оценок 2, Z и у; например, в окрестности 2, Z и у соответственно *.
Тогда член нулевого порядка в разложении даст следующую
аппроксимацию:
М F) = [Г (S-i ® In) Z]-*Z' (Е-* ® 1П) у. (9.82)
Нужно отметить, что правая часть в (9.82) имеет форму оценки ЗМНК2.
Ниже мы покажем, что центр главного нормального члена в
асимптотическом разложении, аппроксимирующий апостериорную ФПВ,
расположен в (9.82), а его ковариационная матрица равна [Z' (S ®
®I7l)Z]. Необходимо, однако, помнить, что эти аппроксимации
получены в предположении наличия больших выборок, а вопрос об их
пригодности для данной модели в случае, когда объем выборки
недостаточно велик, не разработан.
1 Мы можем принять, например, что S = U'U/71, где 0 является матрицей
структурных остатков 2МНК, а для получения Z, у использовать элементы П =
= (Х'Х)-1 X'Y. Альтернативно могут быть использованы оценки 2, Z и у МНП
с полной информацией.
2 См. [160].
Ю* 291
Рассмотрим теперь проблему вывода апостериорной ФПВ для
параметров модели ?Г = ХВ + U. При условии, что строки U
распределены нормально и независимо с нулевыми математическими
ожиданиями и положительно-определенной симметрической
ковариационной матрицей 2 размерности т х /л, функция правдоподобия будет
иметь вид1
/(Г, В, S|D) ~ |Г|»ехр Г—i- tr(Yr—ХВ)' (УГ—ХВ) S], (9.83)
где символ D означает известные данные. Априорная ФПВ для
параметров имеет вид
р(Г,В, 2)~А(Г, В)|2|-(*+'>/2. (9.84)
В (9.84) мы сделали допущение, что элементы 2 являются априорно
независимыми от элементов матриц Г и В, и применили
расплывчатую априорную ФПВ в форме, использованной и исследованной
в 8-й главе. Сделаем допущение, что априорная ФПВ для Г и В,
рх (Г, В), включает идентифицирующую априорную информацию,
которая, как указано выше, должна обеспечить оценивание параметров
модели. Тогда апостериорная ФПВ определяется следующим образом:
р(Г, В, 2|Д Р)~рг(Т, B)ls I <»+"+1>/2|Г|Л х
p[-ytr(Yr—ХВПУГ-ХВ)!!-1]-
~ рх (г, в) | s (-<«+«+и/21 г' аг |«/2 х
Xexpf — ytr[«r'Qr + (B — B)'X'X(B —BJ-4Jf (9.85)
где Р обозначает априорные допущения; В = (Х'Х) X'YF = ПГ
и nQ = (Y — ХП)'(? — ХП) = V'V. Интегрируя (9.85) по
элементам S, мы находим, что маргинальная апостериорная ФПВ для Г
и В имеет вид
р(Г, В|D, Р) /МГ,В)|г'йг1"/» в {9Щ
|r'Qr+(BB)'X'X(BB)r/2
Из вида (9.86) можно заметить, что если условная априорная ФПВ для
матрицы В при заданной матрице Г, р2 (В | Г) ~ const, то условная
апостериорная ФПВ для элементов В при заданной матрице Г
является обобщенной /-ФПВ Стьюдента с вектором математических
ожиданий В = (Х'Х) XrY Г, который, как это и можно было ожидать
в силу того, что YF = ХВ + U, при заданной Г имеет форму, ана-
1 Отметим, что | Г \п появляется в (9.83), так как якобиан преобразования
каждой строки U в соответствующую строку Y равен | Г |. Поскольку в U и в
Y содержится п строк, в (9.83) | Г | появляется в степени п. Понятно также, что
этот сомножитель, представляющий собой якобиан, должен быть выбран
положительным.
292
логичную случаю многомерной регрессионной модели. Дальнейший
анализ (9.86) для конкретных видов рг (Г, В) кажется вполне
возможным, но к настоящему моменту времени эта работа еще не выполнена г.
Если мы воспользуемся соотношением 2 = Г'ЙГ, то правую
сторону в (9.85) можно представить в терминах Г, В, й следующим
образом:
р (Г, В, Й | D, Р) ~ рг (Г, В) | Й (-(«+«+1 )/2 ехр ( —1 tr ИИ) х
X ехр Г L tr(Yr—ХВ)'(?Г—ХВ)(Г'йгН , (9.87)
поскольку (В — В)' XX (В — В) = (ХВ — ХПГ)' (ХВ — ХПГ) =
= (УГ — ХВ)' (?Г — ХВ), где Y = ХП. Далее сделаем допущение,
что априорная ФПВ для Г и В, р (Г, В), включает априорную
идентифицирующую информацию о равенстве нулю некоторых элементов
матриц Г, В. Если мы обозначим ненулевые элементы матрицы (Г, В),
отличные от т элементов матрицы Г, которые в результате
нормирования сделаны равными единице, через 6' = Fj, 62, ..., 8fm)f где6а =
= (уat Ра), а = 1, 2, ..., /п, и примем, что р F) есть априорная ФПВ,
то апостериорная ФПВ может быть записана в виде
?, Р)~ р (А) | О |-(«+m+i)/2 ехр А—!_ tr Ой-Л X
ехр [—1 tr (YTr-XBr)' (?ГГ-ХВГ) (Г/ QTryl ] , (9.88)
X
где (Гг, Вг) представляет (Г, В) с учетом идентифицирующих и
нормирующих условий.
Рассмотрим асимптотическое разложение (9.88). Последний
множитель в правой части (9.88) можно представить в более удобном
виде. Рассмотрим
Г/ ЙГГ = (fr + ДГГ)' (Q + АИ) (Гг + АГГ) = S +C, (9.89)
где f r и Й являются состоятельными оценками Гг и й
соответственно; АГГ = Гг — Гг и Аи = Й — Й — обе с элементами порядка
О {n~V2)\ 1 = Г2 й Гг и С = Г/ ЙГГ — Г/ ЙГГ. Тогда 2
(9.90)
1 Если /?! (Г, В) включает нулевые идентифицирующие ограничения,
правило нормирования и расплывчатую априорную ФПВ для оставшихся
параметров, то мода (9.86) расположена близко к оценке МНП с полной информацией.
2 Уравнение (9.90) может быть получено, если правую часть (9.89)
представить в виде (S+ С)-1=Ъ-1 (ITO+ CS-1)-1 и разложить (ITO+ CS)-1
в ряд. Заметим, что элементы С имеют порядок О (лГ1*2).
293
где R = S CS"X +S^CS^CS... Подставляя (9.90) во второй
экспоненциальный сомножитель в (9.88), мы будем иметь
ехр [- -L tr (YI\-XBr)' (YI\-XBr) (Г/ ЙГ,) ] =
= ехрГ ——tr(Yr; —XBrV(Yrr—XBr)S-i—trKJ =
= exp [--i- (y-Zft)' (S-1 ® U(y-Z6)] exp (-tr K), (9.91)
где К = (Y Гг — XB2)' fYrr — ХВГ) R/2 x. Далее мы, выделяя
полный квадрат относительно 6 в последней строчке (9.91) и представляя
ехр (— tr К) как ех = 1 + х + x2l2' + ... 2, получаем, что (9.91)
пропорционально выражению
ехр I" - у F-6)' Z' (S-1 ® In) Z F-6) х
x[l-trK+-y(trKJ--~(trKK + ...l, (9.92)
где Z=.[Z' ф-1 ® UZ]-11 (S-1 ® In)y. Используя (9.92), мы
найдем, что апостериорная ФПВ в (9.88) принимает вид
р F, Й | D, Р) - р F) | О|-(я+«+1)/а ехр f — y tr ИИ) X
X ехр Г—L(fi_6)' МF—6I X
х Jl_trK + y(trKJ"y(trKK + ...], (9.93)
где M = Zf(S®InJ.
Если в (9.93) оставить только главный член, то будем иметь 3
р (ft, О | А Я) ~ | Q |-<п+т+1)/2 ехр (—^ tr ИИ] х
X ехр Г —i-F_6)' МF—6I . (9.94)
1 При переходе в (9.91) от второй строчки к третьей используется равенство
tr (YIY-XB,)' (\Tr-XBr) 2-i = (y-Z6)' (S-i ® In) fy-2ft),
где у и Z определены в связи с (9.81).
2 В выражении для матрицы К элементы (?ГГ — ХВГ)' (YFr — ХВГ) =
=(ПГГ — Вг)' Х'Х (ПГГ — Вг) имеют порядок О A), так как из ПГГ = ВР мы
получаем, что ПГГ — Вг = — АПГГ, где АП П — П. Следовательно,
ПГГ—Вг имеет элементы, порядок которых О (п"/2), ввиду того, что
порядок элементов АП есть О (/г~1/2), а элементы (ПГГ — Вг)' Xх X (ПГГ—Вг)
имеют порядок О A) при условии, что порядок элементов матрицы Х;Х есть
О (л).
3 Учитывая выбранную точность аппроксимации, априорный сомножитель
р F) может быть опущен. Иными словами, если мы разложим р F) в
окрестности'?, то р F) = р (§) + Я', где R' есть остаток, элементы которого имеют
порядок, совпадающий с порядком неучтенных членов в (9.94).
294
Мы убеждаемся в (9.94), что Й ив независимо распределены, причем
ФПВ для параметров матрицы й есть обратная ФПВ Уишарта, а
ФПВ для элементов 6 — ФПВ многомерного нормативного
распределения с вектором математических ожиданий ^ = [Z' (S" ® 1П) Ъ\"ХЪ'
(S ® 1П) У и ковариационной матрицей М* = [Z' (S" ® In)Z]"x,
которые аналогичны вектору оценок, полученному ЗМНК и
соответствующей оценке ковариационной матрицы возмущений для случая
большой выборки.
Если, например, (9.94) используется в качестве априорной ФПВ
при анализе другого массива данных, (Ya, Xa), которые
удовлетворяют условию Yarr = XaBr + Ua и при условии, что па строк матрицы
Ua независимо и нормально распределены с общим нулевым вектором
математических ожиданий и положительно-определенной
симметрической ковариационной матрицей 2 размера m X m, то с учетом
точности аппроксимации в (9.94) апостериорная ФПВ определяется
следующим образом:
рF, Q\D,Da, Я)^ОГ(»'+«+п/2ехр(—-2l trQQ] x
X ехрГ—LF_6)'MF-6I . (9.95)
где Da обозначает новые данные, п' = п+п0,
Q = (nQ+naQa)/(n + na), Da = (Ye-XaIIe)/(Va-XanJl причем
"о == (Xa Xa) Xa Ya,
6 = M^(M6+Ma6;), (9.96)
a fta^JVt1^^®!^)^ M.-ZHV1 ®ln)Za и
^1. (9.97)
Выборочные величины Za, ya, Sa строятся на основании новых данных
и определяются совершенно аналогично Z, у, S.
Из (9.95) и (9.96) можно видеть, что с учетом точности
аппроксимации 6, апостериорное математическое ожидание 6 в (9.96) является
матричной средней взвешенной двух выборочных величин 6 и 6а с
соответствующими матрицами точности МиМов качестве весов. Таким
образом, М в (9.97) является апостериорной ковариационной матрицей
6, если мы ограничиваемся рассмотрением главного члена в
разложении апостериорной ФПВ.
В случае, если аппроксимация с помощью только главного члена
в разложении (9.93) не может считаться удовлетворительной, можно
указать на некоторые возможности использования других членов
разложения (9.93). Предположим, что априорная ФПВ для 6 в (9.93), р F),
имеет вид
р F) - ехр 1—\ F -~6)'А F - Ъ)), (9.98)
295
где 6 является априорным вектором математических ожиданий и А
является априорной ковариационной матрицей. Подставляя это
выражение в (9.93) и выделяя полный квадрат относительно 6, в
экспоненте мы получаем
' Q\D P) ~ I Q |-(«+m+i)/2 exn / — trQQ~1lx
, ал | is, г) ~ i bi i слр [ о I
хехр[—i-(ft-ft)'
X
X I 1—trK+—(trKJ L(trKK + ...l, (9.99)
L 2 6 J
где б = (М + А)-1 (М(Г+ Аб). Теперь для вычисления
нормирующей постоянной в (9.98) мы можем проинтегрировать по б и й,
принимая во внимание члены, включающие степени tr К. Это
интегрирование может рассматриваться как вычисление математического
ожидания tr К и его степеней при условии, что в качестве ФПВ задана
обратная многомерная ФПВ Уишарта для Q и б, которая представлена
в (9.98) в качестве главного члена разложения. После осуществления
вышеуказанного интегрирования1 мы будем иметь нормирующую
постоянную для (9.98) и сможем использовать эту нормированную ФПВ
для получения ацпроксимации апостериорной ФПВ лучшей, чем в
случае, если бы мы пользовались только главным членом разложения.
9.7. НЕКОТОРЫЕ РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТОВ МОНТЕ-КАРЛО
В этом параграфе мы проанализируем простую модель, состоящую
из двух одновременных уравнений, пользуясь как байесовским
подходом, так и подходом с позиций теории выборочных исследований.
Эта модель обладает тем свойством, что почти все методы оценивания,
основанные на приложении теории выборочных исследований, включая
МНП с ограниченной информацией, 2МНК, МНП с полной
информацией, ЗМНК, косвенный МНК и так далее, дают совпадающие оценки
коэффициентов модели. Таким образом, описываемый ниже
эксперимент сравнивает байесовский подход с почти всеми широко известными
методами оценивания параметров модели.
В проведенных экспериментах выборочные данные генерировались
моделью, состоящей из двух уравнений при хорошо известных
допущениях. При этом байесовский и выборочные методы исследования
использовались для анализа каждой полученной выборки. Затем мы
сравнили относительные качества двух подходов с помощью ряда
критериев. Такой подход к исследованию проблем является
рациональным, так как позволяет, последовательно пользуясь моделью в ряде
ситуаций, проанализировать различные массивы данных. Целью
исследования является рассмотрение и сопоставление различных характе-
1 Члены заданного порядка относительно я, скажем О (п а), а > 0,
сохраняются, а члены более высокого порядка малости относительно п
отбрасываются.
296
ристик качества байесовских оценивателей и оценивателей теорий
выборочных исследований, байесовского и выборочного подходов в
применении к повторяющимся испытаниям1. Должно быть ясно
осознано, что этот критерий «качество при повторяющихся испытаниях»
является одним из наиболее широко употребляемых для обоснования
выборочного подхода. Мы не рассматриваем его в качестве
единственного возможного или даже наиболее подходящего при обсуждении
различных альтернативных подходов. Однако этот критерий имеет
определенные преимущества и занимает очень большое место в литературе,
посвященной теории выборочных исследований. Учитывая сделанные
замечания, вернемся теперь к рассмотрению деталей и результатов
экспериментов.
9.7.1. Модель и ее спецификации
Анализируемая модель имеет вид
=l 2 т (9Л00)
' ' "" ' (9Л01)
где уц и y2t являются наблюдениями двух внутрисистемных
переменных; xt — наблюдение внесистемной переменной; ult и u2t —
возмущения; у и р — скалярные параметры. Приведенная форма уравнений
этой модели имеет вид
1 ^
J
'" ' (9.103)
где п± = Py> я2 = Р и Viu v2*—возмущения приведенной формы
системы.
Эта модель применена для генерирования данных в экспериментах
Монте-Карло в условиях, представленных в табл. 9.1. Во всех трех
прогонах параметрам у и р присвоены значения 2,0 и 0,5
соответственно. В прогоне 1 значения xt получались путем независимой выборки
из нормально распределенной совокупности с нулевым математическим
ожиданием и единичной дисперсией; в прогонах II и III значения xt
получались аналогичным способом из нормально распределенной
совокупности с нулевым математическим ожиданием и дисперсиями,
равными 2 и*9 соответственно.
Во всех прогонах ult и u2t имеют двумерное нормальное
распределение с нулевым математическим ожиданием и дисперсией, равными
1,0 и 4,0 соответственно. В прогоне I сг12 ковариация ult и u2t равна 1,0.
Таким образом, коэффициент корреляции между ult и u2t составляет
V2. В прогонах II и III ковариация а12 взята равной 1,0;
следовательно, коэффициент корреляции между ult и u2t составляет также 1/2.
1 Дальнейшие комментарии относительно уместности использования
экспериментальных данных, полученных методом Монта-Карло для сопоставления
альтернативных подходов можно найти в [ПО].
297
Прогон I
7 = 2,0
xt : NID '@,1)
(ицу U2t)
NID @, 0; 0ц, 022,
0ii=l,O
022 = 4,0^
7 = 207iV = 50
7 = 40; N = 50
7 = 60; N = 50
7=100; iV = 50
Условия генерирований данных
012)
Прогон II
7=2,0
C = 0,5
xt : NID'@,2)
(u>lb U2t)
@, 0; 0Ц, 012, 022)
0ц = 1 f0
022 = 4,0
7=20; N = 50
7 = 40; N = o0
7 = 60; N=50
7 = 100; W = 50
NID
Таблица 9.1
Прогон III
7 = 2,0
6 = 0,5
xt : NID @,9)
'("it» «2«)
@, 0; 0n, 0i2, 022)
0ц= 1 ,0
022 = 4,0
012 = 1,0
7 = 20; ЛГ = 50
7=40; iV = 50
7 = 60; iV = 50
7=100; N=50
Для всех прогонов мы сначала генерируем N == 50 выборок объемом
Т = 20 наблюдений каждая; затем снова генерируем 50 выборок
объемом Т — 40 наблюдений, затем ЛЛ = 50 выборок объемом Т = 60
наблюдений; наконец, W — 50 выборок объемом 71 — 100 наблюдений.
9.7.2. Анализ модели методами теории выборочных
исследований
Для большинства методов оценивания, включая МНП, 2МНК и
ЗМНК, оцениватель параметра у имеет вид
т
t \
v=-
(9.104)
где ум — n2xtt Jt2 = S^2t/Sx?» Я1 = 2^tW2^?- Мы вычисляли y
в (9.104) для каждой выборки, кроме того, с целью проверки обоснован*
ности полученных результатов строения для множества 95%-ных
доверительных интервалов двумя различными способами: сначала мы
допускаем* что величина (у — y)/s~ нормально распределена,
т л т
4 = B&2t)"V и s2 = 2 (^it — yy^tfl (T — 1). При этом допущении
желательно проверить в наших экспериментах вероятностное
утверждение
Pr{f-l,96sf <v<Y + l,96sf} = 0,95. (9.105)
Интервал у ± 1,96 рассчитывался для каждой выборки. Кроме того,
мы строили интервал, базирующийся на допущении, что (y—y)/s- име-
298
ет одномерное ^-распределение Стьюдента с v *= Т — 1 степенями
свободы. Здесь интервал имеет вид у ± tvs~, где tv выбирается из таблиц
^-распределения, так что
-WvSf}0,95 (9.106)
будет обоснованным вероятностным утверждением при условии, что
на самом деле (у — y)/s~ имеет ^-распределение с v = Т — 1 степенями
свободы; этот результат, насколько нам известно, не доказан
аналитически. Ввиду того что приближенные интервалы этого рода широко
используются в эконометрии, представляется целесообразным
исследовать их свойства.
9.7.3. Байесовский анализ модели
Рассматривая (9.102) и (9.103) как простую двумерную
регрессионную модель и используя результаты анализа многомерной
регрессионной модели, изложенные в 8-й главе и основанные на
расплывчатых априорных распределениях параметров ях и я2 и различных
элементах ковариационной матрицы возмущений приведенной формы,
мы получим следующую апостериорную ФПВ для параметров ях и я2"
Р CTlf я2 (ух, у2) ~
[- - fsnS12\ - . ~ч, 1—772
1+(я!—пх • я2 —я2) 21 22 (%—ях :' я2 —я2) , (9.107)
имеющую форму двумерной ?-ФПВ Стьюдента. Здесь пъ я2
являются оценками метода наименьших квадратов, a sal = wal^x%, где
_ т ""
wal есть элемент [^ (yat — naXt) (yu — я^^)] с индексами (а, /),
а, / — 1, 2. Рассмотрим следующее преобразование:
якобиан которого равен | р |. Тогда апостериорное распределение
параметров 7 и р имеет вид
-^2)s12]-r/2. (9.108)
Интегрируя (9.108) по р, получим г
]-2(^-)b1(d)J, (9.109)
1 Подробное исследование распределения отношения коррелированных
переменных, имеющих ^-распределение Стьюдента, можно найти в работе [100].
299
d d
где v -= T — 1, a F (d) = j p (tytf, Fx (d) = J /p (tytt, p(Q является
ФПВ ^-распределения Стьюдента с v степенями свободы, d =
- ЧуЬ/W Ь
7%
=
60 = 1 + at! s11 +2ях я2 s12 + я2 s22—
Используя стандартные численные методы и скоростные ЭВМ,
можно вычислить нормализующие постоянные апостериорной ФПВ в
(9.109) и построить полные апостериорные ФПВ для каждой из
генерированных выборок. Мы также построим с помощью ЭВМ
экспериментальный график1. Кроме того, мы рассчитали 95%-ные
байесовские доверительные интервалы для параметра у, соответствующие
каждой из полученных выборок. Один из интервалов был рассчитан таким
образом, что площадь под каждым из хвостов апостериорной ФПВ
равна 0,025. Мы именуем далее этот интервал как «точный центральный»
интервал. Другой, минимальный 95%-ный интервал, также был
построен для каждой из выборок, он именуется нами ниже «точным
минимальным» интервалом. Качественные характеристики этих байесовских
интервалов сравниваются ниже с таковыми приближенных
выборочных интервалов теории выборочных исследований.
9.7.4. Экспериментальные результаты: точечные оценки
В табл. 9.2 мы представили распределение значений моды
байесовских апостериорных распределений и оценок теории выборочных
исследований для прогона I2. Для каждой из 50 выборок объемом
Т = 20 распределения оценок параметра у, истинное значение которого
равно 2,0, представлено в столбцах B) и C) таблицы. Можно видеть,
что распределение значений моды байесовских апостериорных
распределений имеет хорошо выраженную моду в интервале от 1,900 до
2,099, который содержит истинное значение 2,0, в то время как
распределение оценок теории выборочных исследований в столбце C)
является почти прямоугольным на интервале от 1,300 до 2,499 (см.
рис. 9.3 и 9.4). Отметим также, что две оценки из числа оценок теории
выборочных исследований являются отрицательными для этого
столбца при Т = 20. Данные столбцов DL-(9) показывают, что с увеличе-
1 Для 50 выборок, каждая из которых имеет 20 наблюдений, все эти
вычисления и графики, так же как вычисления различных оценок методами теории
выборочных исследований, запись генерированных данных и распечатка
результатов потребовали приблизительно 1,5 минуты работы машины ИБМ 7094.
2 См. в табл. 9.1 описание условий, принятых для прогона 1. При наших
допущениях апостериорное математическое ожидание у = пх1пг не существует.
300
Таблица 9.2
Распределение частот байесовских оценока и оценок теории выборочных
исследований у (истинное значение =2,0); прогон I
Интервал
A)
Меньше чем 0
0,300—0,499
0,500—0,699
0,700—0,899
0,900—1,099
1,100—1,299
1,300—1,499
1,500—1,699
1,700—1,899
1,900—2,099
2,100—2,299
2,300—2,499
2,500—2,699
2,700—2,899
2,900—3,099
3,100—3,299
3,300-3,499
3,500—3,699
3,700—3,899
3,900—4,099
Больше чем
4,099
Всего
Объем выборки
7=20
8 3
\о о о
B)
0
0
0
0
0
0
4
9
14
15
7
1
0
0
0
0
0
0
0
0
0
50
1 я
III
из к о
C)
2
0
0
0
0
1
7
6
8
8
6
6
3
1
2
0
0
0
0
0
0
50
а Апостериорное значение моды.
Объем
§ "в
II1
D)
0
0
0
0
0
1
0
5
17
15
11
1
0
0
0
0
0
0
0
0
0
50
выборки
=40
о я
о1 *
3 3 ~г
и я о
E)
2
1
0
0
0
0
0
2
11
7
7
6
3
5
1
2
0
0
0
2
1
50
Объем
<а се
§ 8
III
F)
0
0
0
0
0
0
1
4
14
24
5
1
1
0
0
0
0
0
0
0
0
50
выборки
1 1
« я о
G)
2
0
0
0
0
0
0
4
9
17
9
1
3
1
2
0
1
0
0
0
1
50
Объем выборки
Г=100
•
q к
а> о аз
«so
?2 с?
(8)
0
0
0
0
0
0
0
3
14
23
10
0
0
0
0
0
0
0
0
0
0
50
о я
О. ?
(9)
0
0
0
0
0
0
0
2
12
12
15
6
2
0
0
0
0
0
0
0
1
50
нием Т до 40, 60 и 100 распределения значений моды байесовских
апостериорных распределений и распределения оценок теории
выборочных исследований становятся все более и более подобными и все
теснее концентрируются вокруг истинного значения. Мы отметим,
однако, что даже в выборках объемом 40, 60 и 100 в распределениях оценок
теории выборочных исследований имеют место «выбросы». Этот факт
будет обсуждаться ниже.
В табл. 9.3 мы представляем результаты, полученные для прогона
II, в котором дисперсия xt увеличена до двух, по сравнению с
единичной дисперсией прогона I. Коэффициент корреляции между ult и u2t
также был изменен с —V2 в прогоне I до 1/2. С учетом этих изменений
из табл. 9.3 можно видеть, что распределения оценок являются более
301
островершинными и сильнее сконцентрированными вокруг
истинного значения параметра у, чем в случае прогона I для подходов
обоих типов. Однако, как и в случае прогона I, можно видеть, что для
выборок меньших объемов, при Т = 20 и Т = 40, байесовские значения
моды более тесно сконцентрированы вокруг истинного значения пара-
1
W 1,10- 1,50- 1,50-1,70- 1,90-2,10- 2,30- 2,50- 2,70-2,90-
1,09 129 1,49 1,69 1,89 2t09 Zt29 2,49 2,69 2,89 3,09
Апостериорное значение моды
Рис. 9.3. Гистограмма распределения моды байесовских
апостериорных распределений для у (прогон I: Г=20)
-1,90
1,10- 1,30- 1,50- 1J0- 1,90' 2,10- 2,30- 2,50- 2JQ-2,90-
1,29 1,49 1,Ь1 1,89 1,09 2,29 2,49 2,69 2,89 3,09
Оценка X
Рис. 9.4. Гистограмма распределения оценок теории выборочных
исследований для параметра у (прогон I: Г=20)
метра у. Так же как и в случае прогона I, подход с позиций теории
выборочных исследований дает в ряду оценок «выбросы», что не
является характерным для байесовского подхода к проблеме.
Что касается «выбросов», получающихся при применении методов
теории выборочных исследований, то необходимо отметить, что они
встречаются и в других экспериментах Монте-Карло1. Хотя некото-
См., например, [32] и [126].
302
Таблица 9.3
Распределение частот байесовских оценок8 и оценок теории выборочных
исследований у (истинное значение=2,0); прогон II
Интервал
A)
Меньше чем 0
0,100-0,299
0,300—0,499
0,500—0,699
0,700—0,899
0,900—1,099
1,100—1,299
1,300-1,499
1,500—1,699
1,700—1,899
1,900-2,099
2,100—2,299
2,300—2,499
2,500—2,699
2,700—2,899
2,900—3,099
3,100—3,299
3,300—3,499
Всего
Объем выборки
Т=20
Д 03
о я
35 %
B)
0
0
0
0
0
0
0
0
0
6
15
17
9
1
1
1
0
0
50
1 1
3 Я Ef
ю к о
C)
2
1
1
0
0
1
2
1
7
5
11
7
7
3
0
1
1
0
50
а Апостериорное значение моды,
Объем выборки
о яя
и в
?S S
?S g
D)
0
0
0
0
0
0
0
1
1
10
19
17
2
0
0
0
0
0
50
о к
а »
S я о
E)
1
0
1
0
1
1
0
4
2
11
13
13
3
0
0
0
0
0
50
Объем выборки
Г=60
О К
й> О К
*s § §
>о о о
F)
0
0
0
0
0
0
0
3
2
12
23
9
1
0
0
0
0
0
50
XQ (л х
§?g
G)
0
0
0
0
0
0
1
1
4
6
28
9
1
0
0
0
0
0
50
Обьем выборки
Г=100
о *я
Is 1
3S g
(8)
0
0
0
0
0
0
0
0
0
7
30
12
1
0
0
0
0
0
50
1 §
§§g
(9)
0
0
0
0
0
0
0
0
1
13
27
9
0
0
0
0
0
0
50
рые исследователи называют в качестве возможных причин «выбросов»
накопление ошибок округления и почти вырожденность матрицы
моментов, но такое объяснение не является убедительным в случае
«выбросов», полученных в наших экспериментах. По нашим данным,
распределение оценивателя в (9.104) таково, что в условиях прогонов I и
II значения на хвостах распределения могут появляться с
вероятностью, которая должна приниматься во внимание1. Тот факт, что
байесовский подход не дает этого для значений апостериорной моды на
хвостах распределения, по крайней мере в анализируемом множестве
экспериментов, является действительно важным результатом.
Общий вид точных апостериорных распределений, построенных для
условий прогона I, показан на рис. 9.5. Вообще говоря, для малых
• выборок эти распределения часто отличаются от нормального, будучи
1 В качестве последних исследований, рассматривающих распределение
отношения коррелированных нормальных случайных переменных, к классу
которых относится оцениватель у, можно рекомендовать [87]. ~
303
обычно островершинными и скошенными, с толстыми хвостами. В
случае больших выборок было больше распределений, близких к
нормальному и еще более близких к уже обсуждавшемуся выше
аппроксимирующему нормальному распределению.
В случае прогона III изменения в условиях проведения
эксперимента относительно прогона II касаются только дисперсии хи которая
возрастает до девяти. Новые условия позволяют повысить точность
оценки параметра яа. Как и в случае прогона II, коэффициент корре-
Рис. 9.5. Типичные апостериорные ФПВ для параметра у
(прогон I : 7=20 и 7=60)
ляции между ult и u2t — возмущениями уравнений структурной
формы— был положен равным 1/2. Увеличивая дисперсию xt до девяти,
мы создаем условия, при которых возможно получить более точные
выводы относительно параметров в случае байесовского подхода и
подхода с позиций теории выборочных исследований. Показанные в
табл. 9.4 распределения получены для прогона III. Приведенные
здесь результаты существенно отличаются от таковых из табл. 9.2 для
прогона I. В случае прогона III распределения оценок для выборок
различных объемов являются в значительной мере идентичными.
Вероятно, это происходит вследствие того, что условия прогона III таковы,
что результаты, полученные для больших выборок, остаются
справедливыми и для случая малых Т. В этих экспериментах точные
апостериорные распределения достаточно часто близки к нормальному и еще
более близки к обсуждавшемуся выше аппроксимирующему
нормальному распределению.
Одно положение, выявленное в результате анализа результатов,
полученных при различных условияхл которые мы называем условно.
Таблица 9.4
Распределение частот байесовских8 оценок и
исследований параметра
Интервал
A)
0,700—0,899
1,000—1,099
1,100—1,299
1,300—1,499
1,500—1,699
1,700—1,899
1,900—2,099
2,000—2,299
2,300-2,499
Всего
Объем выборки
Г=20
8 "?
B)
0
0
0
0
2
6
41
1
0
50
о к
Р. к
C)
1
0
0
1
3
12
24
9
0
50
а Апостериорное значение моды.
оценок
теории выборочных
у (истинное значение=2,0); прогон III
Объем
т=
8 *rf
OJ GJ В
CO Jjjj gf
D)
0
0
0
0
0
5
31
14
0
50
выборки
=40
I §
ffl X О
E)
0
0
0
0
0
8
32
10
0
50
Объем
T=
8 *
\о о о
F)
0
0
0
0
1
4
37
8
0
50
выборки
=60
G)
0
0
0
0
1
9
32
8
0
50
Объем выборки
8 S
4» <U Я
IS 3
со о
(8)
0
0
0
0
0
5
44
1
0
50
00
о к
m
(9)
0
0
0
0
0
7
42
1
0
50
«большая выборка» , существенно зависит от предпосылок, лежащих
в основе модели. Для прогона I мы можем с некоторой степенью
неопределенности утверждать, что результаты, полученные при больших
выборках, остаются справедливыми для выборок, объем которых
лежит в пределах 100±30, в то время как для прогона III они будут
оставаться справедливыми даже для выборки объема Т — 40. Однако,
располагая точным апостериорным распределением в случае
байесовского подхода, мы в меньшей степени будем зависеть от объема
выборки, чем в случае классического подхода с позиций теории выборочных
исследований, в котором обычно опираются на выводы
асимптотической теории для обоснования результатов, получаемых из данных
конечной выборки.
9.7.5. Экспериментальные результаты:
доверительные интервалы
Вернемся к рассмотрению байесовских доверительных интервалов
и приближенных интервалов теории выборочных исследований.
Рассчитаем для каждой выборки введенные выше интервалы. Затем для
выборок каждого объема определяем число интервалов, покрывающих
истинное значение параметра у. Это число, выраженное в процентах
от 50 (число испытаний всех прогонов), помещено в табл. 9.5.
305
Таблица 9.5
Распределение байесовских и выборочных номинальных 95%-ных доверительных
интервалов параметра у
Эксперимент
(D
Прогон I
Г=20
71—40
Г=60
Г=100
Прогон II
Г=20
Г=40
Т=60
Г=100
Прогон III
Г=20
7=40
7'=60
Г=100
Байесовский
«точный
центральный»
я
интервал
B)
Байесовский
«точный
кратчайший»
я
интервал
C)
«Выборочный
нормальный»
интервала
D)
(Проценты интервалов, покрывающих истинное значе]
96,0
96,0
96,0
96,0
96,0
96,0
90,0
100,0
92,0
100,0
96,0
94,0
96,0
98,0
98,0
96,0
98,0
96,0
96,0
100,0
96,0
100,0
96,0
96,0
84,0
82,0
76,0
92,0
82,0
86,0
90,0
94,0
84,0
94,0
98,0
88,0
Выборочный
*-интервал8
E)
88,0
82,0
76,0
96,0
82,0
86,0
94,0
98,0
84,0
94,0
100,0
90,0
Эти интервалы определены в тексте.
Для всех прогонов (I, II и III) байесовские доверительные
интервалы обнаруживают очень хорошие качественные характеристики.
При 50 испытаниях (случай, представленный в табл. 9.5) невозможно
получить 47,5 покрывающих интервалов, т. е. 95%-ное покрытие
недостижимо. Фактические результаты, помещенные в столбцах B) и
C), показывают, что байесовские интервалы обладают сравнительно
хорошими выборочными свойствамиг.
Что касается приближенных доверительных интервалов теории
выборочных исследований, то результаты табл. 9.5 показывают, что
номинальный 95%-ный доверительный уровень в общем не всегда
реализуется. Процент покрытия в ряде случаев был существенно ниже
95. Это указывает на то, что выводы, основанные на этих приближенных
интервалах теории выборочных исследований, могут быть, вообще
говоря, ошибочными в случае малых выборок.
1 Анализ выборочных свойств байесовских интервалов можно посмотреть
в [11] и [142].
306
9.7.6. Заключительные замечания
об экспериментах Монте-Карло
Проведенные эксперименты показывают, что различия в
выборочных свойствах байесовских и классических выборочных оценивателей
при малых выборках являются весьма существенными. В условиях
эксперимента байесовские процедуры обеспечивали лучшие
результаты, чем применение классического подхода. Что касается точечного
оценивания, то байесовские оценки в большей степени
сконцентрированы вокруг истинного значения параметра, чем в случае подхода
с позиций теории выборочных исследований, особенно при малых Т.
В связи с этим, очевидно, нужно отметить, что рассмотренные оцени-
ватели теории выборочных исследований, как правило, находят свое
обоснование в теории для больших выборок. Поэтому нет уверенности
в том, что эти оцениватели будут достаточно хорошими в условиях
малых выборок1. Что касается интервального оценивания, то нужно
отметить, что интервалы, подсчитанные на основе апостериорных ФПВ,
обладают достаточно хорошими выборочными свойствами. С другой
стороны, приближенные выборочные доверительные интервалы2, часто
применяемые на практике, показали недостаточно хорошие свойства
в случаях малых выборок. В случае больших выборок, как
показывает теория, байесовские и выборочные процедуры дают приблизительно
одинаковые результаты при использовании метода повторных выборок.
ВОПРОСЫ И ЗАДАЧИ
1. Рассмотрите следующую модель, состоящую из уравнений
спроса и предложения:
} t = l 2 Т
где индекс t означает значение переменной в момент времени t; pt и
qt — цена и количество соответственно—являются
внутрисистемными переменными; xlt и x2t — переменные дохода и издержек
соответственно — являются внесистемными переменными; о^ и |3*
—Структурные параметры; ult и и2* — неавтокоррелируемые случайные
возмущения. Предположим, что иц и иг% нормально распределены с
нулевыми математическими ожиданиями, дисперсиями, равными ап и
а22, и нулевой ковариацией, т. е. а12 = 0 для всех t. При заданном
начальном наблюдении р0 выпишите функцию правдоподобия и полу-
спрос: р*
предложение: qt = рх р^г+р2 x2t+u2t
1 Из текста этой главы видно, Что некоторые оценки, полученные при
использовании выборочного метода теории выборочных исследований, могут
рассматриваться как аппроксимации математических ожиданий или моды
апостериорных ФПВ.
2 Выборочные свойства этих приближенных процедур для конечных
выборок, насколько автору известно, не анализировались. Однако некоторые
результаты экспериментов Монте-Карло, в которых исследовалась эта проблема,
приведены в работе [32].
307
чите оценки МНП параметров при заданных выборочных данных для
р, qy х. Какой вид имеет информационная матрица этой системы?
2. Проанализируйте модель спроса и предложения в упражнении
1 со следующей расплывчатой априорной ФПВ для параметров:
Р (аЪ а2> Pl> P2» °1Ъ а22) ~ 1/^11^22»
где — оо < аи pf < 00 и 0 < oti < 00, i =« 1, 2.
3. Пусть в упражнении 1 ult являются автокоррелированными
и удовлетворяют условию ult = ri^-i + &t Для всех ?, где т)
является неизвестным параметром и е* нормально и независимо
распределена с нулевым математическим ожиданием и дисперсией, равной а2.
Покажите, как при этих условиях можно получить байесовские
оценки и оценки МНП параметров аг и а2.
4. В упражнении 1 при условии а12 Ф 0 выпишите функцию
правдоподобия в терминах а$и агъ сг22 и р = ^iJVr<yna2^ Затем,
используя априорные допущения упражнения 2 и условие, что р = р0, где
р0 — заданное значение, покажите, как получить условную
апостериорную ФПВ для параметров аир при известном р0.
5. В связи с простой моделью Хаавельмо, сформулированной в
(9.36) и (9.37), постройте информативную априорную бета-ФПВ для
параметра а — предельной склонности к потреблению — и покажите,
как она может быть применена в сочетании с другими априорными
допущениями в целях получения апостериорной ФПВ для параметра а.
6. В упражнении 5 выведите следующую из априорной бета-ФПВ
для параметра а априорную ФПВ для мультипликатора п == 1/ A —а)
и проверьте, как ее свойства зависят от параметров априорной ФПВ
для параметра а.
7. Используя информацию Хаавельмо для США, 1929—1941 гг.
постройте апостериорную ФПВ для параметра а, выведенную в
упражнении 5:
Год
1929
1930
1931
1932
1933
1934
1935
Н
474
439
399
350
364
392
41G
Ч
534
478
440
372
381
419
449
Год
1936
1937
1938
1939
1940
1941
Н
463
469
444
471
494
529
511
520
477
517
548
629
8. Сформулируйте относительно расплывчатую априорную ФПВ
для параметров следующей несколько расширенной модели
Хаавельмо:
с% = р + ayt + yct _ i + щ ]
+ J
308
где г% является внутрисистемной переменной, a ut нормально и
независимо распределены с нулевым математическим ожиданием и
дисперсией, равной а2.
9. На основе априорной ФПВ, сформулированной в упражнении
8, и информации Хаавельмо, приведенной в упражнении 7, выведите
и рассчитайте апостериорную ФПВ для параметров модели в
упражнении 8 при условии, что начальное значение для ct есть с0 = 466,
т. е. значение ct в 1928 г. В частности, проверьте апостериорную ФПВ
для параметра у с целью получения ответа на вопрос о том, не
предполагает ли информация, содержащаяся в исходных данных и в
априорных предположениях, нулевое значение этого параметра.
10. В задаче 9, используя совместную апостериорную ФПВ для
параметров а и у, объясните, как получить маргинальную
апостериорную ФПВ для параметра а/ A —у), «долговременную» предельную
склонность к потреблению. Затем постройте предельную
апостериорную ФПВ для а/ A — y).
11. Пусть для i-ik фирмы (i = 1, 2, ..., п) yot = log выпуска, ylt =
= log затрат труда и y2i = log затрат капитала. Предполагается,
что производственная функция является функцией Кобба—Дугласа
и что фирма в своей деятельности стремится к максимизации
математического ожидания прибыли. Известно1, что корректна следующая
модель для наблюдений (yoi, ylU y2i):
производственная функция: yoi — &\Уи — ®<2y2i — а0 = иои
условия на затраты труда: (ах — l)ylt + oc2y2i — рх — ихи
условия на затраты капитала: а2уц + (а2 — 1)г/2г — Рг *= и%и при
i = 1, 2, ..., п, где аг и а2 являются соответственно коэффициентами
эластичности от труда и от капитала функции Кобба—Дугласа; а0,
Рь Рг — параметры, и делается допущение, что (uoi, иги u2i)
независимо и нормально распределены с нулевым вектором математических
ожиданий и общей положительно-определенной симметрической
ковариационной матрицей S размерности 3x3, имеющей вид
В последнем выражении а00 является дисперсией uoi; 2* —
ковариационная матрица для ихи u2t размерности 2 х 2; 0' = @,0).
Выпишите функцию правдоподобия системы и получите оценки МНП для
параметров системы.
12. Используйте функцию правдоподобия из упражнения 11
совместно с расплывчатой априорной ФПВ для параметров а' = (аг,
а2> ао)> Р' = (Рь Р2), стоо, s* следующего вида: р (а, Р, а00, 2*) ~
~ Pi («, Р)р2 Ко)рз (S*), где рг (а, р) — | 1 — аг — а2 | -1, р2 (а00) ~
— 1/^оо» Рз (s*) ~ I 2# |-3/2. Здесь мы делали допущение, что
положение параметров аир является априори независимым от
масштаба параметров а00, 2*. Далее, вышеприведенная форма для
1 См. подробнее в работе [156].
309
рг (а, Р) обеспечивается применением теории инвариантности Джеф-
фриса1. Сделав допущение, что 0 < а00 < оо, 0 < | S* | и а0, р1э р2
существуют в пределах от —оо до оо, выпишите совместную
апостериорную ФПВ для параметров и проинтегрируйте ее в целях получения
маргинальной апостериорной ФПВ для а0, аъ а2, которая является
трехмерной *-ФПВ Стьюдента с центром в оценке МНП, если принять,
что с*! и а2 существуют в пределах от —оо до оо.
13. По данным упражнения 12 постройте альтернативную
априорную ФПВ для параметров аг и а2, которая отражает информацию,
предлагаемую экономической теорией, а именно, что ах, а2 > 0, и
покажите, какое это может найти применение при анализе модели Кобба—
Дугласа, рассмотренной в упражнении 11. Как будет такая априорная
информация воздействовать на апостериорную ФПВ для параметров
аг и а2 и на оптимальные точечные байесовские оценки в случае малых
и в случае больших выборок?
14. Пусть уи = уп у + ихи y2i — x'trt + u2U * = 1, 2, ..., 7, где
У и и Угх — внутрисистемные переменные; у — скалярный параметр;
х{ есть fe-мерный вектор-столбец заданных величин, причем X' —
= (хх, х2, ..., xt) является матрицей размерности k x T и ранга k\
я есть ^-мерный вектор-столбец параметров, а ult, u2t — возмущения.
Сделаем допущение, что пары (ulti u2t) нормально и независимо
распределены с нулевыми векторами математических ожиданий и
положительно-определенной симметрической ковариационной матрицей
S размерности 2x2. Является ли эта система эмпирически
эквивалентной системе ylt — x'&ty + elt и y2t *= х'^л: + e2U где пары (elf, e2t)
по предположению также нормально и независимо распределены с
нулевым вектором математических ожиданий и
положительно-определенной симметрической ковариационной матрицей размерности 2x2.
15. Пусть сформулирована априорная ФПВ для параметров,
входящих во вторую систему упражнения 14, вида
p(yyn9Q)~Pl(y)\Q\W,
где_оо <я. < оо, i = 1, 2,... &, | Q | > 0 и рг(у) является
маргинальной априорной ФПВ для параметра 7.- Что можно сказать, имея эту
априорную ФПВ, относительно априорной ФПВ для S,
ковариационной матрицы возмущений первой системы из упражнения 14?
16. Используя априорную ФПВ из упражнения 15,
проанализируйте систему из упражнения 14 в целях получения маргинальной
апостериорной ФПВ для параметра у.
17. Как и в параграфе 9.5, проанализируйте первое уравнение
системы одновременных уравнений, сделав, однако, допущение, что
ковариационная матрица возмущений уравнений структурной формы
имеет вид
1 См. приложение к гл. 2.
310
где 2 — положительно-определенная симметрическая матрица; вп —
общая дисперсия компонент иг; 2* — матрица без нулевых элементов
размерности (т — 1) х (т —•* 1), а 0' есть (т — 1)-мерный нулевой
вектор-строка.
18. Пусть задано, что в системе (9.1) Г и 2 являются блочно-диа-
гональными
Г =
ти о... о
о г22... о
0 0... TGG _
и 0 ... 0
0 S22 ... 0
О 0 ... S
GG .
где 2И — ковариационная матрица возмущений подмножества
уравнений системы, матрица коэффициентов при внутрисистемных
переменных которых есть Г^, i — 1, 2, ..., G. Покажите, как это
обстоятельство приводит к представлению функции правдоподобия в виде
произведения.
Глава 10 © СРАВНЕНИЕ И ПРОВЕРКА ГИПОТЕЗ
Во многих случаях возникает проблема сравнения альтернативных
гипотез; например, мы можем быть заинтересованы в сравнении
гипотезы перманентных доходов Фридмана (ПДГ) и гипотезы абсолютных
доходов (АДГ); или для нас является желательным сравнения
гипотезы о том, что некий параметр равен нулю с гипотезой о ненулевом
значении этого параметра. При наличии точных формулировок
сравниваемых гипотез практический способ их сравнения зависит от цели,
которой служит проводимый нами анализ, от состояния априорной
информации, от того, располагаем ли мы точно сформулированной
функцией потерь. Каждое из этих положений рассматривается ниже.
Что касается целей нашего анализа, то массив данных может быть
проанализирован для пересмотра априорных вероятностей,
связанных с альтернативными гипотезами1.
Например, если первоначально наши априорные вероятности для
ПДГ и АДГ равны 1/2, то выборочная информация, будучи
использована описанным ниже способом, может изменить эти вероятности до
3/4 для ПДГ и до 1/4 для АДГ. На основании изложенного можно сделать
заключение, что на базе первоначальных априорных вероятностей
(—1/2) и при учете выборочной информации апостериорные шансы в
пользу ПДГ составляют 3:1, так как 3/4 :1/4 — 3. Ясно, что этот
результат полезный и важный. Далее может случиться, что
исследователь не знает, как будут приложены полученные им результаты.
Следовательно, он может не интересоваться или не интересуется
задачей принятия решения с явной функцией потерь. Однако получив
апостериорные вероятности, связанные с альтернативными гипотезами,
он предоставит важные ингредиенты в распоряжение тех, кто
заинтересован в этой задаче. Наконец, анализ дополнительных выборочных
данных может иметь в качестве своего результата пересмотр
апостериорных вероятностей. После анализа большого массива данных
может быть обнаружено, что апостериорная вероятность, связанная с
одной из гипотез, близка к единице. В подобной ситуации мы могли
бы сказать, что эта гипотеза, вероятно, является истинной2. Процесс
пересмотра априорных вероятностей, связанных с альтернативными
гипотезами, не обязательно включает в себя решение об отклонении
или принятии этих гипотез, что является причиной употребления тер-
1 Отметим, что в байесовском подходе введение вероятностей, связанных с
гипотезами, представляется содержательным моментом анализа.
2. Употребление термина «вероятно, является истинной» предполагает
возможность получения ошибочного вывода.
312
мина «сравниваемые гипотезы» вместо термина «проверяемые
гипотезы».
С другой стороны, мы признаем, что во многих случаях целью
анализа в случае рассмотрения альтернативных гипотез является
решение, скажем, отклонить или принять одну из них. Иными словами,
может случиться, что мы желаем на базе имеющейся информации
построить утверждение, согласно которому отклоняется АДГ и принимается
ПДГ. Если мы располагаем заданной в явном виде функцией потерь,
то обычной процедурой, направленной на принятие ре!нения,
является минимизация ожидаемых потерь1. Если же мы не располагаем
заданной в явном виде функцией потерь, то наше решение содержит
некоторую долю неизбежного произвола. Например, мы можем решить,
что принимаем ПДГ и отклоняем АДГ, если апостериорные шансы в
пользу ПДГ составляют не менее 20 : 1. Но можно задать при этом
вопрос: почему 20 : 1, а не 30 : 1? На этот вопрос не может быть дан
удовлетворительный ответ, если последствия решения «принять или
отклонить» не сформулированы в явном виде2. Таким образом, если не
сделано в явном виде утверждение о последствиях решения «принять
или отклонить», то выход за пределы задания апостериорных
вероятностей, связанных с альтернативными гипотезами при получении
решения «принять или отклонить», содержит некоторый элемент
произвола. Последнее общее замечание, которое нужно здесь сделать,
относится к роли априорной информации при сравнении гипотез. Далее
мы убедимся, что точно так же, как и в задаче оценивания, априорная
информация легко может быть включена в анализ при сравнении
гипотез. Как в задаче оценивания, количество и род априорной
информации, которая используется при анализе, будет зависеть от того, что
мы знаем и что мы считаем подходящим для включения в анализ. Мы
сознаем, что имеются ситуации, о которых мы знаем очень мало, и,
следовательно, хотим иметь процедуры сравнения гипотез при наличии
скудной априорной информации. Имеются, однако, и другие случаи,
когда мы, скажем, имеем априорную информацию из анализа прошлых
массивов данных и желаем включить ее в наш процесс сравнения
гипотез. Позднее мы увидим, как все это может быть осуществлено в
рамках байесовского подхода.
10.1. АПОСТЕРИОРНЫЕ ВЕРОЯТНОСТИ, СВЯЗАННЫЕ
С ГИПОТЕЗАМИ
Вернемся к проблеме применения данных для пересмотра
априорных вероятностей, связанных с гипотезами3. Как и в первом примере,
рассмотрим две взаимно исключающие гипотезы, образующие систему
1 Это находится в соответствии с ожидаемыми гипотезами теории
полезности. Интересное обсуждение этого предписания рационального поведения см-
в [86].
2 Аналогичный произвол встречается и при выборе уровня значимости при
выборочной теории проверки гипотез на основе теории выборочных исследований.
3 В основном изложение следует теории Джеффриса. См. его работу [67,
гл. 5 и 6].
313
Яо и #!. Первоначально мы предположим, что в случае гипотезы Яо
наблюдаемый вектор у имеет ФПВ р (у | 0 = 90), а в случае Нх ФПВ
для у есть р (у | ср^фх), где 90 и фх являются частными .значениями
параметров векторов 0 и ф соответственно1. Далее, пусть w является
дихотомической случайной переменной, такой, что
0, если истинна гипотеза Яо, /1А 1Ч
1, если истинна гипотеза Нг.
Априорные вероятности, связанные с гипотезами, имеют вид р (Яо) =
= р (w = 0) и р (Ях) - р (да = 1), причем р (Яо) + р (Ях) =
= р (да = 0) + р (да ~ 1) *= 1.
Рассмотрим совместную ФПВ для у и ш:
Р (У» «;)=/? Ир (y\w)=p (у) р (да | у), A0.2)
из которой получим
p(w\y) = piw)p(ylwK A0.3)
где р (w | у) является дискретной апостериорной ФПВ для параметра
w при заданной информации выборки; р (w) — дискретной априорной
ФПВ для параметра w\ р (у | w) — условной ФПВ для у при заданном
w и р (у) = р (у | w *= 0)р (ш = 0) + р (у | w = \)p (w = 1) —
маргинальной ФПВ для у (по предположению р (у) ^= 0)- Тогда из A0.3)
получим апостериорную вероятность, связанную с Яо:
(у 1 ^-о) _ р(//о)р(у 1 е^е0) (Ш4)
Р (У) Р (У)
и аналогичную вероятность, связанную с Нъ
Р(у) У ' ;
Выражения в A0.4) и A0.5) могут применяться для расчета
апостериорных вероятностей при условии, что мы имеем априорные .
вероятности и явную функциональную форму для р (у | 6 = 80) и р (у | ф=
= <Pi)- Кроме того, апостериорные шансы в пользу Яо, обозначенные
через Коъ задаются в следующем виде2:
к = р(Нр\у) _р(Н0) р(у|9=0р) ({06)
РШу) р(Нх) р(у|ф=Ф1)"
Из A0.6) видно, что апостериорные шансы являются произведением
априорных шансов р (Н0)/р (Нг) и отношения правдоподобия
Р (У, I в = во)/р(|у|ф = фх).
1 В некоторых задачах 9 = <р, и мы рассмотрим Яо : 9 = 90 и Нг : 9 = 6Х
в качестве наших двух гипотез.
2 Отметим, что Koi в A0.6) может быть вычислена и будет оставаться
неизменной и в случае, если мы имеем более чем две взаимно исключающих гипотезы.
314
В качестве примера, иллюстрирующего применение этих понятий
и операций, рассмотрим серию из трех независимых испытаний,
заключающихся в честном подбрасывании правильной монеты.
Предположим, что мы наблюдаем два выпадения решетки и одно выпадение
орла. В качестве гипотезы Но мы допустим, что вероятность выпадения
решетки равна 1/2. В качестве гипотезы Нг примем, что вероятность
выпадения решетки равна 1/4. Если априорные вероятности равны
р (Яо) — р (Нг) = 1/2, то экспериментальные данные — две решетки
в трех испытаниях — дают из A0.6) следующие апостериорные
шансы:
z== О/ О.
к _,(Яо/У)_A/2)A/2)ЧТ
01 P(HJy) A/2) A/4J C/4)
Таким образом, выборочные данные изменили наши априорные шансы
1/1 на 8/3 в пользу гипотезы Яо, а именно, что вероятность выпадения
орла равна 1/2. Эквивалентно выборочные данные изменят наши
априорные вероятности от 1/2 до 8/11 и 3/11 для Яо и Нг соответственно.
Чтобы показать, как априорные шансы 1/1 могут быть
модифицированы с помощью других исходов, мы приведем в табл. 10.1
апостериорные шансы, связанные с различными исходами эксперимента.
Апостериорные шансы Но относительно Н*
Таблица ЮЛ
Число испытаний
2
3
4
5
Число выпавших решеток
0
4/9
8/27"
16/81
32/243
1
4/3
8/9
16/27
32/81
2
4
8/3
16/9 .
32/27
3
8
16/3
32/9
4
16
32/3
5
32
* Яо является гипотезой, утверждающей, что вероятность выпадения решетки при
одном испытании равна 1/2, в то время как Я, утверждает, что эта вероятность равна 1/4.
Мы видим, что в случае только двух испытаний апостериорные
шансы равны 4/3 для Но при условии, что в результате эксперимента выпала
одна решетка. В случае появления двух решеток в двух испытаниях
монеты апостериорные шансы равны 4/1 в пользу Яо. Заметим, однако,
как увеличение объема выборки влияет на апостериорные шансы при
различных заданных исходах. Например, в случае появления двух
решеток в четырех метаниях апостериорные шансы равны 16/9, они
больше, чем в случае появления одной решетки в двух испытаниях, а
именно 16/9 >4/3.
На основании сказанного может сложиться мнение, что
определение апостериорных шансов и вероятностей исчерпывает все, что мы
хотели бы получить. Однако имеются случаи, когда мы хотели бы дей-
ствовать, т. е. принять Яо или отвергнуть Н\. Мы приходим к задаче
выбора с двумя альтернативами действий. Далее, мы исходим из того,
что по допущению возможны два состояния нашего объекта — либо
гипотеза Яо истинна, либо истинна гипотеза Нг. Таким образом, наша
задача является задачей «с двумя состояниями и двумя
альтернативами действий». Пусть последствия наших действий задаются следующей
структурой потерь:
Состояние объекта
Я0 ИСТИННО Н± ИСТИННО
Решение принять Но
Решение принять Hi
L(H0, Я0) = 0
L (Но, #i)
L(HltAHo)
L(HltHi)^=0
Эта конкретная структура потерь определяется так, что мы получаем
нулевые потери, если наши действия согласовываются с состояниями
объекта. Однако если мы примем Яо в случае, когда Ях истинно, то
получим положительную потерю L (Яь Яо), где первый аргумент в L
относится к состоянию, а второй — к нашему действию; таким образом,
Яо является кратким обозначением принятия Яо.
Учитывая введенную структуру потерь, можно оценить последствия
наших действий при условии, что мы имеем апостериорные
вероятности для гипотез Яо и Н19 т. е. ожидаемые потери, связанные с
решением принятия Яо, есть
+ p(H1\y)L(H1, Но) =
поскольку мы допустили, что L (Яо, Яо) = 0. Аналогично
1) = p(H0\y)L(H0,H1)+p(H1\y)L(H1,H1) =
= p(H0\y)L(H09H1)i
A0.7)
A0.8)
поскольку мы допустили, что L (Нъ Нг) = 0.
Рассчитав ожидаемые потери в A0.7) и A0.8), мы можем их
сравнить и выбрать соответствующее действие:
если М (L | Но) < М (L | Н{), то принимаем Яо, действие Но.
если М (L | Их) < М (L\ Яо), то принимаем Hi, действие Я1#
A0.9)
A0.10)
1 Здесь мы делаем специальное допущение, что действие «продолжать сбор
данных» не включается в рассматриваемые альтернативы.
316
Это обеспечивает базу для действий1 в соответствии с выводами из
принятой нами теории, а именно, что лицо, принимающее решение (ЛПР),
должно максимизировать ожидаемую полезность (или, эквивалентно,
минимизировать ожидаемые потери) для того, чтобы поведение его
было рациональным.
Чтобы показать, как выглядит принятие решений на базе
сравнения ожидаемых потерь в терминах выборочной информации, мы
заметим из A0.7) и A0.8), что М (L \ Яо) будет меньше, чем М (L | Ях),
тогда и только тогда, когда
р (Нг у) ЦИЪ Яо) < р (Я | у) ЦНМ. A0.11)
Затем, подставляя р(Я0 \ у) и р (Нг | у) из A0.4) и A0.5), получим
Р(У|ЯО) P(HX)L{HU Но) A012)
р(у|Я1) р(Я0I(Я0,Я1)
Таким образом, мы имеем, что A0.12) логически следует из условия
M(L | Н0)<.М (Ь\Нг) и может рассматриваться в качестве
альтернативного способа определения критерия ожидаемых потерь, если
выбранное действие заключается в принятии гипотезы Яо. A0.12) есть
отношение правдоподобия р (у Н0)/р (у/Нг), которое сравнивается с
отношением априорных ожидаемых потерь. Чем больше априорные
ожидаемые потери р (Ях) Ь(НЪНО), связанные с принятием гипотезы Яо,
в сравнении с потерями р (Яо) ЦЯ0, Ях), связанными с принятием
гипотезы Нъ тем больше свидетельствуют данные выборки в пользу Яо,
как это видно из отношения правдоподобия в левой части A0.12). Этот
подход представляется вполне разумной процедурой определения
«критического значения» при помощи критерия отношения правдоподобия,
иными словами, применение критерия отношения правдоподобия
предполагает принятие Яо, если р (у | Я0)/р (у | Нг) >Я, где К является
величиной, определяемой выбором уровня значимости для проверки.
Часто уровень значимости и связанное значение X выбираются с
неявным учетом относительных цен или потерь, связанных с ошибками
первого и второго рода2. В байесовском подходе в явном виде
учитывается структура потерь. То, что это ведет к процедуре употребления
критерия отношения правдоподобия, является в самом деле важным
аргументом в пользу проведения этой процедуры с целью проверки
гипотез. Далее, представляется весьма ценным то, что явное
рассмотрение структуры потерь обеспечивает естественный выбор
критического значения А,.
Очень важной проблемой является исследование последствий
использования различных структур потерь. Рассмотрим некоторую про-
1 Если ожидаемые потери равны, то мы должны выбрать любое действие
и испытать одинаковые последствия.
2 Ошибкой первого рода является принятие Нг при условии, что Яо
является истинной, в то время как ошибкой 2-го рода является принятие Яо при
условии, что #! является истинной; L (HjH^ и L(Hlf Ho) являются потерями,
связанными с ошибками 1-го и 2-го рода соответственно.
317
етую, так называемую «симметрическую», структуру потерь!
L (Но, Нх) = L (Нь Но); L (Яо, Яо) = L (Н19 Нг) = 0. A0.13)
Для этой структуры потерь ошибки первого и второго рода связаны
с равными потерями. В случае, когда удобно использовать такую
структуру потерь, из A0.12) можно увидеть, что критическая точка
критерия отношения правдоподобия в точности соответствует априорным
шансам Нг относительно Яо. Если отношение правдоподобия больше,
чем априорные шансы для Hlf мы принимаем Но> т. е. принимаем
решение в соответствии с ожидаемой гипотезой полезности при известной
симметрической функции потерь в A0.13). Аналогично мы можем
делать сравнение ожидаемых потерь в A0.5) и A0.6) в условиях
симметрической структуры потерь. Отсюда видно, что ЛГ(?|Яо)<
< М (L | Нг) тогда и только тогда, когда
р(Я0|у)>р(Я1|у) или Ш±^>1. A0.14)
Таким образом, в условиях симметрической структуры потерь
сравнение апостериорных вероятностей будет обеспечивать базу для выбора
между Яо иЯх. Очевидно, что в условиях других структур потерь
конкретное предписание выбора действия будет отличным, но принципы
анализа останутся теми же самыми.
Для выявления некоторых важных особенностей рассматриваемой
проблемы мы изучим альтернативные гипотезы, которые приписывают
конкретные значения всем параметрам ФПВдля наблюдений р (у | Я),
как, например, в случае эксперимента с подбрасыванием монеты.
Это сравнение простых гипотез иногда встречается на практике. Но
более часто мы встречаем так называемые комбинированные
гипотезы; например, гипотеза о том, что вероятность выпадения решетки не
равна 1/2, причем этой вероятности не приписывается определенного
значения. Более того, все возможные значения, отличные от 1/2,
совместимы с гипотезой. Вычисление апостериорных вероятностей для
этих гипотез связано с некоторым расширением приведенного выше
анализа.
Рассмотрим снова две взаимно исключающие и составляющие
полную систему гипотезы Яо и Нх с априорными вероятностями р (Яо) =
= р (до = 0) и р (Нх) = р (до = 1), где до является случайной
переменной, определенной в A0.1). Пусть 6 обозначает вектор параметров,
связанных с гипотезой Яо, при котором ФПВ для вектора наблюдений
у есть р (у | в) = р (у | до = 0,6), и пусть <р есть, аналогично, вектор
параметров, связанных с гипотезой Нъ при котором ФПВ для вектора
у есть р (у | ф) = р (у | до = 1,6). Для совместной ФПВ у, до и 9 мы
имеем
Р (У, w, 0) = р (у)р (до, 6 | у) = р (до, в)р (у | до, 9) A0.15)
или
p(w Q\v)=
= р
p(y) p(y)
318
где р (w) является априорной ФПВ для w и р @1 w) является условной
априорной ФПВ для в при заданной w.
Мы располагаем р @\w = 0) = р (в) и р @\w = 1) = р (<р), т. е.
априорными ФПВ для в и <р соответственно. Теперь апостериорная
вероятность, связанная с Яо, может быть получена из A0.16) путем
подстановки w = 0 и интегрирования по Э. Иными словами,
Р(Но\у)=
р(у)
и, аналогично,
!
Р(У)
Эти выражения могут применяться для расчета апостериорных
вероятностей, связанных с гипотезами при условии, что соответствующие
интегралы сходятся. Таким образом, апостериорные шансы в пользу
Нг равны:
где р (Но) = р (w — 0) и р (#х) == р (w = 1) являются априорными
вероятностями, связанными с Но и Нг соответственно.
Из A0.19) видно, что апостериорные шансы равны априорным
шансам р (Н0)/р (Нг), умноженным на отношения взвешенных
правдоподобий с априорными ФПВ р (8) и р (<р) в качестве взвешивающих
функций. Этот подход отличается от обычной процедуры, пользующейся
критерием отношения правдоподобия, которая предполагает
применение отношения максимумов функций правдоподобия в условиях
гипотез Яо и Нъ — процедура, которая сводится к употреблению
оценок МНП в качестве истинных значений неизвестных параметров при
формировании отношений правдоподобия, соответствующего двум
простым гипотезам.
10.2. АНАЛИЗ ГИПОТЕЗ С РАСПЛЫВЧАТЫМИ АПРИОРНЫМИ ФПВ
ДЛЯ ПАРАМЕТРОВ
В этом параграфе мы рассмотрим процедуру Линдли для
байесовской проверки критериев значимости [82, ч. 2, с. 58 и дальше]. Как
подчеркивает сам Линдли, его процедура пригодна только в случае,
когда априорная информация является неясной или расплывчатой.
Иначе говоря, она применима, если мы имеем дело с гипотезой о том,
что скалярный параметр 9 равен Эо> значению параметра 0 при
«нулевой гипотезе», а альтернативной гипотезой является предположение,
что 8 фво; априорное распределение в окрестности значения нуль-
гипотезы, 05, «... должно быть достаточно гладким для того, чтобы
проверка была чувствительной» [82, ч. 2, с. 61]. Это означает, что
в нашей ситуации нет оснований верить, что 0 = 0о является более
сильным предположением, чем 0 = 9Х, где &г есть произвольное зна-
319
чение 8 в окрестности 60. Позднее мы увидим, что для многих, хотя
и не для всех задач, процедура Линдли ведет к проверкам, которые с
вычислительной точки зрения эквивалентны проверкам, известным
из теории выборочных исследований. Однако интерпретация подхода
Линдли для байесовских проверок значимости фундаментально
отличается от интерпретации теории выборочных оценок. Должно быть
также осознано, что когда априорная информация не является ни
неясной, ни расплывчатой, то результаты в значительной степени
определяются априорно информацией, как это и будет показано ниже.
В процедуре Линдли апостериорная ФПВ для параметра (или
параметров) модели получается при помощи расплывчатой априорной
ФПВ. Пусть апостериорная ФПВ для параметра 8 обозначена через
р (8 |у), где у является информацией выборки. Кроме того, сделаем
допущение, что р (81 у) является унимодальной. Для осуществления
проверки значимости гипотезы 6 = 80, где 60 является предполагаемым
значением параметра 8 с применением процедуры Линдли при уровне
значимости а (равном, скажем, 0,05), мы построим интервал, такой,
что Рг {а < 8 < Ъ | у} = 1 — а. (Мы рассматривали во 2-й главе
такой интервал, как байесовский доверительный интервал.) Если 80
попадает в этот интервал, т. е. а < 80 < Ь, мы принимаем гипотезу
8 = 80 с уровнем значимости, равным а; если 80 не попадает в
вышеназванный интервал или 80 < а, 80 > 6, то мы отвергаем гипотезу
8 = 80 при уровне значимости, равном а.
Рациональность процедуры Линдли заключается в том, что
апостериорная ФПВ для параметра 8 дает нам основание для выражения
предположений относительно возможных значений параметра 6. Если
значение 8 = 80 лежит в области, в которой апостериорная плотность
вероятностей не высока, то это дает возможность предполагать, что
это значение параметра 8 не является правдоподобным, и, таким
образом, мы приходим к отклонению от гипотезы 6 = 60.
Некоторые конкретные свойства процедуры Линдли заслуживают
особого рассмотрения. Во-первых, поскольку подход основывается
на применении функции правдоподобия, при этом употребляется вся
информация выборки. Это контрастирует с некоторыми процедурами
проверок, основанных на распределениях выборочных статистик, не
являющихся достаточными. Во-вторых, мы обсуждаем гипотезу 8 = 60
на основе апостериорных представлений, выраженных
апостериорной ФПВ для параметра 8. Мы не делаем при этом суждений,
основанных на том, что некоторые выборочные статистики могут
принимать обычные или необычные значения при заданном 6 = 60, как это
принято в традиционных процедурах проверки теории выборочных
исследований. Уровень существенной значимости при проверках
теории выборочных исследований не должен интерпретироваться в
терминах измерения степени уверенности в том, что гипотеза 6 = 60
является обоснованной, хотя именно это интерпретация и встречается
достаточно часто. В теории выборочных исследований назначение
1 Как отмечалось во 2-й главе мы определяем а и Ь так, что Ь — а
минимизируется при условии, что Рг {а < 9 < Ъ | у} = 1 — а.
320
гипотезам некоторых вероятностей не признается содержательной
процедурой. В-третьих, Линдли подчеркивает, что «...уровень
значимости является... неполным выражением нашей апостериорной
уверенности». Обычно исследователь изучает свойства апостериорной
ФПВ в деталях и не полагается исключительно на результаты
проверки значимости для обоснования своей степени уверенности. Наконец,
полезно еще раз подчеркнуть, что Линдли предлагает применять его
процедуру только в том случае, когда априорная информация
является неясной или расплывчатой. В случае, когда априорная
информация не является неясной, при сравнении и проверке гипотез
используются априорные шансы.
Пример 10.1. Предположим, что наши наблюдения у{ =
= (Уъ У%> ---уУп) являются независимыми и получены выборкой из
нормально распределенной генеральной совокупности с неизвестным
математическим ожиданием \х и известным средним квадратичным
отклонением or = а0. При каких условиях мы отклоним гипотезу \х = 5,
если заданы уровень значимости, равной 0,05, и расплывчатые
априорные предположения относительно |я?
Применяя теорему Байеса, получим апостериорную ФПВ в виде
\ -~ j? {Уг-Р? ~ехр —i^T^—^2
n
где |я = ^tfi/n является выборочным средним. Таким образом,
апостериори |х является нормально распределенной величиной с
математическим ожиданием |х и дисперсией, равной alln. z = (\i — (jOJ/n/oo,
является стандартной нормально распределенной переменной, т. е.
М (г = 0) и var (г) = 1. Обращаясь к таблицам нормального
распределения, получим, что Рг {—1,96 < z< 1,96} = 0,95. Логически
эквивалентным будет следующее утверждение
A0.20)
V п V п
Итак, если значение \1=Б лежит в пределах интервала fx±1,96 ao/VVi,
то мы принимаем гипотезу [а = 5 с уровнем значимости, равным 0,05;
если нет, то гипотеза отвергается. В A0.20) существенно подчеркнуть,
что [д, рассматривается в качестве случайной переменной, в то время
как \i, зависящая от заданной информации выборки, задана наряду с
а0 и п. Это положение контрастирует с подходом теории выборочных
исследований, где z = (\х — 5)Уп/а0 рассматривается в качестве слу-
чайной^величины и гипотеза \i = 5 принимается с уровнем значимости,
равным 0,05, если —1,96< г < 1,96, и отклоняется, если \z' \ > 1,96;
т. е. гипотеза принимается, если A принадлежит к интервалу
5 ± 1,96(то/К/г, и отклоняется, если \i лежит вне этого интервала.
Отметим, что это действие в точности эквивалентно действию,
предпринимаемому на основе A0.20), когда мы следуем процедуре Линдли.
11 Зак. 1954 321
Однако интерпретация и обоснование в случае использования
процедуры выборочного метода принципиально отличны от последних в
случае байесовского подхода.
Пример 10,2. В 3-й главе было показано, что в случае
расплывчатой априорной ФПВ для регрессионных коэффициентов и общего
среднего квадратичного отклонения возмущений в линейной нормальной
регрессионной модели маргинальная апостериорная ФПВ для одного
регрессионного коэффициента, скажем рь является одномерной f-ФПВ
Стьюдента, т. е. апостериори утверждается, что tv = ф± — f^/sKm11
имеет одномерную /-ФПВ Стьюдента с v = п — k степенями свободы
(см. C.39)). Если желательно проверить гипотезу рх = 0, используя
процедуру1 Линдли при уровне значимости, равном 0,20, то,
обращаясь к таблицам ^-распределения Стьюдента при v = п — k степенях
свободы, можно найти с, такое, что Рг {—с< tv < с} = 0,80.
Пользуясь данным выше определением tVt имеем Рг {рх — csY^m11 <
< Pi< Pi + csV'mP-} = 0,80. Следовательно, если значение рх = 0
попадает в интервал рх ± csjZ/n11, то гипотеза принимается; в
противном случае гипотеза отклоняется. Как и в примере 10.1, это
приводит к тем же самым действиям, что и при проверке гипотез с
позиции теории выборочных исследований, основанной на рассмотрении
случайной переменной pxsV т11.
Пример 10.3. Рассмотрим апостериорную ФПВ для коэффициента
автокорреляции р в D.19). Используя методы численного
интегрирования, мы можем найти минимальный интервал, такой, что
Рг {а < р < Ь) =1 — а. Для проверки гипотезы р = р0, где р0
есть заданная величина, определим, принадлежит ли р к интервалу
(а, Ь). Если р?(а, Ь), то гипотеза принимается, в противном случае —
отклоняется при уровне значимости, равном а. В этом случае в простом
подходе с позиции теории выборочных исследований нет аналога,
который обеспечивал бы сопоставимые результаты.
Во всех приведенных выше примерах мы использовали1 подход
Линдли для проверки гипотез относительно простого скалярного
параметра. Если мы имеем дело с совместной гипотезой относительно
двух или более параметров, скажем, вектора параметров в, то
сначала строится байесовская доверительная область «максимальной
апостериорной плотности» для 6 с содержанием вероятности 1 — а. Если
наша гипотеза есть 0 = 0О, где 90 есть заданный вектор, то мы
принимаем ее, когда 60 попадает в доверительную область, и отклоняем в
противоположном случае при уровне значимости, равном а.
Пример 10.4. Рассмотрим простую линейную нормальную
регрессионную модель из параграфа 3.1. Уравнение C.18) и результирующие
распределения вероятностей позволяют нам построить байесовскую
1 Отметим, что, для того чтобы быть согласованным с гипотезами Линдли,
значение для (^ = 0 ни в каком смысле не должно быть необычным значением
Рх. Если, например, теория предсказывает, что (Зх = 0, то может случиться, что
исследователь захочет включить эту информацию в свою априорную ФПВ и
следовательно, подход Линдли с расплывчатой априорной ФПВ окажется
непригодным.
322
доверительную область (эллипс) с произвольно заданным
содержанием вероятности, например, 1 — а. Теперь, если наша гипотеза есть
вх = Ркь Рг = Р20, где р10, р2о являются заданными значениями, то
гипотеза принимается, когда точка (р10, р2о) принадлежит байесовской
доверительной области, и отклоняется в противоположном случае при
уровне значимости, равном а. Эквивалентно вычислим г|? в C.18) при
Pi = Рю, Рг = Рго и обозначим вычисленное значение через i|H.
Поскольку апостериори величина i|> распределена как F2, v, где v =
= п — 2, обращаясь к таблицам ^-распределения, можно найти
такое с, при котором Рг {ty < с} = 1 — а. Если tf0 < с, мы
принимаем гипотезу, что рх = р10, Р2 — Рго при уровне значимости, равном а.
Если г|H >с, то мы отклоняем гипотезу при уровне значимости,
равном а.
Подводя итог, можно сказать, что процедура Линдли для проверки
значимости может применяться только тогда, когда априорная
информация неясная или расплывчатая. По существу, основным признаком
принятия гипотезы является попадание предполагаемого нулевой
гипотезой значения параметра в интервал, в котором апостериорная
плотность распределения вероятностей высрка; в противном случае гипотеза
отклоняется. Не существует удовлетворительного обоснования этой
процедуры с позиций теории принятия решений. Скорее, она
полностью базируется на том, что представляется рациональным
апостериори. Для ряда задач процедура Линдли приводит к решениям «принять»
или «отклонить», которые эквивалентны решениям, вытекающим из
процедуры проверки в теории выборочных исследований. Однако в
некоторых случаях, например при проверке гипотезы относительно
параметра автокорреляции, процедура Линдли дает удобные с
вычислительной точки зрения результаты, тогда как соответствующие
результаты теории выборочных исследований приводят к
вычислительным затруднениям. Наконец, в случае больших выборок, когда
функция правдоподобия имеет нормальную форму с вектором
математического ожидания, равным оценке МНП вектора параметров в, и
ковариационной матрицей, равной матрице, обратной к оценке
информационной матрицы (см. гл. 2, § 2.10), процедура проверки Линдли
обеспечивает результаты, с вычислительной точки зрения эквивалентные
результатам, получаемым с помощью теории выборочных
исследований. При этом используется нормальность оценок МНП, центры
которых находятся в точке, совпадающей с вектором истинных значений
параметров с приближенной ковариационной матрицей, принимаемой
равной матрице, обратной' к оценке информационной матрицы.
Ю.З. СРАВНЕНИЕ И ПРОВЕРКА ГИПОТЕЗ С НЕРАСПЛЫВЧАТОЙ
АПРИОРНОЙ ИНФОРМАЦИЕЙ
В случаях, когда априорная информация не является
расплывчатой, очень важно принимать это во внимание при сравнении и
проверке гипотез. Если мы рассмотрим простую гипотезу 0 = 0О, где 0О
теоретическое значение параметра, мы можем показать, что 0О — более
вероятное значение для 0, чем любое другое возможное значение 0. В
п* 323
этих условиях важно разработать процедуру проверки, позволяющую
включать нерасплывчатую априорную информацию1.
Для иллюстрации введения нерасплывчатой априорной
информации в процесс сравнения и проверки гипотез предположим, что мы
имеем п наблюдений у' = (yly y2, ...,#п)> полученных независимой
выборкой из нормально распределенной генеральной совокупности с
неизвестным вектором математических ожиданий \i и известной
дисперсией, равной су2 = 1. Допустим, что нулевая гипотеза — Яо : |^ = О
и что мы имеем некоторые основания полагать \х=0 с вероятностью
Площадь прямоугольника = /- fr1
-м/2 о м/г
м-
Рис. ЮЛ. Априорная ФПВ для параметра |а
лх и \i Ф 0 с вероятностью I — пг. Кроме того, допустим, что
априорная вероятность I — пъ что jx =^= 0, равномерно распределена вдоль
/ м м\
интервала I — ~, ~l. Наши априорные представления относительно
[г изображены на рис. ЮЛ.
В условиях этих допущений априорные шансы, соотносящие гипотезы
Но: \i = 0 и Нг : |ы Ф 0, равны nj (I — %). При гипотезе Яо ФПВ
для у при заданном \х = 0 и а = I имеет вид
П
exp[-j-(vs
где v = п — 1, vs2 = У (t/t — уJ и у = 2 yt/n- В случае гипотезы
Я! : |х ^= 0 мы имеем
, с = 1) = (|А2^)ехр Г —J]
2 + (#j (Ю.22)
1 Джеффрис [67, с. 251] указывает, что часто, когда проверяется гипотеза
9 = 0, это предположение о равенстве нулю рассматриваемого параметра
«... соответствует некоторому предположению о его малости». Поэтому
расплывчатая априорная ФПВ для 6 в этом случае не подходит.
324
Как уже было объяснено в параграфе 10.1, апостериорные шансы,
соотносящие гипотезы Яо : \i = 0 и Нг : jut Ф 0, задаются
выражением A0.19). Для рассматриваемого случая оно имеет вид1
J exp[-(n/2)(\i-y)
—М/2
Величина /С01 может быть легко вычислена, если заданы значения
величин я1э я, у" и М.
При рассмотрении выражения A0.23) нужно отметить несколько
моментов. Во-первых, оно дает нам базу сравнения гипотез Яо : ^ = 0
и #! : \х Ф 0, которая включает нерасплывчатую априорную и
выборочную информацию2. Во-вторых, как объяснено в параграфе 10.1,
мы можем сделать выбор между гипотезами Яо и Нъ минимизируя
ожидаемые потери в случае, если нам известны потери, связанные с
возможными действиями и состояниями объекта. В-третьих, как
было показано Линдли3, результат применения /Coi в A0.23) при
сравнении гипотез Но и Нг может отличаться от результата, полученного
при подходе с позиций теории выборочйЬх исследований. Рассмотрим
эту ситуацию.
Пусть у лежит в интервале (—М/2, -\-MI2) так, что
М/2
j ехр[-^-(^-#]^ = (^I/2. A0.24)
—М/2
При аппроксимации не учитывается площадь под нормальной ФПВ
справа от М/2 и слева от —М/2, которая будет достаточно малой, если
у принадлежит интервалу (—М/2, +М/2). Подставляя A0.24) в A0.23),
получим
где za = V^ny. Далее, если za ^ 1,96, то гипотеза \х = 0 при уровне
значимости а = 0,005 должна быть отклонена, согласно теории
выборочных исследований. Подставляя za = 1,96 в A0.25), мы видим, что
результирующее выражение для Коъ апостериорные шансы, зависят
1 Поскольку априорная ФПВ в настоящей задаче является частично
непрерывной и частично дискретной, то для ее формальной согласованности с
A0.19) последнее выражение должно быть построено в терминах интегралов
Стилтьеса.
2 Легко может быть введена в рассмотрение также и априорная информация
в формах, отличных от представленных на рис. 10.1.
3 См. [83]. В комментарии М. С. Бартлета относительно этой работы
Линдли [12] сообщается о содержащейся в ней незначительной ошибке.
325
от величин п1У М и п. При определенных значениях этих величин
шансы в пользу #о могут быть велики, даже если za = V7iy = 1,96. Для
иллюстрации сделаем допущение, что л± = 1/2 и М = 1. Тогда /COi =
= Уп/2п ехр (—гУ2) и мы можем табулировать значения/г, /COiH
апостериорную вероятность того, что \л = 0, задаваемую отношением
Kqi/ (I + /Coi). Для больших п апостериорная вероятность того, что
(л = 0, близка к единице, даже если Yny = 1,96 — значению,
которое должно вести к отклонению гипотезы [х = 0 при уровне
значимости а = 0,05. Этот парадокс Линдли четко иллюстрирует тот факт,
что проверка значимости в теории выборочных исследований может
дать результаты, существенно отличающиеся от результатов,
полученных из расчета апостериорных вероятностей с помощью
нерасплывчатой априорной и выборочной информации. Из табл. 10.2 видно,
что расхождение результатов быстро увеличивается с возрастанием
л1. Можно сказать, что такой показатель, как единица минус уровень
значимости, при проверке гипотез с применением подхода теории
выборочных исследований в общем не эквивалентен показателю степени
уверенности в гипотезе, представленной апостериорной вероятностью.
Таблица 10.2
1
10
100
300
10 000
100 000
0,058
0,185
0,584
1,012
5,843
18,477
X \ V n 2 /
0,055
0,156
0,369
0,503
0,854
0,949
Рассмотрим теперь проблему Линдли, используя более общую
априорную ФПВ и следуя методу, разработанному Джеффрисом [67,
с. 246 и дальше]. Допустим, что априорные вероятности гипотез
Но : \i = 0 и Нг: \i Ф 0 равны jtx и 1 — пг соответственно. Пусть
при допущении, что Нх является истинной гипотезой, р (\i) есть
непрерывная собственная априорная ФПВ для |х. Иными словами,
J Р (иОФ—1 в условии гипотезы Нг. Пусть Pr (w=0) обозначает
априорную вероятность того, что Но является истинной, и Рг (w = 1) —
априорную вероятность того, что Н± является истинной, где w —
дискретная случайная переменная, введенная в A0.2). На основе A0.16)
получим
^-, A0.26)
р(у)
1 Если сторонник выборочного подхода с ростом п повышает уровень
значимости, что, конечно, является разумным, то za с ростом п должно расти и
нейтрализовать в некоторой степени влияние сомножителя ~\/п в выражении для /COi§
326
Тогда апостериорную вероятность того, что Яо является истинной,
т. е. w = 0, исходя из A0.17) можно представить так:
р(у) р(у)
Заметим, что при данном Но (или w — 0) р (\л \ w = 0) равна 1 для
}х = 0 и равна нулю для \х Ф 0. Апостериорная вероятность того, что
Нг является истинной, т. е. что w = 1, задается в виде
(I—
Р(У)
A0.28)
Тогда апостериорные шансы выражаются следующим образом:
р(ш=0|у) = Я! р (у 1^=0,^=0)
01
A0 29)
При введенных выше допущениях, что компоненты у' = (у19 у2, ..., уп)
являются независимыми и получены выборкой из нормально
распределенной генеральной совокупности со средним квадратичным
отклонением, равным а = а0, где а0 — известная величина, A0.29)
принимает вид
рЦЫ/2»Й(Ю.ЗО)
1 -nj | р Aх) ехр [-(n/2oj) (fx -уJ] d
Если заданы яг и р (|х), A0.30) может быть легко вычислена.
Пусть в A0.30) jtx = у, т. е. вероятность того, что Но : \i = 0 есть
истинная гипотеза, равна 1/2. Тогда пх1 A — пх) = 1 и A0.30)
можно записать как
к ^ ^
Jp (|i) ехр [—(п/2а{) (|х—у)«] rf |i
Следуя Джеффрису, рассмотрим два предельных случая.
Во-первых, предположим, что имеется конечный интервал, скажем (—а, а),
а
такой, что |р (fx)dfx = 1. Если у принадлежит интервалу (—а, а) и
oyTi является столь большим, что п (\х — уJ/2в0 достаточно мало
при [х 6 (—я, а), то числитель и знаменатель /Coi в A0.31) равны оба
приблизительно единице. Следовательно, при этих условиях Koi = 1-
Таким образом, не существует различия между гипотезами Но и Нг
в случае, когда среднее квадратичное отклонение aolYn выборочной
средней "у существенно превышает длину интервала (—а, +а), в
пределах которого должен находиться параметр \к при условии гипотезы
327
Hv Результат /COl = 1 является в этом случае вполне
удовлетворительным.
Рассмотрим другой предельный случай. Пусть ао/Уп является
малой величиной, такой, что ехр [— (п/2&1) (\i — у)]2 может принимать
очень большие значения в интервале (—а, а). Интеграл в знаменателе
A0.31) приблизительно равен (У2тс> ао/У~п)р (у), где р (у) является
значением априорной ФПВ для [л, соответствующим \х = у. Тогда
(Ю.32)
Как подчеркивает Джеффрис, в случае, если у = 0, величина /Coi
пропорциональна У п и растет с ростом п. Это указывает на возможность
истинности нулевой гипотезы Но : \i Ф 0. Если (у) > ао/Уп, то
экспоненциальный сомножитель в A0.32) будет мал, и, таким образом,
наблюдения дают основания предполагать справедливость гипотезы
Нг : \х Ф 0, поскольку в этом случае /Coi имеет тенденцию быть малой
величиной. Далее, при заданном п можно найти такое значение
Упу/во, что /Coi = 1. Наконец, при у < о0/Уп величина Ко1 растет
вместе с ростом п. Это утверждение разумно, так как тот факт, что
(у) меньше его среднего квадратичного отклонения оУЧ/я, несет в
себе больше информации для утверждения, что \i = 0, в случае больших
/2, чем для случая малых п1.
Поскольку нерасплывчатая априорная информация влияет на
апостериорные шансы как в случае выборок большого, так и в случае
малого объемов, то, очевидно, что должны быть разработаны способы
представления априорной информации для ее использования при анализе
модели. То обстоятельство, что эта информация оказывает влияние на
апостериорные шансы даже в случае больших выборок, находится в
противоречии с ситуацией в теории оценивания, где влияние
недогматической априорной информации на форму апостериорной ФПВ в
общем случае уменьшается с возрастанием п.
10.4. СРАВНЕНИЕ РЕГРЕССИОННЫХ МОДЕЛЕЙ
Часто в эконометрике и других областях встречается необходимость
сравнения альтернативных регрессионных моделей, служащих для
объяснения отдельных зависимых переменных. Например, в работе
Фридмана и Мейзельмана [44] изучаются две модели:
Ct = v0 + vxMt + ult
(
*= 1, 2, ...,Г,
A0.33)
A0.34)
Ct = m0 + m1 At + uz
где индекс t — значение переменной в период времени /; Ct —
потребление; Mt — предложение денег; At — автономные расходы; ulU
1 Дальнейшее обсуждение проблемы проверки гипотез смотри в [67, гл. 5
и 6].
328
u2t — возмущения; иг,тг являются неизвестными регрессионными
параметрами. Для выбора между A0.33) и A0.34) Фридман и Мейзель-
ман используют как меру качества сглаживания коэффициент
детерминации R2. Интересно определить условия, при которых этот
критерий, а именно выбор модели с большим значением R2y совместим с
выбором на основе минимизации ожидаемых потерь в байесовском
подходе к теории принятия решений1. Дополнительно мы рассмотрим
общую байесовскую процедуру сравнения и выбора моделей.
Допустим, что имеется только две возможные модели для
объяснения вариаций зависимой переменной, т. е. мы предположим, что
наблюдаемый вектор у' = (уъ у2, ..., уп) генерируется либо
Мг : У = ХА + и±, A0.35)
либо
М2:у-Х2Р2+и2, A0.36)
где Мг обозначает первую модель; М2 — вторую модель; Хх и Х2
являются заданными матрицами размерности пХ k и ранг каждой
равен k\ Pi и Ро есть ^-мерные вектор-столбцы коэффициентов, причем
оба не имеют общих компонент; Ui, u2 есть я-мерные вектор-столбцы
возмущений. При условии, что Мг —корректная модель, допустим,
что компоненты их нормально и независимо распределены, каждая с
нулевым математическим ожиданием и общей дисперсией, равной о\;
Аналогично, в случае корректности модели М2 компоненты и2
нормально и независимо распределены, каждая с нулевым математическим
ожиданием и общей дисперсией, равной о\т
Что касается априорных ФПВ для параметров рг и ou i = 1, 2, то
мы используем следующую естественно сопряженную форму при
i = 1, 2:
р (р„ о,) = р (Р, (ot)p (at)9 A0.37)
причем
A0.39)
где нормирующая постоянная К% = 2 (^sV2)^*/2/Г (qtl2). В A0.38)
мы сделаем допущение, что располагаем собственной нормальной
априорной ФПВ для компонент р* при заданном at с априорным
вектором математических ожиданий р^ и ковариационной матрицей of СГ1;
С? является заданной исследователем положительно-определенной
симметрической матрицей размерности kxk. Согласно A0.39),
априорная ФПВ для at является ФПВ обратного Г-распределения с парамет-
1 Эта проблема проанализирована в работах [47] и [133]. См. также [18].
329
рами qt и sK величина которых задается исследователем. На A0.39)
необходимо наложить ограничение 0 < qu si < °°> i = *> 2 для того,
чтобы ФПВ была собственной.
Учитывая сделанные выше допущения относительно моделей Мг
и М2у а также априорных ФПВ для параметров, можно использовать
A0.19) в целях получения апостериорных шансов /Ci2> соотносящих
две модели: Мх и М2. Если мы обозначим через р (Mi)/p (М2)
априорные шансы, то получим1
_р (Мх) Jp (Pi I qi) Р Ы Р (У 1 Рь gi>^i) <* Pi <* gi (Ю40)
где для t = 1, 2 р (y|pj, о и Mt), рассматриваемая как функция pi и
<Т|, является функцией правдоподобия при условии, что допускается
истинность модели Mit i = 1, 2; иными словами, при i = 1, 2
где ре = (X/ Х^^Х/у, v = л - Ahvs? = (у - X, Й)'Х/ X (y-X,ft).
Для оценивания /Ci2 в A0.40) необходимо произвести указанные
интегрирования. Иначе говоря, мы имеем
Г 1 ех f_J_
Bя)(»+*)/8 J a?+<"+*+1 I 2af
?i)' d(fti-ft)+ (Pi-Pi)' Xi X^-Px)]] d px dax. A0.42)
Для интегрирования по компонентам pa выделим полный квадрат
относительно fa в экспоненте следующим образом:
(Pl-Pi)'c1(p1-p1)+(p1-p1yx1'x1(p1-p1)=
p; db+fixiXi px=
ft X; Xifc-ft Axpi =
(Ю.43)
где Ax = Qx + X; Xlf| = Ar'
x Отметим, что A0.40) может быть представлено в виде
К12 = [р (Мг)/(М2)] [р (у I МхIр (у | М2I
где p(y\Mt) являются маргинальными ФПВ для наблюдений i = 1, 2 при
условии, что допускается истинность модели Mi.
3 30
Подставляя в A0.42) и интегрируя по компонентам рх с
применением при этом свойств многомерной нормальной ФПВ, получим
Kl ^'i/^Ail-1/2 Г—-l—expj Lx
Bя)«/2 V
X [<7is? + v s? + Qlo + Qlb]} d аъ A0.44)
где были введены следующие обозначения:
QiaHPi-PO'Cafa-p;) и Qxb^^-ftVXiX^pi-fo. A0.45)
Интегрируя A0.44) по сгх, получим1
|d| у/a 2'"+'">/2rf(n+(/1)/2]
Производя подобные операции для оценивания интеграла в
знаменателе A0.40), получим следующий результат для /С12:
12
Р
Г (?2
„
где А2 = С2 + ХгХ2 и Q2o, Q2b определяется способом, аналогичным
использованному в A0.45):
Q2a = (F2-'P2)/C2(P;-p2) и Q2b = (P2-P2)'X;X2(P2-|B), A0.47)
где р2 = (Х^ X,)-1 Х^у, р2 = Ajb (C2p2 + X,' Х2р2) и р2 является
вектором априорного математического ожидания вектора р2. Выра-
Отметим, что для a, b > 0
1 С
1 / 2 \a/2
= — — 1 Г (a/2), где Г есть гамма-функция.
331
жение для Ки в A0.46) может быть представлено в виде
= ij У/2 71/6! /^lt/i(H/fii) (Ю48)
12 Р (Л1,) L |С2|/|А2| ) [dj 1|/6з /2,пA1/б2) '
где для * = 1, 2 cr4 = (vsf + Qia + QtbVn*fgi,n (sWt) обозначает
ординату ЛФПВ с qt и п степенями свободы.
Рассмотрим теперь интерпретацию выражения для /С32 в A0.48).
1. Первый сомножитель р (Мг)/р (М2) представляет собой
априорные шансы. Если, например, мы не имеем оснований доверять одной
модели более, чем другой, то мы должны положить р (Мг) = р (М2) =
= -су, а шансы равными р (МгIр (М2) = 1.
2. Второй сомножитель включает отношения | Сх | /1 Ах | и | С21 /1А21.
Заметим из A0.38) и A0.43), что | С2|/|А| | является мерой точности
(или информации) в априорной ФПВ для р^ при заданном аь
относительно апостериорной точности (или информации) при заданном ог
i = 1, 2, Апостериорная точность при заданном at пропорциональна
|А* | = | С* + X/Xj | и зависит, таким образом, от С* и
структурирующей матрицы Х/| Xj. Апостериорные шансы /С12 будут тем больше
(меньше), чем больше (меньше) | Сх | /|Ах| относительно |С2|/|А2|. Этот
вывод представляется разумным, так как при прочих равных мы
должны предпочесть модель с большей априорной информацией,
измеряемой с помощью | Cj |/1 А* | ,.если, разумеется, априорная информация
находится в соответствии с информацией выборки (относительно
последнего утверждения см. ниже).
3. Третий сомножитель в A0.48), именно Fi/62)-"/2, включающий
величины 6Ь б2, отражает то, что информация выборки может
сообщить с точки зрения качества сглаживания моделей и с точки зрения
соответствия априорной информации относительно вектора
коэффициентов с информацией выборки, например бх = (vsl + Qia + QibVn-
Далее, vsl = (У — ^iPiY (У — Ххр^) является всего навсего остаточной
суммой квадратов, мерой качества сглаживания, и
содержит разность между априорным вектором математических
ожиданий Рх и вектором^!, являющимся «матричной» средней взвешенной
векторов Рх и Рх, где рх = (XlXx) Xfyi есть выборочная оценка.
Таким образом, чем теснее соответствие между рх и рх, тем меньше Qla;
Qib = (Pi — Pi/XiXi (Рх — Pj) зависит от разности между
выборочной оценкой ^х и средней векторов рх и рх, равной р1# Подобные же
выводы можно сделать относительно б2. Итак, для заданного п, чем
больше бх относительно б2, может быть, вследствие плохого качества
сглаживания (больше vsl) и/или несоответствия априорной и выборочной
информации относительно вектора рх (больше Qla и Qlb), тем меньше
будут апостериорные шансы /Схг в пользу Mv
332
4. Последний сомножитель в A0.48)
j (Ю.49)
где СУ| = sf/bh i = 1, 2, показывает зависимость /С12 от априорной
информации, касающейся ах и а2 (априорные ФПВ для этих
параметров см. в A0.39)I. Поскольку wt зависит от s? — априорного
параметра, связанного с положением априорной ФПВ для of и sf
(выборочной оценки а/), /С12 будет зависеть от расхождения междуэтими двумя
величинами. Далее, мы примем допущение, что sf = si, и q1 = q2,
иначе говоря, мы назначаем одинаковые априорные ФПВ для
параметров стх и ог2. Тогда должно выполняться равенство ах = а2, а
сомножитель A0.49) принимает значение, равное единице, что является вполне
разумным выводом. Его значение равно единице и при более общих
условиях <7i = Й2у sf/Sj. = s|/62.
Интересно изучить поведение апостериорных шансов в A0.48) в
случае больших п. С возрастанием пЬг -+sf, так как Qijn и Qtb/n
стремятся к нулю2."Допустим далее, что_[ | Сх | /1 Ах | ~ I С21 /1 А21 ]1/2->- 1
при росте n, qx = q2 = q, sf = s22 = s2. При этих условиях, замечая,
что {\lq)fg,n ty) в случае больших п стремится к ФПВ %2-распределе-
ния с q степенями свободы3, получим следующее выражение для
апостериорных шансов:
\g/2sf) , A0.50)
4 I exp (— qsy2sl)
если мы положим р (Mx) = р (М 2).
Значение iCi2 существенно зависит от относительных величин
выборочных статистик sf и s^4. Если sf = sf, то /Ci2 = 1; Ki2<- 1> ec-
ли s? > s\\ K12 > 1, если sf < s|. Эти результаты интуитивно
представляются привлекательными. Они относятся, однако, только к
случаю больших п и выполнения других, введенных ранее, допущений.
Наконец, полезно рассмотреть ситуацию в случае, если
предположить, что априорная информация стремится стать расплывчатой;
иными словами, это случай | Сг | -> О5 и q = q± = q2-^ 0 при допущении,
что р (Mx) = р (М2). При этих условиях ^t -> JV, и, следовательно,
1 Отметим, что обратная гамма-ФПВ для О(, /=1,2, в A0.39) имеет моду в
точке si Т/<7г/О + <7г)- Априорное математическое ожидание of равно q% s*/(qi—2)
при qf > 2.
2 Мы предполагаем, что lim Х/Х^/м является конечным для i = 1, 2.
rt->oo
Т. е. ФПВ для qw, совпадающая с (l/q) fa n(^)» с ростом п стремится к
[2т(^ш)т-1]/Г (т) ехр (_ qw/2),
4 При достаточно малом qy таком, что дроби в экспонентах близки к еди-
НиДе, /С12 будет равно (sf/si)-^2.
5 Поскольку определитель | Cf| равен произведению корней С$, из
условия, что все корни С^ стремятся к нулю, может следовать I Cj I —* 0, что и было
нами принято в качестве допущения.
333
Qib-^-0 и Qia~y0\ Таким образом,
* vsi
по мере того, как информация о рх и р2 становится все более
расплывчатой. Далее мы допускаем, что при | Сг | -> 0, * = 1,2, [| Сх |/| Ах |] -f-
-f- | С8|/| Аа р1^-»- 1. И наконец, принимаем допущение, согласно
которому sf = s%. В этих условиях выражение для К12 в A0.48)
примет вид
/2, A0.51)
т. е. будет функцией2 от отношения (sf/sl). Если sf/sl = 1, то /Ci2 = 1,
если sf/sl > 1, то Ki2< 1 и если sf/si < 1, то /Aа> 1.
Следовательно, как указывалось в параграфе 10.1, если функция потерь
является симметрической, то действия по минимизации ожидаемых
потерь при выборе между М1и М2 связаны выбором модели,
обладающей большей апостериорной вероятностью.
При настоящих допущениях этот результат совместен с правилом
выбора модели на основе малых s2 (или больших R2). Конечно, это
правило является действительным только в случае симметрической
функции потерь и расплывчатой априорной информации или в случае
больших п и выполнения других рассмотренных выше условий.
где Р^ —Pi = Piz* и Pf является ортогональной матрицей, такой,
D С
Р^ Pi i* f р р, , ^^^
= D$ есть диагональная матрица с корнями матрицы Сг- на главной диагонали.
Если эти корни стремятся к нулю, то Qia —» 0. Что касается ^ —^t в случае,
когда все корни матрицы Сг- стремятся к нулю, то можно убедиться, что
Пусть теперь Н$ является ортогональной матрицей, такой, что
Н/ (X/Xj)-1 CiHi—диагональная матрица, скажем Gj; диагональные элементы
которой меньше единицы.
Тогда
если все корни_ С$ стремятся к нулю. Это приведет нас к р^ = $? +
+ (X/X|)-1C|pi. Выпишем
(X/ Xf)-i Ct h = Щ H/ ( X/ X,) Cfl Нг Hi h = Щ Gt H/ pj.
Последнее выражение стремится к нулю, если элементы диагональной
матрицы Gi стремятся к нулю. Но это будет справедливо при условии,
что все корни Gi стремятся к нулю, т. е. | G* [ = (X/Xj)-1 С/) = П ф^-ф,-, где
(pi являются корнями (Х/Х^)" и ypi являются корнями Сг*. Проще можно
сказать, что если всё корни С/ стремятся к нулю, то С$ -» 0, нулевой матрице, и
приведенный выше результат получается непосредственно.
2 Торнбер [133] и Гейсел [47] при слегка различных допущениях пришли
к тому же самому результату.
334
10.5. СРАВНЕНИЕ МОДЕЛЕЙ, РАСПРЕДЕЛЕННЫХ ЗАПАЗДЫВАНИЙ
В 7-й главе рассматривалось оценивание модели функции
потребления с распределенными запаздываниями.
В этом параграфе мы рассмотрим задачу расчета апостериорных
шансов, соотносящих альтернативные формулировки в условиях
нерасплывчатой априорной информации о параметрах, входящих в
модель1. Как и в 7-й главе, рассмотрим следующее уравнение:
Ct = kCt_1 + (l—k)kYt + ut — kut_1,t = 1,2, ...,7\ A0.52)
В A0.52) индекс t — значение переменной в t-й момент времени; Ct и
Yt — расход на личное потребление и доход соответственно, в
неизменных ценах с элиминированием сезонных колебаний; к и k являются
параметрами; щ — возмущение. В качестве альтернативной модели
для наблюденной динамики Ct при данном Со рассматриваются:
Мг: уравнение A0.52) с щ — кщ„х = е1Ь t = 1, 2, ..., Т, где
величина et нормально и независимо распределена с нулевым
математическим ожиданием и дисперсией, равной а?;
М2: уравнение A0.52) при щ = e2t, t = 1, 2, ..., Т, где величина е2*
нормально и независимо распределена с нулевым математическим
ожиданием и дисперсией, равной о\.
Заметим, что если к Ф 0, то Мг и М2 друг друга исключают.
В качестве априорных ФПВ для параметров модели A0.52)
используем априорные ФПВ, рассмотренные в параграфе 7.5. Для удобства
воспроизведем их ниже, причем в каждой из них должно выпрлнять-
ся 0 < к < 1, 0 < k < 1, 0 < ог < оо, i = 1, 2.
Первая априорная ФПВ:
p{Kk,ot)~ 1/a*, i'= 1, 2. A0.53)
Вторая априорная ФПВ:
р (X, k, Oi) ~ **0-Ц*».A-Ц. ,, = 1,2. A0.54)
Третья априорная ФПВ:
—^ }- i — 9i = l92. A0.55)
В каждом из рассматриваемых случаев мы допускаем, что Я, k и ot
независимо распределены, для параметра Gt мы берем расплывчатую
априорную ФПВ. Что касается параметров к и к, то в A0.53) мы
следуем допущению, что они равномерно распределены в интервале @, 1).
В A0.54) и A0.55) представлены независимые априорные бета-ФПВ
для параметров к и k. Математическое ожидание априорной
бета-ФПВ для k как в A0.54), так и в A0.55) равно 0,9; а ее дисперсия
равна 0,00089. Априорная бета-ФПВ для к имеет в A0.54)
математическое ожидание, равное 0,7, и дисперсию, равную 0,0041; а в
A0.55) — математическое ожидание, равное 0,2, и дисперсию, равную
0,0146.
* Эти результаты заимствованы из работы [153].-
335
Апостериорные шансы задаются выражением
„ _р(М1)ПТр(Я, k, о±) Pl(C\htk, ox)
А12
, o2)dldkdo2
A0.56)
где р (MJ/p (М2) являются априорными шансами, С = (Съ С2, ...,СТ)
a pi (С|Я, &, о^), / = 1, 2, — функциями правдоподобия при заданном
Со. Функции правдоподобия определяются следующим образом:
1 с 1
^ —у exp J ^ [С—
X [С—X C_i—A —
я—1/2
1— A—
f X
A0.57)
-1 X
X [С—Л,С_!—A—A,)AY]j, A0.58)
где Cli = (Со, Съ ..., Ст_!), Г = (Yly Г2, ..., YT) и
— ^ 1-+^* .
—X
есть матрица размерности ТхТс ненулевыми элементами на главной,
над- и поддиагоналях.
Подставляя A0.57) и A0.58) в A0.56) и производя интегрирование
по аг и а2, получаем
Х[С— XC_j — A— Я)
A0.59)
где р (Я,^) обозначает априорную ФПВ для X и k. Вычислив с помощью
двумерного численного интегрирования двойные интегралы в A0.59)
для каждой из рассмотренных выше априорных ФПВ, получаем
следующие результаты:
Априорные шансы
p(M1)/p(Mi)=\
р ШО/р (М2) = 1
р (М1)/р (М2) = 1
Априорные ФПВ дли
К и к
A0.53)
A0.54)
A0.55)
Апостериорные шансы
/Ci2 = l,62xlO*
#12 = 6,32хЮ8
/Cia = 1,49X10»
336
Отсюда очевидно, что в каждом случае информация, содержащаяся
в данных1, ведет нас от априорных шансов, равных единице, к
апостериорным шансам, отдающим подавляющее преимущество модели М±.
Отметим также, что хотя значения Ki2 очень велики при всех
априорных ФПВ, Ki2 существенно меняются в зависимости от априорных
допущений относительно к и k.
В качестве второго примера сравнения альтернативных моделей
распределенных запаздываний с помощью вычисления апостериорных
шансов мы исследуем модель распределенных запаздываний (лагов)
Солоу2, в которой используется гибкая двухпараметрическая
структура взвешивания. Модель Солоу для наблюдений у' = (уъ у2, ...,ут)
имеет вид
где xt_i есть значение экзогенной переменной в момент t — /и веса
<хг определяются следующим образом:
— Wti ,0<к<1,г>0 и / = 0,1,2,..., A0.61)
где k, r и к являются неизвестными параметрами. Очевидно, что аг
равно произведению k и сомножителя, совпадающего с ФПВ
распределения Паскаля (или, в случае нецелых г, — с ФПВ отрицательного
биномиального распределения). Поскольку Солоу рассматривает
только положительные целые значения г как адекватные для целей
его исследования, мы последуем за ним. Как отмечалось Солоу,
математическое ожидание и дисперсия ФПВ распределения Паскаля
равны соответственно гк/ A — к) и гк/ A — кJ. Таким образом, и
математическое ожидание, и дисперсия возрастает с г и Я. Мода этого
распределения всегда остается меньше его математического ожидания, и
в этом смысле распределение скошено вправо. Солоу показывает, что
чем больше к и чем меньше г, тем больше скошенность. Заметим, что,
если г = 1, то мы имеем чистый случай геометрически убывающих at.
Вводя в рассмотрение оператор запаздывания L, такой, что Lx% =
= xt_x и Llxt = xt_t, и замечая, что
перепишем A0.60) в виде
A — kL)'yt = k(l— k)rxt + A — kL)rut. A0.62)
В своем анализе этого уравнения мы будем следовать первому
случаю Солоу, т. е. примем допущение, что A — kL)rut = еь t =
= 1, 2, ..., Т и что случайная величина et имеет нулевое математи-
1 Имеются в виду квартальные данные для США, взятые для 1947 (I) —
1960 (IV) годов из [56].
2 См. [122]. Анализ распределенных запаздываний Солоу с байесовской
точки зрения дан в работе [23], см. также работу [47].
337
ческое ожидание и общую дисперсию, равную а2.1 Кроме того,
допустим, что et нормально и независимо распределены.
Перед нами стоит задача: при условии, что заданы наблюдения
и априорные допущения относительно параметров, определить
апостериорные вероятности, связанные с гипотезами: Нг: г = 1;
Я2: г == 2; Н3: г = 3; Я4 : г = 4. Эти четыре гипотезы являются
непересекающимися и по допущению образуют полное множество
событий. Прямое решение этой задачи заключается просто в расчете
апостериорной ФПВ для г, дискретной ФПВ, которая содержит нужную
нам информацию. Наши четыре модели имеют вид:
A0.63)
A0.64)
A0.65)
«г = 4, yt = 4^-6Я2ум + 4Я3^.з-^4 Л-4 +
A0.66)
При заданном г, скажем при г = /, обозначим априорную ФПВ для
параметров через р (Я, k, at\r = /), где аг является средним
квадратичным отклонением eit при i = 1, 2, 3, 4. Тогда апостериорные
шансы, соотносящие, например, модели Мг и М2, выражаются как
где Pr {г = 1}/ Pr {г = 2} суть априорные шансы, а /* обозначает
функцию правдоподобия для параметров Ми / = 1, 2. Из
рассчитанных таким образом апостериорных шансов можно непосредственно
получить апостериорные вероятности2.
Гейсел3 использовал этот подход для анализа квартальных данных
США, причем yt есть расход на личное потребление, а xt личный
доход; данные взяты в неизменных ценах с элиминированием сезонных
колебаний. Его априорные ФПВ для параметров при i =- 1, 2, 3, 4
имеют вид
Ц °<<г'<оо> (Ю.68)
v
1 Солоу обосновывает это допущение исходя из того, что, возможно,
исследователь сформулирует модель A — %L)r yt = P A — h)r Xf + е^ в
качестве своей базовой модели, не ссылаясь на модель A0.60) и соответствующие шаги
ведущие к A0.62). Он предлагает анализировать остатки для выяснения вопроса
об автокоррелированности et.
2 Если апостериорные вероятности обозначены jif, i = 1, 2, 3, 4, то мы
имеем 1 + ях + jx2 + я3 + я4 = Jti A + я2/ях + пь1пг + я4/я1.).
Следовательно, ях = 1/A + /C2i + #31 + Яц) и т. д., где Ktj = я^/яу.
3 См. [47]. Гейсел допускает, что начальные значения при построении
функций правдоподобия известны.
338
Гейсел принял также допущение, что Рг {г = 1} I Рг {г = /} = 1
при /, / = 1, 2, 3, 4. Подставив A0.68) в A0.67) и проинтегрировав по
а и можно получить результат в аналитическом виде. Для
интегрирования по Я и k должны быть применены методы двумерного
численного интегрирования. Результаты этого анализа, основанные на
квартальных данных 1948—1967 гг., приведены ниже:
Значение г
1
2
3
4
Апостериорная вероятность
0,762
0,177
0,043
0,018
Отсюда видно, что апостериорная вероятность, связанная с г = 1,
существенно больше, чем вероятность, связанная с другими значениями
г. Однако вероятность при г = 2, равная 0,177, является довольно
большой, и, следовательно, анализ указывает на возможные
отклонения от модели с геометрически убывающими весами (г = II.
Заканчивая эту главу, уместно подчеркнуть, что байесовские
методы сравнения и проверки гипотез составляют унифицированное
множество принципов, которые являются операционными и
применимы к анализу широкого круга проблем. Эти методы позволяют
включать априорную информацию при сравнении и проверке гипотез и,
что еще более важно, получать апостериорные вероятности, связанные
с этими гипотезами, которые полезны в исследованиях широкого
круга проблем. Наконец, в случаях , когда должен быть сделан выбор,
байесовский подход к проверке является единственным подходом,
предусматривающим выбор действия на основе максимизации
ожидаемой полезности и находящимся в соответствии с некоторыми
базисными результатами экономической теории выбора.
ВОПРОСЫ И УПРАЖНЕНИЯ
1. Предположим, что мы имеем 10 наблюдений, полученных путем
независимой выборки из нормально распределенной генеральной
совокупности с неизвестным математическим ожиданием |л и средним
квадратичным отклонением а = 1. Пусть выборочная средняя
равна 1,52. Вычислите апостериорные шансы, соотносящие гипотезы
#!: \i = 2,0 и #2: \i = 1,0, если каждая из априорных вероятностей
этих гипотез равна 1/2.
2. В связи с гипотезами из упражнения 1 построим следующую
структуру потерь:
См. [23], [26], [47] результаты; опирающиеся на этот вывод.
339
Действие
Принять Hi
Принять #2
Состояние объекта
Hi истинное
0
2
#2 истинное
4
0
Вычислите и сравните ожидаемые потери, связанные с действиями
«принять #!» и «принять #2», используя апостериорные вероятности,
полученные из результатов упражнения 1.
3. Пусть мы располагаем 15 наблюдениями, полученными путем
независимой выборки из нормальной генеральной совокупности с \i =
1 о
= 1,0 и неизвестной дисперсией а2, причем s2 = 2 (Уг — \^)Уп = 2,2.
Получите апостериорные шансы, соотносящие гипотезы Нг: в2 = 1,0
и #2: а2 = 2,5, используя равные априорные вероятности для обеих
гипотез.
4. Если в упражнении 3 мы рассмотрим третью гипотезу Н3: а2 =
= 1,9 и придадим равные априорные вероятности всем гипотезам Hlf
#2, #3, то изменятся ли апостериорные шансы, соотносящие Нг и#2,
по сравнению с результатом, полученным в упражнении 3? Сравните
апостериорные вероятности, относящиеся к Нъ Я2, Н3у с
аналогичными вероятностями, полученными в упражнении 3. Каково влияние
увеличения числа рассматриваемых взаимно исключающих гипотез
на значение апостериорной вероятности одной из них, если заданы
некоторый конкретный массив данных и равные априорные вероятности?
5. Покажите, как могут быть вычислены апостериорные шансы
для гипотез Нх и Я2 в упражнении 1, если значение среднего
квадратичного отклонения генеральной совокупности а неизвестно и
используется следующая априорная ФПВ:
р(aI v0, s§) = 6a-<vo+i>exp(—v0sjj/2a2), 0<a<oo,
где v0 и so являются положительными параметрами, величина которых
задается исследователем, и
6. Исследуйте представленный в параграфе 10.3 парадокс Линдли
при условии, что уровень значимости при подходе с позиций
выборочных исследований к проверке гипотез возрастает с ростом п. Почему
представляется желательным изменить уровень значимости с
возрастанием п?
7. Пусть мы располагаем и независимыми наблюдениями у' =
= (Уъ #2> •••> Уп)> полученными из нормальной генеральной
совокупности с неизвестным математическим ожиданием и средним
квадратичным отклонением a = 1. Рассмотрим гипотезы |i = 0 и \i Ф 0. Если
при [х=т^О мы должны использовать расплывчатую априорную ФПВ
р (|д,) ~ constant, —оо < |л < оо, то каковы будут апостериорные
340
шансы, соотносящие эти две гипотезы? В каком смысле полученный
результат согласуется с тем фактом, что нулевое значение оценки МНП
параметра \х будет иметь нулевую вероятность?
8. Используйте подход Линдли в случае, когда априорная
информация является неясной или расплывчатой для проверки гипотезы
j'P = с, где I — ^-мерный вектор-столбец заданных констант; с —
заданная скалярная величина; Р — /^-мерный вектор-столбец
параметров коэффициентов регрессии стандартной линейной нормальной
регрессионной модели у = Хр + и.
9. В связи с A0.40) было отмечено, что апостериорные шансы,
соотносящие регрессионные модели Мх и М2 в A0.35) и A0.36), могут
быть представлены в виде
12
р(М2)р(у\М2)
При условии, что рассматриваются только модели Мг и Л42, получите
для них апостериорные вероятности, пользуясь выражением для /A2.
10. Объясните, каким образом приведенные выше апостериорные
вероятности для Мг и М2 в упражнении 9 могут быть применены
для получения средней взвешенной математического ожидания
будущих наблюдений, генерируемых Мг в A0.35) с вероятностью,
равной апостериорной вероятности для Мъ или М2 с вероятностью,
равной апостериорной вероятности М2.
11. Выразите К%2 в A0.51) в терминах RI и RI — обычных
коэффициентов множественной детерминации — и посмотрите, как /A2
зависит от этих величин, учитывая, при этом, что /С12 является
относительной мерой степени уверенности. Далее, в условиях допущения,
что множество рассматриваемых моделей включает в себя только
модели Мг и М2у получите апостериорные вероятности для Мг и М2 в
терминах RI и RI и посмотрите, как они зависят от последних.
12. Объясните, как информативные априорные ФПВ для ои i =
= 1, 2 в виде обратной гамма-ФПВ могут быть включены в анализ
апостериорных шансов, представленных в A0.56).
Глава 11 • АНАЛИЗ НЕКОТОРЫХ ЗАДАЧ
УПРАВЛЕНИЯ
В задачах управления мы обычно различаем следующие элементы:
(а) критериальную функцию (критерий), (б) модель, содержащую
переменные, участвующие в критерии, (в) подмножество переменных
модели, поддающихся контролю или управлению (управляющие переменные,
или управления); например, в экономической теории фирмы критерий
обычно совпадает с функцией прибыли. Эта функция зависит от цен
выпуска и затрат, которые обычно определяются с помощью модели
рынков выпуска и затрат. Допущение о том, что переменная поддастся
управлению, принимается обычно относительно переменных,
характеризующих объемы затрат, например, используемых потоков услуг
труда и капитала. Вообще говоря, исследователям нужно определить
значения управлений, совместные с ограничениями модели и
максимизирующих (или минимизирующих) критерий.
В приведенном выше примере из теории фирмы значения
переменных, характеризующих затраты, выбираются из условия максимума
прибыли так, чтобы они удовлетворяли требованию
неотрицательности и технологическим ограничениям модели. Обычно для
детерминированных моделей эта задача решается без существенных затруднений.
Если же модель является стохастической и требуется оценить
неизвестные параметры, задача усложняется. Ниже мы рассмотрим
несколько задач подобного типа1. Мы увидим, что байесовский подход
удобен для получения в этих случаях решений, поскольку он трактует
стохастические элементы и неопределенность в отношении
параметров систематически и единообразно.
В случае если задача управления предполагает оптимизацию
нескольких периодов при наличии стохастических элементов и
неопределенности в отношении значений параметров, то возникает другое
принципиальное затруднение. Значения, которые устанавливают
для управлений в некоторый период времени, оказывают
существенное влияние на информацию относительно значений параметров в
следующие периоды времени. Таким образом, в случае многопериоднсй
задачи управления, содержащей случайные переменные и
неопределенность относительно значений параметров, полное оптимальное
решение должно учитывать поток информации относительно параметров,
возникающий при движении во времена от периода к периоду. Задачи
такого рода, решаемые байесовскими методами, называются «адап-
1 См., например, работу [6], в которой дается более подробное изложение
проблем и методов.
342
тивными задачами управления», решение которых обеспечивает
последовательность оптимизирующих действий, устанавливающих
траекторию управления во времени. При этом байесовские решения не
только учитывают все, что мы узнали из новых данных, но и
обеспечивают достижение комбинированных и взаимоувязанных целей
управлений и наиболее эффективную коррекцию значений параметров
по мере поступления новых данных. Таким образом, байесовское
решение задачи адаптивного управления является одновременно
решением комбинированной задачи управления и последовательной
задачи планирования эксперимента.
Рассмотрим коротко план настоящей главы. В § 11.1
анализируются несколько одноперйодных задач управления. Особое внимание
уделяется вопросу о влиянии неопределенности в отношении значений
параметров и издержек, связанных с изменением управлений, на
получаемые решения. В следующих двух параграфах результаты,
полученные для однопериодной модели, обобщаются применительно к
задачам управления выходными переменными множественных и
многомерных регрессионных моделей. Чувствительность результатов и
форм критерия исследуется в § 11.4. В § 11.5 мы переходим к анализу
двухпер йодной модели, а в § 11.6 рассматриваются две многопер
йодные модели.
11.1. НЕКОТОРЫЕ ПРОСТЫЕ ОДНОПЕРИОДНЫЕ ЗАДАЧИ
УПРАВЛЕНИЯ
Первой из рассматриваемых нами задач управления является
задача, описываемая простой регрессионной моделью. Иными словами,
мы делаем допущение, что модель, генерирующая наши наблюдения,
является простой регрессионной моделью, рассмотренной в 3-й
главе1:
yt = $xt + uu t=U 2, ..., Г. (ИЛ)
В A1.1) Р является неизвестным параметром; ^ и х% — наблюденными
в момент времени t значениями зависимой и независимой переменных
соответственно; щ — случайным ненаблюдаемым возмущением. Мы
допускаем, что независимая переменная — управляемая и что
случайные величины ии t = 1, 2, ..., Т нормально и независимо
распределены, каждая с нулевым математическим ожиданием и неизвестной
дисперсией, равной а2.
В первый будущий период, t = Т + 1, мы имеем, принимая
обозначения z = ут+1 и w а хт+1,
где величина ит+1 нормально распределена с нулевым математическим
ожиданием и дисперсией, равной а2, а также независима от всех пред-
1 Для того чтобы сделать анализ предельно простым, исключим свободный
член. Анализ задачи управления в случае простой регрессионной модели,
представленный нами, основывается на работе {154].
343
шествующих возмущений. Допускается также, что мы еще не
наблюдали z = ут+{ и не определяли значения до Ф хг+1 .
При построении критерия мы будем исходить из допущения, что
желаем обеспечить максимальную близость z к некоторому
целевому значению, обозначаемому через а. Допустим, что потери,
связанные с отклонением z от целевого значения, задаются следующей
квадратичной функцией потерь1:
L (zf a) = (z - а)\ A1.3)
Поскольку z является случайной переменной, L (z> а) также
случайна, а случайную функцию минимизировать невозможно.
Правильнее поэтому сформулировать нашу задачу управления, как задачу
минимизации математического ожидания L (г, а) относительно
выбора до, т. е. мы имеем задачу
minM[L(z, a)] = minM[(z—of], A1.4)
w w
где z зависит от управления до, как показано в A1.2).
Математическое ожидание функции потерь задается следующим
выражением:
M[L(z,a)]= j L(z,a)p(z\y,w)dz = J {z-af p{z\y, w)dz, A1.5)
— oo —oo
где p (z | у, до) является прогнозной ФПВ для z = ут +1 при заданной
информации выборки у и значении управления w = xt + i- Из
результатов, полученных в 3-й главе, известно, что р (г | у, до) имеет
форму ФПВ ^-распределения Стьюдента в случае, если мы
используем расплывчатую априорию ФПВ2 для р и а:
l-*»» (П.6)
,(,|y,.O
r(l/2)T(v/2)v1/2
где v - T - 1, ? = S *гУ& *l ё = Ь2 A + wV^x!)]'1 и v52 =
т
= 2 (i/t — P-^iJ- Математическое ожидание этой ФПВ есть wf,
т. е. оно очевидным образом зависит от w. Поскольку g зависит от до,
«сплюснутость» ФПВ, равно как и ее математическое ожидание,
зависит от значения управления до.
1 Квадратичная функция полезности U = с0 + 2cxz — с2г2, где сг и с2
являются положительными постоянными, может быть представлена в следующем
виде с помощью выделения полного квадрата относительно г: V = а0 — с2 X
X B — аJ, где а0 = с0 + cf/c| иа= c^/cg. Ввиду того что У является
убывающей функцией (г — аJ, минимизируя ожидание (г — аJ, принятой нами
функции потерь A1.3), мы тем самым будем максимизировать ожидаемую полезность.
2 Таким образом, р (Р, о) ~ —, — оо < р < оо, 0<а<оо. Этот анализ
может быть также легко проведен с естественно сопряженной, априорной ФПВ
для р и а.
344
Ввиду того что М [ (г — аJ] = М [г — Мг — (а — Mz)]2 =
= D (г) + (а — MzJ, при v > 2 мы получаем1
M[(z-a)]2 =
vs2
!+¦
2*?
A1.7)
Поскольку A1.7) является квадратичной функцией относительно до,
легко показать, что значение до, минимизирующее ожидаемые
потери, равно2:
w* = 4r( ! ), A1.8)
р V i + i/*8 /
где Ц ±= $2mxxTs2, тхх = ^а и ? - vs2/ (v — 2).
Отсюда видно, что до* равно произведению двух сомножителей.
Первый я/{5 является целевым значением z, деленным на математическое
ожидание апостериорной ФПВ для р, а именно на р. Второй
сомножитель является функцией to = P2 mxxls2. Ввиду того что s2/ mxx —
апостериорная дисперсия р, И является квадратом коэффициента
точности апостериорной ФПВ для р. Если точность оценивания,
измеряемая посредством тхх /s2, возрастает, то возрастает и to = ^2шхх1^у
и второй сомножитель в A1.8) стремится к единице3. Таким образом,
если мы получили очень хорошую оценку для р, то A1.8)
приближенно равно я/р. Для понимания того, насколько хорошо а/р
аппроксимирует до*, полезно рассмотреть следующую таблицу:
A+1/'о Г1
1,0
0,50
2,0
0,80
3,0
0,90
4,0
0,94
5,0
0,96
Отсюда видно, что даже при to= 3,0 до* составляет 0,9 от а/р. Таким
образом, если точность оценивания не слишком велика,
использование аппроксимации а/р дает субоптимальные значения для до и
соответственно большие ожидаемые потери (см. ниже).
Здесь уместно подчеркнуть, что если мы употребим условное
значение р = р, как это сделано в подходе «эквивалентной достоверности»4,
1 Из A1*6) / = yg (z — шр) и имеет нулевое математическое ожидание и
дисперсию v/(v — 2). Следовательно, z имеет дисперсию v/g (v — 2).
2 В основном излагается результат, полученный в работе [41], за
исключением того, что мы рассматривали а в качестве неизвестного параметра.
3 Отметим, также, что t0 — pm^2/s почти совпадает с обычной выборочной
статистикой, именно %mJK ^s» которая используется при проверке гипотезы
Р = 0.
4 Подход «эквивалентной достоверности» описан в работах [120], [128], [63].
345
то наша функция потерь будет аппроксимироваться функцией (t#p —
— аJ и значение w, минимизирующее это выражение и
обозначаемое через wcey есть
wce = a/f. A1.9)
Решение эквивалентной достоверности является первым
сомножителем в A1.8). Второй сомножитель A1.8), отражающий влияние
точности оценивания р, не появляется в A1.9).
Для того чтобы показать, как применение субоптимального
значения для w ведет к более высоким ожидаемым потерям по сравнению
с w* в A1.8), вычислим М [ (г — аJ] при w = w* и при w = wce с
помощью A1.7). Получаем следующие результаты
, A1.10)
M[L\w = wce] = F* + -?.. A1.11)
Абсолютное увеличение ожидаемых потерь, связанных с
употреблением w = wce вместо оптимального значения w = w*> равно:
*о
A1.12)
Отсюда видно, что это увеличение ожидаемых потерь зависит не
только от точности оценивания, измеряемой с помощью #>> но также и от
квадрата целевого значения а2. Только в случае а = 0 отсутствует
увеличение ожидаемых потерь, связанных с использованием w = w\e-
Для целевых значений а, достаточно далеко расположенных от нуля,
вклад а2 в величину A1.12) может быть весьма существенным.
Для получения дальнейшей информации относительно
последнего утверждения в табл. 11.1 представлены относительные ожидаемые
потери (ООП), рассчитываемые следующим образом:
_ M[L\w = w*] ^
REL_
Из данных табл. 11.1 явствует, что применение оптимального
значения wy равного w* и задаваемого A1.8), приводит к снижению
ожидаемых потерь по сравнению с использованием
аппроксимирующего решения, полученного на основе подхода эквивалентной
достоверности, причем это снижение потерь тем больше, чем меньше $ —
мера точности оценивания параметра р — и чем больше {alsf.
Для иллюстрации приложимости результатов этого анализа мы
используем данные о годичном изменении национального дохода США,
yt = Yt — Yt-i и годичном изменении предложения денег в США,
xt == Mt — Mf-i. При допущениях, сделанных в связи с (ИЛ), на-
1 Это является следствием допущения о прохождении регрессии через
начало координат (см. A1.1)).
346
Табл и ца 11.1
Относительные ожидаемые потери A1.13) как табличная функция от
Значение
(а/1J
0
2
4
6
8
10
00
2
Значение е0
1.0
1,00
0,75
0,60
0,57
0,56
0,54
0,50
2,0
1,00
0,83
0,78
0,75
0,73
0,72
0,67
3,0
1,00
0,90
0,86
0,83
0,82
0,81
0,75
4,0
1,00
0,94
0,91
0,90
0,88
0,87
0,80
5,0
1,00
0,95
0,93
0,92
0,91
0,90
0,85
6,0
1,00
0,96
0,94
.0,93
0,92
0,91
0,86
...
оо
о о о о о о о
о о о о о о . . .о
ша задача состоит в том, чтобы с помощью этих данных1 за 1921—
1929 гг. и расплывчатой ФПВ для р и а найти такое изменение
предложения денег в 1930 г. w = хт+и которое максимально приблизило
бы изменение национального фонда г=ут+\ в этом году к
намеченному значению 10 млрд. дол. Симметрия квадратичной функции потерь
(г— 10J предполагает, что мы рассматриваем превышение, имеющее
своим следствием инфляцию, настолько же серьезным, насколько и
ее недостижение, вызывающее дефляцию. Основываясь на данных с
1921 по 1929 г., мы получаем
уг = 2,0676**,
@,8813) A1.14)
где число в скобках является обыкновенным средним
квадратичным отклонением коэффициента р = 0,2681, в то время как s2 =
=2 Q/t —
v = 0,2681 • 108, a v = Т — 1 = 8. При наличии
i
этих выборочных статистик можно вычислить оптимальные значения
изменения предложения денег в 1930 г. и соответствующие ожидаемые
потери. Для сопоставления рассчитаем также аппроксимацию
подхода эквивалентной достоверности и связанные с ней потери.
Получаем:
w* = 2,893; М [L \ w = w*] = 55,29,
wce = 4,837; M[L\w = wce] = 60,03.
1 Эти данные взяты из работы [44]. Денежная переменная является
суммой денежной наличности на руках у населения и депозитов коммерческих
банков, а под доходом имеется в виду сумма расхода на потребление и автономного
расхода А. (Здесь предполагается, что инвестиции полностью автономны. —
Примеч. пер.)
347
В этом примере w* и wce существенно отличаются друг от друга
и использование до* дает снижение ожидаемых потерь примерно на
8%.
Далее представляется интересным немного усложнить введенную
выше простую квадратичную функцию потерь в целях учета
возможных издержек, связанных с изменением управления. Это будет
сделано следующим образом:
L = (г — аJ + с (до — хт)\ A1.15)
где с — известная неотрицательная константа, z s г/г+ь w = хт+\\
а — намеченное значение; хт — установленное значение управления
в момент Т. Поскольку до = хт+х, изменение управления в момент
Т + 1 есть до — хг+ь Таким образом, мы предположили, что потери,
связанные с изменением управления, пропорциональны (до — xtf.
Применив ФПВ A1.6) для z, получим ожидаемые потери в виде
M(L) = D(z)+[a — M(z)]* + c(w—хт)* =
Wxx ,
Очевидно, что первое слагаемое в правой части A1.16) будет
минимизировано, если до = 0, второе — если до — ~ , третье — если до = хт.
Определяя величину до, минимизирующую М (L) в A1.16), получим
A1.17)
являющуюся средней взвешенной величин 0, а/$ и хт. Конечно, если
с = о, то A1.17) может быть интерпретировано как средняя
взвешенная 0 и a/J3, а именно ш* - р2 (а/Р)/(р2 +12/ гпхх). Из A1.17) видно,
что до** ->- хт с возрастанием с. Иными словами, если изменение
управления становится более дорогостоящим, то до** принимает
значение, более близкое к исходной величине хт- Результатом этого
является малое изменение управления и меньший вклад в ожидаемые
потери. В общем при конечном положительном с решение до** A1.17)
всегда находится между решением до* в A1.8) при с = 0 и хт.
Таким образом, для xt<w* имеет место хт < ay** < w*f а для
хт >до* имеет место до* < до** < хт, если с положительно. Итак,
с введением издержек изменения управления возникает некоторая
консервативная тенденция в том смысле, что оптимальное изменение
управления, до** —Хт, будет меньше по абсолютной величине при
с >0, чем в случае с = 0, т. е. в случае отсутствия издержек,
связанных с изменением управления.
В качестве другого примера однопериодной задачи управления мы
рассмотрим задачу максимизации прибыли монополистом при
условии неопределенности в его знаниях о параметрах функции
совокупных издержек и функции спроса. Пусть ях обозначает прибыль;
р — цену, являющуюся управлением; q — выпуск продукции; С —
348
совокупные издержки. Тогда мы имеем
пг = pq-C, A1.18)
где значение всех переменных взяты в первый будущий момент
времени Т + 1. Далее допустим, что функция спроса на продукцию
монополиста и функция его совокупных издержек задаются в следующем
виде:
qt = Ро + Pip* + uu t= 1, 2, ..., Г, Т + 1 A1.19)
и
Ct = a0 + alQt + сзд2 + vu t = 1, 2, ..., Г, Г + 1, A1.20)
где все at и Р; являются неизвестными параметрами (по допущению
случайными), а ии vt — нормальными независимыми случайными
возмущениями с нулевыми математическими ожиданиями и
постоянными дисперсиями, равными ol и о% соответственно.
При заданных прошлых значениях qu Ct и pt и априорной ФПВ
для параметров можно получить апостериорную ФПВ для
параметров и прогнозную ФПВ для C = Cr_j-i и q = qT+\. Последняя
может быть применена для получения математического ожидания л
величины лг+ь которая является случайной вследствие зависимости от
q и С—случайных величин. Этим результатом можно воспользоваться
для получения оптимального значения р=рт+\ цены в период Т+ 1.
Альтернативная, более простая и эквивалентная, процедура решения
нашей задачи заключается в подстановке A1.19) и A1.20) в A1.18)
для получения
я = Р (Ро + PiP + и) — а0 — <*i (Ро — Pip +и) — а2 (р0 +
uf-v, A1.21)
но1:
где р и а являются апостериорными математическими ожиданиями;
ао, а? и аО1 — апостериорными дисперсиями и ковариацией р0 и рх
соответственно; ol есть апостериорное математическое ожидание aj.
Рассматривая математическое ожидание я в A1.22), важно отметить,
что параметры функции спроса, р, апостериори независимо
распределены относительно параметров функции издержек, а, так как мы
сделали допущение, что щ и vt в A1.19) и A1.20) распределены
независимо и, более того, что наши априорные ФПВ используют
допущение независимости двух множеств параметров.
где а, р, и, v являются случайными. Математическое ожидание п
рав1
(я) = р (р0 + pjp) —~^о - ^ (р0 + р>) —Ъя [(р0 + FxpJ +
"ЙЬ A1.22)
1 Отметим, что {
-h)*] + 2pM [(Ро—Ро) (Pi—
+ Af(a«).
349
Дифференцируя A1.22) по управляющей переменной р, получим
о^] A1.23)
Значение р, при котором эта производная обращается в нуль, т. е.
цена, максимизирующая ожидаемую прибыль1, равна:
*_, * Г ai Pi—Po+2o^2 PoPi(l + 9oi) 1 A124)
2pi L l-«iPiO + q>i) J '
где фг = ai/pi, фо! = cxoi/PoPi- Величина р* в A1.24) должна быть
положительной по своему экономическому смыслу2.
Отметим, что если мы подставим значение математических
ожиданий вместо a, p, uy v в A1.21) и максимизируем по р, то полученный
результат может быть представлен в виде
7?— * ( aiPi~~Po+2a2 Po Pi \ A125)
2Pi I l/p / '
т. е. может быть получен из A1.24) при фох == 0 и фх = 0.
Альтернативно, Фх стремится к нулю, если информация относительно рх
возрастает, в то время как aOi может стать равным нулю, если р0 и рх
являются независимыми параметрами. При этих условиях р в A1.25)
приближенно равно оптимальному значению р* в A1.24).
Из A1.24) можно увидеть, что если неопределенность
относительно plf измеряемая с помощью а19 уменьшается, то р* будет
уменьшаться при условии, что рх, a2 <C 0. Таким образом, если монополист
получает сведения относительно величины р2 в форме знания
апостериорной ФПВ для этого параметра с прогрессивно убывающей
дисперсией, то цена, максимизирующая его прибыль, также падает. Из
A1.24) также явствует, что имеет место интересная зависимость р*
от апостериорной ковариации р0 и рх. При условии, что а2р0 < 0,
чем больше значение сгоь тем меньше р*. Из рассмотренного можно
сделать вывод о том, что введение в модель допущений о неполном
знании и стохастичности элементов модифицирует и обогащает
результаты традиционной экономической теории3.
1 Для достижения максимума величина jj-g = 2 фг — а2Р? —
должна быть отрицательной. Обычно^ и а2 являются отрицательными. Если это
так-то вторая производная будет отрицательной при условии, что Pi/a2 > af +
+ pf. Поскольку | a21 часто достаточно мало, последнее условие является
разумным. Зависимость условия второго порядка от величины af, меры
неопределенности относительно Рх, является неожиданной. __
2 Ро является обычно большим и положительным, в то время как Pi
отрицательно и не очень велико по модулю; таким образом, po/pi будет велико и
положительно. Отметим также , что а2 будет в большинстве случаев невелико и
отрицательно.
3 См. также [33], [38], и [156].
350
11.2. ОДНОПЕРИОДНАЯ ЗАДАЧА УПРАВЛЕНИЯ
ДЛЯ МНОЖЕСТВЕННЫХ РЕГРЕССИОННЫХ ПРОЦЕССОВ
Допустим, что вектор наблюдений у' = (уи у2, ..., ут)
генерируется многомерным регрессионным процессом
У = Хр + и, A1.26)
где X = (xlt х2, ..., хй) является матрицей размерности Т X k и
ранга k наблюдений прошлых значений k управляющих переменных1;
Р — ^-мерным вектор-столбцом неизвестных параметров регрессии;
и — Т-мерным вектор-столбцом нормальных и независимых
возмущений, каждый из которых имеет нулевое математическое ожидание
и неизвестную дисперсию, равную а2. В качестве априорной ФПВ
для неизвестных параметров мы будем использовать расплывчатую
ФПВ2, введенную в 3-й главе:
рф, а)~—, 0<а<оо, _oo<fo<oo, 1 = 1,2,..., k. A1.27)
а
Пусть z представляет собой будущее значение зависимой переменной
скажем, г = ут+\, причем предполагается, что первое будущее
значение удовлетворяет условию
г = w'p+иг+ь (П.28)
где иг+1 есть нормальное возмущение, распределенное независимо
от вектора и с нулевым математическим ожиданием и дисперсией,
равной a2; w' является ^-мерным вектор-строкой значений управлений
в (Т + 1)-й период времени, т. е.
w' =(x
Теперь предположим, что нам желательно выбрать вектор
управления w так, чтобы г = ут+\ было как можно ближе к целевому
значению, обозначенному через а, и пусть функция потерь имеет вид
L (г, а) = (г - а)\ A1.29)
иначе говоря, принимается та же самая функция потерь, что и в па-
раграфе 11.1.
Из результатов 3-й главы известно, что прогнозная ФПВ для
z ss ут+1 при сделанных выше допущениях имеет вид
p(^|y,w)^[v+C-w'PJH]-(^1)/2, A1.30)
где р = (Х'Х^Х'у, И = A/s2) [1 + w' (X'XJ^w], v = T — k
и vs2 = (у — Xp)' (у — Xp). Математическое ожидание и дисперсия
1 Здесь мы делаем допущение, что все k независимые переменные являются
управлениями. Ниже см. ослабление этого условия.
2 Естественно сопряженная априорная ФПВ легко может быть применена
вместо расплывчатой априорной ФПВ, использованной для анализа задачи в этом
параграфе.
351
z определяются следующим образом1:
A1.31)
^^ f (X' X)-*w], A1.32)
где I2 = vs2/ (v — 2).
Рассмотрим теперь математическое ожидание функции потерь
A1.29) и определим вектор управлений w, минимизирующий
ожидаемые потери. Имеем
M[(z-aJ] = M {[(г-М(г)) -(a-M(z))]2} -
= M[(z—M(z)J] + [a—M(z)]2 =
= s2[l+w'(X/X)-1w]+(a—w'pJ. A1.33)
Дифференцируя M I (z — аJ] по элементам w, получим — $* =
= 2s2(X'X)~1 w—2^P + 2pp'w. Значение w, равное, скажем, w* и
обращающее в нуль эту производную, удовлетворяет уравнению
[s2(X'X) + PP']w* = ap. A1.34)
Таким образом2,
*12y^A1.35)
' X' р
является значением w, минимизирующим3 ожидаемые потери.
Умножая обе части A1.35) на р' и производя очевидные преобразования,
получаем
frf!)$ A1.36)
1 Для существования дисперсии необходимо выполнение условия v = Т —
— k> 2.
2 Заметим, что
[1« (X' х)-1+р?/]-1=A/?) [X' х-х' хрр' х' х/G+ р' х' хр)].
Этот результат может быть доказан следующим образом (при Q = P'X'Xp):
E« (X' x)-i+P P'] (i/s2) [X' х~х' хрр' х' x/(?+Q)l =i—э g' х' x/(!2+Q) +
' X' Х/12-Р р' X' Хр р' X' X/(? + Q) =I-PP' X' X [l/!2+Q)_l /7 +
Формула для обращения матрицы в форме, присутствующей в A1.34), которая
дается в [105, с. 29], не совсем корректна. В действительности мы имеем
где А — невырожденная матрица, a U и V являются вектор-столбцами.
д*М \(z—af\
3 Отметим, что при наших предположениях ^^ является
положительно-определенной матрицей.
352
Вектор р* в A1.36) может быть интерпретирован как оценка р,
вытекающая из условий задачи1.
Подставляя A1.35) в A1.33), получаем
- ), A1.37)
'X'Xp/
выражение для ожидаемых потерь при векторе управлений w, равном
w = w*. Первый член в выражении для ожидаемых потерь A1.37),
равный?2, не обращается в нуль с возрастанием выборки, в то время
как второй член, равный s2a2/ (s2 + Р'Х'ХР), стремится при этом к
нулю2. Из A1.36) можно также увидеть, что вектор Р*, оптимальная
оценка, вытекающая из условий задачи, стремится к р с возрастанием
выборки.
Поскольку во многих задачах не все независимые переменные
являются управлениями, мы расширим границы применимости
рассмотренного анализа на случай, когда X представляется в виде
X = (Хх : Х2), где Хг обозначает наблюдение управляющей
переменной; Х2 — наблюдения прочих независимых переменных.
Регрессионная модель для выборочных наблюдений будет иметь в этом случае
вид
У-Хр + и-Х1р1 + Х2р2+и, A1.38)
а для случая будущего наблюдения г = ут-\-\:
z = w' P + fl-wIpi-bw^Pa-H, A1.39)
где Р' == (р[ • Рг) и все другие переменные определены выше, причем
w' = (w{ f W2) и w2 является заданным вектором. Предположим,
что справедливы те же стохастические и априорные допущения, что
и сделанные в связи с A1.26) и A1.27).
Пусть теперь функция потерь имеет вид
L = B-aJ+(w1-xlr)'G(w1-wir), A1.40)
где xi г есть установленные значения управлений (переменных Хх)
в период времени 7\ a G является положительно-определенной
симметрической матрицей. Функция потерь в A1.40) включает потери,
связанные с отклонением от целевого значения а и издержки
изменения установки управлений3. Если A1.30) является прогнозной ФПВ
для г, мы получаем следующее выражение для ожидаемых потерь:
+(w1-x,r)'G(w1-x,r), A1.41)
1 Некоторые родственные результаты можно найти в [41].
2 Отметим, что р'Х'Хр = у'у возрастает с ростом Т.
3 Стоимость изменения контрольной переменной обычно включается в
функцию потерь. См., например, работы [41] и [100].
12 Зак. 1954 353
где рх = (PI : P2) представлен в блочном виде в соответствии с
блочным представлением X = (Хх | Х2); то же самое относится к
[т21 м22
Дифференцируя М (L) по элементам w2 и определяя значение wb
минимизирующее ожидаемые потери, находим, что
.й.Д (Ц.42)
где Р = s2Mn + G и Qi = Р2 Р Pi- Первый член в правой части
третьей строки A1.42) имеет вид подобный встречавшемуся ранее в
A1.35), за исключением того, что вместо X'X/s2 стоит Р, вместо а
стоит а — W2P2 и вместо p'X'XjVs2 используется Qv Другие члены в
третьей строке A1.42) отражают взаимозависимость w1 и w2 при
определении дисперсии z и издержек изменения управлений. Если Х2
ортогонально Х1э так что М12 = 0 и, более того, если G = 0, то A1.42)
приводится к виду
«-wife) (IL43)
аналогичному по форме выражению A1.35).
11.3. УПРАВЛЕНИЕ В СЛУЧАЕ МНОГОМЕРНЫХ НОРМАЛЬНЫХ
РЕГРЕССИОННЫХ ПРОЦЕССОВ1
В этом параграфе мы распространим подход, развитый ранее с
целью его применения для анализа традиционной многомерной
регрессионной модели2, рассмотренной в 8-й главе. Наша модель для
наблюдения, Y = (ух, у2, ..., ут), где Y есть матрица размерности
Гхт, имеет следующий вид:
= X1B1+X2B2+U. A1.44)
Здесь X является матрицей размерности Т X k ранга k\ В —
матрицей размерности k x m неизвестных параметров; U — матрицей
1 Сведения о некоторой предшествующей работе по анализу этой проблемы
с байесовской точки зрения можно почерпнуть из [41], [100], [152].
2 Эта модель может также рассматриваться как приведенная форма без
ограничений экономической модели, являющейся «системой одновременных
уравнений». Если в системе имеются запаздывающие внутрисистемные переменные,
то мы сделаем допущение что начальные значения для этих переменных заданы
при формировании функции правдоподобия. Очевидно также, что такие
переменные не являются управлениями.
354
размерности Т xtn случайных возмущений. Представим X в блочном
виде: X = (Хх ". Х2), где Хх содержит наблюдения за управлениями,
а Х2 — наблюдения за прочими свободными переменными. Матрица
В также представляется в блочном виде в соответствии с
представлением X.
Пусть первый вектор будущих наблюдений zf = (у\,т+19 у2,т+\, ...
...,Утт+\) генерируется тем же самым процессом, что и матрица
Y, т. е.
z' = w' В + v' = wi B± +w^ B2 + V, A1.45)
где w' = (w[ • W2) является ^-мерным вектор-строкой значений
независимых переменных в будущий период Т+1 и и' = (wi.r+ь
= («2,7+1, ..., Ит.7+0 — вектор возмущений для периода Т + 1.
В 8-й главе рассматривалась прогнозная ФПВ для наблюдений,
генерируемых традиционной многомерной, нормальной
регрессионной моделью в случае, когда применяется расплывчатая априорная
ФПВ для неизвестных параметров (см. (8.8) и (8.9)). При
рассмотрении однопериодной модели (8.57) может быть сведена к форме
многомерной ?-ФПВ Стьюдента:
A1.46)
где v = T—(k— I)—m, B = (X/X)X'Y, S=(Y — XB)'(Y — XB)/v
и A^H+w'fX'X+ww')-1*].
Можно заметить1, что
M|z'|Y| = w'B A1.47)
A1.48)
Допустим, что функция потерь имеет вид2
L - (z — a)X(z — a), A1.49)
где а' = (аъ а2, ..., ат) является вектором заданных целевых
значений, причем каждая компонента аг соответствует зависимой
переменной3, а С является положительно-определенной симметрической мат-
1 Для существования A1.47) и A1.48) необходимо выполнение условия
v > 2.
2 Так как включение квадратичных членов в издержки изменения
управлений представляется следующим шагом, мы не будем вводить это усложнение
в настоящий анализ. Если так же, как в [41], мы используем количественную
функцию полезности в форме U = 2b'z — z'Cz, где b есть заданный вектор, а
С — положительно-определенная симметрическая матрица, то, как хорошо
известно, мы можем выделить полный квадрат относительно z и получить U
в виде U = b'C-ib — (z — C^b)' С (z — (Wb). Обозначив а = С-ХЬ, получим,
что минимизация М = [(z — а)' С (z — а)] эквивалентна максимизации М (U).
3 В некоторых задачах мы можем иметь целевые значения только для
некоторого подмножества т' зависимых переменных, при 1 ^! т! < т.
12* 355
рицей. Тогда математическое ожидание функции потерь равно:
M(L) = M [(z—а)' С (z—a)] = M [(z—M (z))' С (z—M (z))] +
+ (a-M(z))'C(a-M(z))-E{raJl+w'(X/X)-1w] +
(fla-w' fe) (a,-w' &)} ca/, A1.50)
где суммирование производится по a, / и a, Z = 1, ..., tn;sa,i
является (a, /)-элементом vS/ (v — 2); M (za) = w'jja и pa — столбец с
номером a матрицы В; Са1 — элемент (a, /) матрицы С. В A1.50) мы
подразделяем w' = (w[ • w?) и (Х'Х)~\ j$a, рг соответственно.
Например, Pa = фа± : pa,), где pai является вектор-столбцом той же
размерности, что и размерность вектора wx. Следовательно, A1.50)
может быть представлено в виде:
M(L) = H[s'al(l+ wi M11 wx + 2wxM12w2 + W2М22w2) +
+ (aa-w1/pai-w^pa2)(ai-wiph-w^pb)]ca/, A1.51)
где (Х'Х)-1 = {M"}, iy /=1,2. Продифференцировав A1.51) по
компонентам wx, можно найти значение w2 = wj, минимизирующее1
ожидаемые потери. В результате мы получаем:
Wt = [2 Bsa/ M* +Pai P/, + h P;t) Call B [Oa- W^ PJ pit +
здесь суммирование снова производится по a, / = 1, 2, ..., /п. Теперь,
при условии, что заданы выборочные данные и элементы матрицы С =
= {cai}> можно легко вычислить оптимальное значение w|.
11.4. ЧУВСТВИТЕЛЬНОСТЬ УПРАВЛЕНИЯ'В ЗАВИСИМОСТИ
ОТ ВИДА ФУНКЦИИ ПОТЕРЬ
В предыдущих параграфах мы проанализировали несколько
задач управления с помощью симметрической квадратичной функции
потерь. Сейчас мы представим результаты вычислений2,
иллюстрирующие зависимость получаемых результатов от некорректных
допущений относительно вида функции потерь. Этот анализ может быть
назван анализом на «робастность относительно изменений функции
потерь»3.
1 Заметим, что матрица вторых производных по элементам wx A1.51)
является положительно-определенной. Следовательно, значение-вектора wx,
обращающее в нуль матрицу первых производных A1.51), является
минимизирующим значением.
2 Эти результаты взяты из работы [153, с. 269—283].
3 Это название предложено Кифером.
356
Для получейия экспериментальных данных генерируется Т = 15
наблюдений с помощью следующей простой регрессионной модели:
yt = 2,0*, + ии /= 1, 2, ..., 15,
A1.53)
где щ получены независимой выборкой из нормального распределения
с нулевым математическим ожиданием и дисперсией, равной 9,0;
х% получены .независимой выборкой из нормального распределения с
нулевым математическим ожиданием и дисперсией, равной 0,64.
Генерированные таким образом данные представлены в табл. 11.2.
Используя данные этой таблицы, рассчитаем следующие выборочные
статистики1:
где v = 71
Таблица 11.2
Данные, генерированные с помощью простой регрессионной модели A1.53)
t
1
2
3
4
5
6
7
8
*
--0,039
2,730
0,997
—2,990
2,660
—0,624
6,598
—0,669
« i •
—1,026
1,542
—0,532
—0,253
0,040
—0,882
0,875
—0,066
9
10
11
12
13
14
15
0,348
4,428
—0,723
—0,632
—2,434
1,864
—1,620
xt
—0,300
0,924
0,699
0,182
1,078
0,512
—0,438
Что касается функции потерь, то мы рассмотрим следующие
симметричные функции:
L (г, а) = \г — а\<*, а - 0,5, 1, 2, и 4, A1.54)
где z = ут+\ и а = 4. Запись A1.54) объединяет корень квадратный
из ошибки (а = 0,5), модуль ошибки (а = 1), квадрат ошибки (а = 2)
и четвертую степень ошибки (а = 4). Для каждой из этих функций
вычисляем2 следующий интеграл:
f w)dz
A1.55)
при различных значениях w = яг+ь гДе Р (^ | у, w) является
прогнозной ФПВ, представленной в A1.6). Результаты вычислений
представлены в табл. 11.3.
1 Обыкновенное среднее квадратичное отклонение оценки коэффициента
$ есть s/Bxf)x/2 = 0,8259.
2 Применялись методы численного интегрирования.
357
Таблица 11.3
l a. \j л ri u, <
Ожидаемые потери как функция установки управлений и вида
функции потерь
Значение
управления w
3,6780
2,9895
2,5181а
2,1751
2,1035
2,0364
2,0045
,9812
1,9735
1,9584
1,9144б
1,8587
1,8061
1,7960
,7565
1,7095
1,5442
1,4080
Вид функции потерь
1
1
1
1
[,7432
[,5789
1,4992
1,4681
1,4651
[,4636
,4632
,4632»
,4632
,4633
,4638
,4653
,4675
...
,4704
,4737
,4906
,5104
Iz—41
3,6031
2,9680
2,6783
2,5666
2,5554
2,5490
2,5473
2,5467
2,5466
2,5465»
2,5475
2,5513
2,5576
2,5658
2,5757
2,6271
2,6887
lz-41*
20,853
14,370
11,743
10,759
10,652
10,582
...
10,544
10,533в
10,543
10,572
...
10,615
10,672
10,987
11,383
я Л
йу= 4/0 — решение метода эквивалентной достоверности для (z—4J.
6 ю = D/Э)[^0/1 + ^о)] — оптимальное решение для (г—4)8, где tQ =
в Минимальные ожидаемые потери для данной функции потерь.
12-41*
1457,7
731,98
496,01
412,52
402,44
395,05
389,*85
...
386,42
384,44
383,67
383,64В
383,89
384,93
394,90
410,36
Из табл. 11.3 можно увидеть, что оптимальная установка значения
для w в случае функции потерь, равной квадрату ошибки w, равна
1,9144, а связанные с этим потери составляют 10,533. Допустим
теперь, мы ошиблись, предполагая, что функция потерь имеет вид
(z — 4J, в то время как в действительности — \г — 4|. При w = 1,9144
ожидаемые потери в случае функции потерь, равной модулю ошибки,
составляют 2,5475 Это значение достаточно близко к минимально
ожидаемым потерям 2,5465, связанным с оптимальным значением w
для функции потерь, равной модулю ошибки, а именно w = 1,9584.
Подобные результаты просуммированы в табл. 11.4. Отсюда видно,
что для этой задачи оптимальное решение в случае функции потерь,
равной квадрату ошибки, является робастным относительно
изменений вида функции потерь1 до тех пор, пока мы ограничиваемся
симметричными функциями потерь.
Для изучения робастности решений в случае отклонения вида
функции потерь от симметричного, проведем вычисления, аналогич-
1 Из данных табл. 11.3 можно увидеть, что этот вывод не сохраняется при^ис-
пользовании приближенного решения эквивалентной достоверности w = 4/6 =
= 2,5181.
358
Таблица 11.4
Ожидаемые потери, связанные с оптимальным управлением
и использованием решения для случая квадратичной функции потерь
Оптимальное
Ожидаемые
w . .
Ожидаемые
ПОЗИЦИЯ
значение для т. . . .
потери для
потери для
оптимального
ш=1,9144.
1
1
1
,9812
,4632
4638
Вид функции 1
1
2
2
,9584
,5465
,5475
1
1
10
10
тотерь
г—412
,9144
,533
,533
\z-4l*
1
383
386
,7960
,64
,42
ные сделанным выше, используя при этом следующие функции потерь:
т / \ [ k I z—а I, для z^a) , Л пг Л ~г. Л __.
L(z, я) = ' " А ^ ? -0,25; 0,50; 0,75; A1.56)
[ \г—а\9 для z<a | 1,о; 1,5; 2,0; 3,0.
В A1.56) задан класс линейных функций потерь, которые являются
асимметричными при k Ф 1. Как и выше, мы принимаем, что а = 4.
Для каждой из этих функций потерь значение w, минимизирующее
A1.55), найдено с помощью последовательного численного
интегрирования. Результаты этих вычислений представлены в табл. 11.5.
Таблица 11.5
Сравнение оптимальных решений для асимметричных линейных функций
потерь с результатами установки оптимальных управлений для случая
функции потерь, равной квадрату ошибки, и случая подхода эквивалентной
достоверности8
Угловой
коэффициент
функции
потерь
6 = 0,25
М = 0,50
6 = 0,75
k= 1,0
6=1,5
6 = 2,0
6 = 3,0
Оптимальная
установка
Хй) = су*
3,4778
2,6214
2,2321
1,9584
1,6226
1,3928
1,0944
Ожидаемые
потери
при
w= w*
1,5518
2,0059
2,3131
2,5465
2,8937
3,1511
3,5272
Установка по
случаю
квадрата
ошибки
W = W*
1,9144
1,9144
1,9144
1,9144
1,9144
1,9144
1,9144
Ожидаемые
потери при
w = wq
1,9519
2,1504
2,3489
2,5475
2,9446
3,3416
4,1358
Установка
по решению
подхода
эквивалентной
достоверности
w=wce
2,5181
2,5181
2,5181
2,5181
2,5181
2,5181
2,5181
а Вычисления, основывающиеся на данных табл. 11.2.
Функция потерь имеет вид L = \z—4| для — оо<2< 4; k |z—4| для 4<z<oo.
Ожидаемые
потери при
w = wce
1,6739
2,0087
2,3435
2,6783
3,3478
4,0174
5,3565
Можно отметить, что в противоположность результату,
полученному для симметричных функций потерь, оптимальное решение для
случая квадратичной функции потерь, обозначенное через wqt не
является устойчивым относительно рассмотренных отклонений вида
359
функции потерь от симметричного. Например, при к = 3,0
оптимальное значение w равно 1,0944, причем связанные с ним ожидаемые
потери составляют 3,5272, в то время как для wg = 1,9144 ожидаемые
потери равны 4,1358. Однако для значений к, лежащих в пределах от
0,50 до 2,0, использование решения для случая квадратичной функции
потерь не отражается существенно на увеличении ожидаемых потерь.
Использование приближенного решения эквивалентной достоверности
ге;се = 2,5181 вызывает довольно значительное повышение уровня
ожидаемых потерь относительно минимально ожидаемых потерь
при к = 0,25 и ? = 1,5; 2,0; 3,0. Для некоторых значений к
применение wce приводит к меньшим ожидаемым потерям, чем применением^.
В заключение можно сказать, что для рассматриваемого круга
функций потерь, задач и исходных данных найдено, что
оптимальное решение в случае функции потерь, равной квадрату ошибки,
является достаточно робастным к изменению вида функции, потерь, за
исключением случая значительной асимметрии.
11.5. ДВУХПЕРИОДНАЯ ЗАДАЧА УПРАВЛЕНИЯ
Б СЛУЧАЕ МНОЖЕСТВЕННОЙ РЕГРЕССИОННОЙ МОДЕЛИ*
Займемся теперь задачей нахождений значений независимых
переменных в случае, когда зависимые переменные должны быть как
можно ближе к своим целевым значениям не для одного, а для
нескольких будущих периодов. Эта задача — обеспечение оптимального
управления для нескольких будущих периодов — добавляет новые
аспекты к нашему анализу. Как признано в литературе, многопериодные
задачи управления связаны с соображениями обучения на
эксперименте и планирования эксперимента, а именно: по мере нашего
продвижения в будущее мы получаем больше выборочной информации, что
дает нам возможность улучшать наши знания о значениях
неизвестных параметров. Этот процесс обучения зависит от установки
значений управления, т. е. от планирования эксперимента. Ниже мы
убедимся, что решение многопер йодной задачи управления обеспечивает
получение оптимальной последовательности действий, которая в
явном виде учитывает управление, обучение и планирование
эксперимента. Ввиду того, что представленные в решении будущие действия
связаны с адаптацией к новым данным по мере их поступления, мно-
гоперйодную задачу часто называют задачей адаптивного управления.
Чтобы конкретизировать вышеуказанные соображения,
рассмотрим двухпериодную задачу. Наша модель для объяснения
наблюдений имеет вид
у = Хр + и, A1.57)
где у' = (уг, у2, ..., ут)\ X — есть матрица наблюдений за к
управлениями размерности Т X к и ранга к\ ($ является ^-мерным вектор-
столбцом неизвестных коэффициентов и и — Т-мерным
вектор-столбцом нормальных возмущений с нулевыми математическими
ожиданиями и ковариационной матрицей, равной оЧт.
1 Материал этого параграфа частично основывается на работе [148].
360
Вектор будущих наблюдений, z' = fo, 22) = (j/г-И, #^+2)> rette"
рируется, в соответствии с нашими допущениями, с помощью модели
z = wp + v, A1.58)
где W = (wx, w2)' является матрицей размерности 2 х k будущих
значений управления, a v' = (иг+ь ит+2) обозначает вектор
будущих возмущений, независимо и нормально распределенных, с
нулевыми математическими ожиданиями и общей дисперсией, равной а2,
независимых также и от и.
Если мы воспользуемся априорной ФПВ для элементов р и v, то,
как показано в 3-й главе, прогнозная ФПВ для z будет двумерной
/-ФПБ Стьюдента:
Р (z | У) -[v +(z-W p)' H (z- Wp)]-(v + 2)/2, A1.59)
где р^Х'Х^Х'у, v = T—k, H = [l+W (Xf X^Wr^s2,
и s2 = (y
Пусть функция потерь имеет вид1
L (z, а) = (гх - axf + (г% - а2)\ A1.60)
где ах и а2 являются заданными целевыми значениями для будущих
периодов 1 и 2 соответственно. Тогда наша задача заключается в
построении процедуры определения значений wx и w2 (где W = (wb w2)'),
минимизирующих ожидаемые потери. Рассмотрим несколько
возможных подходов к решению этой задачи.
Подход I. Принятие решения типа «здесь и сейчас». С помощью
ФПВ в A1.59) вычислим математическое ожидание функции потерь
в A1.60), а затем минимизируем его относительно компонент щ и wl.
Такой тип решения, известный под названием «здесь и сейчас»,
является удовлетворительным, когда исходя из некоторых соображений
мы должны объявить наши фактически устанавливаемые значения
для обеих управлений wx и w2 в начале первого будущего периода.
Издержки, связанные с требованием объявить значения для wx и w2
в начале периода Т + 1, заключаются в следующем:
1) мы не можем использовать информацию, получаемую в
результате реализации zxes= #г+ь для установки оптимального значения w2;
2) мы не можем учитывать, как выбор wx будет воздействовать н.а
определение оптимального значения w2.
Однако поскольку есть ситуации, в которых решение типа «здесь
и сейчас» является необходимым (в том числе и для сопоставления),
1 Анализ может быть распространен и ка случай функции потерь, имеющей
следующий вид: L (z, a) =-- (z — a)'A (z —а), где А является произвольной
положительно-определенной симметрической матрицей.
2 Так как гг и ?2 имеют предельные ФПВ в форме ПВ одномерного
/-распределения Стьюдента и предельная ФПВ для гл не зависит ст w2 и предельная
ФПВ для г2 не зависит от г, то настоящая проблема сводится к двум одпопериод-
ным проблемам, каждая из которых идентична рассмотренной в § 11.2 (см. A1.26)
и последующие результаты).
361
интересно его получить. Мы имеем
A1.61)
Тогда оптимальные значения для wx и w2 определяются следующим
образом:
()
X' Хр
Подставляя эти значения в A1.61), получаем ожидаемые потери
A1.63)
где Q = р'Х'Хр. Как было отмечено выше, решение для каждого
будущего периода полностью аналогично решению, представленному в
параграфе 11.2 для случая однопериодной проблемы.
Подход II. Принятие решения путем «последовательного
обновления». Используем ФПВ A1.59) для вычисления M[(z1 — ахJ] и
минимизации по компонентам wx. Эта процедура обеспечит получение
значения для щ. Далее, после завершения первого периода и
получения Zx^t/T+i применим р (z2\z1,y) для вычисления М I (z2 — а2J]
и минимизации по компонентам w2. При этом значение w2
определяется без учета его воздействия на определение w2 и с этой точки зрения
получаемое решение не является оптимальным. Однако в
противоположность решению типа «здесь и сейчас», «последовательно
обновляемое» решение принимает во внимание при определении значения w2
информацию, полученную в момент времени Т + 1, и, как мы
убедимся позднее, является хорошей аппроксимацией оптимального
решения задачи.
При последовательно обновляемом решении для первого
будущего периода имеем
^[(^-^^[l +wI(X' X^wJ + ^-wJ jiJ A1.64)
A1.65)
Значение wx из A1.65) в точности совпадает со значением wx при
решении типа «здесь и сейчас».
Для периода Т + 2 мы принимаем во внимание щ = w* и новое
наблюдение г± ?== уг+ь Иначе говоря, мы берем математическое
ожидание {z2 — a2J по г2 при заданном гг. Это дает1
МЛ{гг-а2)^ъ w±) = M \[z2-M{z2\z1)f\z1} + {a2--M{z2\z1f^ A1.66)
= s\(\ +w^M2 w2)+(a2~w^p2J, A1.67)
1 Вывод результата, представленного в A1.66), см. в приложении 1 к этой
главе.
362
где M, =
= p + (X' X)-1 Wl [ 1 + w,' (X' X)-1 Wl]-i (Zl-w,' fa A1.68)
И S =
У2ь2 __
v2—2
= [(y-Xfr)' (y-XJfl + fa-wj pJ A - wj M^ wf)] __
v2-2
v2-2 ' l § }
где v2 = v + 1, v = 71 — /г. В A1.67) M2 является матрицей моментов
независимых переменных в начале (Т + 2)-го периода; р2 в A1.68)
есть оценка метода наименьших квадратов, вычисленная на начало
(Т + 2)-го периода; si содержит сумму квадратов остатков на начало
(Т + 2)-го периода.
Минимизируя A1.66) по компонентам w2, получаем
w2+ = M2p2a27s! + р;м2р2, A1.70)
что отличается от значения w2 в подходе I, приведенного в A1.62),
тем, что A1.70) включает информацию, относящуюся к периоду Т + 1,
в то время как wj в A1.62) получено без учета этой информации.
Далее, ввиду того, что w^" зависит от гъ он не может быть получен до
завершения (Т + 1)-го периода и наблюдения г±.
Подставляя A1.70) в A1.66), мы получаем, что ожидаемые потери
в период Т + 2, определяемые условно при заданных гъ wx и w2 = wj,
равны:
М[(гг-аг)*\гъ wx, w2 = w2+] = s22 f 1 + , fl ^ ). A1.71)
V i + p^Mp /
Поскольку правая часть A1.71) зависит от гъ можно получить
приближенное математическое ожидание с помощью прогнозной ФПВ
для zv Получаем1
-l (s-2+p'X'XpJ
A1.72)
Если мы теперь подставим wx = wl, где wl задается A1.65), то
получим ожидаемые потери для второго будущего периода. Проделав
указанную подстановку как в A1.64), так и в A1.72), получаем, что
1 Вывод A1.72) см. в приложении 2 к этой главе.
363
общие ожидаемые потери для двух периодов в случае последовательно
обновляемого решения приблизительно составляют
aa^Q)\ A1.73)
где Q=(J'X'Xp. Сравнивая A1.73) и A1.63), выражение для
ожидаемых потерь, связанных с решением типа «здесь и сейчас», можно
увидеть, что два первых члена в A1.73) тождественны двум первым
членам в A1.63). Последний член в A1.73) показывает снижение
ожидаемых потерь, связанное с использованием информации (Т + 1)-го
периода при определении значения для w2.
Подход III. Адаптивное принятие решения. Опишем адаптивную
процедуру управления для получения решения двухпериодной
задачи1.
Шаг 1." Предположим, что мы находимся в начале второго
будущего периода, Т + 2, и применяем условную прогнозную ФПВ для
z2 при заданных гъ wx и заданной информации выборки у и X для
вычисления2
М Щгъ wlf у, X) = g (Zli Wl, w2, у, X). A1.74)
Необходимо подчеркнуть, что A1.74) справедливо для любого
значения, принимаемого гъ и для любого значения, задаваемого для щ.
Шаг 2. Минимизируем выражение A1.74) по компонентам w2. Если
мы обозначим через w2 решение этой ^задачи, то получим
wa = A(z1,w1, у, X). A1.75)
Из A1.75) следует, что w2 зависит от еще не наблюденного
значения г1=ут-\-и от еще не определенного значения щ и от заданной
информации выборки 3.
Шаг 3. Подставим w2 = w2 в A1.74), где w2 задается A1.75). Это
приведет к выражению
М(ШЪ wb у, X)-gfa, wx, w2, у, X), A1.76)
являющемуся функцией гъ vt± и заданной информации выборки.
Шаг 4. Найдем математическое ожидание A1.76) по хг для
получения
М [g (г19 wx, w2, у, X)] = / (Wl, у, X). A1.77)
1 Хотя мы ограничиваемся случаем двухпериодной регрессионной задачи,
нужно отметить, что рассматриваемый подход применим и в более общих
случаях.
2 К. тому же A1.74) является условным относительно априорной
информации о Р и (г, которая в настоящей задаче является расплывчатой.
3 Необходимо отметить, что w2 не может быть приписано никакое
конкретное значение до тех пор, пока мы не получим наблюдения за значением гх и не
придадим значение щ.
3G1
5. Минимизируем A1.77) по компонентам wx для получения
оптимального значения wlf равного wlf которое определяется
следующим образом:
Щ = щ(у,Х). AL78)
Отсюда видно, что Wi зависит только от заданной информации
выборки1 и, следовательно, может быть вычислено в начале первого
будущего периода.
Оптимальное значение для wx в A1.78) учитывает, как будущая
информация относительно гх будет использована при оптимизации во
втором будущем периоде и как значение wx для первого периода будет
влиять на действия во втором будущем периоде. Кроме того, значение
w2 = w2 во втором-периоде, приведенное в A1.75), включает всю
информацию выборки, доступную jk началу (Т + 2)-го периода, т. е.
Ух, X, zx ss ут+и Wi = wi, где Wi есть оптимальная установка
значения wle
Вернемся сейчас к вопросу получения адаптивного решения в
случае двухперйодной, регрессионной задачи управления с функцией
потерь, заданной AL60), и прогнозной ФПВ, заданной A1.59).
Специализируя шаг 1, представленный A1.74), получаем2
М [L (гъ фъ wj - fa-atf + M [{z2-a2f\zb wj -
Zz Z2
-w'2$2)*i A1.79)
где было использовано выражение AL66) и где статистики si, M2 и j$2
были определены в A1.67), A1.68), A1.69). Шаг 2 вдлючает
минимизацию A1.79) по компонентам w2. Получаем3
Ввиду того, что М2, р2 и si зависят от wx и гъ получается, что w2
является функцией этих статистик и не может быть вычислено до тех
пор, пока не будет в наличии значения этих статистик.
На шаге 3 мы подставjyieM A1.80) в A1.79) и получаем
а)| гъ Wl, w2 = w,] = B?1-oI)e+lS (l +r, ^ , ) , A1.81)
22 V
выражение, являющееся функцией zx и wx.
1 Если мы используем информативную априорную ФПВ для Р и а, то Wt
будет зависеть не только от информации выборки, но и от параметров априорной
ФПВ.
2 Из последующего очевидно, что мы рассматриваем информацию выборки
о у,"Х*как заданную.
3 Отметим, 4to"w2 в A1.70) имеет ту же самую форму, что и w? в A1.70).
При вычислении w2 мы пользуемся установкой значения wlt которая
отличается от установки, применяемой при вычислении w^.
365
Шаг 4 включает вычисление математического ожидания в A1.81)
по гг. Эти вычисления приведут к следующим приближенным
результатам1:
М \{гг-а& +?2 f 1 + . /2 . ) 1 =
V-l
где Q = [J'X'XJJ.
На шаге 5 мы минимизируем A1.82) по компонентам wlf чтобы
получить значения wx для первого периода. Эти вычисления приводят
2
к следующему результату2:
дляО</(<1, A1.83)
где К = f(v — 2)/(v — 1)]?аг/(? + QJ. Отсюда видно, что при
/(-» 0 A1.83) стремится к w*, т. е. к значению для первого
периода, совпадающего в случае подходов «здесь и сейчас» и
«последовательного обновления» (см. A1.62) и A1.65)). Множитель 1—К
в правой части A1.83) обеспечивает модификацию3 для учета влияния
значения управлений, установленных в первом периоде, на
информацию о неизвестных параметрах, используемую при решении двух-
периодной задачи.
Наконец, мы можем подставить A1.83) в A1.82) и получить
следующее выражение для ожидаемых потерь при заданных
приближенных оптимальных установках значения wx:
где Q = P'X'XP и члены порядка 7*-*, <7 > 3 отброшены. Сравнивая
ожидаемые потери в A1.84) с потерями в случае последовательно
обновляемого решения в A1.73), можно увидеть, что первые два члена
тождественны. Третий член отличается, и ожидаемые потери в A1.84)
1 Второй член в правой части A1.81) имеет в точности ту же самую форму,
как и A1.71). Следовательно, мы можем пользоваться результатами
приложения 11.2 для получения его приближенного математического ожидания.
2 В A1.83) условие 0 < К < 1 является необходимым в связи с
условиями второго порядка для минимума A1.82).
3 Отметим, что К имеет порядок О G1-2), и, следовательно, часто
несущественно отличается от нуля.
335
MeHbiiie1. Разница в присутствующих членах, однако, связана также
с разницей в членах порядка 0 G1-2), хотя, последние во многих
случаях бу^ут малы.
В табл. 11.6 некоторые из полученных результатов сведены
вместе.
Таблица 11.6
Установки управлений для первого периода и ожидаемые потери двух периодов
при различных управляющих решениях8
Тип управляющего
решения
I. «Здесь и
сейчас»
II.
«Последовательное
обновление»
III.
Адаптивное принятие
решений
Установка значения
Wj в первом периоде
Л
Л
- + Q
— г+во-к,
Ожидаемые потери за два периода3
2 | 2
/ tti ~j~ CLn \
с2 / О _L 1
/22 2 2 \
V 52 + Q V— 1 (S2_|_QL /
,/л, «? + «! v-2 «?«3о-^
\ s2-\-Q v—* (s2 + QK/
а Л Л - 2 -
В таблице Q = p'X'X р и /( — (v—2)s-2 a2 /(V—1) (s2-J-QJ.
Приближенное решение для строки III.
в Приближенное решение для строки II и III. Члены 0 (Т—3 ) и более высокого
порядка малости отброшены.
Основное достоинство полученных решений заключается в
возможности их практического использования. Кроме того, как уже
отмечено, имеет место снижение ожидаемых потерь при «последовательно
обновленном» и адаптивном решениях. Далее, сопоставление
приближенных ожидаемых потерь для «последовательно обновляемого»
и адаптивного решения задачи управления показывает, что в
последнем случае потери меньше. Однако разница в большинстве случаев
будет небольшой, если Т не мало и целевое значение невелико.
Наконец, все эти выводы получены на частной модели и для двухпе-
риодной задачи управления, таким образом, они не могут быть
просто перенесены на другие модели и задачи.
1 ^тметим, что отношение третьего члена в A1.84) к третьему члену в A1.73)
есть (s2 + Q)/Q > 1. Следовательно, ожидаемые потери в A1.84) меньше, чем
в A1.73).
367
11.6. НЕКОТОРЫЕ МНОГОПЕРИОДНЫЕ ЗАДАЧИ УПРАВЛЕНИЯ
Довольно- просто обобщить «последовательно' обновляемое»
решение из параграфа 11.5 на случай управления регрессионной
моделью для будущих периодов времени, причем q >/2.
Допустим, что наши выборочные данные у и будущие наблюдения z,
z' = (zb z2, ..., zq), где zt = ут+t для i = 1, 2, ..., q, генерируются
стандартной нормальной линейной регрессионной моделью1. Кроме
того, допустим, что априорная информация относительно параметров
представлена A1.27) и что функция потерь имеет вид
L(z,a)=2(z—at)\ A1.85)
где а' = (аъ а2, •••> ая) является вектором, компоненты которого
суть заданные целевые значения переменных. Будущие значения
гъ z2, ..., zq удовлетворяют уравнениям
z* = w/p+^, / = 1,2,..., q, A1.86)
где w* являются будущими установками значений управлений, еще
подлежащими определению; v% — нормальными и независимыми
возмущениями, каждое из которых имеет нулевое математическое
ожидание и общую дисперсию, равную а2.
Применение подхода «последовательных обновлений» в настоящем
случае ведет к установке значения wb представленному в A1.65'
для первого будущего периода:
MjU t AL87)
где нижний индекс «1» означает имеющиеся в нашем распоряжении
и известные к началу первого будущего периода величины, т. е.
МХ = Х'Х, р1 = МГ1Х'у = МГ1т1, 1\Чу-ХЮ' (y-Xpi)/(v-2) =
где gi = y'y и vx = v = Т — k.
Для второго будущего периода мы имеем наблюдения за zx и знаем
установку значения wx. Таким образом, вычислив M[(z2 — a2J\zt]
Zz
и оптимизировав по компонентам w2, как в A1.64) и A1.65), получим
соответствующее значение w2:
AL88)
1 Рассматриваемая модель соответствует A1.26) и описанию,
содержащемуся в прилагаемом тексте. Ниже принимается допущение, что все независимые-пе-
ременные являются управлениями. Обобщение на случай, когда управления
образуют собственное подмножество множества независимых переменных, в
настоящей работе не представлено, поскольку оно непосредственно следует из
приводимого анализа.
368
где нижний индекс «2» означает имеющиеся в нашем распоряжении
и известные к началу второго будущего периода величины, т. е.
М2 = Х'Х + wiw!', "р2 = М2" (Х'у + wfo) = MVmt,
si = (gz-K M2p2)/(va — 2), где g2 = y'y + z\ и v, = vx + 1 =
= v+ 1.
Для /-го будущего периода мы имеем наблюдения zx, z2, ..., z/_i
и знаем установку значений для wx, w2, ..., w^_x.
Минимизируя М l(zj — а,J] по компонентам w;-, получаем
г)
w/ = M^ fa ujlsf + ft М, fa, A1.89)
где
(Ц.90)
и ffl^X'y + ^WbZb Qj^y'y+^zt и v, = v + /-l. A1.91)
Таким образом, A1.89) для / = 1, 2, ..., q дает ряд «последовательно
обновленных» значений1 для q контрольных векторов wx, w2, ..., wa.
Перейдем теперь к одной из нескольких многопериодных задач,
рассмотренных Прескоттом [99]. Он изучил управление многомерной
системой с авторегрессионными свойствами и получил
аппроксимации адаптивных управляющих решений. Его приближенные решения
принимают во внимание неопределенность относительно значений
параметров и учитывают новую информацию по мере ее поступления.
Как было отмечено выше, подобный подход является очень важным.
Кроме того, для некоторых конкретных систем Прескотт применил
метод Монте-Карло для вычисления средних потерь, связанных с его
приближенными решениями, а также с некоторыми решениями типа
«здесь и сейчас» или «линейное решающее правило», которые не
учитывают неопределенность относительно значений параметров.
Средние потери, связанные с приближенным, адаптивным управляющим
решением Прескотта, оказываются существенно ниже потерь,
связанных с решениями, не учитывающими неопределенности
относительно значений параметров. Этот результат свидетельствует о важности
учета неопределенности относительно значений параметров при
решении задач управления, в частности, в случае, когда оценки
параметров не являются достаточно точными.
Многомерная система, рассмотренная Прескоттом, имеет вид
t4-ii*, t=\X .-.,<?, A1.92)
1 Для удобства вычислений могут быть использованы соотношения в форме
A1.68) и A1.69) для обновления fii и sf. Отметим, что во второй строке A1.68)
[1 + vf{ (X'XJ-Vh1 = 1 — wfMi^Wx, где М2 = Х'Х + w^Wt, и,
следовательно, р2 = рх + Mf1**! (I - wfMi-iWl) fa - W&), где М2 = Х'Х и ft = Mf ^
с тх = Х'у.
369
где yt есть m-мерный вектор-столбец зависимых или внутрисистемных
переменных; yt_± — вектор внутрисистемных переменных1 в момент
времени t— 1; w^ есть ^-мерный вектор-столбец управлений; xt есть
р-мерный вектор-столбец независимых (или внесистемных)
переменных, не являющихся управлениями; щ — m-мерный
вектор-столбец случайных возмущений; Ау% AW9 Ах являются матрицами
коэффициентов. Время измеряется, начиная с t = О, обозначающего
текущий период; t = 1 — первый будущий период; t = 2 — второй
будущий период и так далее2. Векторы возмущений предполагаются
нормально и независимо распределенными, каждый из которых имеет
нулевой вектор математических ожиданий и общую положительно-
определенную симметрическую ковариационную матрицу.
Функция потерь для q будущих периодов по предположению имеет
следующий вид:
?=2МУ*). (П.93)
где каждое Lt(yt) является квадратичной формой компонент у*3.
По мере поступления новой информации мы получаем больше
сведений относительно параметров A1.92). Для представления этого
процесса «обучения» удобно переписать A1.92) в виде
y, = Adt+u,, /=1,2,..., q, A1.94)
где А = (Ау s Аю : Ах) и d/ = (y/-i l w/ : x/). В качестве
априорной ФПВ для элементов А при t = 0 Прескотт рассматривает, среди
прочих, независимые многомерные нормальные ФПВ для строк
матрицы А, т. е. если Аг есть транспонированная i-я строка матрицы А, то
pfl(A, | mil9 Hil) = MVN(mll, Hn), /-1,2,..., m, A1.95)
где шц является априорным вектором математических ожиданий и
Нг1 — априорной матрицей точности4 многомерной нормальной
(MVN) априорной ФПВ в начале первого будущего периода. ФПВ в
A1.95) имеет форму апостериорной ФПВ, основанной на Т
выборочных наблюдениях (t = — 1,—2, ..., — Т), если исходная (t = — Т)
априорная ФПВ для элементов А является расплывчатой, а кова-
1 Хорошо известно, что с помощью подходящего определения вектора yt
система разностных уравнений более высокого порядка может быть записана в
форме A1.92). В этом случае, так же как и в других, некоторые из коэффициентов
системы будут достоверно известными величинами.
2 При таком способе измерения времени выборочный период продолжается
с момента t = — Г+1до/=0; всего имеется Т наблюдений.
3 В [99, с. 17] Прескотт отмечает, что с помощью подходящего определения
у^ в функции потерь Lt (yt) можно включить внутрисистемные переменные
с запаздыванием и без него, внесистемные переменные и управления. Конечно,
если вектор у$ будет переопределен, то и система A1.92) соответственно должна
быть переопределена.
4 Априорная матрица точности является обратной по отношению априорной
ковариационной матрицы.
370
риационная матрица для ut — диагональной с известными
элементами1.
После окончания первого будущего периода (t = 1) мы можем
применить новую информацию для обновления априорной ФПВ в
A1.95) с помощью теоремы Байеса. Получаем2
Pt2 (А* 112) ~ ехр Г —1- (А;. — тг1)' Нп(Аг —тп)—— (уп—А{ А{
A1,96)
где pi2 (At 112) является апостериорной ФПВ для элементов At при
заданной информации (обозначаемой через 12), доступной в начале
второго будущего периода при t = 2. Во второй строке A1.96)
Нп = Нп + 6гйи A1.97)
и
nij2 = Н/21 (Ип тп -\-уц dj); A1.98)
Н*2 и mi2 являются матрицей точности и вектором математических
ожиданий соответственно для pi2 (Ai \ lt). Ввиду того что
апостериорные ФПВ рн (At | It), t 6 Ng являются нормальными, A1.97) и
A1.98) могут быть обобщены по индукции, что дает
7_! (И-99)
A1.100)
где Нн и mit являются матрицей точности и вектором математических
ожиданий соответственно для р«(А||1*), многомерной нормальной
ФПВ. Соотношения A1.99) и A1.100) могут быть использованы для
обновления ФПВ для элементов А* по мере получения новых
наблюдений3.
Учитывая вышесказанное относительно модернизации априорной
информации, обратимся к нашей основной проблеме
последовательного выбора значений управляющего вектора w* в A1.92), t = 1,2, ..,#,
для,минимизации величины ожидаемых потерь при функции потерь,
1 Другие начальные предположения могут привести к апостериорной ФПВ
в форме A1.95); например, мы могли бы вначале (при t =-. — Т) иметь MVN ФПВ
для элементов Аг- при условии, что известны элементы диагональной
ковариационной матрицы возмущений. Обобщение на случай неизвестных и
недиагональных ковариационных матриц возмущений рассмотрено Прескоттом.
2 Ниже для удобства мы возьмем известную, диагональную ковариационную
матрицу возмущений, равную единичной матрице. Иными словами, М (ujii/) = I
при всех t. В условиях известной дисперсии это может быть достигнуто путем
изменения масштаба данных.
3 Отметим, что рц (уц | If), прогнозная ФПВ для уц\ имеет следующий вид:
Pit (Уit I W = IPu (Уit I Аг) Pit (A/1 U) dAt, где pit (Уп\Ы) ~ ехр [— — (yit —
— d^'AjJ и pit (Af I If) является многомерной нормальной ФПВ для элементов
А^ при заданной If — информации, доступной в начале пер иода t.
371
приведенной в A1.93I. Обозначим через ft минимальное значение
ожидаемых потерь в периоды с t no q включительно. Иначе говоря2,
ft (It, yi-i) = rmnM№{Lt(yt)\Ityt-1}j . A1.101)
Принцип оптимальности Беллмана утверждает: «Оптимальное
управление (здесь последовательные правила выбора значений вектора
управлений w*) имеет то свойство, что независимо от начального
состояния и начального управления, все последующие управляющие
воздействия должны представлять собой оптимальное управление
относительно состояния, полученного в результате первого
управляющего воздействия»3.
Таким образом, используя этот принцип, мы можем для
рассматриваемой задачи получать
„ Уг_х], A1.102)
при *=1, 2, ..., q И'/^+1 = 0. Как видно из A1.102), оптимальная
установка для vrt и оптимальные установки для будущих периодов
определяются при условии, что все прошлые установки и выходы
заданы вне зависимости от их значений. Таким образом, формальная
процедура получения решения, представленная в A1.102), отражает
принцип оптимальности.
В A1.102) мы имеем систему q функциональных уравнений,
которые теоретически могут быть решены4. Например, если
М \ft+i (/*+i. У*) + U (У*) 11ь Ум] (И. 103)
является квадратичной функцией по у*_х и w*, то значение w*,
минимизирующее A1.103), будет линейным относительно yt_x и
минимальное значение функции будет квадратичной формой от y^-i5. Таким
образом, используя A1.102), можно полностью определить функцию
ft (It 9 Уг-i)- Если значения элементов в матрице коэффициентов А
известны с достоверностью, то A1.103) будет квадратичной по ytmml
и Wf9 и для анализа может быть применен описанный выше подход.
Однако если некоторые или все элементы А неизвестны и должны быть
оценены, то A1.103) не является квадратичной по yf-1 и щ и для
получения решения необходима другая вычислительная процедура6.
В развитие приближенного решения рассматриваемой задачи Пре-
скотт рассматривает первое уравнение из A1.102):
к Aъ Уо) = min M \h (h У1) +Li MI /i, Уо]. A1.104)
1 Мы будем предполагать; что этот минимум существует.
2 Тот факт, что ft является функцией оси It — информации, доступной в
начале периода t, и у^_х следствием того, что процесс у^, задаваемый A1.92),
является марковским.
3 Цитируется по работе [15, с. 197].
4 Решение этих частных задач см., например, в [15], [43] и [6].
6 Разумеется,A1.103) зависит от величин, описывающих доступную
информацию If- Отметим также, что /f+i будет зависеть как от у^, так и от других
величин, имеющих отношения к периоду t.
6 Отметим, например, что левая часть A1.82) не является квадратичной
по zx и щ.
372
Если /2 (/2, Yi) имеет известную функциональную форму, то можно
оценить ожидание в правой части A1.104) и найти минимизирующее
значение для щ. На самом деле это и было проделано выше для двух-
периодной задачи (см. параграф 11.5, в частности A1.79) и
последующий анализ). Однако для трех и более будущих периодов определение
точной формы /2 (/2, ух) не представляется возможным. Поскольку
рассматривается именно такой случай, Прескотт вводит функцию,
аппроксимирующую /2 (/2, ух). При условии, что /2 представляет
информацию относительно неизвестных параметров для t=2 и что эта
информация не обновляется для последующих периодов, мы можем
определить минимальное значение ожидаемых потерь в периоды с t
по q как ht (/2, yw) t = 2, 3, .., q. Затем, используя принцип
оптимальности, получаем
ht (/2, y,-i) = rnin M [hw (/2, у,) + Lt (yt) | /2, yt^] A1.105)
при / == 2,3,..., q и ftfl+1 = 0. Если /2 задана, система уравнений &
A1.105) может быть разрешена ввиду того, что ht (/2, yfel) является
квадратичной по yt_v В терминах A1.104) h2 (/2, ух)
рассматривается как аппроксимация для /2 G2, yi).
Значение для wx получается при минимизации
A1.106)
Ух
где /2 зависит от /х, wb уъ хх. Так как /2 зависит от wlf первый
член в A1.106) отражает влияние значения wx первого периода на
потери в последующих периодах1. Для получения практической
вычислительной процедуры в случае систем средней и большой
размерности вводится окончательная аппроксимация и A1.106)
аппроксимируется с помощью
h2[Ia2,M(y1)] + M[L1(y1)]f A1.107)
где М (ух) является математическим ожиданием прогнозной ФПВ
для ylf a 1% обозначает априорную информацию при t = 2, где вместо
ух подставляют М (ух). Тогда A1.107) может быть минимизировано
по элементам wx с помощью процедуры машинного перебора. В
качестве удобного начального значения для wx Прескотт предлагает
взять значение для wb минимизирующее ожидаемые потери в случае,
если бы априорная ФПВ для первого будущего периода никогда не
обновлялась.
Ввиду того что решение Прескотта является приближенным,
учитывающим неопределенность относительно параметров и
показывающим, как текущие значения управлений влияют на будущие потери,
интересно рассмотреть этот подход в сравнении с другими подходами.
В связи с этим Прескотт использовал данные, генерируемые следую-
1 Должно быть отмечено, что это положение не принималось во внимание
в «последовательно обновленном подходе», описанном и примененном выше.
373
щей моделью1:
АС = 0,308 ДУх + 0,194ДС_! +0,408 ДМ + 0,078G + 87,7Р_Х—4797 + иъ
+ 159P_i—6125+и2,
Д/2=0,105ДГ1—0,220Д^—0,510/2,_1 + 0,041F*_i+92,8P_1-5996+w3,
AR = OM1AY1—0,739ДЛ4 + 0,318ДМ_! +
+ 0,187AG—937 + и4, ДГ = 0,21Л7, A1.108)
где временной нижний индекс опущен, Д обозначает оператор
первой разности, например AC не= С*— C^.i; индекс «—1» обозначает
запаздывающую на один период переменную; например C_i = С,_1в
Ниже следуют определения переменных:
С — личный расход на потребление;
/х — валовые частные инвестиции за вычетом расходов на новое
строительство;
/2 — расходы на новое строительство;
/ = /х + /2 — совокупные валовые частные инвестиции;
G — государственные закупки товаров и услуг;
Т—G — сальдо государственного бюджета (дефицит в случае, если
Т — G отрицательно) по счету дохода и производства;
Т — налоговые поступления;
Г* = Уг + G — Г;
Уг = С + 1;
М — денежная наличность и бессрочные депозиты на середину
года;
Р —дефлятор ВНП;
R — доходность 20-летних корпоративных облигаций, годовые
проценты, умноженные на 10;
Y = С + / + G, причем переменные измеряются в млрд. дол.;
ut — случайное возмущение (i = 1, 2, 3, 4).
Было сделано допущение, что управлениями являются G и М.
Все другие переменные, за исключением Р, являются
внутрисистемными, а Р по допущению является внесистемной переменной.
Случайные возмущения были получены независимой выборкой из
нормальных распределений с нулевыми математическими ожиданиями
и различной дисперсией для каждого из четырех возмущающих
членов2. Для генерирования данных примем допущение, что уровень
внесистемных цен растет на 2% в год в течение 12-летнего
«выборочного периода»3 и на 1,5% в течение восьми лет «будущего планового
1 Использованная модель разработана и оценена Г. Чоу, см. [27].
2 Дисперсиям, D (и{), i = 1, 2, 3, 4 заданы значения, равные их
соответствующим выборочным оценкам.
3 Значения параметров, использованные для генерирования данных,
равны оценкам, полученным Г. Чоу [27] , на основе фактических данных. В других
отношениях эксперимент поставлен так, чтобы аппроксимировать условия
экономики в США в конце 50-х и начале 60-х годов. Наблюденные значения
переменных в 1951 и 1952 гг. были использованы в качестве начальных условий при
генерировании данных с 1953 по 1964 г., т. е. в «выборочный период и в
«последующие будущие периоды».
374
периода». Далее, ввиду того что для генерирования данных
требовалась информация относительно Mt и Gt> Прескотт употребил
следующие зависимости:
AM, = 2,1+2,2 u5t,
AGt = 4,1+4,0 u6U
где иы и ии являются независимо и нормально распределенными
возмущениями с нулевыми математическими ожиданиями и
единичными дисперсиями. В отношении вида функции потерь,
отражающей цели полной занятости, быстрого экономического роста и
стабильности цен, было сделано допущение
1972
/?J], (ПЛ09)
где Y?, С?, G?, If являются заданными оптимальными или
целевыми значениями переменных в момент tK В A1.109) мы имеем
восьмикратный плановый горизонт, для которого первым будущим периодом
является 1965 г. Некоторые вычисления были проделаны для
четырехлетнего планового периода с 1965 по 1968 гг. Учитывая данные,
полученные для «выборочного» периода с 1953 по 1964 г., лицо,
принимающее решение (ЛПР), должно было выбрать значения М и G на
1965 г., а далее действовать, выбирая на основе, последовательно
расширяющихся выборок, с учетом данных, полученных за 1965 г.,
значения на 1966 г. и так далее. Ниже рассматриваются несколько
решающих правил решения, предложенных Прескоттом:
1. Линейные решающие правила (ЛРП). Приведенная форма
системы A1.108) оценивается на основе генерируемых данных
классическим методом наименьших квадратов. Считается, что оценки
параметров равны истинным значениям параметров и математическое
ожидание A1.109) минимизируется с целью получения значений для
установки М и G.
2. Линейные решающие правила I и II (ЛРП-I и ЛРП-Н). Для
оценивания параметров структурных уравнений используется
2 МНК2. Если оценка коэффициента при AM в уравнении потребления
имеет «ошибочный» априори алгебраический знак, то
соответствующая переменная удаляется из уравнения3. Оценки коэффициентов
приведенной формы получаются из структурных коэффициентов
и считаются равными истинным значениям коэффициентов
приведенной формы. Описанная выше в A) процедура применяется затем для
получения установок МиС ЛРП-II является тем же, что и ЛРП-1,
но не выполняется «проверка на знак».
1 Значения, приписанные целям, выбирались из условия получения
правдоподобия результатов. Предполагается, что объем GNP в 1964 г. возрастает с
темпом 3,5% в год. При условии заданного темпа роста для Р в размере 1,5% в год,
Допускали, что У% увеличивается на 5% в год. Другие целевые значения
получены следующим образом: С? == 0,64У?, /о = 0,16*7, G$ =- 0,20F?.
2 Это не показано в тексте.
3 Так называемый априорный критерий «проверки на знак» часто
встречается на практике, и, видимо, им пользовался Г.Чоу при построении своей модели.
375
3. Адаптивные решающие правила (АРП). Система A1.108) имеет
вид A1.92) и управляющее решение АРП является приближенным
решением, предложенным Прескоттом. Начальная A953 г.)
априорная ФПВ для параметров является расплывчатой. Кроме того,
делается допущение, что дисперсии возмущений равны их
соответствующим выборочным оценкам. Эта аппроксимация в приложениях может
быть ослаблена.
4. Адаптивные решающие правила (АРП-0). В процедуре АРП-0
ЛПР устанавливает значения М и G в период ty используя доступную
в этот период информацию; но при этом априорные ФПВ в
последующие периоды времени не обновляются. АРП-0 есть то, что мы называли
подходом «последовательных обновлений».
5. Решающее правило с использованием совершенной информации
(РПСИ). Это правило принятия решений предполагает минимизацию
ожидаемых потерь при использовании функции потерь вида A1.109)
в условиях, когда ЛПР знает истинные значения параметров модели,
применяемой для генерирования данных. Конечно, на практике эти
значения неизвестны и должны быть оценены. Однако интересно
сравнить результирующие потери, связанные с решением, полученным при ;
этом условии, с потерями, связанными^ с применением решающего!
правила, исходящего из условия, что параметры неизвестны и
должны быть оценены.
В табл. 11.7 представлены потери, полученные экспериментально
при условии различных решающих правил и нескольких массивов
данных, генерированных указанным выше способом1. В заключение
Прескотт отмечает, что «процедура с применением адаптивного
решающего правила дает в каждом случае результаты, лучшие, чем при
ЛРП. Это ясно указывает на превосходство нашего метода в данном
примере» [99, с. 93]. Во многих случаях превосходство оказывается
значительным. Прескотт подчеркивает, что АРП дает лучшие
результаты для четырехлетнего планового периода, в то время как
АРП-0 дает несколько лучшие результаты для восьмилетнего
планового периода. При обсуждении этого различия он указывает, что
в случае АРП для большого горизонта планирования эта процедура
приводит к чрезмерной опоре на эксперимент2. Прескотт отметил
возможность использования подвижного горизонта в три или четыре
периода в связи с его процедурой получения приближенных решений.
Результаты табл. 11.7 показывают необходимость быть
чрезвычайно осторожным в определении «оптимальных» установок
управлений, в особенности когда выборочная информация не является
достаточно обширной. Кроме того, необходимо отметить, что
рассмотренные экономические модели и функции потерь, подобные представ-
3 Прескотт в [99] представляет дополнительные результаты, вообще говоря,
аналогичные результатам, представленным в табл. 11.7.
2 Прескотт сообщает [99, с. 69—70], что ^его приближенное «...решение
выбирало установку для текущего периода, исходя из того, что все обучение
зависит от наблюдений именно в этом периоде и что последовательного обновления
априорных ФПВ не происходит. Таким образом, АРП делает большой упор на
эксперимент, упор чрезмерный в случае большого планового горизонта».
376
Таблица 11.7
Потери, связанные с различными решающими правилами и массивами
генерированных данныха
Массивы данных
1.1
1.2
1.3
1.4
1.5
Средняя для
1.1 — 1.5
1.6
1.7
1.8
1.9
1.10
Средняя для
1.7-Т-1.10
РПСИ
4,1
4,0
6,0
2,8
5,9
4,6
Четырехлетний плановый горизонт
A965—1968)
адаптивные
решающие правила
АРП
5,2
6,0
4,3
5,6
10,0
6,2
АРП-0
5,2
6,0
6,6
5,9
10,0
6,7
4,2
4,4
3,9
6,0
6,0
5,0
линейные решающие правила
ЛРП-1
10,0
3,8
2,8
16,3
12,8
11,1
ЛРП-П
7,1
25,1
4,4
7,4
8,6
10,5
ЛРП
5,5
8,7
8,7
10,9
10,6
8,9
5,9
9,5
5,7
6,6
9,0
7,3
Восьмилетний плановый горизонт A965—1972)
2.1
2.2
2.3
2.4
2.5
Средняя для
2.14-2.5
2.6
2.7
2.8
2.9
2.10
Средняя для
2.6-2.10
8,4
8,0
9,7
11,1
7,6
9,0
а Взято из [99, с 64—65]. Там,
15,2
8,1
9,9
12,9
9,1
11,0
15,2
8,1
7,4
13,0
9,8
10,7
15,0
20,1
п,о
16,1
20,0
16,4
11,3
33,1
71,0
21,6
26,7
32,5
где входа не показаны, они не
14,7
65,1
32,0
13,9
18,1
28,7
18,0
20,9 *
16,4
19,3
21,1
19,1
рассчитывались.
377
ленным в A1.109), являются приближениями. Дальнейшие
исследования и эксперименты с приложением полученных результатов
представляются необходимыми для получения обоснованного вывода о
пригодности адаптивных методов управления в качестве
вспомогательного средства при разработке макроэкономической политики.
ПРИЛОЖЕНИЕ 1. УСЛОВНАЯ ПРОГНОЗНАЯ ФПВ ДЛЯ z2
ПРИ ИЗВЕСТНОМ z,
В этом приложении мы выведем условную прогнозную ФПВ для
z2 при заданном zx из совместной прогнозной ФПВ для этих переменных,
которая, как показано в A1.59), имеет форму ФПВ двумерного t-pa--
спределения Стьюдента в случае, когда мы применяем
расплывчатую априорную ФПВ для ($ и а:
Р (z/y) ~ [v + (z- W (J)' H(z-W p)]"(v+2)/2, A)
где все величины определены так же, как и в связи с A1.59).
Представим z — W[J в блочном виде следующим образом:
a H = [I +W(X'X)-! W']-Vs2 в виде
т. е. положительно-определенной симметрической матрицы
размерности 2x2.
Тогда квадратичная форма в A) может быть записана в виде
(z—W p)' H(z—WP) = ft22e! +2hlze1e2+h11e2l =
Подставляя полученный результат в A), получаем
р^у)-^^-^)] , D)
где еъ е2 определены в B) и hif обозначает (/, /) элемент матрицы Н~\
т. е.
Для получения более удобного выражения для D) отметим, что
378
Величина в квадратных скобках равна:
F)
оценке наименьших квадратов, рассчитанной на основе информации,
доступной в начале 7 + 2 периода. Это может быть показано
следующим образом1:
1 J
l + iCX'Xp1
что в точности равно величине в квадратных скобках во второй
строке E). Таким образом,
ея—^<?i = *2-wap2 (8)
и при заданном zt D) может быть представлено в виде
Получим более ясное выражение для величины /^(v + e\lh11),
входящей в (9). Из Н = [I + W (X'X^WTVs2 =
= [I — W (Х'Х + W'WO-WJ/s2 получаем, что при
М2 = Х'Х + i
Тогда
/ i - \ / 1 \
• (Ю)
Из vsa = (y — XP)' (y — Xp) и выражения для р2 во второй строке
G) можно непосредственно вывести, что
Записав левую часть A1), сумму квадратов остатков в начале периода
Т + 2 в виде v2s2 с v2 = v + 1, мы найдем, что выражение в A0)
становится равным l/v2sl A + W2M2 xw2) и условная ФПВ для z2
при заданном гг в (9) может быть выражена следующим образом2:
2 w2)
J
1 Выражение в скобках в первой строке G) равно (Х'Х+ xj)
2 Для того чтобы ФПВ была собственной, необходимо выполнение условия
> 0.
379
Эта ФПВ является одномерной ФПВ Стьюдента с v2 = v + 1
степенями свободы. Условное математическое ожидание г2 при заданном гх
есть W2J52, в то время как его дисперсия1 равна
l A + w$M2w2)/(v2 — 2), как утверждается выше в связи с A1.66).
ПРИЛОЖЕНИЕ 2. ВЫВОД ПРИБЛИЖЕННОГО МАТЕМАТИЧЕСКОГО
ОЖИДАНИЯ, ПРЕДСТАВЛЕННОГО В A1.72)
В A1.72) мы имеем подлежащее оцениванию математическое
ожидание М [si {I + a\l(s\ + p2M2p2)}], где s|, p2 и М2 определены в
A1.67)-~A1.69) и а2 — известное значение цели для периода Т + 2.
Для первого члена получим2
21 zx
j 1
J
где v-v + l,^2-vs2/(v-2), vs2-(y-XpV(y-Xp) и
Q1 = w;(X'X)-1w1.
Далее мы должны оценить М [aisl/Csl + РШгРг)^3* Используя
A1.69) и A1.70), последнее выражение можно переписать в виде
где ^ _
ег — Zx — wxp, a0 = So + fi'X'Xp2, si = vs2/(v — 1) и
Qi = w[(X/X)~1 wv К сожалению, не представляется возможным
оценить математическое ожидание в B) точно4. Поэтому мы
аппроксимируем его следующим выражением:
~7-' C)
1 Для существования математического ожидания и дисперсии необходимо
выполнение условий v > 1 и v > 2 соответственно.
2 При переходе от 2-й к 3-й строке в A) мы употребляем равенство (Х'Х +
i)-1 = (X/X)-1—(X/X)~iWlw][(X/X)-1/[l+w{(X/X)-1w1]. Следовательно,
'X + W!w{)-i wx - Qi—Q?/A + Qi) = Qi/A + Qx), где Q = Wl (X'X)-^.
3 Отметим, что знаменатель s| + ^2^2p2 c вероятностью, равной единице,
является положительным.
4 Эта задача подобна задаче нахождения ожиданий величины, обратной по
отношению к положительной константе плюс квадрат нормальной переменной,
которая обсуждалась М. Аоки. Последний утверждает, что эта задача не может
быть точно решена [6, с. 113 и далее].
380
Выражение C) получается, если заметить, что B) может быть
переписано в терминах ег/а0 и еУао> случайных переменных с конечными
математическими ожиданиями и дисперсиями, причем последние имеют
порядок О (Т~2), так как а0 = s§ + (J'X'Xfl имеет порядок О (Т).
Тогда аппроксимация математического ожидания в B) получается
заменой случайных переменных значениями их математических ожиданий1;
это ведет здесь практически к тому, что отбрасываются члены
порядка О (Т~3) и более высоких порядков малости.
Поскольку знаменатель C) равен 1 плюс член порядка О (Т),
разлагая его в ряд, получим2
V— 1 а0
D)
где члены порядка О (Т~2) оставлены в разложении, а члены более
высоких порядков малости отброшены.
Складывая A) и D), получаем окончательный результат:
где_при переходе от первой ко второй строке использовано
равенство So = (v — 2)/(v — 1) ~s2. Поскольку a0 = s2 + p/X'Xp и Qx =
= w{ (X'X)-1 wb можно увидеть, что E) тождественно выражению
A1.72).
ВОПРОСЫ И УПРАЖНЕНИЯ
1. Объясните, почему и как именно выражение для ожидаемых
потерь в A1.7) зависит от Sx/.
2. Рассмотрите функцию потерь в A1.3) : L (г, а) == (z — аJ.
Пусть z = w$ является математическим ожиданием прогнозной ФПВ
для z. Покажите, что М [(г — аJ] = const + (а — zJ + О (Т),
2
где О (Т'1) обозначает член порядка Т~\
3. При анализе однопериодной задачи управления в случае
простого регрессионного процесса A1-1) с функцией потерь вида A1.3)
мы применяем расплывчатую априорную ФПВ для параметров рис.
Используйте ту же самую функцию потерь и информативную
априорную ФПВ параметров ($ и а в виде ФПВ гамма-нормального
распределения, т. е. рх (Р | а)р2 (а), где рх ф | а) является нормальной ФПВ
с априорным математическим ожиданием р и априорной дисперсией
с2а2 и /?2 (су) ~ <r<v°+1> ехр (—VqSo/2 а2), где JJ, с, v0 и s0 прини-
1 См. в [71, с. 231 и далее] обсужден и е^этого типа аппроксимации
математического ожидания функции случайных переменных.
2 Разложение имеет вид A + я)-1 = 1 — дг-f-..., что требует выполнения
условия 0 -< |#| < 1.
381
мают приписанные им исследователем значения для отражения
априорной информации относительно р и а, и получите оптимальную
установку значения управляющей переменной w = Хт+i. Сравните
это значение w и связанные с ним ожидаемые потери с
соответствующими выражениями в A1.8) и A1.10), полученными при помощи
расплывчатой априорной ФПВ.
4. При каких условиях to в A1.8) будет настолько большим, что
оу* будет приближенно равняться a/f$?
5. Имеет ли смысл рассматривать величины s2 и to в правой части
A1.10) как случайные и ^оценивать математическое ожидание A1.10)
с применением ФПВ для s2 и ф
6. Обсудите, до какой степени функция потерь (z — 10J, где z
является номинальным годовым изменением агрегированного дохода
США и 10—целевым значением для г, может рассматриваться в
качестве удовлетворительной функции потерь, пригодной для
приложения при разработке экономической политики.
7. Если мы имеем функцию потерь L (г, а) в неспецифицированном
виде, где а есть заданная величина, a z имеет ФПВ, представленную
в A1.6), то объясните, как математическое ожидание L, т. е. М [L (z,
а)] при условии его существования, может быть аппроксимировано
с помощью разложения L (z, а) в ряд Тейлора в окрестности
математического ожидания z.
8. Используя разложение в ряд, как в задаче 7, получите
аппроксимацию М [(z — аJ] — М [L (z, а)], где L (г, а) является «истин-
z г
ной» функцией потерь, а — заданной константой и z имеет ФПВ,
приведенную в A1.7) основного текста главы. Вычислите члены ряда для
случая L (z, а) = (z — аL, указав порядок относительно 7\
остающихся в разложении для дальнейшего анализа, и отброшенных членов.
9. Предположим, что истинная функция потерь имеет вид
L (z, а) == (z — аJ, где а является целевым значением иг- Ут+\
имеет прогнозную ФПВ, приведенную в A1.6). Вместо истинной
функции потерь мы прлменим L (zlf а0) = (г — а0J, где а0 Ф а.
Сравните оптимальные значения w = хт+\ и ожидаемые потери, связанные
с L (г, а) и L (г, а0).
10. В задаче 9 исследуйте последствия решений, основанных на
L (г, а0), где а0 = A + ЬIа, сопоставив их с последствиями решений,
основанных на использовании L (г, а0), где а0 = A — ЬIа\ Ь является
заданной константой, удовлетворяющей условию 0 < Ь < 1.
11. В связи с функцией потерь, представленной в A1.5), исследуйте
последствия использования функции потерь, искажающей издержки
изменений установки управления, т. е.
L = (z — аJ + с0 (w — хтJУ где с0 ф с,
12. Допустим, что модель в A1.1) имеет свободный член, т. е.
Ух = Ро + Ьхг + Щ' При наличии расплывчатой априорной ФПВ
параметров выведите прогнозную ФПВ для z = ут+\ и воспользуйтесь
ею затем для получения математического ожидания функции потерь в
382
A1.15). Исследуйте три его составляющие компоненты. Далее,
аналогично результату, представленному в A1.7), покажите, что значение
w = хт+\, минимизирующее ожидаемые потери, может быть
выражено в виде средней взвешенной значений до, минимизирующих
индивидуально каждую из трех составляющих компонент ожидаемых
потерь.
13. В задаче максимизации прибыли, проанализированной в A1.18)
и далее, в качестве управления была выбрана цена. Проанализируйте
задачу при условии, что управлением является объем выпуска
продукции и что уравнение спроса имеет вид рг = у0 + Yi<7* + 8*> гДе То и Yi
являются параметрами с неизвестными значениями, ае{ — случайным
возмущением. При необходимости используйте дополнительные
допущения, а в качестве функции издержек — A1.20).
14. Сделайте в задаче 13 допущение, что с изменением выпуска q
связаны некоторые издержки и что эти издержки могут быть
аппроксимированы квадратичной функцией издержек. Как модифицируется
решение задачи 13 при введении в рассмотрение издержек
изменения #?
15. Рассмотрите модель A1.38) при условии, что некоторые из
переменных, не являющихся управляющими, имеют стохастический
характер (например, одна из них может быть мерой выпадающего
количества осадков). Объясните, как это дополнительное условие повлияет
на задачу определения значения щ в A1.39), минимизирующего
математическое ожидание функции потерь в A1.40). Сформулируйте
допущения относительно стохастических переменных, не являющихся
управлениями, которые позволяют определить оптимальное
значение дох.
16. Выражение в A1.73) обеспечивает базу для сравнения решений
типа «последовательного обновления» и типа «здесь и сейчас». Каков
порядок относительно Т последнего члена в правой части A1.73),
который является приближенным снижением потерь в результате
применения последовательно обновленного решения вместо решения типа
«здесь и сейчас»?
17. Сделайте критический обзор экономических соображений,
легших в основу функции потерь, приведенной в A1.109), и экономических
последствий ее использования.
Глава 12 ©ЗАКЛЮЧЕНИЕ
В предшествующих главах байесовский подход был применен для
анализа широкого круга моделей и задач. В этой главе полезно
подытожить основные характерные черты байесовского подхода к экожь
метрическому выводу.
1. Как отмечают Джеффрис и ряд других специалистов,
байесовский подход к получению выводов в значительной мере дополняет
арсенал средств исследовательской деятельности. Очень часто
исследователь озабочен тем, как информация, содержащаяся в
данных, видоизменяет его предположения относительно эмпирических
явлений. В байесовском подходе к получению выводов исследователь
имеет операциональные методы для определения влияния
информации, содержащейся в данных, на изменение его предположений, т. е.
исходные предположения, представленные априорными вероятностями,
объединяются с помощью теоремы Байеса с информацией,
содержащейся в данных, включенных в функцию правдоподобия, для получения
апостериорных вероятностей, относящихся к параметрам или
гипотезам. Существенно, что байесовская процедура изменения исходных
предположений является важным видом обучающейся модели,
способствующей достижению основной цели развития науки — обучению
на основе эксперимента.
2. Что касается проблемы оценивания, то теорема Байеса может
быть применена для анализа всех видов моделей и получения точных
конечно-выборочных апостериорных ФПВ для параметров в случае
выборок конечного объема. Тот факт, что один простой принцип имеет
такую широкую применимость, представляется весьма
привлекательным, так как это устраняет необходимость использования
частных, иногда искусственных и эклектических приемов и процедур,
часто являющихся обязательными в других системах вывода для
получения разумных результатов. Далее, в области точечного
оценивания, байесовский подход (выбор точечной оценки из условия
минимизации ожидаемых потерь) является общим операциональным
подходом, соответствующим гипотезе ожидаемой полезности.
Теоретическая привлекательность, общность и практические аспекты этого
решения задачи точечного оценивания заметно контрастируют с
разными частными приемами получения точечных оценок подхода с
позиций теории выборочных исследований, часть из которых имеет
обоснование только для случая больших выборок. Байесовские оценки
являются допустимыми, состоятельными и минимизирующими сред-
384
ний риск, если он имеет место, и эти дополнительные свойства весьма
привлекательны с точки зрения практического применения,
3. Байесовские методы анализа задач прогнозирования -являются
простыми операциональными и вообще удобными для практического
приложения. Для модели любого вида можно вывести прогнозную
ФПВ для будущих наблюдений. Эта ФПВ позволяет нам делать
вероятностные утверждения относительно будущих наблюдений. При
заданной функции потерь, включающей ошибки прогнозирования,
. возможно" получение точечного прогноза, минимизирующего
ожидаемые потери.
4. Что же касается задач управления и принятия решений мы
убедились, что байесовский подход дает решение, учитывающее
неопределенность относительно параметров и будущих значений
случайных переменных. Тот факт, что для преодоления возникающих
здесь затруднений используются основные принципы байесовского
подхода, служит дальнейшим подтверждением этих принципов.
5. В байесовском подходе априорная информация относительно
параметров или моделей может быть легко формально включена в
анализ оценок, а также в задачи прогноза, управления и проверки
гипотез. Эта гибкость противостоит известным методам подхода с
позиций теории выборочных исследований. Как видно из анализа
ошибок в переменных и моделей, состоящих из систем одновременных
уравнений, априорная информация необходима для обеспечения
идентифицируемости структурных параметров. Сторонники подхода
теории выборочных исследований обычно учитывают эту информацию
в форме точных ограничений. В байесовском подходе для этого может
быть использована менее ограничительная априорная информация,
вводимая с помощью выбора подходящей априорной ФПВ1.
6. Проблема мешающих параметров решается при использовании
байесовского подхода прямолинейно и четко. Параметры, не
представляющие интереса в' проводимом анализе, так называемые
мешающие параметры, могут быть исключены интегрированием из
апостериорной ФПВ, в результате чего получается маргинальная ФПВ
для параметров, представляющих интерес. В подходе с позиций
теории выборочных исследований часто встречается случай, когда
«оптимальные» оцениватели или критериальные статистики зависят от
мешающих параметров, значения которых неизвестны; например,
эффективные линейные оцениватели зависят от элементов
ковариационной матрицы возмущений. В ряде случаев вместо этих
неизвестных параметров подставляются их выборочные оценки. Однако эта
процедура представляет собой всего лишь аппроксимацию и
обосновывается обычно с позиций теории больших выборок. То
обстоятельство, что байесовский подход обеспечивает исключение мешающих
параметров интегрированием, дает возможность осуществлять в его
рамках конечно-выборочный анализ без опоры на теорию больших
выборок.
1 Эта дочка зрения подчеркивается Ж. Дрезом.
13 зак. 1954 385
7. Байесовский подход удобен для анализа последствий
невыполнения специфицированных исследователем допущений.
Иначе говоря, условные апостериорные ФПВ позволяют
исследователю определить чувствительность получаемых выводов
относительно некоторого частного подмножества параметров в зависимости от
допущений, сделанных для других параметров модели. В 4-й главе
эта процедура была применена к анализу регрессионной модели
с автокоррелированными ошибками, т. е. рассматривалось отклонение
от сделанного допущения о независимости ошибок. В 9-й главе тот же
самый подход послужил для определения влияния ослабления
допущений о внутрисистемное™ инвестиционной переменной на выводы
относительно предельной склонности к потреблению.
8. В байесовском подходе выводы относительно параметров и
другие могут быть сделаны на основе доступной нам априорной и
выборочной информации. Нет необходимости обосновывать процедуры
получения выводов в терминах поведения повторных, еще не
наблюденных "выборок, как это обычно делается при использовании подхода
теории выборочных исследований. Это не означает, однако, что
свойства процедур, обоснованных с помощью принципа повторяющихся
выборок, не представляют интереса. На самом деле байесовские
оценки имеют желаемые выборочные свойства в том смысле, что они
являются допустимыми и минимизирующими средний риск в случае,
если он существует. Однако в рассматриваемом анализе текущая
доступная информация служит для получения выводов в байесовском
подходе, и нет необходимости принимать во внимание соображения,
относящиеся к повторяющимся выборкам.
9. Наконец, в области сравнения и проверки гипотез
байесовский подход отличается от подхода теории выборочных исследований
тем, что он связывает с гипотезами вероятности и обеспечивает
простые операциональные методы для их исчисления. Эти апостериорные
вероятности включают суммарную и выборочную информацию и
представляют собой меру уверенности в гипотезах. Как видно из
главы 10, такие вероятности являются полезными и для сравнения
моделей из разных классов (non-nested models). Далее, если
имеются явные потери, связанные с действиями, такими, как принятие
или отклонение, и возможными состояниями объекта, то можно
организовать процедуру проверки гипотез, минимизирующую
ожидаемые потери.
Из того, что было сказано выше в этой главе, и из материала,
представленного в предшествующих главах, можно убедиться, что
байесовский подход к проблеме вывода является унифицированным и дает
неплохие результаты в достаточно широком круге проблем и моделей
как в случае малых, так и в случае больших выборок. Напрашивается
заключение, что с помощью байесовских методов может стать
доступным более плодотворный и содержательный эконометрический анализ
широкого круга проблем. Отсюда не следует, что" все проблемы,
связанные с байесовским/подходом, уже решены. В предыдущих главах
было отмечено несколько технических проблем, связанных с анализом
апостериорных ФПВ, которые еще ждут своего решения. Требуется
386
также проведение большой работы в области формулирования
лучшего понимания и использования широкого круга априорных ФПВ
для представления априорной информации, в частности, в
многопараметрических задачах. Технические аспекты развития и интерпретации
процедур расчета апостериорных шансов для широкого круга моделей
должны быть рассмотрены дополнительно. Весьма желательны
исследования, направленные на получение дополнительных
экспериментальных результатов, связанных с задачами адаптивного
управления. Эти задачи, среди прочих, заслуживают внимания. Автор
надеется, что представленная работа послужит в качестве отправной
точки для исследования этих и других проблем и будет способствовать
применению байесовского подхода в большей мере, чем это имеет
место, в настоящее время.
13*
ПРИЛОЖЕНИЕ А. СВОЙСТВА НЕКОТОРЫХ ВАЖНЫХ
ОДНОМЕРНЫХ ФПВ
Здесь мы получим свойства нескольких важных одномерных ФПВ
которые использовались в различных частях книги.
АЛ. ОДНОМЕРНАЯ НОРМАЛЬНАЯ (ОН) ФПВ
Случайная переменная 1с является нормально распределенной
тогда и только тогда, когда ее ФПВ имеет следующий вид:
р(Х\ 0, а) = —-L- ехр \—4т (x~QJl — °° <х< °°- (АЛ>
]/2я a L 2а2 J
Эта ФПВ имеет два параметра: параметр прложения 0, —оо <
< Э < оо и параметр масштаба а, 0< а< оо. Она имеет также
единственную моду в точке х = 8 и является симметричной
относительно этой точки. Таким образом, 0 является медианой и математическим
ожиданием ОН ФПВ1. При условии симметрии относительно точки
х = 0 моменты нечетного порядка относительно 0 все равны нулю,
т. е.
[г2г_1« М (х- 0Jг-! = J (x-ef~l p (x\Q, о) dx = О, (А.2)
г= 1, 2, 3, ...;
например, \ix = 0 или Мх = 0.
Моменты четного порядка относительно математического
ожидания равны:
x-QJr= ^(x-QJr p(x\Q,o)dx =
—оо
^ + l\r =1,2,3, ..., (А.З)
где rfr + ~j обозначает гамма-функцию с аргументом г + V2.
•Определение этой хорошо известной и важной функции см. в (А.6),
1 Тот факт, что х = 6 является модой ОН ФПВ, легко можно увидеть из
оо
(АЛ). Ввиду того что ФПВ (АЛ) является нормированной (т. е. J р (х \ 0, а)= 1)
—оо
и симметричной относительно» единственного модального значения х = 6, х = 0
является также медианой.
388
Далее мы замечаем, что, вводя переменную z = (х — 0)Лт, мы можем
представить (АЛ) в так называемой стандартизованной нормальной
форме1:
р (z) = 1_ е-*г1\ — оо < z < оо. (А.4)
V
Моменты этой ФПВ легко получаются из выражений для моментов,
приведенных в (А.2) и (А.З).
Доказательства свойств ОН ФПВ, Во-первых, мы установили,
что (АЛ) является нормированной ФПВ, т. е. что j р (х\ 0, о) dx = 1.
—00
Заметим, что р (х\ 9, а) > 0 при всех х, таких, что —оо < х < оо.
Сделаем замену переменной z = (х — 9)/(т для получения (А.4) и от-
-J-OO 00
метим, что J р (л: | 0, cr) dx = J p (z)dz. Далее, вводя в рассмотрение
и = zV2 и замечая, что 0 < и < оо и du = zdz или dz =
получим2
-f 00 ОО
-4= Г в-«'/2 dz = —}= Г urxi*er»du. (A.5)
—оо О
Интеграл в правой части (А.5) является гамма-функцией с
аргументом 1/2. Таким образом, гамма-функция, обозначаемая через Г (q)y
и определяется как
оо
Г (q) = f и*-1 e~»du9Q<q<oo9 (A.6)
03
и, следовательно, правая часть (А.5) равна (l/yr2n)T(i/2). Из
математического анализа известно, что Г A/2) = "J/ji и правая часть (А.5)
действительно равна единице.
Во-вторых, мы покажем, что моменты нечетного порядка величины
х — 9 все равны нулю, как пока просто утверждается в (А.2).
Последнее равносильно доказательству того, что М (z2r-1) = 0, г = 1,2,...,
так как г = (х — 0)/<т. Получаем
М (?2Г~1) = j z2^-1 p (z) dz f Jz2'-1 p (z) dz.
—оо О
1 Отметим, что из z = (x — 6)/a следует dz=dx/a и, таким образом; мно*
житель I/a в (АЛ) не появится в (А.4),
1 +°°
2 Вспомним, что при замене переменной и = —z2 получим J p (z) dz =
2 —оо
оо .
= 2 j p (и) duly2iii причем множитель 2 появляется вследствие учета площади
о
под кривой р (г) для положительных и отрицательных значений г,
13В Зак. 1954 389
Поскольку z2r-1 при —oo <z<0 является отрицательным и
р (—z) = р (г), как это следует из симметричности формы (А.4),
то первый интеграл в правой части равен по абсолютной величине
второму и имеет обратный знак. Таким образом, их сумма равна нулю,
что и нужно было показать.
В-третьих, мы получим выражение для четных моментов,
приведенных в (А.З). Вначале мы получим моменты четного порядка при
ФПВ р (г), приведенной в (А.4), а затем, используя полученный
результат, получим четные моменты для случая ФПВ, приведенной в
(АЛ). Пусть и = V2z2. Тогда
00
I
: — Г (г + 1/2), г =1,2,..., (А.7)
где Г (г + V2) является гамма-функцией, определенной в (А.6), с
аргументом q — г + V2. Ввиду того что z = (х — ц)/ст, моменты
четного порядка, обозначенные через (г2г в (А.З), в точности равны а2г,
умноженному на выражение в (А.7). Следовательно, результат,
приведенный в (А.З), можно считать доказанным.
Для удобства мы приведем явные выражения для второго и
четвертого моментов (А.ЗI:
(А.9)
Явные выражения для четных моментов более высоких порядков
могут быть получены аналогичным способом.
Что касается мер, отличных от моментов и характеризующих
свойства одномерных ФПВ, то мы рассмотрим меры скошенности и
островершинности. Меры скошенности, т. е. отклонения от симметрии,
включают меру К. Пирсона, приведенную в (АЛО), и две другие меры:
с, Математическое ожидание—мода ,д 1Пч
Рх = -Й (А.11)
1 Используются следующие два свойства гамма-функции: а) Г (q-\- 1) =
¦s ?Г (q) для q > 0 и б) Г A/2) = "\/7гщ В (А.9) первое свойство — дважды.
390
Разумеется, что для симметричной ОН ФПВ все эти меры имеют
нулевое значение. Что касается островершинности, то часто
употребляется мера, называемая «эксцессом»;
?2 = Р2-3, (А. 13)
где р2 == fA4/nf- Мера у2 принимает нулевое значение для ОН ФПВ.
При у2 = О ФПВ называют мезокуртической, при у2 > О ФПВ
называют лентокуртической, а при у2 < О ФПВ называется платокур-
тической. Как уже отмечалось, «... принято думать, что лентокурти-
ческая кривая является более островершинной, чем кривая нормального
распределения. Это, однако, необязательно: хотя эти понятия и
являются полезными, лучше их рассматривать не как описывающие
форму кривой плотности распределения, а как определения,
приписывающие определенный знак у2»г.
А.2. ФПВ ОДНОМЕРНОГО /-РАСПРЕДЕЛЕНИЯ СТЬЮДЕНТА (О /-ФПВ С)
Случайная переменная 1с имеет одномерное ^-распределение Стью-
дента, если и только если она имеет следующую ФПВ:
— ОО<Я<ОО,
где —•© <6<оо, 0</i<oo, 0<v и где Г есть знакомая гамма-
функция. Эта ФПВ имеет три параметра: 0, h и v. Из рассмотрения
(А. 14) видно, что О /-ФПВ С имеет единственную моду в точке х = 9
и является симметричной относительно этой моды, х = 8. Таким
образом, х = 0 является к тому же и медианой и математическим
ожиданием (которое существует при v> 1, см. ниже) О /-ФПВ С.
Следующие выражения дают нечетные и четные моменты относительно
математического ожидания:
9 к )^o) \ ;
jv>2r—1
(А.15)
[{x-QJr] = J (x-Qf p(x\Q, К v)dx =
ГA/2)Г(у/2) [ h j) V>2r.
Как показано ниже, для существования B г — 1)-го момента
относительно. 0 должно выполняться v > 2 г — 1. Аналогично для су-
1 [71, с. 86]. Для многих распределений, встречающихся на практике,
положительное значение у2 не означает наличие более острого пика с более
толстыми хвостами по сравнению с нормальным распределением.
13В* 391
щеетвования 2 r-ro момента относительно 8, v должно удовлетворять
условию v > 2 л Поскольку О /-ФПВ С симметрична относительно
х = 0, все существующие моменты нечетного порядка,
представленные (А. 15), равны нулю. В частности, М G— 6) = 0, так что
Мх = 9 (последнее существует при v > II. Что касается моментов
четного порядка, представленных (А. 16), то моменты второго и
четвертого порядков равны2:
[(^)а]Ц^-ДЛЯ v>2 (A.17)
V — z
(l)V. (A,8)
При условии, что v > 2, дисперсия \i2 существует и очевидно, что
она зависит от v и А. Если v > 4, то момент четвертого порядка
существует и, как и jx2, зависит от v и А.
Ввиду того что О /-ФПВ С является симметричной относительно
х = 0, мера скошенности, обсужденная в связи с ОН ФПВ, равна
нулю, разумеется, при условии, что моменты, от которых она зависит,
существуют. Что касается островершинности, то из (А. 17) и (А. 18)
следует, что
¦* |x» \v-A ) v-4
Таким образом, для конечных v, О /-ФПВ С соответствует кривая
с положительным эксцессом (у2 > 0), вероятно, потому, что она имеет
более толстые хвосты, чем ОН ФПВ с математическим ожиданием 0
и дисперсией 1/А. С возрастанием v форма кривой О /-ФПВ С
приближается3 к форме кривой ОН ФПВ с математическим ожиданием 0
и дисперсией ц2 = 1/Л.
Мы можем получить стандартизованную форму О^-ФПВ С из
(А. 14), выполнив следующее преобразование переменной:
—0), — oo<*<oo. (A.20)
С помощью (А.20) мы получаем
)
; Vv ГA/2)Г|г/2)
При v > 0 это выражение соответствует собственной нормированной
стандартизованной О /-ФПВ С. Эта ФПВ имеет единственную моду
в точке t = 0 и является симметричной относительно этой точки.
Используя (А.20), можно получить моменты Гиз соответствующих
моментов для х — 0, если они существуют.
1 При v = 1 О /-ФПВ С тождественна ФПВ распределения Коши, для
которого моменты первого и более высоких порядков не существуют.
2 Для получения этих результатов используется свойство Г (q ~\- 1) = qT (q),
> 0 — фундаментальное свойство гамма-функции.
3 При значениях v около 30 эти две ФПВ являются почти одинаковыми;
(А. 17) и (А. 18) показывают в явном виде, как \i2 и ^4 О /-ФПВ С связаны с
соответствующими моментами предельной ОН ФПВ, т. е. \i2 = l/h и |Lt4 = 3/Л2.
Доказательство свойств О /-ФПВ
Для обоснования свойств О /-ФПВ нам будут необходимы
следующие результаты из математического анализа:
1. Если / (v) является непрерывной при а <! v < оо и lim vrf (v) =
= Л, где А является конечной константой для г > 1, то
J I / (v) I dv < сх, т. е. интеграл абсолютно сходится1.
о
2. Если q (v) является непрерывной при —со < v ^ Ь и
lim(—z;)rg (у) = с, где с — константа при г > 1, то
ъ
\ \g(v)\dv<oo.
3. Соотношение, связывающее бета-функцию, обозначенную
через В (иу v) и гамма-функцию, имеет вид2:
B{tttV)= Г(«0Г(О) y0<UiV<OO9 (А.22)
V } T(u+v)
где
1
В (и, v) = jj хи~х A —ху-х dx,0<u,v< оо, (A.23)
о
Имея в виду эти результаты, покажем, во-первых, что О /-ФПВ в
(А.21) при v > 0 является собственной нормированной ФПВ3.
Отметим, что p(t\v) > 0 при —оо < t < оо. Обозначив t' = t/Vv,
можно переписать (А.21) в виде
p(/'|v)=[B (—, —)]" A +//8)-<v+1>/2j _oo<f'<oo, (A.24)
где
(как это следует из (А.22). Сделав замену переменной
z = 1/A + t'% 0 < г < 1, получим4
. (A.25)
оо оо
1 Отметим, что из \ \ f (v) \ dv < оо следует J / (v) dv < оо, т. е. абсолютная
а а
сходимость интеграла предполагает простую сходимость. См.> например, [143,
с. 271]. См. также доказательство A) и B) там же, с. 273 и последующие страницы,
2 Уравнение (А.22) предполагает, что В (и, v) = В (и, и).
3 Так как (А.21) получено из (А. 14) с помощью замены переменной (А.20),
то, показав, что (А.21) является нормированной ФПВ, мы тем утверждаем; что
(А. 14) также обладает этим свойством.
4 Из г = 1/A + У2) следует | dz/df \ = 2/7A + Г2J и //2 = A — z)/z.
Таким образом, \dV\dz\ = г3/2/A - z)~l/2/2.
393
-f-oo 1
Замечая, что jp (*'lv) dt9 ~2\p(z\v)dz> получаем
+op 1
J p {f\v)df «= IB (V2, v/2)]-1 J #f*-l(l—z)-l'4lz = 1, (A.26)
—оо О
так как интеграл в правой части (А.26) в точности равен В A/2, v/2)
при условии, что v > 0. Последнее условие необходимо для еправед-
+ ОО
ливости )p{t'\v)dt' < оо (см. A) и B)).
— оо
Результаты, касающиеся моментов нечетного порядка в (А. 15),
могут быть легко получены из рассмотрения
+00
_оо</'<оо, (А.27)
где /' = t/Vv = YWv (x — 6). Для сходимости интеграла в (А.27)
необходимо выполнение условия 2г — 1 < v, что следует из
применения свойств A) и B). Таким образом, если 2 г — 1 < v, то
моменты порядка B г — 1) существуют и равны нулю вследствие
симметрии р (f | v) относительно t1 = 0.
Выражение для моментов четного порядка в (А. 16) легко может
быть получено путем вычисления интеграла
J t2r p{t'\v)dt\ — оо<*«<оо (А.28)
s*0O
с /' = ]/7i/v (# — 0). Для сходимости интеграла (А.28) необходимо
выполнение условия v>2 r, Если это условие выполнено, то мы
используем преобразование z = 1/A + t'2) или t'2 = A — z) I z
(см. (А.24)). Таким образом, получаем
+оо ^
j '*r
Д(у/2-г,г+1/2)
(А.29)
Б A/2, v/2) Г A/2) Г (v/2)
Получаем моменты второго порядка p(/'|v). Учитывая, что
X — 0 = У\Ш\ выводим четные моменты р (х\ 0, h, v):
совпадающие с (А. 16).
394
Г (r+1/2) rf——г
А.З. ФПВ ГАММА- И ^-РАСПРЕДЕЛЕНИЙ (ГАММА-ФПВ И у?-ФпЪ)
Как это следует из названия, гамма-ФПВ тесно связана с гамма-
функцией. Случайная переменная 1с имеет гамма-распределение, если
и только если ее ФПВ имеет вид
где а и у являются строго положительными параметрами; т. е. а,
у >• 0. Из (А.ЗО) видно, что у является параметром масштаба.
Если а ^ 1, то ФПВ имеет единственную моду1 в точке х = у (а — 1).
Для малых значений параметра а ФПВ имеет длинный правый хвост.
С возрастанием а для любого данного значения параметра у ФПВ
становится более симметричной и приближается к нормальной ФПВ.
ФПВ гамма-распределения может быть представлена в
стандартизованной форме с помощью замены переменной z = х/у. В результате
получим следующий результат:
p(z\a) = —J— z*-1^-2, 0<z<oo. (A.31)
Г (а)
Из определения гамма-функции очевидно, что (А.31) является
собственной нормированной ФПВ и что моменты всех порядков
существуют. Моменты относительно нуля, обозначаемые через (л/, равны:
г=1#2,.„ (А.32)
Из (А.32) для первых четырех моментов получим2
Pi = «; \i'2 К(Ч+ «)>; [л, = B + а) A + а) а; (А.ЗЗ)
К = C + а) B + а) A + а) а.]
Отсюда видно, что а является математическим ожиданием гамма-
ФПВ и (это несколько удивительно) также ее дисперсией3. Далее,
для третьего и четвертого моментов относительно математического
ожидания получим ц,з = 2 а и [х4 = 3 а B + а). Объединяя
полученные результаты, имеем
\ь[ = a, fia = а, (хз = 2 а и ^ = 3 аB + а). (А.34)
При условии, что 0<а<оо, скошенность всегда является
положительной величиной. Поскольку мода находится в точке z = а — 1
при а ^ 1, мера скошенности Пирсона равна S^ = мат* ож* ~ м°Да =
1 При 0 < а < 1 гамма-ФПВ не имеет моды.
2 При получении выражений для моментов ниже мы неоднократно
используем равенство Г A + д) = qT (q).
3 Дисперсия \iz в общем связана с моментами относительно нуля с помощью
следующего соотношения: \i2 = \х^ — р,(а. Для гамма-ФПВ fxa = A + а) а—
— «2 = а
395
= -Т/=-- Ясно, что с возрастанием а эта мера скошенности стремится
к нулю. Что касается эксцессов у2 = \*>J\i>\ — 3=6/а, то они также
стремятся к нулю с возрастанием а. Тот факт, что sk ->¦ 0, у2 -> О
при а->оо, связан, конечно, с приближением гамма-ФПВ к
нормальной ФПВ распределения при а ->- оо1.
%2-ФПВ является частным случаем гамма-ФПВ (А.30) для
случая а == v/2 и у = 2. Таким образом, %2-ФПВ имеет следующую
форму2:
P(x\v) = xV/v2,7lr*/2 > 0<^<оо, (А.35)
2V'2 Г(v/2)
где v > 0. Параметр v обычно называют «числом степеней свободы».
Ввиду того что (А.35) является частным случаем (А.30),
стандартизованная форма получается из (А.31) заменой а на v/2. Аналогично
моменты стандартизованной формы получаются непосредственно из
(А.ЗЗ) и (А.34) заменой а на v/2. Так как стандартизованная
переменная z связана с х соотношением z = х/у = х12> моменты нестандар-
тизованной х2-ФПВ (А.35) могут быть легко получены из моментов
стандартизованной %2-ФПВ. Для удобства читателя приведем
моменты, связанные с (А.35K:
р'г = 0, fi2 = 2v, \хг = 8v, fx4 = 24v B + v/2). (A.36)
Очень важное свойство %2-ФПВ формулируется следующим
образом. Пусть И = z\ +lz + ... +!& есть сумма квадратов независимых
стандартизованных нормальных случайных переменных. Тогда 7 имеет
ФПВ в форме (А.35) с v = п числом степеней свободы4.
А.4. ФПВ ОБРАТНОГО ГАММА-РАСПРЕДЕЛЕНИЯ (О ГАММА-ФПВ)
ФПВ обратного гамма-распределения получается из ФПВ в
(А.30) заменой у на положительный корень квадратный из 1/х. Таким
образом, у = \У~1/х | и, следовательно, у2 = 1/х. После этого
преобразования мы приходим к О гамма-ФПВ, имеющей вид5:
где у, а >> 0. Поскольку эта ФПВ часто встречается в связи с
априорными и апостериорными ФПВ для стандартного среднего квадратич-
1 Моменты и другие характеристики нестандартизованной гамма-ФПВ (А.30)
легко получаются из аналогичных моментов для стандартизованной гамма-ФПВ
(А.31) с помощью замены г = х/у.
2 (А.35) часто записывается с помощью х = у?.
3 Эти моменты получены из (А.34) при a = v/2, г = х/2, где х есть %2
переменная в (А.35), г — стандартизованная переменная в (А.31) и а является
параметром в (А.31).
4 Доказательство этого результата см. в [71, с. 246—247].
5 Ввиду того что (А.37а) получается из собственной нормированной ФПВ
с помощью простого взаимооднозначного дифференцируемого преобразования
переменной, это выражение представляет собой собственную нормированную ФПВ.
396
ного отклонения, то мы перепишем (А.37а), введя обозначения
о = у, а = v/2, у = 2/vs2. Получим
где v, s > 0. ФПВ в (А.37в) имеет единственную моду в точке а =
\ где
• * » п
(А.38)
Ясно, что при v ->- оо, amod -»¦ s.
Моменты (А.37в), если они существуют, получаются вычислением
следующего интеграла:
^ o, (A.39)
о
где
__ 2 / vs2 \v/2
( )
r(v/2) ( 2
Вводя обозначение у = vs2/2a2, получаем (А.39) в виде
Интеграл в (А.40) является гамма-функцией. Для его сходимости
необходимо выполнение условия
V — r>0, (A.41)
которое совпадает с условием существования момента порядка г.
Подставляя значение с в (А.40), получаем
, , v>r, (A.42)
Г (v/2) V 2 у ' v
удобное выражение для моментов относительно нуля. Первые
четыре момента равны: г:
1*5 —
1 Этот результат легко получается с помощью логарифмирования (А.37в)
и нахождения значения о, максимизирующего р (a | v, s).
397
Из (А.43) видно, что математическое ожидание \i[ тесно связано с s.
С возрастанием v, [x[ ->- s,1 которое является приближенным
значением моды для больших v (см. выше).
Что касается моментов относительно математического ожидания2,
то мы имеем
fx2 = li2-[ii2 = ^—(ii2, v>2, (A.47)
|*а = Из—3jii>8—|ii8f v>3, (A.48)
N = ^4—4^i>3—6|iia|As — \i[\ v>4. (A.49)
Эти формулы полезны, если нам нужно вычислить моменты
высших порядков обратной гамма-ФПВ.
Мера скошенности Пирсона для обратной гамма-ФПВ задается
следующим выражением:
sk== мат. ож^мода ГГГ(у-1)/2] / у \1/2 / у у/21 s 2
- Vfi2 L r(v/2) \2 ) U+l/ JVS f
(А.50)
Так как мера обычно "положительна, обратная гамма-ФПВ имеет
положительную асимметрию. Ясно, что с возрастанием v имеет место
Sk -*¦ 0. При умеренных значениях v у обратной гамма-ФПВ
довольно длинный правый хвост3.
А.5. ФПВ БЕТА-РАСПРЕДЕЛЕНИЯ (БЕТА-ФПВ)
Говорят, что случайная переменная х имеет бета-распределение,
если и только если ее ФПВ имеет следующий вид:
где а, Ь> О 0 и В (а, Ь) обозначают бета-функцию, определенную
в (А.23), с аргументами а и Ь. Видно, что областью значения В
является [0, с].
Произведя замену переменной z = х/с, можно получить
стандартизованную бета-ФПВ:
^ f (A.52)
область определения которой есть [0, П. Некоторые свойства (А.52)
будут рассмотрены ниже. То, что (А.52) является собственной
нормализованной ФПВ, может быть легко доказано, если заметить, что ФПВ
1
неотрицательна при всех 0 ^г ^ 1 и что В (а, Ь) = J га~х A—г)ь~Чг
сходится для всех а, Ь>0. Если а>2, то кривая (А.52) касается оси
1 В математическом анализе доказывается, что если 0<g<oonq—»co,
то qb-aT (#+ аIГ (q-{- b) -» 1 для конечных а и Ь.
2 См. в [71, с. 56] формулы, связывающие моменты относительно нуля с
моментами относительно математического ожидания.
3 Поскольку довольно просто из ФПВ для а получить ФПВ для ап, п = 2,
3, ... и установить ее свойства, то мы не будем приводить здесь эти результаты.
398
абсцисс в точке г==0, и если Ь> 2, то кривая касается оси при 2=1.
При а, & > I1 мода равна:
52' (А-53)
Первый и высший моменты относительно нуля стандартизованной
бета-ФПВ в (А.52) имеют вид
1
В (a, b) J В (а, Ь)
о
_ Г(г+д) Т(а+Ь) _
Т(г+а+Ь) Г (а)
L-, г = 1,2,..., (А.54)
где при выводе используются (А.22) и рекуррентное соотношение для
гамма-функции Г (q + 1) == ^Г (G). Таким образом, из (А.54) видно,
что первые три момента задаются выражениями
I&1 =—2— , (А.55)
= a @+1) (fl
и так далее. Очевидно, что математическое ожидание и высшие
моменты зависят просто от параметров а и Ь. Далее, дисперсия задается
следующим выражением:
^2 = ± . (А.58)
Что касается скошенности, то мера Пирсона при а, Ь > 1 равна:
sk = аЦа+Ь)-(а-\)/(а+Ь-2) = F-a)/
Таким образом,, если b = af Sk = 0 и ФПВ является симметричной.
Если Ь> а, то имеет м^сто положительная скошенность, в то время
как при Ь < а имеет место отрицательная скошенность2.
Рассмотрим полезный и важный результат, связывающий
стандартизованные гамма-ФПВ и бета-ФПВ. Пусть гл и z2 есть две
независимые случайные переменные, каждая из которых имеет
стандартизованную гамма-ФПВ с параметрами аг и а2 соответственно
(см. (А.31)). Также случайная переменная Г=?1/(г1 + ^) имеет
1 Для 0 < а < 1, Ь < 1 ФПВ стремится к оо при г -* 0 или z -> 1.
2 Так как переменная в нестандартизованной ФПВ (А.51) связана с
переменной стандартизованной ФПВ (А.52) соотношением х = сг, моменты и другие
характеристики, связанные с (А.51), могут быть легко получены.
" 399
стандартизованную бета-ФПВ с параметрами at и а2; иными
словами, ФПВ1 для ? = ?1/(i1 + 72) есть za*-1 A — z)a^~ml/B(a1a2). Этот
результат часто находит . применение в случае, когда гх и z2
являются независимыми суммами квадратов независимых
стандартизованных нормальных случайных переменных. Далее, ввиду того
что бета-ФПВ может быть трансформирована в ФПВ Фишера —
Снедекора, как это будет показано ниже, можно сказать, что
z ¦-= zj (zx -f z2) имеет ФПВ, трансформируемую в ФПВ Фишера —
Снедекора.
ФПВ, тесно связанной с бета-ФПВ, является так называемая бета-
прим, или обратная бета-ФПВ (О бета-ФПВJ. Ее стандартизованная
форма получается из стандартизованной формы бета-ФПВ (А.52)
с помощью преобразования z = 1/A + и):
р(и\а, Ь) = ! — , 0 < и < оо (А.60)
ИК ' В(а,Ь) (i + )a+b У
с а, Ь > 0. Моменты этой ФПВ имеют вид
ra-r) , г<а.
f du
B(a,b) J A + в)в + * В(а,Ь)
Этот результат получается с помощью замены переменной
и = 1/A + г) в (А.61) и использования свойств стандартизованной
ненормированной бета-ФПВ. Затем из (А.61) получим
> (А-62)
>2 (А.63)
^ , а>2
^ (a-l)(a-2)f ^
и так далее. Дисперсия1 равна:
Ь(а+Ь-1) 2 (Д64)
О бета-ФПВ имеет единственную моду, если Ь > 1, в точке
«mod = -¦¦={-. (А.65)
Мера скошенности Пирсона для О бета-ФПВ равна:
1Г а-2
>
Vtt2 о+1 U(a+&-l)J
(А. 66)
1 Совместнай ФПВ для z1yl72 является произведением их индивидуальных
ФПВ, так как по допущению они являются независимыми, т. е. р (zlf z2 I alf a2) X
X dzxdz2 = [r(ai) Г (a,)]-1 г?1""^?»" в""(*1+*«>Л:1Лгя. Сделаем теперь замену
переменных и = г*-)- z2 и z = г1^(г1+ ^г)- Тогда Szxd^ = vdzdv.
Проинтегрировав по v от нуля до бесконечности, получим приведенный выше результат.
2 См., например, [73, с. 95—96] и [103, с. 220—221].
400
Она является положительной и показывает, что О бета-ФПВ обычно
имеет длинный правый хвост.
Наконец, мы можем получить важную альтернативную форму
(А.60) с помощью замены и = у 1с (с > 0):
<оо, (А.67)
р(у\а,Ьус)
сВ(а,Ь)
где a, by с> 0. Так как у = си и мы уже нашли моменты, связанные
с (А.60), моменты для (А.67) прямо получаются из (А.61)ч-(А.64),
т. е. r-й момент относительно нуля равен <f\in где \i'r определено в
(А.61). В следующем параграфе будет показано, что ФПВ Фишера —
Снедекора и О /-ФПВ С являются частными случаями (А.67).
А.6. ФПВ РАСПРЕДЕЛЕНИЯ ФИШЕРА — СНЕДЕКОРА (Ф-ФПВ)
Говорят, что случайная переменная х имеет распределение
Фишера — Снедекора, если и только если ее ФПВ имеет следующую
форму:
vt/2-l
х >±m > 0<*<oo, (A.68)
[1 + (/)](Vi+V2)/2
где vl9 v2 > 0. Очевидно, что (А.68) является частным случаем О
бета-ФПВ (А.67), где а = v2/2, b = vj2 и с = v2/vv Параметры vx
и v2 обычно называются степенями свободы и (А.68) называется Ф-ФПВ
с vx и v2 степенями свободы.
Если vx/2> 1, то Ф-ФПВ имеет единственную моду в точке
- <А-69>
Моменты Ф-ФПВ могут, разумеется, быть получены
непосредственно из моментов О бета-ФПВ, приведенных в (А.62)-^-(А.64). Для
удобства пользования приведем моменты Ф-ФПВ:
и так далее. Дисперсия Ф-ФПВ равна:
Рассмотрим сейчас связь Ф-ФПВ с несколькими другими хорошо
известными ФПВ.
1. Пусть в ФПВ (А.68) vx = 1 и пусть t2 = x\ тогда Ф-ФПВ
трансформируется в стандартизованную О /-ФПВ С с v2 степенями свободы.
401
2. Если zx и z2 являются независимыми случайными переменными
с %2-ФПВ, имеющими vx и v2 степеней свободы соответственно, то
х = (Zi/viMzg/v^ имеет Ф-ФПВ с vx и v2 степенями свободы при
условии, что vx, v2 > 0.
3. Если х имеет Ф-ФПВ (А.68), то при условии v2 -> оо
случайная переменная vx x будет иметь %2-ФПВ с vx степенями свободы.
4. Если 1с имеет Ф-ФПВ (А.68), то при условии vx ->- оо случайная
переменная^/* будет иметь х2-ФПВ с v2 степенями свободы.
5. Если х имеет ФПВ (А.68), то при условии v2->- с», vx = 1
случайная переменная К я будет иметь стандартизованную ОН ФПВ.
6. Если аг и <т2 являются независимыми случайными
переменными с О гамма-ФПВ в форме (А.37в) и параметрами vl9 sx и v2, s2
соответственно, то случайная переменная х= Ej/sJ)/{aJ/sJ) будет
иметь Ф-ФПВ с Vi и v2 степенями свободы.
Справедливость пункта 1 устанавливается с помощью
преобразования Р = х в (А.68) и замечания, что при vx = 1 результирующая
ФПВ в точности совпадает со стандартизированной О *-ФПВ С с v2
степенями свободы.
Справедливость пункта 2 устанавливается следующим образом.
Можно увидеть, что совместная ФПВ для zx и г2 есть
где -L = 2(^+v2)/2r(Vl/2)r(v2/2). Пусть о = ^/г, иу = ^Ц^.
Отсюда z, = 2vy/(v+ I), z2 =2^//(t; + l). Якобиан преобразования равен
4y/(v + IJ. Таким образом, ФПВ для v и у есть
„Vi/2— 1
Р (*, УI vlf vs) = 2<^+v.)/« * ^
0<V, y<oo.
Интегрируя по у, получаем
Наконец, вводя х = ("^-)^> мы получим Ф-ФПВ (А.68).
Для доказательства пункта 3, положив z = vxx в (А.68), получаем
(,|ViV2)= Г[(у1+у2)/2] 1 ^/»-i
V ' Х 2;
При v2 -> об и фиксированном Vj имеем
lim pB|vlf v2) = f2v«/2rf-^)ri2v«/2-1e-*/> 0<г<оо,
v2->oo L V 2 /J
что является %2-ФПВ с vx степенями свободы. Пункты 4 и 5 могут быть
обоснованы с помощью аналогичных методов.
402
Установим справедливость пункта 6. Выпишем совместную ФПВ
для аг и а2:
0<а1? а2<оо,
где
\Vt/2 /y2S2\V2/2
) \ )
Г (v2/2)[ 2 ) \ 2 )
Осуществив преобразования переменных X = o2jo\ и ф = alf
получаем
, Ф| vx> v2> sv s,)=± - ^2v+\
0<Я, ф<оо.
Результат интегрирования по ф имеет вид
2
Г (vx/2) Г (v2/2) i vx s\
Сделав замену переменных x=slk/sl, получаем ФПВ для х,
являющуюся Ф-ФПВ (А.68).
ПРИЛОЖЕНИЕ Б. СВОЙСТВА НЕКОТОРЫХ
МНОГОМЕРНЫХ ФПВ
Б.1. МНОГОМЕРНАЯ НОРМАЛЬНАЯ (МН) ФПВ
Говорят, что элементы случайного вектора х^ = (xlf~x2, ...,^m)
являются совместно нормально распределенными, если и только если
они имеют ФПВ в следующем виде:
p(x\Q, S) =
= l,2,..., m,
где x' = (xl9x29 ...,*m)> 9' = (9ь 62» •••» 6m) и 00 < 9f<oo, * e Wm;
2 является m X m положительно-определенной симметрической
матрицей (ПОСМ). Для удобства МН ФЛВ часто записывается в виде
(Б.2)
— 00 <^ <oo, t = 1,2,..., m,
где
(Б.З)
— положительно-определенная симметрическая матрица.
Тот факт, что ФПВ в (Б.2) является собственной нормализованной,
легко может быть доказан, так как ФПВ является положительной
б области ее определения. Кроме того,
° p(x|e,V)dx=l, (Б.4)
где dx = dxjds» •••» dxm\ (Б.4) легко может быть обосновано с
помощью следующей замены переменных;
х _ е = Cz, (Б.5)
где С есть невырожденная симметрическая матрица размерности
т X т, такая, что C'VC = Imx. Якобиан преобразования в (Б.5)
1 Так как V является ПОСМ, существует ортогональная матрица, скажем
Р, такая, что P'VP = D, где D есть диагональная матрица размерности т X т
х положительными характеристическими корнями матрицы V на диагонали.
Тогда С = PD^1/2 является невырожденной симметрической матрицей, такой,
что C'VC = Im.
-404
равен | С | и, следовательно, (Б.2) может быть представлено в
следующем виде1:
Bл)т'2
-оо<^<оо, / = 1,2,..., т. (Б.б)
= Bл)«/2
ФПВ в (Б.б) является произведением т стандартизованных
собственных нормированных ОН ФПВ. Таким образом, если
проинтегрировать (Б.б) по zu — оо < гг < оо, i = 1, 2, ..., /л, получается
единица, что и завершает обоснование (Б.4).
Обычно ФПВ в (Б.б) называют стандартизованной многомерной
нормальной (СМН) ФПВ2. Если компоненты m-мерного случайного
вектор-столбца ? имеют СМН ФПВ, то из выражения (Б.б) следует,
что они являются независимо распределенными, причем
М (г)=О и M(zz') = Im, (Б.7)
т. е. каждый z% имеет нулевое математическое ожидание и единичную
дисперсию, а все ковариации, М (zi>~Zj), i, / = 1» 2, ..., m, 1фи
равны нулю.
Из х — в = Cz и результата (Б.7) имеем
М (х—9) = CM (J) = О (Б.8)
М[(х—6)(х—в)']== CM(z?)C' = CC' = V-1 = S3. (Б.9)
Результат (Б.8) можно представить в виде М (х) = 0; иначе
говоря, в виде вектора математических ожиданий МН ФПВ; в то же
время (Б.9) дает V" (или S) как ее ковариационную матрицу.
Получим теперь условную ФПВ для \ при фиксированном х2,
где х' = (х^) имеет МН ФПВ, приведенную в (Б.2). Представляя
х — 6 и V в блочном виде в соответствии с представлением х, получаем
U--e2/ \,v21 v22
Выразим теперь квадратичную форму в экспоненте (Б.2) в следующем
виде:
(х-еу v (х-е) = (Xi-ej' va (x.-ej +2 fa-Qj v12 (x2-e2) +
+(x2-e2)' v22(x2-e2) = [Xi-0! + vn1 v12 (x2-e2)]' vn x
X [x1-Q1 + Vn1 V12(x2-92)] +(x2-92)' (V22-V21 Vn1 V12) (х2-в2),
(Б.10)
1 Отметим, что | C| |V|1/2 = | C'VC|1/2 = 1.
2 Часто вместо термина «стандартизованная» употребляется термин
«сферическая», чтобы подчеркнуть тот факт, что контуры (Б.б) являются сферами^или,
для случая т = 2, окружностями).
3 Из CVC = 1т получаем V «= (С') С~* и, следовательно^ V = СС.
405
выделяя полный квадрат относительно хх. Далее
v
w 12 |у \\\г \г \т-1 \г | /г in
,, — Vll V22—V2lVll Vl2 . U3-11)
v22
Подставляя (Б. 10) и (Б.11) в (Б.2), мы можем представить (Б.2) в виде
произведения двух сомножителей
р (xlf х21 в, V) = ( |Vll|1/2 exp f L [Xl—в! + Vn1 V12 (х2-в2)]' Vux
X [Хг — (
X ехр Г (х2—e2)?(V22 — VaiVn1 V22)(x2—ваI1, (Б.12)
L 2 JJ
где rtix и т2 есть число компонент в хг и ха соответственно, /Пх + пгг =т.
Оба множителя в (Б.12) имеют вид нормированных МН ФПВ. Первый
сомножитель в правой части (Б.12) является условной ФПВ для х±
при фиксированном х2, так как в общем мы можем написать
Р (xi, х21 9, V) = р (хх | х2, в, V) р (х21 в, V). Это есть МН ФПВ с
вектором математических ожиданий
М & | х2) = Эх—Vn1 Vx2 (х2-02) (БЛЗа)
и ковариационной матрицей
(Б.14а)
A78) f1
Поскольку V == S, мы можем выразить (Б. 13) и (Б. 14) в терминах
подматриц S1:
M(x1|x2) = e1 + S12Sj21(x2-92) (БЛЗв)
и
Cov (хх | х2) = Sn- S12 Si-21 S21. (Б. 14в)
Маргинальная ФПВ для х2 может быть получена из (Б.12)
интегрированием подкомпонентам хх. Ввиду того что хг входит только
в первый сомножитель в правой части (Б.12), который имеет вид
нормированной МН ФПВ, интегрирование первого сомножителя по
компонентам х± дает единицу. Следовательно, второй сомножитель в пра-
д Мы представляем S* в*блочном виде соответственно представлению
матрицы V:
Vu V" "
U
Тогда Vf/ = (S11)-1 и V12 = S12.- Если мы представляем. S] в блочном виде
соответствующим образом как
то получаем S12 = — S^^S^1 И| (S11)-1 = 2n — Si2Sj21S2i«
Следовательно, У?Й = Sn - S12S2-2iS21 и Vf11V12 = - S12S2V.
406
вой части (Б Л2) ес!ть маргинальная ФПВ для х2. Это есть МН ФПВ
с вектором математических ожиданий 02 и ковариационной
матрицей1
Cov (x2) = (V22- V21 Vn1 V12)-i - S22. (Б. 15)
С помощью аналогичных рассуждений можно показать, что
маргинальная ФПВ для хх является многомерной нормальной с вектором
математического ожидания 0Х и ковариационной матрицей
Наконец, рассмотрим линейную комбинацию компонентов х,
т. е.
Wi-Цх, (Б Л 6)
где х есть m-мерный вектор-столбец нормальных случайных
переменных с МН ФПВ, представленной в (Б.2), и Lx является матрицей
заданных величин размерности п X т (причем п^т)9 ранг которой равен п.
Тогда wx есть д-мерный вектор-столбец, компоненты которого
являются линейными комбинациями компонент х. Если п < /п, то
= Lx, (Б Л 7)
где L является невырожденной матрицей размерности т X т.
Тогда М (w) == LM (х) = L9 и можно написать, что /
w —L9 = L(x —в). (Б Л 8)
Замечая, что Якобиан преобразования от х к w в (Б» 18) равен | Lr31
можно получить ФПВ для w в следующем виде:
p(w|9f S, L) = |L'SL|~1/2 x
V Bn)m'2
X expl" i-(w—L9);L"lf S-iL-^w —L8)l , (БЛ9)
т. е. в виде МН ФПВ с вектором математических ожиданий L8 и
ковариационной матрицей LSL'. Таким образом, w = Lx имеет МН ФПВ.
Если мы представим w в блочном виде, как это показано в (БЛ7),
то маргинальная ФПВ для wx будет иметь многомерную нормальную
форму с вектором математических ожиданий Ьхв и ковариационной
матрицей Li2L(; это пример использования общего результата,
связанного с (БЛ2)*-и дающего маргинальную ФПВ форме МН ФПВ.
1 Поскольку V — S, мы имеем
/2ц Si2\ /Vu V12\ /I 0
U2i S22/ U21 V22j [0 I
и, следовательно, S2iV12 + S22V22 == I и S2iVu + S22V2i = 0. Из второго
соотношения следует, что 221 = — 222V2iVf11; подставив полученный
результат в первое соотношение, получаем S22 = (V22 — ^iVf^V^).
407
Б.2. МНОГОМЕРНАЯ ФПВ ^-РАСПРЕДЕЛЕНИЯ СТЬЮДЕНТА (М t-ФПЪ С)
Говорят, что компоненты случайного вектора х'= (хъ х2, ..., х^)
распределены по многомерному ^-распределению Стьюдента, если и
только если они имеют следующую ФПВ:
р(х)в, V, v,m) =
у^гг(у+т)/2]|У,'/» уу (x_
3iw/2r(v/2)
— оо<л:г<оо, t = 1, 2,..., т, (Б.20)
где v > О, V является ПОСМ размерности т X т, 9' = (8lf 92,..., Эт)
при —оо <с Qt < оо для г = 1, 2, ..., яг. Так как квадратичная форма
(х — 0)'V (х — 6) является положительно-определенной, то М t- ФПВ
С имеет единственную моду в точке х = 8. Далее, так как ФПВ
является симметричной относительно х = 8, математическое ожидание
М ?-ФПВ С есть 8, которое, как будет показано ниже, существует при
v > 1. Симметрия относительно 8 предполагает, что моменты четного
порядка относительно 8 (когда они существуют) все равны нулю.
Матрица моментов второго порядка относительно математического
ожидания существует при v >> 2 и задается формулой V" [v/(v — 2)].
Для обоснования того факта, что (Б.20) является собственной
нормированной ФПВ, заметим, что она является положительной
в области своего определения. Рассмотрим преобразование
х — 8 = Cz, (Б.21)
где С есть невырожденная матрица размерности т X /я, такая, что
C/VC = Im. ФПВ для /п-мерного вектор-столбца z имеет вид1
p(z|v, m) = 7V/
— оо<24<фо, f=l,2f...,mf (Б 22)
т. е. является стандартизованной М /-ФПВ С. Докажем, что ФПВ^ в
(Б.22) является нормированной. Для этого сделаемя следующее пре-
1 Отметим; что C'VC = Iml V!1/2 == | Ch1, Якобиан, связанный с
преобразованием в (Б.21), равен | С| и, следовательно, произведение | V l1^2 на
якобиан преобразования равен единице.
2 Другой способ доказательства этого утверждения заключается в
следующем. Заметим, что р (z | v) может быть записана в виде р (z I v) = p (zm | zm_i, v) X
X /?(zm-i|zm.2; v) ...p(zi|v), где z'm_f = (zlf z2, ..., гт_Д / = 1, % ...,"
m\— 1. Каждый сомножи ель имеет форму О *-ФПВ С и может быть
проинтегрирован; при этом используются результаты, полученные в приложении А.
408
образование переменных
zl9 z2,..., zm в и, аъ a2f..., am-i:
гг = и1 /2 cos ax cos а2... cos am-1,
z2 = и1'2 cos ах cos а2... cos ат_2 sin ат_1? (Б.23)
= и112 cos ax cos а2... cos ат_7- sin ат_у+1,
где 0 < и < оо, —я/2 < аг < я/2 для I = 1, 2, ..., т — 2 и
О < ат_х < 2 я. Из (Б.23) получаем
и = zf + z5 + ... + 2lJ = z/z. (Б.24)
Якобиан преобразования, рассмотренного в (Б.23), равен1:
V2 w'"/2"-1 cosw^2 ax cosm~3 а2 ... cos am.2. Таким образом, ФПВ в
(Б.22) принимает вид
(и, «,о...... о. | v, т) = т
vv/2
X
cosw~3 aa,..M cos am_2. (Б.25)
Далее, для интегрирования (В.25) по и и аи i ? Nm^t используем
следующие результаты:
Г ц?п/2 du- x b(v m\- Т(у'2)Т(т>2) v>0
j r(v+ll)(v+m)/2 vv/2 U ' 27 vv/2r[(v+m)/2] '
(Б.26)
Л/2
1
1 ц
—Я/2
И
2зт
Jdaw.1 = 2nf (Б.28)
о
Подставляя (Б.26), (Б.27), (Б.28) в
J ... Jp (и.а^аа... ocm-i|v, mjdud^ ... йат_х (Б.29)
с подынтегральным выражением, заданным (Б.25), получим, что
интеграл в (Б.29) равен единице. Таким образом, (Б.25) и (Б.20)
являются нормированными ФПВ.
1 См., например, [71, с. 247].
14 Зак. 1954 409
Из (Б.25) и (Б.26) видно, что нормированная маргинальная ФПВ
для и = z'z имеет вид
' о<ы<о°-
Обозначив и = ту, получим
4
х
Иначе говоря, (Б.31) имеет вид Ф-ФПВ с т и v степенями свободы
(см, (А.68)). Следовательно, случайная переменная "у = и/т = ? z/m
при условии, что 'z имеет стандартизованную М ?-ФПВ С (Б.22),
распределена с Ф-ФПВ при т и v степенях свободы. Далее, выписываем
выражение вида (Б.21) для связи случайных переменных.
~ ?>»r=(x-e)Mc-i)yc-i(x-e)= (Г-8)'у(?-е) Б 32)
m m m
Следовательно, квадратичная форма (х — 0)rV (x — в) имеет Ф-ФПВ
с т и v степенями свободы в случае, если х имеет М f-ФПВ С,
заданную (Б.20).
Чтобы получить выражение для первых и вторых моментов,
связанных с (Б.20), определим моменты, связанные с (Б.22), и затем,
используя (Б.21), найдем моменты для (Б.20). Для ответа на вопрос
о существовании моментов, рассмотрим r-й момент относительно нуля.
Для вычисления этого момента рассмотрим интеграл
оо
I
(Б.ЗЗ)
т
где а = v + 2zj2. Пользуясь критериями сходимости, рассмотренными
в приложении А, можно увидеть, что (Б.ЗЗ) будет сходиться при
любых т, если г + 1 < v + 1 или v > г. Таким образом, для
существования момента первого порядка необходимо выполнение неравенства
v> 1, для второго — v > 2 и т. д. Из симметрии (Б.22) имеем
М (z) = 0, v>l, (Б.34)
и из х — 9 = Cz получаем М (х) = в при v > 1.
Для вычисления вторых моментов, связанных с (Б.22), рассмотрим
(Б.ЗЗ) при г = 2. Обозначив и = z^la, представим (Б.ЗЗ) в
следующем виде:
Г и^1 л = \ д /у+«-з _з.л (Б35)
410
Проинтегрируем (В.35) по г2, 23, ..., гт, которые входят в величину
т
a =v + 2 г/; таким образом, с помощью (Б.35) мы получаем
/2
где k = vv/2 Г [(v + т)/2]/лт/2 F(v/2) является нормирующей
постоянной (Б.22). Подынтегральное выражение (Б.36) может быть
представлено в виде стандартизованной М t-ФПВ С. Произведя
интегрирование1, получаем
мСг\)-^^ (Б.37)
Поскольку подобные распределения могут быть применены в
отдельности кгъ zB, ..., zm и М (ztZj) = 0 для i Ф/, то ковариационная
матрица для z есть
(г') = -^\т, v>2. (Б.38)
Так как Зс — 8 — Cz, ковариационная матрица для х — 9 имеет вид
м [(х—в)(х-е)']=см (z?) с = -^сс' ^v"l2> v>2- ^Б-39)
Рассмотрим теперь маргинальные и условные ФПВ, связанные с
М *-ФПВ С. Для удобства рассуждений введем3 Н н== V/v и перепишем
1 Подынтегральное выражение в (Б.36) может быть представлено в
следующем виде:
/=2,3,...,m
и v' = v — 2. Затем, введя обозначение wt= |/ — z%y представим (Б.36) в виде
\ *=2
V/2 — 1 (m
(V')v /2 r[(v'+m—
— oo < Wi < oo, /=2, 3, ..., m.
2 Из C'VC = Iro следует, что V « (С7)-1 C~i, или V-* = CC.
5 При v > О Н является ПОСМ.
14* 411
(Б.20) в виде
р (X | 6, Н, v)= *№+тI2\ j н |1/2 [} +/x^ey H (x_0)]-(m+v)/2
nm/2T(v/2)
v>0. (Б.40)
Представим вектор (х — в)' = [(хх — в^' (х2—02)'] в блочном виде,
где хг — Qx есть /лгмерный вектор-столбец и х2 — 82 есть т2-мерный
вектор-столбец, а тх + т2 = т. Пусть также
ц Н12
21 н22
где матрица Н представлена в блочном виде в соответствии с блочным
представлением вектора х — в. Тогда
1 + (х-в)' Н(х-в)= 1 +(х1-в1)/ Н11(х1-в1) +
х-в1у Н12 (х2-02) + (хя-ва)' Н22(х2-в2) =
П1 Н12 (х2-82)'] Нп [Xi-вх + НП1 Н12 (х2-в2)] +
)' (Ни-HuHn1 Н12)(х2-82) =
где Qi-2 и Q2 обозначают первую и вторую квадратичные формы
соответственно в выражении (Б.41).
Далее, замечая, что | Н | = | Ни 11 Н22 — Н21 Ни1 Ни I,
представим (В,40) в виде
Р (хх, х210, н, v) = r[(v+m)/2]|H|1/2 [A
jim/2T(v/2)
"! Г
JL
\ Hu I1/2 1
J
где
_ r[(v+m,)/2] „ , _ r[(m + v)/2]
д^2/^ Г (V/2) nm*/z Г [(v+тя)/2]
Вторая строка в (Б.42) дает явные выражения для маргинальной и
условной ФПВ:
Р (xi, х21 в, Н, v) = р (х210, Н, v) р (хх |х2, в, Н, v), (Б.43)
где
^ • аг ^ « « W W ^ W « II//
(Б.44)
м*, в, н, v)- fe2(i+Q-rm'/2|"iiivi;;2. (Б.45)
1 Выражение для условной М ФПВ С, приведенное в [103, с. 258],
является ошибочным.
12
где Qx.2 и Q2 определены в связи с (Б.41); (Б.44) и (Б.45) показывают,
что в общем маргинальная и условная ФПВ, связанные с М t-ФПВ С,
являются в свою очередь AW-ФПВ С1.
Из (Б .44) можно получить, что математическое ожидание и
ковариационная матрица маргинальной ФПВ для х2 равны соответственно:
М (х2) = 92, v > 1 (Б.46)
и
(Vss-V^Vn1^)-1, v>2, (Б.47)
так как Н = V/v. Для условной ФПВ в (Б.45) получаем
м (хх | х2)=ех+нп1 н12 (х2-е2)=вг+vn1 v12 (х2—е2), т2
(Б.48)
и
(Б.49)
где
Q2 = (x2—82)' (Н22—H^Hfi1 H12)(X2—92).
Рассмотрим далее линейную комбинацию компонент случайного
вектора х, имеющего М /-ФПВ С, заданную (Б.40):
w= Lx, (Б.50)
где L есть невырожденная матрица размерности тхт. t Тогда
М (w) = L0. Якобиан преобразования (Б.50) равен IL) и,
следовательно, ФПВ для w имеет вид
X [1 +(w—L6)' F(w—L9)]-<w+v)/2, (Б.51)
где F = L HLwl. Таким образом, компоненты w имеют М ^-ФПВ С
с математическим ожиданием L9 и ковариационной матрицей
(v — 2) LH^L' = [v/(v — 2)] LV!/. Маргинальные и
апостериорные ФПВ, связанные с (Б.51), легко могут быть получены с
помощью (Б.44) и (Б.45) и, разумеется, будут иметь форму М *-ФПВ С.
Простая линейная комбинация компонент х, скажем wx, первая
компонента w, будет иметь в качестве маргинальной ФПВ одномерную
*-ФПВ С.
1 Если х2 в (Б.44) и хх в (Б.45) являются скалярными величинами, то
соответствующие ФПВ являются О /-ФПВ С.
413
Наконец, как это видно из уже рассмотренных случаев, М t-ФПВ С
связана с МН ФПВ и О гамма-ФПВ. Рассмотрим совместную ФПВ
р (х, а 19, V, v) = g (х 19, а, V) h(o | v), (Б.52)
где g (x 19, а, V) обозначает m-мерную нормальную ФПВ с
математическим ожиданием 9 и ковариационной матрицей V^a2; h(a | v)
обозначает О гамму-ФПВ с параметрами v > 0 и s = 1 [см. (А.376)];
т. е.
iV|l/2
am+v+l
(Б.53)
где k есть нормирующая постоянная. Тогда, интегрируя (Б.53) по а,
О < а < оо, мы получаем
/7 (х | в, V, v) = fc'|V|1/2[v + (x — 0)'V(x—e)]-<™+v>/2, (Б.54)
что совпадает с видом (Б.20), если k' является нормирующей
постоянной.
Б.З. ФПВ УИШАРТА (У-ФПВ)
Говорят, что т(т + 1)/2 различных элементов случайной ПОСМ
размерности т X т> Х=||ао-||, имеют распределение Уишарта
(У-распределение), если и только если они имеют следующую ФПВ:
|A|>0, (Б.55)
,v,m) fe
|S|V/2
где k~x ч= г^^я»^-1)/* П Г [(v + 1 — 0/2], т < v и 2 = \\Оц\\ есть
ПОСМ размерности тхт. ФПВ (Б.55) определена в области | А | > 0.
Обозначим ФПВ (Б.55) через W(S, v,m). Некоторые свойства У-ФПВ
будут рассмотрены ниже.
1. Если zx, z2, ..., zQ являются m-мерными взаимно независимыми
случайными вектор-столбцами, каждый из которых имеет МН ФПВ
с нулевым вектором математического ожидания и общей
положительно-определенной симметрической ковариационной матрицей S
размерности т X /л, то различные элементы матрицы А = ZZ', где
Z = (zb z2, ..., Zv), имеют У-ФПВ W(S, v,/n). Заметим, что диагональ-
ные элементы ZZ' s= S хгг[ определяются формулой 2 zh для у g
V ^ ^
gA^m, а внедиагональные элементы формулой S ^,-2^ для j Ф k =
= 1, 2, ..., /п. Таким образом, ZZVv = S есть выборочная
ковариационная матрица, и различные элементы 1$ имеют У-ФПВ
W [A/vS, v, m)\.
414
2. Различные элементы случайной матрицы А с ФПВ W B, v, /n),
заданной (Б.55), имеют следующие математические ожидания,
дисперсии и ковариации:
(Б.56)
; (/ jj (Б.57)
и
(Б-58)
Представим матрицы А и 2 в блочном виде следующим образом:
а. "¦¦ E"Я, a-.=(a::a::v
т—тх \А21 А2
m-mx
где в каждом из случаев подматрица AX1) имеет размерность tnxY.mx,
а подматрица Bx2) имеет размерность (т — тх) X (pi — mt).
Далее, пусть : ; ;
An1.2 = (Au-Au Ah1 Аи) = А11
Sfi1.2 = (Su- S12 SJ21 S^ = S".
Известно, что справедливы следующие свойства У-ФПВ W (S, v, mI:
3. Совместная ФПВ различных элементов Аи есть W BU, v, mx).
4. Совместная ФПВ различных элементов Ац.г есть
W[Sn.2, v — (m — /Пх), mj.
5. Маргинальная ФПВ для г1а « а12/ (Яца22I/2 есть
A (rii I Pa, v) = ^1 A -Л2)<v-3)/2 (l_pf2)v/2 iv (pi2 ril)f (Б.59)
где ^ = [(v- \IУЩ [Г (v)/r (v + 1/2)], р12 =
/v (рг) = ^ ; (Б.60)
J i (cosh y—pr)v
(Б.59) дает ФПВ для выборочного коэффициента корреляции,
основанного на v парах наблюдений, полученных независимой выборкой
из двухмерной нормальной ФПВ с нулевыми математическими
ожиданиями и положительно-определенной симметрической
ковариационной матрицей размерности 2x2.
Пункт 1 формулирует фундаментальное] соотношение между
МН ФПВ и У-ФПВ. Оно может быть обосновано следующим образом3.
1 Следующие хорошо известные свойства цитируются по [49, с. 150—159].
2 Функция «cosh» определяется следующим образом: cosh и = (eli -\- e~ll)l2.
3 Последующий вывод взят из [112, с. 33].
415
Совместная^ ФПВ для v нормальных взаимно независимых т векторов
гъ z2, ..., zv, каждый из которых имеет нулевой вектор
математического ожидания и общую положительную-определенную
симметрическую ковариационную матрицу 2, имеет вид
где Z == (zlf z2, ..., zv) является матрицей размерности т X v,
причем m < v. Сделаем преобразование Z = ТК, где К является
матрицей размерности т X v, такой, что КК' = Im» т. е. К
является семиортогональной матрицей, а Т есть нижняя треугольная
матрица размерности т X т:
tn 0... О
I(Б.62)
t21 t%%... О
т
где | Т | = П ^и > 0. Отметим, что КК' = Im накладывает т (т + 1)/2
ограничений на элементы матрицы К. Следовательно, реально
имеется только v/n — т (т + 1)/2 независимых элементов
матрицы К. Выберем независимое множество элементов в К, скажем
(&u, kX2. ..., &i,v-l), (&2Ь ^22» •••» &2.V-2), .-, (^ml, ^m2> •••» &m> V—m),
и назовем это множество К/. Таким образом, мы можем
рассматривать преобразование Z = ТК при условии КК' = Im как
эквивалентное преобразованию от vm элементов Z к т (т + 1)/2 элементам Т
и vm — т (т + 1)/2 элементам К/.
Тогда, подставляя Z = ТК в (Б.61), получаем
р (Т. К, | S, v, «) = 1Ш^1 ехр { --1 tr И- ТТ'} , (Б.бЗ)
где У обозначает якобиан преобразования от элементов Z к
элементам Т и /С/. Для получения явного выражения якобиана J
используем следующий результат1:
если уг = ft (хъ х2, х3, ..., хр, хр +1, ..., хр + д) для t == 1, 2, ..., /?,
где Xj, j € N-p + q подчинены q ограничениям
ft(xl9 x%9..., xp, xp + lf...9xP + g) = 0 для i = p + l, p + 2, ...,
то2 якобиан J, связанный с преобразованием хъ х2,..., хр в #lf t/2,.
1 Этот результат из математического анализа представлен в [112, с. 165].
2 При этом предполагается, что обычные условия существования якобиана,
включая неравенство нулю числителя и знаменателя в (Б.64), выполняются.
416
имеет вид
J =
., /р, /р-Ц,..., /p+q)
Хр, Хр+1,
. (Б.64)
Применим этот результат к настоящей задаче, где Z = ТК занимает
место уг = fi и КК' — Im = 0 занимает место ft = 0. Далее,
элементы К/ должны быть связаны с хъ хъ ..., xpf в то время как
оставшиеся элементы К, обозначаемые через Kd, должны быть связаны
с Хр +1, ..., д:р + д. Тогда якобиан (Б.60) имеет вид
d(Z, KK')
д(Т, К)
т. К/
К/
Явное выражение для числителя в (Б.65) есть1
d(Z, КК') | =2га Д tv-i
д(Т, К) |т. К/ Д^ и
Таким образом, (Б.63) принимает вид
(Б.65)
(Б.66)
2т П
p(Tf
tr2-> TT'
2
(Б.67)
Так как2 JdK/ -г | (а(КК')/ЗКо) 1к7 по области КК' = Im равен
т
[(v — i + 1)/2], маргинальное распределение
(Б.68)
элементов Т имеет ФПВ
П Пг1
p(T|S>m,v) = cf=' v/2
где
Выборочная ковариационная матрица S с т(т + l)/2 различными
элементами задается формулой vS = ZZ' = ТКК'Т' = ТТ'. Преобразуем
выражение (Б.68), которое включает т (т + 1)/2 элементов Т, в ФПВ
1 Сравни [112, с. 170—174].
2 Сравни [112, с. 197].
417
различных элементов S. Получим1
т
п я-'
m(m-f-l)/2
2^
xexp
где
jV/2
„mX/л-Ь 1)/2
j -trvS^sU- -Ш expl -
ФПВ в (Б.69) является У-ФПВ, W [A/v) 2, v, m], что и требовалось
доказать. Простой заменой переменных из (Б.69) может быть
получена ФПВ для A =s vS, равная W B, v, m), — ФПВ, приведенной
в (Б.55J.
а Якобиан преобразования от элементов Т к различным элементам S
равен v(m+1)m/2 -т- 2т П $~/+1. Также во второй строке (В.69) из vS = ТТ'
следует, что | Т | = | vS |1/2 = vra/2 | S |1/2.
2 Отметим, что мы определили А = ZZ' = vS^TaK, что матрица Z имеет по
допущению v независимых столбцов. Часто встречается случайная матрица
О = [1Л — i(i'i)-1i/] Y размерности п X т, где i' = A, 1, ...; 1) есть д-мер-
ный вектор-строка и 'Y = (yi, Уа, .-., Гт) есть матрица, каждый столбец которой,
является «-мерным вектор-столбцом. Предполагается, что строки Y являются
независимыми и нормально распределенными, каждая из них имеет т-мерный
вектор-столбец математических ожиданий \х' и общую
положительно-определенную симметрическую ковариационную матрицу 2 размерности т X т. Хотя
столбцы матрицы ^f являются независимыми, строки матрицы остатков 0 не
являются таковыми. Записав Y = iji'+ U, где U является матрицей размерности
п X т, строки которой независимо и нормально распределены, каждая с
нулевым вектором математических ожиданий и общей положительно-определенной
симметрической ковариационной матрицей S, получаем, что 0 =* (In — iX
X (i4)-4') 0 и U'U = U' [1П — i (i4)-VJ tf где \п — i (i4)-y является
идемпотентной матрицей, ранг которой равен п — 1. Пусть теперь U = LV,
где L является невырожденной ортогональной матрицей размерности п X п,
такой, что L4I» - i (i4)-4'l L = ^bfjy).
Тогда О'О = VL' [1П - i (i4)-V] LV = V{Vb где V' = (V^: vn), т. е.
Vx является матрицей размерности (п — 1) X т, образованной из V
отбрасыванием последней строки. Так как п — 1 строк Vx являются независимыми и
нормально распределенными, каждая с нулевым вектором математических ожиданий
и общей ковариационной матрицей (отметим: М (V'V)=»Af U'L'LU = 2 ® ln), то
выполняются условия свойства 1. Следовательно, О'О = У{УХ имеет У-ФПВ,
W B, v, т) с v = п — 1.
418
Формулы для моментов (Б.56L-(Б.68) получены в литературе1
из соответствующих моментов для элементов ZZ', так как А= ZZ'
и Z имеет МН ФПВ (Б.61):
М(аи)=М "
1
и М(аиак1) = М \\У\ za*za/
LU /
= Л* ( 2 *»**«/ *а* 2а/] +М
а. а' = 1
•а ^fe а'
Gjk + v (v—
3 an
Тогда
Cov(aijt akl) = Af [(a?;—
и для i = k и j- — l мы получаем D{ai^) = v(aiiOjj + o?j).
Пункт З легко может быть доказан путем представления Z в
блочном виде Z' = (ZIZ2), где Zx является случайной матрицей
размерности mi X v с независимыми и нормально распределенными вектор-
столбцами, каждый из которых имеет нулевой вектор математических
ожиданий и положительно-определенную симметрическую
ковариационную матрицу Su, размерность которой тг X тг. Затем,
используя A), получим, что Аи = ZjZl имеет У-ФПВ W Bц, v, m^. В
случае, когда тг = 1, W (orn, v, 1) имеет форму ПВ одномерного гамма-
распределения, которое, конечно, может быть трансформировано
в ПВ %2-РаспРеДеления. Таким образом, ПВ распределения Уишар-
та может рассматриваться как многомерное обобщение ПВ
одномерного гамма-распределения.
Для доказательства свойства 4 введем А = V'V^ где V является
v X т (при т < v) случайной матрицей, строки которой независимо
и нормально распределены, каждая с нулевым вектором
математического ожидания и общей т X т положительно-определенной
симметрической ковариационной матрицей 2. Когда, подразделяя
V = (Vx: V2), получим
где ViVi и V2V2 являются матрицами размерности
тг X /nx ma х т% соответственно и тг + т2 — т. ¦
Тогда A11.2 = A11-A12A2-21A = v; V,— \[ У,(У^У ^V^V^
= Vl [Iv-V2 (V; V,)-1 Val Vr (Б.70)
1 См.; например; [2, с. 161]. Необходимые для вывода моменты четвертого
порядка приведены на с. 39 этой книги Андерсона.
419
При фиксированной V2 положим Vx = LZb где L является v X v
ортогональной матрицей, такой, что1
Учитывая результат в 3-й строке (Б.70), мы получаем
Аи.«=2; v [iv-v, (vi v,)" Щ \лх=г[а zla,
где Zla является подматрицей размерности (v — m2) X т матрицы Zv
Таким образом, 2[ = B{а2[ь). Следовательно, А1Х.2 может быть
выражена в виде 2{a, Z(a, где строки Zla являются независимо и
нормально распределенными, каждая с нулевым вектором математических
ожиданий и ковариационной матрицей 2ц. а = Su — S^Sj/Sjh.
Таким образом, используя свойство 1, мы получаем, что Ап.2 имеет
У-ФПВ, W(Sn.2, v — m2, /Пх), где т — тг = т2. Свойство 5
вы(
водится из ФПВ для Аи = (аи}9 i, /=1,2, т. е. из р (а1Ъ а22,
|2 ) W BU.2, v),
I/2
(и} / р A
12|ц, v), являющейся W BU.2, v), которая выражается в
терминах а1Ъ а22 и г = а12/ (^ц«22I/2 после исключения
интегри3
рованием а1г и а223.
1 Для данной V2; I2 — V2 (VjV^-1 \'2 является идемпотентной матрицей,
ранг которой равен v — т2. Следовательно, она имеет v — m2
характеристических чисел,1 равных 1, и т2; равных нулю.
2 Из У[ = LZi следует М (Z^) = 0. Далее, при данной V^, M [ZiL'LZj =
= М [ZiZj = М [VxVj = Sn#2®lv; где Sllt2 является ковариационной
матрицей тг элементов любой строки Vx при данных т2 элементах соответствую-,
щей строки V2. v
3 См. детали в [2, с. 68—69]. Так как функция /v (pr) в E) может быть
выражена как гипергеометрическая функция; ФПВ для г12 может быть
представлена в виде быстро сходящегося ряда, т. е. h (r121 p12, v) =
•Svv(pr12),
где S (рг12) обозначает гипергеометрическую функцию F \~7jTi ~»VH—2"»
A + г12р)/2), которая дается выражением
1 YP
См.; например; в [67; с. 175) детали выражения Iv (p, г) в терминах
гипергеометрической функции.
420
Б.4. ФПВ ОБРАТНОГО РАСПРЕДЕЛЕНИЯ УИШАРТА (О У-ФПВ)
Говорят, что т(т + 1)/2 различных элементов положительно-
определенной симметрической случайной матрицы G размерности
т X т имеют обратное распределение Уишарта, если и только если
они имеют следующую ФПВ1:
где k = 2VW/2 я»г«-и/4 П Г [(v + 1 — 0/2], v > m и Н является
ПОСМ размерности т X m ПВ обратного распределения 0 У-ФПВ
(Б.71) определена в области |G| > 0 и равна нулю вне этой области.
Если элементы матрицы G имеют ФПВ вида (Б.71), то говорят, что
они имеют О У-ФПВ, IW (H, v, m). Рассмотрим некоторые свойства
ФПВ (Б.71).
1. Совместная ФПВ для т(т + 1)/2 различных элементов
матрицы G = А имеет вид О У-ФПВ, W (Н~\ v, m),
2. Пусть G и Н представлены в блочном виде следующим образом:
Q=:mi /Gn G12\ о==/Н11 Н12
т2 \G2i G22/ ' \H2i Н22
где ШХ + т2 = т. Тогда совместная ФПВ для т1 (тг + 1)/2
различных элементов Gu имеет вид О У-ФПВ, IW (Hn, v — m2, тг).
3. В случае, если в пункте 2 Gn является скалярной величиной,
скажем, равной gll9 то ФПВ для gn имеет вид2
Р (gn 1 /*ш v{, тг) =: (v^2)/2 - g-*»t/2giS v<firllf (Б.72)
oil jj
где ftx - (V2)v'/2/T (v72) и v' = v — m + 1.
4, В силу (Б.72) моменты диагональных элементов матрицы G
могут быть получены из моментов, связанных с О гамма-ФПВ,
Свойство, сформулированное в пункте 1, является
фундаментальным и связывает плотности вероятностей прямого и обратного
распределений Уишарта. Для доказательства нам необходимо иметь
якобиан преобразования от т(т+1>/2 различных элементов G к т(т+ 1)/2
различным элементам матрицы А = G. Якобиан этого преобразо-
1 При анализе многомерной регрессионной модели с расплывчатой
априорной ФПВ в главе 8 мы нашли, что апостериорная ФПВ для ковариационной мат-
I v'/2 ( 1 \
рицы возмущений дается в следующем видер (S |y) ~ \ S ! ехр {—ytr S-iSJ.
Последнее имеет форму (Б.71), как это можно легко видеть; полагая G = 2;
H = S и v' = v+ лг+ 1. Следовательно, рB|у) является ПВ обратного
распределения Уишарта.
2 Уравнение (В.72) может быть получено из (А.37в), полагая gu = v2 и
hn = vs2. Конечно, положительный квадратный корень из gn будет иметь
ФПВ, имеющую ту же форму, что и ФПВ в (А.37в)
421
вания1 равен |А |-0я+о и> следовательно, (Б.71) может быть выражено
в терминах
I FI lv/2 I A I — (m-f-1) / 1
(А|Н, v, /n) = i^—bfL! ехр{ -
H|v/2|A|(v-m-i)/2expr—L-trAHJ, |A|>0, (Б.73)
где k задано в связи с (Б.71). Если в (Б.73) мы определим 2-1 = Н, то
можно убедиться, что (Б.73) имеет в точности форму У-ФПВ,
WB, v, /п), заданную в (Б.55).
Пункт 2 может быть обоснован, если заметить, что Gu =
=5 (Ац—Ai2A221 Аах) «= Аи1.2. Как показано в предыдущем
параграфе, если ФПВ для А является .У-ФПВ, то ФПВ для Ац.2
также является У-ФПВ. Тогда свойство пункта 1 относительно ФПВ
обратного распределения Уишарта может быть использовано для
получения ФПВ для Gu = An1.2 из ФПВ для Аи.2. Имея в виду
этот результат, для частного случая скалярной величины Gu *= gn
мы получим результат (Б.72), что и доказывает пункт 3. Пункт 4
является прямым следствием пункта 3.
Б.5. ФПВ ОБОБЩЕННОГО ^-РАСПРЕДЕЛЕНИЯ СТЬЮДЕНТА (ОБ
/-ФПВ С) а
Говорят, что pq элементов случайной матрицы Т == || ttj ||'
размерности р X q распределены по обобщенному /-распределению Стью-
дента, если и только если они имеют ФПВ следующего вида3; .
-, — oo</w<oo, (Б.74)
рТ|
1 Для того чтобы показать, что якобиан равен lAM*1), рассмотрим
AG = I. Тогда (дАЩ G-f'A(dG/d6) = 0, или -щ- = G (-gg-)G. Если 6=QzjV
то мы получим dgap/ddij = -— gaig^ для а, р, i и / = 1, 2, ..., т • для
Р < а и / < i, так как G и А являются симметрическими матрицами и
преобразование от элементовG к элементам А включает в точности т (т-\-1)/2 различных
элементов G. Формируя матрицу якобиана и взяв ее определитель, мы получим
| G|m+1 = | А \-(т+1). Вывод этого якобиана, который основывается на
свойствах У-ФПВ, см. в [2; с. 162]. Андерсон приводит также якобиан преобразования
G •** А = О""хдля общего случая, когда G и А не являются симметрическими
[2, с. 348, 349]; последний результат не может быть использован в нашем
случае, когда G и А являются симметрическими матрицами.
2 Некоторые авторы называют эту ФПВ матричной /-ФПВ (см. [35], [49],
[139]). Библиография, помещенная в этих работах, может быть полезной при
дальнейшем анализе этой ФПВ.
2 ФПВ (Б.74) встречалась в 8-й главе в связи с анализом многомерной
регрессионной модели. Если априорная ФПВ является расплывчатой, то, как было
показано, апостериорная ФПВ для коэффициентов регрессии имеет вид
р (в | Y) ~ | s+(B -б)'х'х (в -в) rrt/2.
Если мы положим S == Q, Р = Х'Х, Т = В — В, то р (В 1Y) имеет вид,
совпадающий с видом ФПВ (Б.74).
422х
где k-1 = я^/2ПГ [(п — р — i + 1)/2]/ЙП(п — i + 1)/2], п> р t
+ 9 — 1, а Р и Q являются ПОСМ размерности р X р и q X q
соответственно. Для удобства обозначим ФПВ в (Б.74) как Т (Р, Q, 0, л),
где 0 обозначает математическое ожидание (Б.74), являющееся
вследствие симметрии нулевой матрицей. Рассмотрим некоторые свойства
ФПВ (Б.74).
1. ФПВ (Б.74) может быть получена как ФПВ маргинального
распределения, р (G, Т) = рг (G) рг (Т | G), где рг (G) является
О У-ФПВ и р2 (T|G) является МН ФПВ. Пусть
Ях Я* Pi
/Qll Q\ (P
Q и p
4% VQ21 Q22/ Рг VP2i P22
где qx+q2 = qt Pl + p2 = p и
Qll 2 =Qll — Q12Q2-21 Q2b P221 = P22 —Р21РП1 Pl2-
Эти величины появляются ниже при формулировании свойств (Б.74I.
2. Если Т = (Тх, Т2), то условная ФПВ для Тг при
фиксированном Т2 есть ОБ г-ФПВ С с параметрами (Р~1 + TgQ^1 T2),
Qii-2» ТгОг^СЬъЯ- Математическое ожидание равно T2Q22Q21.
3. Если Т = (ХХХ2), то условная ФПВ для Хх при
фиксированном Х2 есть ОБ ^-ФПВ С с параметрами Pu, Q + X2P22.iX2,
Pn1Pi2X2, п. Математическое ожидание ее равно Рп1 Р12Х2.
4. Если Т = (ТЬ Т2), где Тх и Т2 матрицы размерности pxq± и
pxq2 соответственно, то маргинальная ФПВ для Т2 имеет форму
ОБ /-ФПВ С с параметрами Р, Q22, 0, п — дг.
5. Если Т/ = (Х1, Х2), где Хх и Х2 матрицы размерности рг X q
и р2 X q соответственно, то маргинальная ФПВ для Х2 есть ОБ
tf-ФПВ С с параметрами P22i, Q, 0, m — pv
6. Если в пункте 2 Тх есть р-мериый вектор-столбец, то условная
ФПВ для Тх при фиксированном Т2 есть М ^-ФПВ С. Аналогично,
если в пункте 4 Т2 есть /^-мерный вектор-столбец, то его маргинальной
ФПВ являются М *-ФПВ С.
7. При.Т = (ti, t2, ..., t^) имеет место
р (Т) = р (tx) p (tjtj p (t3|tb t2) ... р (te|tlf t2, ..., t,_0 (Б.75)
и каждая из ФПВ в правой части (Б.75) имеет форму М t-ФПВ С.
Для доказательства свойства 1 выпишем О У-ФПВ для q (q + l)/2
различных элементов G в следующем виде:
I} (Б.76)
1 Некоторые из следующих свойств, рассмотренных в 8-й главе,
основываются на результатах работ [35], [49], [139], приведенных в предшествующих
сносках.
423
где Q является ПОСМ размерности q X q и kx — нормирующей
постоянной, а также выпишем МН ФПВ для элементов матрицы Т
размерности р X q при заданной матрице G в виде1
MN (Т | G, P) = fe21 Р \9/21G |-'/2ехр [ trT' PTG"}, (Б.77)
где Р есть ПОСМ размерности р X р и k2 является нормирующей
постоянной. Тогда р (G, Т) — совместная ФПВ для различных
элементов G и Т является произведением (Б.76) и (Б.77), т. е. имеет вид
' Т) = klk>i?PZ?>*>exp{-± tr(Q + Т' PT)О-*} ¦ (Б.78)
Отметим, что из свойств О У-ФПВ следует, что
с iQ+гртР-ь^ r_Lt | ^
GJ|>o |О|^+Р+" + 1>/2 I 2 j k3
,GJ|>o
(Б.79)
где kz является нормирующей постоянной О У-ФПВ, р (G | Q +
+ Т'РТ, v + р, q). Используя (Б.79), найдем, что интеграл от
(Б.78) по элементам G в области | G | > 0 равен:
_оо</и<оо. (Б.80)
Если мы введем v = п — р, то убедимся, что (Б.80) по форме в
точности совпадает с (Б .74)/.
Свойство пункта 2 может быть легко доказано, если мы заметим,
что ОБ t-ФПВ С может быть представлена в следующей
альтернативной форме3:
-1 Т' 1П/
1 Отметим, что при Т = (tlf ...; tq) мы можем выписать МН ФПВ для
элементов Т при заданной G в виде
Кроме того, можно показать, что | G ® Р |1/2 = | Р \q/2 \ G 1~р/2. См.; например;
[2, с. 348].
2 Мы можем преобразовать (Б.76) к виду, совпадающему с формой У-ФПВ
для А = G", и получить (Б.80) как произведение маргинальной ПВ
распределения Уишарта и условной МН ФПВ для Т при заданной А.
3 См. [35, с. 512].
424
Тогда
Q.11 Q12\ /Ti
P1 +T2 [Q22—Q21 (Q*1)-1 CP] T2 +
2 Q2* (QH)-ij Q* [Tx +T2 Q21 (Q11)]' =
= P1 + T2 QJ21 T^ + (Tx-Tf QJ21 Q21) Qfi1.2 (Tt-T2 QJ21 Q21)',
где Qf/, t, / = 1,2 являются подматрицами Q"*1 и Q21 (Q11) =
Qi^Cbi- Подставляя этот результат в (Б.81), получаем
__? i r i - •-• ' I Q |
(Б.82)
Из (Б.82) очевидно, что условная ФПВ для Тг при заданной Т2
имеет форму ОБ /-ФПВ С (Б.81) с параметрами (Р + TaQ^TJ)-1,
Qii-2» ТаО^Огх» ^, причем условное математическое ожидание
задается формулой T2Q22xQ2i- Далее, маргинальная ФПВ для Т2
получается из (Б.82) интегрированием по элементам Тг. Отметим, что
(Б.82) может быть выражена в виде
Т21Q, /7, п) ~ [Р-1 + Т2 Q27 T^ |(»-^i)/»i-i х
Т^ )<"-*»>/2 1 Q |n.2 fP/2 (Б83)
-Т2 Qz? Q21) Qn1. 2 (Ti-T. Q^ CLi)' ln/2
и что при интегрировании по элементам Тх второго сомножителя в
(Б.83) получается число. Таким образом, маргинальная ФПВ для
элементов Т2 пропорциональна первому сомножителю в правой части
(Б.83), который имеет форму ОБ f-ФПВ С с параметрами Р, Q22,
О, п — qx. Следовательно, свойство 4 доказано.
Свойства 3 и 5 могут быть установлены тем же способом, что и
свойства 2 и 4. Но удобнее при этом доказательстве использовать
ФПВ в форме ОБ tf-ФПВ С (Б.74). Свойство 6 следует из свойства 4.
Свойства 6 и 7 были рассмотрены в тексте 8-й главы.
БИБЛИОГРАФИЯ
1. Aigner D. J. and Goldberger A. S. On the Estimation of Pare-
to's Law. Workshop Paper 6818, Social Systems Research Institute,
University of Wisconsin, Madison, 1968.
2. A n d e r s о n T. W. An Introduction to Multivariate Statistical Analysis.
New York, Wiley, 1958. Русский перевод: Андерсон Т. Введение в
многомерный статистический анализ. М., Физматгиз, 1963.
3. A n d о A. and Kaufman G. M. Bayesian of Reduced Form Systems.
Manuscript, MIT, 1964.
4. A n d о A. Bayesian Analysis of the Multinormal Process — Neither Mean
nor Precision Known. J. Am. Statist. Assoc, 60, 347—353 A965).
5. A ns combe F. J. Bayesian Statistics. Am. Statist., 15—24 A961).
6. А о k i M. Optimization of Stochastic Systems. New York, Akademic,
1967;
7. А г г о w К. Social Choice and Individual Values. 2nd ed. Cows
Foundation Monograph 12, New York, John Wiley and Sons Inc., 1963.
8. Arrow К., С h e n e г у H., M i n h a s B. and S о 1 о w R. Capital—
Labor Substitution and Economic Efficiency. Rev Econ. Statist., 43, 225—
250 A961.)
9. Barlow R., Brazer H. and Morgan J. M. Economic Behavior
of the Affluent. Washington, D. C. Brookings Institution, 1966.
10. В а г t e n A. P. Consumer Demand Functions under Conditions of Almost
Additive Preferences. Econometrica, 32, 1—38 A964).
11. Bartholomew D. J. A comparison of Some Bayesian and Frequen-
tist Inferences. Biometrika, 52, 19—35 A965).
12. В a r 11 e t t M. S. A Comment on D. V. Lindley's Statiatical Paradox.
Biometrika, 44, 533—534. A957).
13. В а у е s Rev. T. An Essay Toward Solving a Problem in the Doctrine of
Chances. Phil. Trans. Roy. Soc. (London), 53, 370—418 A763); reprinted in
Biometrika, 45, 293—315 A958) and Facsimiles of Two Papers by Bayes
(commentary by W. Edwards Deming). New York, Hafner, 1963.
14. В e 1 1 m a n R. Introduction to Matrix Analysis. New York, McGraw-
Hill, 1962. Русский перевод: Беллман Р. бведение в теорию матриц.
М., Наука, 1976.
15. В е 1 1 m a n R. and К а 1 a b a R. Dynamic Programming and Adaptive
Processes: Mathematical Foundations. Reprinted from IRE Trans Aut Control,
AC-5 A) (January 1960) in R. Bellman and R. Kalaba (Eds.). Selected Papers
on Mathematical Trends in Control Theory. New York, Dover, 1964, p. 195—
200.
16. Boot J. C. G. and d e W i t G. M. Investment Demand: An
Empirical Contribution to the Aggregation Problem. Intern. Econ. Rev., 1, 3—30
(I960),
17. Box G. E. P. and Cox D. R. An Analysis of Transformation. J. Roy.
Statist. Soc, Series B, 26, 211—243 A964);
18. Box G. E. P. and Hill W. J. Discrimination Among Mechanistic
Models. Technometrics, 9, 57—71 A967).
19. Box G. E. P. and T i а о G. C. A Further Look at Robustness via
Bayes Theorem. Biometrika, 49, 419—433 A962).
20. Box G. E. P. Multiparameter Problems from a Bayesian Point of View.
Anm Math. Statist., 36, 1468—1482 A965).
426
21. Brown P^ R; Some Aspects of Valuation in the Railroad Industry;
Unpublished doctoral dissertation. University of Chicago, 1968;
22. Carlson F* D., Sob el E; and Watson Q* S. Linear
Relationships between Variables Affected by Errors. Biometrics, 22, 252—267 A966);
23. С h e 11 у Vi K; Bayesian Analysis of Haavelmo's; Econometrica, 36, 582—
602 A968);
24. С h e 11 у V; К; Bayesian Analysis of Some Simultaneous Equation Models
and Specification Errors. Unpublished doctoral dissertation; University of
Wisconsin, Madison, 1966.
25. С h e 11 у V. К; Discrimination, Estimation and Aggregation of
Distributed Lag Models. Manuscript, Columbia University, 1968;
26. С h e 11 у V; К; On Pooling of Time Series and Cross-Section Data;
Econometrica, 36, 279—290 A968).
27. С h 0 w G. Multiplier, Accelerator and Liquidity Preference in the
Determination of National Income in the United States; IBM Record Rept., RC
1455 A966)*
28. С о с h r a n W. G; The Planning of Observational Studies of Human
Populations. J. Roy. Statist. Soc, Series A, Part 2, 234—255 A965).
29. С о p a s J. B. Monte Carlo Results for Estimation in a Stable Markov Time
Series. J. Roy. Statist. Soc, Series A, № l, 110—116 A966).
30. С о о к М. В4 Bivariate k-statistics and Cumulants of their Joint Sampling
Distribution. Biometrika, 38, 179—195 A951).
3b Cr a gg J. G. On the Sensitivity of Simultaneous-Estimators to the
Stochastic Assumptions of the Models. J. Am. Statist. Assoc, 61, 136—151 A966);
32. Cr a gg J. G. Small Sample Properties of Various Simultaneous Equation^
Estimators: The Results of Some Monte Carlo Experiments. Research Memo
68, Econometric Research Program, Princeton University. 408 p., 1964.
33. С г о с к е 11 J. Technical Note. In I. Friend R. Jones.(Eds.). Proceedings
of the Conference on Consumption and Savings, vob IL Philadelphia,
University of Pennsylvania, 1960.
34. С у e r t Rj M. and de G г о о t M; H. Bayesian Analysis and Duopoly Theory 4
Manuscripi, Carnegie-Mellon University, April 1968;
35. D i с к е у J. M. Matricvariate Generalizations of theMultivariate t-Distribu-
tion and the Inverted Multivariate t-Distribution; Ann. Math; Statist., 38,
511—518 A967).
36. Dreze J. The Bayesian Approach to Simultaneous Equation Estimation;
Research Memorandum № 67, Technological Institute, Norlhwestern
University, 1962.
37» D r h z e J. Limited Information Estimation from a Bayesian Viewpoint.
CORE Discussion Paper 6816, University of Louvain, 1968.
38. FeldsteinM. S. Production with Uncertain Technology: Some
Econometric Implications. Manuscript, Harvard University, 1969.
39; F i e 11 e г Е. F. The Distribution of the Index in a Normal Bivariate
Population. Biometrika, 24, 428—440 A932).
40. FisherF. M. Dynamic Structure and Estimation in Economywide
Econometric Models. In J. S. Duesenberry et al. The Brookings Quarterly
Econometric Model of the United States; Chicago, Rand-McNally, 1965, p. 589—653j
41, Fisher W; D. Estimation in ttie Linear Decision Model; Intern. Econ;
Rev., 3, 1—29 A962);
42» F r a z e r F. A,, DuncanWJ; and С orl I a r A; R; Elementary Matrices.
Cambridge, Cambridge University Press, 1963;
43. F r e i m e r M. A Dynamic Programming Approach to Adaptive Control
Processes. IRE Trans., AC-4, 2 B), 10—15 A959).
44. FriedmanM, and MeiselmanD. The Relative Stability of Monetary
Velocity and the Investmant Multiplier in the United States, 1897—1958.
In the Commission on Money and Credit Research Study. Stabilization
Policies. Englewood Cliffs, N. J., Prentice-Hall, 1963.
45. F u 1 1 e r W. A; and M a r t i n J. E. The Effects of Autocorrelated Errors on
the Statistical Estimation of Distributed LagModels. J. Farm Econ., 44, 71—82
A962).
427
46. G е а г у R. С. The Frequency Distribution of the Quotient of Two Normal
Variates. J. Roy. Statist. Soc, 93,442—446A930).
47. G e i s e 1 M. S. Comparing and Choosing Among Parametric Statistical
Models: A Bayesian Analysis with Macroeconomic Applications. Unpublished
doctoral dissertation. University of Chicago, 1970.
48. G e i s s e r S. A Bayes Approach for Combining Correlated Estimates. J. Am.
Statist. Assoc, 60, 602—607 A962).
49. G e i s s e r S. Bayesian Estimation in Multivariate Analysis. Ann. Math.
Statist., 36, 150—159 A965).
50. G о 1 d b e r g e г A. S. Econometric Theory. New York, Wiley, 1964.
51. Gray bill F. A. An Introduction to Linear Statistical Models. New
York, McGraw-Hill, 1961.
52. G r e v i 1 1 e T. N. E. Some Applications of the Pseudoinverse of a Matrix.
SIAM Rev., 2, 15—22 A960),
53. G r e v i 1 1 e T. N. E. The Pseudoinverse of a Rectangular or Singular Matrix
and Its Application to the Solution of Systems of Linear Equations. SIAM
Rev., 1, 38-43 A959).
54. G r i 1 i с h e s Z. Distributed Lag Models: A Review Article. Econometrica,
35, 16—49 A967).
55. G r i 1 i с h e s Z., M a d d a 1 a G. S., L u с a s R. and W a 1 1 а с е N. Notes
on Estimated Aggregate Quarterly Consumption Functions.
Econometrica, 30, 491—500 A965).
56. G r u n f e 1 d Y. The Determinants of Corporate Investment. Unpublished
doctoral dissertations, University of Chicago, 1958.
57. HaavelmoT. Methods of Measuring the Marginal Propensity to Consume.
J. Am. Statist. Assoc, 42, 105—122 A947), reprinted in Wm. С Hood and
T. C; Koopmans (Eds.), Studies in Econometric Methods. New York, Wiley,
1953, p. 75—9L
58. Hadamard J; The Psychology of Invention in the Mathematical Field.
New York, Dover, 1945.
59. H a n s о n N. R. Patterns of Discovery. New York, Cambridge
University Press, 1958.
60. Hartigan J. Invariant Prior Distributions. Ann. Math. Statist., 35,
836—845 A964).
61. H i 1 d r e t h C. Bayesian Statisticians and Remote Clients. Econometrica,
. 31, 422—438 A963).
62. H i 1 d r e t h C. and L u J. Y. Demand Relations with Autocorrelated
Disturbances. Tech Bull. 276. East Lansing, Mich., Michigan State University
Agricultural Experiment Station, 1960.
63. H о 1 t C, M u t h J. F., M о d i g 1 i a n i F. and Simon H. A. Planning
Production, Inventories and Work Force. Englewood Cliffs, N. J;, Prentice-
Hall, 1960,
64. H о u t h а к к e r H. S. On Some Determinations of Savings in Developed
and Under-Developed Countries. Ch. 10, p. 212—224. In E. A. G. Robinson
(Ed.); Problem in Economic Development. New York, St. Martin's, 1965.
65. J a m e s W. and S t e i n С. М. Estimation with Quadratic Loss. In Neyman
(Ed.). Proceedings of the Fourth Berkeley Symposium on Mathematical
Statistics and Probability, vol. I. Berkeley, University of California Press, 196b
66. J e f f r ey s H. Scientific Inference. Bnd ed.), Cambridge, Cambridge
University Press, 1957.
67. J ef f r ey s H, Theory of Probability. Crd ed.), Oxford, Clarendon, 1961,
1966.
68. J о h n s о n R; A; An Asymptotic Expansion for Posterior Distributions.
Techi Report, № 114, May 1967, Department of Statistics, University of
Wisconsin, Madison, Ann. Math. Statist., 38, 1899—1906 A967).
69. Johnston J. Econometric Methods. New York, McGraw-Hill, 1963.
70. К а к w a n i N. С The Unbiasedness of Zellner's Seemingly Unrelated
Regression Equations Estimators. J. Am. Statist. Assoc, 63, 141 — 142 A967).
71. К e n d a 1 1 M, G. and Stuart A. The Advanced Theory of Statistics.
VoL I, London, Griffin, 1958. Русский перевод: Кендалл М. Дж.,
СтьюартА. Теория распределений. М., Наука, 1966,
428
72. К e n d a 1 1 M. G. and S t u a r t A: The Advanced Theory of Statistics.
Vol. II, New York, Hafner, 1961, 1966. Русский перевод: Кендалл М. Дж.,
С т ь ю а р т. А. Статистические выводы и связи. М., Наука, 1973.
73. К е n n е у J. F. and К е е р i n g E. S. Mathematics of Statistics. Part Two
Bnd ed.), New York, Van Nostrand, 1951.
74. К i e f e r J. and WolfowitzJ. Consistency of the Maximum Likelihood
Estimator in the Presence of Infinitely Many Incidental Parameters. Ann.
Math. Statist., 27, 887—906 A957).
75. К m e n t a J. and G i I b e r t R. F. Small Sample Properties of Alternative
Estimates of Seemingly Unrelated Regressions; J. Am. Statist. Assoc., 63,
1180—1200A968).
76. К о у с к L. Distributed Lags and Investment Analysis. Amsterdam, North-
Holland, 1954.
77; К u 1 1 b а с k S. Information Theory and Statistics. New York, Wiley,
1959. Русский перевод: К у л ь б а к. С. Теория информации и статистика.
М., 1967.
78. L е С a m L. Les Proprietes Asymptotiques des Solutions de Bayes. Publ.
Inst. Statist., University of Paris, 7, 17—35 A958).
79. L e С a m L. On Some Asymptotic Properties of Maximum Likelihood and
Related Bayes Estimates. Univ. Calif. Publs. Statist., 1, 277—330 A953).
80. L i n d 1 e у D. V. The Use of Prior Probability Distributions in Statistical
Inference and Decisions. In J; Neyman (Ed.) Proc. Fourth Berkeley Symp.
Math. Statist, and Probab., vol. I, 1961, 453—468.
81. L i n d 1 e у D. V. Regression Lines and the Linear Functional Relationship.
J. Roy. Statistical Soc. (Supplemant), 9, 218—244 A947).
82. L i n d 1 e у D. V. Introduction to Probability and Statistics from a Bayesian
Viewpoint. Part 1, 2. Inference, Cambridge, Cambridge University Press,
1965.
83. Lindley D. V; A Statistical Paradox. Biometrika, 44, 187—192 A957).
84. Lindley D. V; and E 1 -S а у у a d G. M. The Bayesian Estimation of
a Linear Functional Relationship. J. Roy. Statist. Soc, Series В, 30,190—
202 A968).
85. L u с e R. D. and R a i f f a H. Games and Decisions. New York, Wiley,
1958. Русский перевод: Л ь ю с Р; Д., Р а й ф а X. Игры и решения. М.,
ИЛ, 1961.
86. Madansky A. The Fitting of Straight Lines When Both Variables are
Subject to Error. J. Am. Statist. Assoc, 54, 173—205 A959).
87. M a r s a g 1 i a G. Ratios of Normal Variables and Ratios of Sums of Uniform
Variables. J. Am. Statist. Assoc, 60, 193—204 A965).
88. M i 1 1 e r M. H. and M о d i g 1 i a n i F. Some Estimates of the Cost of
Capital to the Electric Utility Industry, 1954—57; Am. Econ. Rev;, 56, 333—391
A966).
89. M о о r e E. H. General Analysis. Part I, Philadelphia, Mem. Am. Phil;
Soc, vol. I, 1935.
90. M о о r e H. Notes oi Sculpture. In B. Ghiselin (Ed.). The Creative Process*
Mentor Book, 1952.
91. Nerlove M. A Tabular Survey of Macro-Econometric Models. Intern,
Econ. Rev., 7, 127—173 A966).
92. N e у m a n J. and Scott E. L. Consistent Estimates Based on Partially
Consistent Observations. Econometrica, 16, 1—32 A948).
93. N о b 1 e B. Numerical Methods, II: Differences Integration and Differential
Equation. New York, Inter. Science Publishers, Inc., 1964.
94. О г с u 11 G. H. and W i n k о u r H. S., Jr;, First Order Autoregression:
Inference, Estimation and Prediction. Econometrica, 37, 1—14 A969).
95. P e a r s о n K. The Grammar of Science. London, Everyman, 1938.
96. P e n г о s e R. A Generalized Inverse for Matrices. Proc Cambridge Phil.
Soc, 51, 406—413 A955).
97. P 1 а с k e t t R; L. Current Trends in Statistical Inference. J; Roy. Statist.
Soc, Series A., 129, Part 2, 249—267 A966);
98. P о p p e r K. R. The Logic of Scientific Discovery. New York, Science
Editions, 1961.
429
99. Р г e s с о 11 E; Ci Adaptive Decision Rules for Macro Economic Planning.
Unpublished doctoral dissertation, Graduate School of Industrial
Administration, Carnegie-Mellon University, 1967*
100. Press S. J; On Control of Bayesian Regression Models. Manuscript
(undated),
101. P г e s s S. J. The /-Ratio Distribution. J. Am. Statist; Assoc, 64, 242—252
A969);
102. PressS. J. and Z e 1 1 n e г A. On Generalized inverses and Prior
Information in Regression Analysis. Manuscript, September 1968.
103. R a i f f a H. A. and S с h 1 a j f e г R. S. Applied Statistical Decision
Theory. Boston/ Graduate School of Business Administration; Harvard
University, 1961. Русский перевод: Р а й ф а, Г., Ill л е й ф е р Р*
Прикладная теория статистических решений. М., Статистика, 1977»
104. R а о С; R; A Note on a Generalized Inverse of a Matrix with Applications
to Problems in Mathematical Statistics. J; Roy, Statist; Socif Series B,
24, 152—158 A962);
105; R а о С R. Linear Statistical Inference and Its Applications, New York,
Wiley, 1965. Русский перевод: Р а о С. Р* Линейные статистические модели
и их применение. М., Наука, 1968*
106. Readings in Economie Statistics and Econometrics; A; Zellner (ed.). Boston,
Little Brown, 1968.
107. Reichenbach H. The Rise of Scientific Philosophy* Berkeley,
University of California Press, 1958.
108. R e i e r s о 1 О, Identifiability of a Linear Relation Between Variables
which are Subject to Error. Econometrica, 18, 375—389 A950).
109. Richardson D. H. The Exact Distribution of a Structural Coefficient
Estimator; J. Am. Statist. Assoc, 63, 1214—1226 A968).
110. Roberts H. V. Statistical Dogma: One Response to a Challenge. Am.
Statist., 20, 25—27 A966).
111. Rothenberg T4 J. A Bayesian Analysis of Simultaneous Equation
Systems; Report 6315, Econometric Institute, Netherlands School of
Economics, Rotterdam, 1963;
112. R о у S. N. Some Aspects of Multivariate Analysis. New York, Wiley, 1957.
113. S a m u e 1 s о n P. A. Interactions between the Multiplier Analysis
and the Principle of Acceleration. Rev, Econ. Statist 21, 75—78 A939).
114. S a v a g e L. J. Bayesian Statistics. In Decision and Information Processes.
New York, Macmillan, 1962.
115. S a v a g e L. J. Subjective Probability and Statistical Practice. In L. J.
Savage et al. The Foundations of Statistical Inference. London and New York,
Methuen and-Wiley, 1962, p. 9—35.
116. S a v a g e L. J. The Subjective Basis of Statistical Practice; Manuscript,
University of Michigan, 1961.
117. Sawa T. The Exact Sampling Distribution of Ordinary Least Squares
and Two-Stage Least Squares Estimators. J. Am. Statist. Assoc, 64, 923—
937 A969). >
II8i Shannon О; Е. The Mathematical Theory of Communication. Bell
System Tech. J, (July—October 1948);
1194 Shannon С; Е; and Weaver W} The Mathematical Theory of
Communication. Urbana, University of Illinois Press, 1949,
120. S i m о n H; A. Dynamic Programming under Uncertainty with a Quadratic
Criterion Function; Econometrica, 24, 74—81 A956).
121; Smirnov N. V; Tables for the Distribution and Density Functions of
t-Distribution. New York, Pergamon, 1961. Смирнов Н. В, Таблицы
функций распределения и плотностей распределения Стьюдента. М., Изд.
АН СССР, 1960.
122. S о 1 о w R. M. On a Family of Lag Distributions. Econometrica, 28, 393—
406 A960). *
123. S t e i n С. М. Confidence Sets for the Mean of a Multivariate Normal
Distribution. J. Roy* Statist. Soc, Series B, 24, 165—285 A962).
124. S t e i n С; М; Inadmissibility of the Usual Estimator for the Mean of a
Multivariate Normal Distribution. In Neyman (Ed.) Proceedings of the Third
430
Berkeley Symposium on Mathematical Statistics and Probability, vol. I.
Berkeley, University of California Press, 1956.
125. S t о n e M. Generalized Bayes Decision Functions, Admissibility and the
Exponential Family; Technical Report 74, Departament of Statistics,
University of Wisconsin, Madison, Ann. Math. Statist., 38, 618—622 A967).
126 S u m m e r s R. A Capital Intensive Approach to the Small Sample
Properties of Various Simultaneous Equation Estimators. Econometrica, 33, 1—41
A965).
127. SwamyP. A. V. B. Statistical Inference in Random Coefficient
Regression Models. Unpublished doctoral dissertation, University of Wisconsin,
Madison, 1968.
128. Tables of the Incomplete Beta Function. K. Pearson, Canbridge
University Press, 1948.
129 T h e i 1 H. A Note on Certainty Equivalence in Dynamic Planning.
Econometrica, 25, 346—349 A957).
130. T h e i 1 H. On the Use of Incomplete Prior Information in Regression
Analysis. J. Am. Statistical Assoc, 58, 401—414 A962).
131 T h e i 1 H. Principles of Econometrics. Amsterdam — London, North-
Holland Pub. Co., 1971.
132 T h e i 1 H. and В о о t J. С. G. The Final Form of Econometric Equation
Systems. Rev. Intern. Statist. Inst., 30, 136—152 A962).
133. ThornberH. Applications of Decision Theory to Econometrics.
Unpublished doctoral dissertation, University of Chicago, 1966.
134. Thornber H. Bayes Addendum to Technical Report 6603 Manual for
B34T — A Stepwise Regression Program. Graduate School of Business,
University of Chicago, September 1967.
135 Thornber H. Finite Sample Monte Carlo Studies: An Autoregressive
Illustration. J. Am. Statist. Assoc, 62, 801—818 A967).
136. ThornberH. The Elasticity of Substitution: Properties of Alternative
Estimators. Manuscript, University of Chicago, 1966.
137. T i а о G. C. and T a n W. Y. Bayesian Analysis of Random — Effect
Models in the Analysis of Variance. I. Posterior Distribution of Variance
Components. Biometrika, 52, 37—53 A965).
138. T i а о G. С and Z e 1 1 n e r A. Bayes Theorem and the Use of Prior
Knowledge in Regression Analysis. Biometrika, 51, 219—230 A964).
139 T i а о G. С On the Bayesian Estimation of Multivariate Regression. J. Roy.
" Statist. Soc, Series B, 26, 277-285 A965).
140 Tocher K. D. Discussion on Mr. Box and Dr. Wilson's Paper. J. Roy.
Statist. Soc, Series B, 13, 39-42 A951).
14L V a r g a R. S. Matrix Sterative Analysis. Englewood Cliffs, N. J., Prentice-
Hall.
142. W e 1 с h. B. L. and P e e г s H. W. On Formulae for Confidence Points
Based on Integrals of Weighted Likelihoods. J. Roy. Statist. Soc, Series
B, 25, 318—324 A963).
143; W i d d e r D. V. Advanced Calculus. Englewood Cliffs, N. J., Prentice-Hall,
1947;
144. Wright R. L. A Bayesian Analysis of Linear Functional Relations.
Manuscript, University of Michigan, 1969.
145. ZarembkaP. Functional Form in the Demand for Money. Social Systems
Research Institute Workshop Paper, University of Wisconsin, Madison, 1966,
J.Am. Statist. Assoc, 63, 502—511A968).
146. Z e 1 1 n e г A. An Efficient Method of Estimating Seemingly Unrelated
Regressions and Tests for Aggregation Bias. J. Am. Statist., Assoc 57, 348—
368 A962).
147. Z e 1 1 n e r A. Estimators for Seemingly Unrelated Regression Equations:
Some Exact Finite Sample Results. J. Am. Statist. Assoc, 58, 977—992
A963).
148. Z e 1 1 n e г A. Bayesian Inference and Simultaneous Equation Econometric
Models. Paper presented to the First World Congress of the Econometric
Society, Rome, 1965.
431
149. Z e 1 1 n e r A. On Controlling and Learning about a Normal Regression
Model. Manuscript, 1966, presented to Information, Decision and Control
Workshop, University of Chicago.
150. Z e 1 1 n e r A. On the Analysis of first Order Autoregressive Models with
Incomplete Data. Inter. Econ. Rev., 7, 72—76 A966).
151. Zellner A. Estimation of Regression Relationships Containing Uno-
bservable Independent Variables. Intern. Econ. Rev., 11, 441—454 A970).
152. Zellner A. and С h e t t у V. К. Prediction and Decision Problems
in Regression Models from the Bayesian Point of View. J. Am. Statist. As-
soc, 60, 608—616 A965).
153. Zellner A. and Geisel M. S. Analysis of Distributed Lag Models
with Applications to Consumption Function Estimation. Invited paper
presented to the Econometric Society, Amsterdam, September 1968 and
published in Econometrica, 38, 865—888 A970).
154. Zellner A. Sensitivity of Control to Uncertainty and Form of the
Criterion Function. In D. G. Watts (Ed.). The Future of Statistics. New
York, Academic, 1968.
155. Zellner A. and Huang D. S. Further Properties of Efficient
Estimators for Seemingly Unrelated Regression Equations. Intern. Econ. Rev.,
3, 300—313 A962).
156. Zellner А., К met a J. and Dreze J. Specification and
Estimation of Cobb-Douglas Production Function Models. Econometrica, 34, 784—
795 A966).
157. Zellner A. and Park С J. Bayesian Analysis of a Class of
Distributed Lag Models. Econometric Ann. Indian Econ. J., 13, 432—444 A965).
158. Z e 1 1 n e r A. and Revankar N. S. Generalized Production
Functions. Social Systems Research Institute Workshop Paper 6607,
University of Wisconsin, Madison, 1966, Rev. Econ. Studies, 36, 241—250 A969).
159. Zellner A. and S a n к а г W. Errors in the Variables. Manuscript,.
1967. -
160. Zellner A. and Theil H. Three—Stage Least Squares: Simulta
iieous Estimation of Simultaneous Equations. Econometrica, 30, 54—78
A962).
161. Zellner A. and Tiao G. С Bayesian Analysis of the Regression
Model with Autocorrelated Errors. J. Am. Statist. Assoc, 59, 763—778
A964).
ПРИЛОЖЕНИЕ К РУССКОМУ ПЕРЕВОДУ
СПИСОК ПРИНЯТЫХ В РАБОТЕ СОКРАЩЕНИЙ
АДГ — гипотеза абсолютных доходов
АРП — абсолютные решающие правила
БД-априорная ФПВ — априорная функция плотности распределения
вероятностей, базирующаяся на данных
ЛПР — лицо, принимающее решение
ЛРП — линейные решающие правила
МНК — метод наименьших квадратов
2МНК — двухшаговый метод наименьших квадратов
ЗМНК— трехшаговый метод наименьших квадратов
МНП — метод наибольшего правдоподобия
МОП — модель ошибок в переменных
МН ФПВ — многомерная нормальная функция плотности распределения
вероятностей
М t-ФПВ С — функция плотности распределения вероятностей многомерного
^-распределения Стьюдента
НБД-априорная ФПВ — априорная функция плотности распределения
вероятностей, не базирующаяся на данных
О бета-ФПВ — функция плотности распределения вероятностей обратного бета-
распределения
ОБ t-ФПВ С—функция плотности распределения вероятностей обобщенного
^-распределения Стьюдента
О гамма-ФПВ — функция плотности распределения вероятностей обратного
гамма-распределения
ОН ФПВ — одномерная нормальная функция плотности распределения
вероятностей
ОПФ — обобщенная производственная функция
О *-ФПВ С — функция плотности распределения вероятностей одномерного
^-распределения Стьюдента
О У-ФПВ — функция плотности распределения вероятностей обратного
распределения Уишарта
ПДГ — гипотеза перманентных доходов
ПОМ — псевдообратная матрица
ПФ — производственная функция
ПФ К—D — производственная функция Кобба—Дугласа
ПФ ПЭЗ — производственная функция постоянной эластичности замены
РПСИ — решающее правило с использованием совершенной информации
СМИ ФПВ — стандартизованная многомерная нормальная функция
плотности распределения вероятностей
У-ФПВ — функция плотности распределения вероятностей Уишарта
ФПВ — функция плотности распределения вероятностей
Ф-ФПВ — функция плотности распределения вероятностей Фишера—Снеде-
кора
СПИСОК ПЕРЕВОДОВ, НАИБОЛЕЕ УПОТРЕБЛЯЕМЫХ
В КНИГЕ ТЕРМИНОВ
The Beta (В) PDF— ФПВ бета-распределения (бета-ФПВ)
Conditional posterior PDF — условная апостериорная ФПВ
The conditional predictive PDF — условная прогнозная ФПВ
Diffuse prior PDF — расплывчатые априорные ФПВ
Errors-in-the-variables model. (EVM) — модель ошибок в переменных (МОП)
The Fisher — Snedecor F PDF — ФПВ распределения Фишера — Снедекора
(Ф-ФПВ)
The Gamma (G) PDF — ФПВ гамма-распределения
X2 PDF —ФПВ х2-распределения
The generalized Student t (GSt) PDF — ФПВ обобщенного ^-распределения Стью-
дента (ОБ *-ФПВ С)
Informative prior PDF — информативные априорные ФПВ
The inverted Gamma (IG) PDF —ФПВ обратного гамма-распределения (О гам-
ма-ФПВ)
The inverted Wishart (IW) PDF— ФПВ обратного распределения Уишарта
(О У-ФПВ)
«Limited information» bayesian analysis — байесовский анализ в условиях
ограниченной информации
xMarginal posterior PDF — маргинальная апостериорная ФПВ
The multivariate normal (MN) PDF — многомерная нормальная (МН) ФПВ
The multivariate Student (MS) t PDF — многомерная ФПВ ^-распределения
Стырдента
Posterior PDF—-апостериорная ФПВ
Predictive PDF — прогнозная ФПВ
Prior PDF — априорная ФПВ
Probability density - function (PDF) — функция плотности распределения
вероятностей (ФПВ)
The «seemingly unrelated» regression model — регрессионная модель с кажущейся
независимостью
Univariate normal (UN) PDF — одномерная нормальная (ОН) ФПВ
The univariate Student t (USt) PDF —ФПВ одномерного ^-распределения Стью-
дента (О *-ФПВ С)
The Wishart (W) PDF —ФПВ Уишарта (У-ФПВ)
ОГЛАВЛЕНИЕ
Предисловие, к. русскому изданию 5
Предисловие „ . 11
Глана 1. Замечания о выводе в экономической науке 13
1.1. Единство науки 13
1.2. Дедуктивный вывод 14
1.3. Индуктивный вывод 16
1.4. Редуктивный вывод .*».,... 17
1.5. Правила Джеффриса для теории индуктивного вывода [66, с. 8] 19
1.6. Следствия, вытекающие из правил Джеффриса 20
Вопросы и упражнения 24
Глава 2. Принципы байесовского анализа с конкретными примерами
приложений 26
2.1. Теорема Байеса 26
2.2. Теорема Байеса и несколько массивов данных 30
2.3. Априорные функции плотности распределения вероятностей ... 31
2.4. Маргинальные и условные апостериорные распределения параметров 35
2.5. Точечные оценки параметров 37
2.6. Байесовские интервалы и области для параметров 41
2.7. Маргинальные распределения наблюдений 42
2.8. Прогнозные функции плотности распределения вероятностей ... 43
2.9. Точечный прогноз 45
2.10. Прогнозные области и интервалы 45
2.11. Некоторые свойства байесовских апостериорных ФПВ при
больших выборках 46
2.12. Приложение вышеизложенных принципов к анализу распределения
Парето , . 49
2.13. Приложение вышеизложенных принципов к анализу
биномиального распределения , * 53
2.14. Представление результатов башгсовскогр анализа . 55
Приложение. Априорные распределения, представляющие
«скудость знания» 57
Вопросы и упражнения 69
Глава 3. Одномерная нормальная линейная регрессионная модель 74
3.1. Простая одномерная нормальная линейная регрессионная модель 74
435
3.2. Нормальная многомерная регрессионная модель 82
Вопросы и упражнения 98
Глава 4. Специальные проблемы регрессионного анализа 103
4.1. Регрессионная модель с авто коррелированными возмущениями . . . 103
4.2. Случай регрессии с неодинаковыми дисперсиями 115
4.3. Две регрессии, некоторые из коэффициентов которых совпадают 125
Приложение 1 . 126
Приложение 2 127
Вопросы и. упражнения. . .. . .. . , -. . . . . . 129
Глава 5. Ошибки в переменных 131
5.1. Классическая МОП: предварительные задачи . 131
5.2. Классическая МОП: анализ функциональной формы методом
наибольшего правдоподобия 140
5.3. Анализ структурной формы МОП методом наибольшего
правдоподобия ., , . , 144
5.4. Байесовский анализ функциональной формы МОП 148
5.5. Байесовский анализ структурной формы МОП 162
5.6. Альтернативные допущения о ветвящихся параметрах 162
Приложение ¦ 171
Вопросы и упражнения . . . . • 174
Глава 6. Анализ нелинейных моделей, состоящих из[одного уравнения 179
6.1. Анализ преобразований Бокса—Кокса 179
6.2. Производственная функция постоянной эластичности замены (ПЭЗ) 186
6.3. Обобщенные производственные функции . . 193
Вопросы и упражнения 200
Глава 7. Модели временных рядов: несколько избранных примеров 204
7.1. Нормальный авторегрессионный процесс первого порядка ... 204
,7.2. Модель авторегрессионного процесса первого порядка, основанная
на неполных данных 209
7.3. Анализ авторегрессионного'процесса второго порядка 212
7.4. Модели «распределенных запаздываний» (лагов) 218
7.5. Приложение в области оценивания функции потребления .... 224
7.6. Некоторые обобщения модели распределенного запаздывания 231
Приложение. Расплывчатые априорные ФПВ, используемые для
представления стационарных авторегрессионных процессов . ¦ . 234
Вопросы и упражнения 238
Глава 8. Многомерная регрессионная модель 242
8.1. Традиционная многомерная регрессионная модель 242
8.2. Прогнозная ФПВ для традиционной многомерной регрессионной
модели . . , . . ¦ . 251
8.3. Традиционная многомерная модель с точными ограничениями 254
436
8.4» Традиционная Модель с информативной априорной ФПВ 257
8.5. Псевдонезависимая регрессионная модель 259
Вопросы и упражнения * 264
Глава 9. Одновременные уравнения в эконометрических моделях 267
9.1. Полностью рекурсивные модели 269
9.2. Общие треугольные системы . * . 271
9.3. Концепция идентифицируемости в байесовском анализе 273
9.4. Анализ некоторых конкретных моделей, представленных системами
одновременных уравнений . • 277
9.5. Байесовский анализ в условиях «ограниченной информации» . . . 284
9.6. Анализ полной системы 290
9.7. Некоторые результаты экспериментов Монте-Карло 296
Вопросы и задачи 307
Глава 10. Сравнение и проверка гипотез 312
10.1. Апостериорные вероятности, связанные с гипотезами ...... 313
10.2. Анализ гипотез с расплывчатыми априорными ФПВ для параметров 319
10.3. Сравнение и проверка гипотез с нерасплывчатой априорной
информацией ....•.••¦. • . . 323
10.4. Сравнение регрессионных моделей 328
10.5. Сравнение моделей, распределенных запаздываний 335
Вопросы и упражнения . » 339
Глава 11. Анализ некоторых задач управления 342
11.1. Некоторые простые однопериодные задачи управления 343
11.2. Однопериодная задача управления для множественных
регрессионных процессов » 351
11.3. Управление в случае многомерных нормальных регрессионных
процессов 354
11.4. Чувствительность управления в зависимости от вида функции потерь 356
11.5. Двухпериодная задача управления в случае множественной
регрессионной модели • 360
11.6. Некоторые многопериодные задачи управления 368
Приложение 1. Условная прогнозная ФПВ для z2 при известном г\ 378
Приложение 2. Вывод приближенного математического ожидания,
представленного в A1.72) 380
Вопросы и упражнения ¦ » 381
Глава 12. Заключение • ¦ 384
Приложение А. Свойства некоторых важных одномерных ФПВ" .... 388
АЛ. Одномерная нормальная (ОН) ФПВ 388
А.2. ФПВ одномерного /-распределения Стьюдента (О tf-ФПВ С) . . 391
А.З. ФПВ гамма- и ^-распределений (гамма-ФПВ и %2-ФПВ) • • • 395
А.4. ФПВ обратного гамма-распределения (О гамма-ФПВ) 396
А. 5. ФПВ бета-распределения (бета-ФПВ) • ¦ 398
437
А.6. ФПВ распределения Фишера—Снедекора (Ф-ФПВ) ...... 4Q1
Приложение Б. Свойства некоторых многомерных ФПВ . . 404
Б.1. Многомерная нормальная (ДОД. ФОБ 404
Б.2. Многомерная ФПВ /-распределения Стьюдента (М /-ФПВ С) . . 408
Б.З. ФПВ Уишарта (У-ФПВ) 414
Б.4. ФПВ обратного распределения Уишарта (О У-ФПВ) 421
Б.5. ФПВ обобщенного /-распределения Стьюдента (ОБ /-ФПВ С) . . 422
Библиография ...•••......, 426
Приложение к русскому переводу 433
Зельнер А.
3-50 Байесовские методы в эконометрии / Пер. с англ.
Г. Г. Пирогова и Ю. П. Федоровского; С предисл.
переводчиков. — М.: Статистика, 1980. — 438 с, ил. — (Математи-
ко-статистические методы за рубежом),
В пер.: 3 р. 60 к.
В книге подробно рассмотрено применение теоремы Байеса об условной
вероятности некоторого события при заданной вероятности другого события для
решения проблем, связанных со статистическим оцениванием параметров
экономических моделей. Этот подход дает возможность получить приемлемые с
практической точки зрения оценки в условиях малых выборок.
Для тех, кто занимается экономико-математическими исследованиями,
вопросами сбора и обработки информации для экономических моделей; полезна
также студентам и аспирантам.
_ 10805*—143 ББК 22 172
3 008@1)-80 44-80 1702060000 517.8
f Второй индекс 10803.