Text
                    MODERN
FACTOR ANALYSIS
HARRY H. HARMAN
Second edition, revised
THE UNIVERSITY OF CHICAGO PRESS
CHICAGO AND LONDON


СОВРЕМЕННЫЙ ФАКТОРНЫЙ АНАЛИЗ ГАРРИ ХАРМАН Перевод с английского В. Я. Лумельского Научное редактирование и вступительная статья Э. М. Бравермана «СТАТИСТИКА» МОСКВА 1972
ЗАРУБЕЖНЫЕ СТАТИСТИЧЕСКИЕ (теория и методы) ИССЛЕДОВАНИЯ 3. С. И. Четвертая книга серии ВЫШЛИ ИЗ ПЕЧАТИ: Введение в теорию порядковых статистик П. Массе. Критерии и методы оптимального определения капиталовложений Г. Тейл. Экономические прогнозы и принятие решений. Редколлегия серии: А. Я. Боярский, [Альб. Л. Вайнштейн[, A. Г. Волков, Н. К. Дружинин, Б. Л. Исаев, Я. Б. Кваша, В, М. Кудров, B. В. Налимов, И. М. О сад чая, 1 —о—о Т. В. Рябушкин (председатель) 78—71
ВСТУПИТЕЛЬНАЯ СТАТЬЯ Факторный анализ, изложению которого посвящена книга Г. Хармана, — это ветвь математической статистики. Его цель, как и цель других разделов математической статистики, заключается в разработке моделей, понятий и методов, позволяющих анализировать и интерпретировать массивы экспериментальных или наблюденных данных вне зависимости от их физической природы. Одной из наиболее типичных форм представления экспериментальных данных является матрица, столбцы которой соответствуют различным параметрам, свойствам, тестам и т. п., а строки — отдельным объектам, явлениям, режимам, описываемым набором конкретных значений параметров. На практике размеры матрицы оказываются достаточно большими: так, число строк этой матрицы может колебаться от нескольких десятков до нескольких сотен тысяч (например, при социологических обследованиях), а число столбцов — от одного-двух до нескольких сотен. Непосредственный, «визуальный», анализ матриц такого размера невозможен; поэтому в математической статистике возникло много подходов и методов, предназначенных для того, чтобы «сжать» исходную информацию, заключенную в матрице, до обозримых размеров, извлечь из исходной информации наиболее «существенное», отбросив «второстепенное», «случайное». При анализе данных, представленных в форме матрицы, возникают два типа задач. Задачи первого типа имеют целью получить «короткое описание» распределения объектов, а задачи второго — выявить взаимоотношения между параметрами. Следует иметь в виду, что основной стимул для появления указанных задач заключается не только и не столько в желании коротко закодировать большой массив чисел, а в значительно более принципиальном обстоятельстве, имеющем методологический характер: коль скоро удалось коротко описать большой массив чисел, то можно верить, что вскрыта некоторая объективная закономерность, обусловившая возможность короткого описания; а ведь именно поиск объективных закономерностей и является основной целью, ради которой, как правило, и собираются данные. Упомянутые подходы и методы обработки матрицы данных различаются тем, какого типа задачи обработки данных они предназначены решать, и тем, к матрицам какого размера они применимы.
Каково же место моделей и методов факторного анализа среди иных моделей и методов математической статистики, предназначенных для обработки матрицы данных? Если матрица данных имеет малое (один—три) число столбцов (т. е. параметров), то для описания распределения объектов широко применяются такие известные статистические характеристики, как средние, моды, дисперсии, совместные и условные распределения, параметры стандартных распределений (например, распределений Гаусса, Пуассона и др.), аппроксимирующих эмпирическое распределение, задаваемое матрицей данных и т.д.; эффективным способом сжатия информации при малом числе параметров является так называемая задача Пирсона о смеси1, когда эмпирическое распределение аппроксимируется суммой нескольких стандартных распределений с различными средними и дисперсией. Что касается описания связей между параметрами, то, поскольку число параметров мало, для такого описания оказывается достаточным набор коэффициентов корреляции между параметрами. Когда число параметров больше пяти, указанные выше статистические характеристики оказываются неадекватными эмпирическому материалу либо потому, что они не могут быть построены практически, либо потому, что их число оказывается чрезмерно большим и они не поддаются содержательной интерпретации. Поэтому для анализа экспериментальных данных с числом параметров, существенно большим единицы, были разработаны специальные модели и методы. Если число параметров лежит в диапазоне приблизительно от пяти до 30 (такое число параметров можно назвать средним), то для получения сокращенного описания распределения объектов пользуются методами, имеющими целью выделение «скоплений», «тесных групп» объектов в пространстве параметров. Сама задача выделения «скоплений» точек в многомерном пространстве начала изучаться всего 10—12 лет назад; еще нет установившихся терминов для обозначения различных точных постановок этой задачи и методов ее решения; наиболее употребительны названия «автоматическая классификация», «обучение машины распознаванию образов без учителя»2, «классификационный анализ» («cluster-analysis»). Вместе с тем уже имеется литература, посвященная списываемой задаче3. 1 Подробнее см. в работах: Pearson К- Contributions to the mathematical theory of evolution. Philosofical trans, of the Royal society, 185,1894; С о h e n A. Estimation in mixtures of two normal distributions. Techno metrics, vol. 9, n. 1, 1967. 2 Такое название связано с тем, что задача выделения «скопления» точек нашла широкое применение при моделировании на вычислительных машинах процесса обучения распознаванию образов. 3 Достаточно полное представление о существующих моделях и методах автоматической классификации дает обзор А. А. Дорофеюка «Алгоритмы автоматической классификации» («Автоматика и телемеханика», 1971, № И); в книге М. А. Айзермана, Э. М. Бравермана и Л. И. Розоноэра «Метод потенциальных функций в теории обучения машин» (М., «Наука», 1970) приведена одна из математических постановок задачи автоматической классификации и дан алгоритм ее решения; в [556] дано популярное разъяснение этой задачи, приведен ряд алгоритмов и описаны соответствующие эксперименты.
Что же касается проблемы короткого описания связей между параметрами при среднем числе этих параметров, то в данном случае соответствующая корреляционная матрица содержит несколько десятков или сотен чисел и сама по себе она еще не может служить «коротким описанием» существующих связей между параметрами, а должна с этой целью подвергнуться дальнейшей обработке. Факторный анализ как раз и представляет собой набор моделей и методов, предназначенных для «сжатия» информации, содержащейся в корреляционной матрице. В основе различных моделей факторного анализа лежит следующая гипотеза: наблюдаемые или измеряемые параметры являются лишь косвенными характеристиками изучаемого объекта или явления, на самом же деле существуют внутренние (скрытые, не наблюдаемые непосредственно) параметры или свойства, число которых мало и которые определяют значения наблюдаемых параметров. Эти внутренние параметры принято называть факторами. Задача факторного анализа — представить наблюдаемые параметры в виде линейных комбинаций факторов и, может быть, некоторых дополнительных, «не существенных» величин — «помех». Замечательным является тот факт, что, хотя сами факторы не известны, такое разложение может быть получено и, более того, такие факторы могут быть определены, т. е. для каждого объекта могут быть указаны значения каждого фактора. В терминах матрицы данных задача факторного анализа может быть понята как задача приписывания к матрице небольшого числа новых столбцов/с помощью которых в том или ином смысле хорошо представляются все столбцы исходной матрицы, и определения коэффициентов такого представления. Многочисленные экспериментальные исследования, в частности по обработке психологических, социологических, экономических и других данных, показали, что определяемые факторы, как правило, хорошо интерпретируются как некоторые существенные внутренние характеристики изучаемых объектов. Таким образом, факторный анализ оказался эффективным формальным средством генерации новых понятий и гипотез в самых различных науках. В последние годы в связи с применением вычислительных машин возникла необходимость разработки формальных методов анализа матриц данных, содержащих несколько десятков или сотен столбцов (такое число может считаться большим). Для матриц такой размерности упомянутые выше методы автоматической классификации и факторного анализа оказались непосредственно непригодными как из-за вычислительных трудностей, так и, по-видимому, из-за неадекватности моделей, на которых базируются эти методы, тем естественнонаучным задачам, которые возникают при обработке данных с большим числом параметров. Для решения задач такого рода в настоящее время предложен так называемый лингвистический, или структурный, подход [556]. Этот подход опирается на модель, являющуюся развитием и комбинацией моделей факторного анализа и автоматической классификации. Такая модель исходит из следующих представлений: изменение
какого-либо фактора сказывается неодинаково на всех измеряемых параметрах, и поэтому среди измеряемых параметров могут быть выделены группы, «особо остро» реагирующие на каждый из факторов порознь, а каждая из этих групп характеризуется тем, что параметры, входящие в одну группу, в определенном смысле сильно коррелируют между собой. В связи с этим задача выявления факторов может быть понята как задача разбиения параметров на такие группы, что параметры, входящиеJb одну группу, коррелируют между собой сильно, а параметры, входящие в разные группы, — слабо. Эта задача получила название задачи группировки параметров1; она позволяет коротко описать на качественном уровне взаимоотношения между параметрами. Коль скоро для некоторой матрицы данных решена задача группировки параметров, то исходная матрица оказывается разбитой на ряд подматриц, каждая из которых содержит лишь столбцы, попавшие в одну группу. Теперь для получения короткого описания распределения объектов к каждой из таких подматриц могут быть применены алгоритмы автоматической классификации. Процедура последовательного решения задач группировки параметров и автоматической классификации может быть понята как выработка двух типов «слов»: слова первого типа указывают номер группы параметров, а слова второго типа — номер класса объектов в данной группе параметров. Эти слова позволяют коротко описать каждый объект, указав для него номера классов, к которым он относится, по каждой группе параметров. Таким образом, факторный анализ является эффективным средством получения короткого описания взаимоотношений между параметрами при среднем числе параметров и, кроме того, в несколько модифицированном виде служит одной из основных составляющих лингвистических методов обработки экспериментальных данных с большим числом параметров. Несмотря на столь важную роль факторного анализа, на русском языке имеется всего одна монография [329], посвященная в основном одной частной модели факторного анализа и адресованная математикам, а не прикладникам, заинтересованным в использовании факторного анализа для решения своих задач. Предлагаемая книга Г. Хармана как нельзя лучше восполняет образовавшийся пробел: в этой книге в доступной форме излагается практически все, что создано за 60 лет развития факторного анализа; книга Г. Хармана интересна еще и тем, что в ней наряду с научными результатами рассказана история факторного анализа, прослеживаются пути развития отдельных идей от их 1 Задача группировки параметров давно рассматривалась в факторном анализе (см., например, разд. 7.4 этой книги), однако разработанная для решения этой задачи эвристическая процедура (так называемый метод ^-коэффициентов) оказывается работоспособной, только если человек по ходу применения процедуры вносит свои коррективы. Точная формальная постановка задачи группировки параметров и ее решение, по-видимому, впервые были даны в [558] и [554]. Ряд эвристических алгоритмов группировки параметров, получивших общее название метода корреляционных плеяд, предложен в [557] и [558]. 8
возникновения в виде некоторых интуитивных формулировок до точеных математических постановок и соответствующих алгоритмов (см., например, в 6.2 принцип «простой структуры» Тэрстоуна, предложенный в интуитивной форме в 30-х годах, и соответствующие формальные построения в гл. 13—15, легшие в основу большинства методов получения так называемых преобразованных факторных решений), дается представление об имевших место дискуссиях, приводится библиография. Вместе с тем книга не лишена некоторых недостатков методического характера. Автор часто одинаково подробно излагает как устаревшие либо неприжившиеся методы, так и методы, прошедшие апробацию в большом числе приложений. Много места в книге занимает описание модификаций тех или иных методов, предназначенных для ручного счета, что в наше время при широком распространении вычислительных машин явно не актуально. Эти методические дефекты книги в основном связаны с намерением автора дать широкий обзор всех имеющихся в факторном анализе методов. В заключение хотелось бы предупредить читателя о следующем обстоятельстве. Поскольку конечным результатом применения методов факторного анализа является, как правило, получение содержательно интерпретируемых фактов, то при решении практических задач факторный анализ в настоящее время является еще в большой мере искусством, овладение которым требует некоторого опыта. Поэтому те, кто намереваются пользоваться описанными в этой книге методами в своей практической работе, должны ознакомиться с прикладными работами, в которых решаются аналогичные задачи1. Э. БРАВЕРМЛН 1 Частично список таких работ приведен в разделе 1.2 этой книги; кроме того, для этой цели можно порекомендовать работы [560] — [577].
ПРЕДИСЛОВИЕ К ПЕРВОМУ ИЗДАНИЮ Эта книга отражает результаты, полученные в факторном анализе за 19 лет, прошедших со времени публикации нашей с профессором К. Холзингером книги «Факторный анализ», и включает вновь появившиеся вычислительные процедуры. За эти годы факторный анализ пополнился новыми понятиями и методами, в то время как некоторые старые методы устарели. Ввиду больших и разнообразных успехов факторного анализа, обусловленных в основном внедрением электронно-вычислительных машин, оказалось невозможным, вводя новый материал, ограничиться одной лишь переделкой. В «Современном факторном анализе» рассмотрены следующие наиболее важные разделы: 1) понятия и методы принципа «простой структуры», обычно связываемой в факторном анализе со школой Тэрстоуна; 2) аналитические методы вращения факторных решений; 3) применение в факторном анализе быстродействующих электронно-вычислительных цифровых машин (ЭВМ); 4) применение метода квадратного корня при решении задач факторного анализа на электромеханических табуляторах; 5) проверка статистических гипотез в факторном анализе; 6) задачи и упражнения с ответами на них; 7) обширная библиография по теории и методам факторного анализа. Предполагается, что книга может служить справочником по факторному анализу в его современном состоянии. Кроме того, автор надеется, что книга выиграла от включения в нее большого количества задач и упражнений, вычислительных процедур для ЭВМ и списка понятий и обозначений. Книга разделена на пять основных частей, посвященных соответственно основам факторного анализа, прямым факторным решениям, преобразованным факторным решениям, некоторым специальным разделам, задачам и упражнениям. В шести главах части 1даны предыстория и основные понятия факторного анализа, излагаются разделы математики, необходимые для понимания предмета, классифицируются и кратко описываются основные виды факторных решений. В части II рассмотрены методы непосредственного извлечения системы факторов из исходной информации (коэффициентов корреляции между параметрами). Теоретические выкладки, вычислительные процедуры и примеры, иллюстрирующие эти методы, изложены в пяти главах. В части III обсуждается взаимосвязь между различными факторными решениями, обусловленными допускаемым произволом, и вводится понятие преобразованного факторного решения. Затем следуют изложение принци- 10
пов простой структуры, выяснение различий между исходной и приведенной системами координат и описание аналитических методов перехода от некоторого произвольного факторного решения к ортогональному или косоугольному решению. В часть IV вынесены две важные специальные темы. Поскольку большая часть книги посвящена анализу наблюдаемых параметров в терминах факторов, то в отдельной главе выясняется возможность решения обратной задачи — измерения факторов по значениям наблюдаемых параметров. Здесь предлагается несколько высокоэффективных алгоритмов, решающих эту задачу. В последней главе1 речь идет о применении в факторном анализе метода проверки статистических гипотез, стоящего несколько в стороне от детерминистских математических постановок, традиционных для методов факторного анализа. Кроме основного текста в книге имеется вспомогательный материал. В части Удано большое количество задач и упражнений, имеющих целью не только помочь в усвоении материала, но и расширить теоретические представления. Некоторые статистические таблицы, приведенные в приложении, являются стандартными и введены в книгу для удобства читателя, а некоторые специфичны для факторного анализа. Библиография была отобрана с возможной тщательностью и включает лишь те публикации, которые непосредственно относятся к теории и методам факторного анализа. Наконец, книгу заключают именной и предметный указатели. Всюду в тексте теоретические выкладки сопровождаются вычислительными процедурами и численными примерами. При этом конкретная числовая информация не имеет самостоятельного значения и служит исключительно для иллюстрации методов. Именно по этой причине в «Современном факторном анализе» для демонстрации новых методов и сравнения их со старыми берутся числовые*материалы, использован* ные впервые К. Холзингером и Г. Харманом и ставшие ныне классическими для литературы по факторному анализу. Хотя факторный анализ был создан и разрабатывался в основном психологами как аппарат статистического исследования, он может быть полезен в самых разных областях. И именно в таком аспекте излагается в книге предмет факторного анализа. Психологические примеры нужны автору лишь для целей иллюстрации, но не для создания новых психологических теорий. Книга должна привести читателя к ясному пониманию предмета и методов факторного анализа. А далее читатель волен применять свои знания в любой другой дисциплине. Язык математики нужен автору не для большей элегантности и даже не для строгих доказательств, а лишь для точного, недвусмысленного изложения материала. Цель данной работы — изложение содержательных проблем, а не формальное математическое исследование. Г. Г. ХАРМАН Пасифик Палисадес, Калифорния. 1 Эта глава, являющаяся в первом издании гл. 17, во втором издании, с которого сделан перевод, помещена в часть II (гл. 10). — Прим. перев.
УКАЗАТЕЛЬ ОПРЕДЕЛЕНИЙ И ПОНЯТИЙ Текст книги организован таким образом, чтобы помочь читателю быстро найти любой раздел или иллюстративный материал. Для большей ясности изложения определения и символы вводятся и поясняются там, где в них возникает необходимость. В следующей таблице приведено местоположение в тексте основных понятий и определений. Название Обозначение компонент факторной дисперсии Понятия детерминанта и матрицы Обозначение векторов, матриц и детерминантов Метод квадратного корня для вычисления обратной матрицы Геометрические понятия Типы факторных решений Обозначения теории множеств Обозначение матриц при статистической оценке факторных весов Понятия и обозначения группового факторного анализа Обозначения в косоугольных методах анализа Понятия и обозначения в аналитических методах многофакторного анализа Обозначения часто встречающихся матриц Алгоритмы измерения факторов Алгоритмы обращения матрицы коэффициентов корреляции при измерении факторов Элемент Уравнение 2.20 §3.2 §3.2, п. 8 Табл. 3.3 Табл. 4.1 Табл. 6.1 Определение 7.11 Табл. 10.1 Табл. 11.1 Табл. 13.4 Табл. 15.1 Табл. 16.1 Табл. 16.8 Табл. 16.9 Стр 31 42 44 56 80 125 132 233 256 310 337 367 387 389
ЧАСТЬ I ОСНОВАНИЯ ФАКТОРНОГО АНАЛИЗА ГЛАВА 1. ВВЕДЕНИЕ 1.1. Краткая история развития факторного анализа Факторный анализ представляет собой ветвь математической статистики. Часто встречающееся ошибочное представление о факторном анализе как о психологической теории имеет свою причину: факторный анализ зародился и всегда интенсивно применялся в психологической науке. Первоначальная цель его состояла в построении математических моделей способностей и поведения человека. Наиболее известные из психологических теорий подобного рода принадлежат Ч. Спирмэну, С. Барту, Т. Келли, Л. Тэрстоуну, К. Холзингеру и Г. Томсону. Появление факторного анализа обычно связывают с именем Ч. Спир- мэна. Началом его монументального труда, развившего психологическую теорию единственного генерального и некоторого числа характерных факторов, следует считать статью [438], опубликованную в 1904 г. в «Американском психологическом журнале». Конечно, эта работа была лишь началом его двухфакторной теории и излагалась еще не в терминах «факторов». Возможно, более важной работой, особенно в статистическом плане, была статья К. Пирсона, опубликованная в 1901 г. [386], в которой выдвигалась идея «метода главных осей». Тем не менее отцом факторного анализа заслуженно считается Ч. Спирмэн, посвятивший последние 40 лет жизни развитию этой дисциплины. В последующие 20 лет были достигнуты значительные успехи в разработке как психологических теорий, так и математического обоснования факторного анализа. Основной вклад принадлежит здесь Ч. Спирмэну, С. Барту, К. Пирсону, Г. Томсону, Д. Максвеллу, Д. Гарнетту и К. Холзингеру. Основные усилия ученых в это время были направлены на доказательство существования (или, наоборот, отсутствия) общей (неспецифической) одаренности (general ability), изучение ошибок от непредставительности выборки при оценке тетрадных разностей (см. 7.2) и разработку вычислительных процедур для поиска генерального фактора (проблема, фундаментальная для центроидного метода). 13
Начало современного периода в развитии факторного анализа, характерного подъемом творческой активности и оживленной дискуссией на страницах научных публикаций, следует, по-видимому, отнести к 1925 г.; реальные результаты относятся к 1930 г. К этому времени становится ясным, что факторы, получаемые с помощью двухфактор- ной теории Спирмэна, не всегда адекватно описывают набор психологических тестов; впрочем, первое время экспериментаторы упорно отрицали наличие отклонений от теории и максимально сокращали число рассматриваемых групповых факторов. Теория генерального и специфических факторов Спирмэна постепенно вытеснялась теорией групповых факторов, но методы этой последней были еще слишком трудоемкими, что затрудняло их практическое применение. Именно поэтому ряд исследователей направили свои усилия на поиск методов непосредственного извлечения набора факторов из матрицы корреляций между тестами; результатом этого явилось создание многофакторного анализа, понятие о котором ввел впервые Гарнетт [140]. Хотя термин «многофакторный анализ» был впервые введен Л. Тэр- стоуном и хотя Тэрстоун, несомненно, больше, чем кто-либо другой, сделал для популяризации многофакторного анализа, не он тем не менее был первым, кто «сверг» двухфакторную теорию Спирмэна, и не он открыл теорию многих факторов. И даже не центроидный метод позволил Тэрстоуну занять выдающееся место в истории факторного анализа. Тэрстоун ясно сознавал, что центроидный метод является лишь вычислительным компромиссом по отношению к методу главных компонент. Заслуга этого ученого состоит в том, что он обобщил критерий разности тетрад^. Спирмэна и указал, что основой для определения числа общих факторов является ранг корреляционной матрицы (см. 4.10 и гл. 5). Он заметил, что нуль разности тетрад соответствует нулю детерминанта второго порядка, и предложил использовать этот факт в качестве условия существования более чем одного фактора. При этом проблема весьма упростилась в математическом аспекте, что способствовало дальнейшему развитию факторного анализа. Приложения математических результатов, полученных в рамках факторного анализа, не ограничились психологической наукой. Задача факторного анализа состоит в замене набора параметров меньшим числом некоторых категорий («факторов»), являющихся линейной комбинацией исходных параметров. Удовлетворительным решением служит такая система факторов, которая достаточно адекватно передает информацию, имеющуюся в наборе параметров. Таким образом, главная цель факторного анализа — сжатие информации, экономное описание. Далее из текста книги станет ясным, что одна и та же матрица корреляций может быть факторизована бесчисленным количеством способов. (Мы не знаем, были ли осведомлены об этом хорошо известном сейчас факте ученые в первые годы развития факторного анализа; и не в этом ли математическом трюизме действительно кроется причина бурных дискуссий о «правильном», «наилучшем» или «инвариантном» решении для данного набора параметров?) Раз возможно бесконечное 14
число одинаково «правильных» решений, то естественно возникает вопрос: как произвести выбор? Выбор типа нужного факторного решения производится на основании двух принципов: 1) статистической простоты, 2) содержательного психологического смысла (если речь идет о психологии). В свою очередь, каждый из этих принципов может быть по-разному интерпретирован; доказательством тому служит неоднозначное их применение различными школами факторного анализа. Если иметь в виду чисто статистический подход, то естественно заменить исходный набор параметров несколькими факторами, определяемыми последовательно и таким образом, чтобы каждый из последующих факторов «отбирал на себя» максимум из оставшейся суммарной дисперсии параметров. Этот статистический оптимальный подход и соответствующий метод главных осей1 был впервые предложен Пирсоном в начале столетия и досконально разработан Хотеллингом в 1930-х годах. Алгоритмы метода главных компонент весьма эффективны сточки зрения результатов, но очень трудоемки: вычислить вручную главные компоненты для матрицы 10-го и более высокого порядка практически невозможно. В последние годы, однако, эта трудность была преодолена благодаря быстродействующим ЭВМ. Другим методом, основанным на статистическом подходе, является центроидный метод. Как указывалось выше, центроидный метод был введен в употребление как вычислительный паллиатив, после того как стала ясна практическая нереализуемость метода главных факторов. Это означает, что центроидный метод позволяет достаточно легко из многих систем координат выбрать такую, которая в смысле распределения дисперсии приближается к оптимальной системе. Вообще говоря, конечный результат обоих методов, центроидного и главных факторов, еще не может устроить психологов (впрочем, Барт иногда отдает предпочтение методу главных факторов). В поисках содержательно значимых методов факторизации психологи создали различные теории, надеясь найти такой единственный метод, который был бы одинаково хорош при исследовании интеллекта, личности, физических экспериментов и любых параметров, с которыми приходится сталкиваться психологу. Примерами подобного рода теорий могут служить бифакторная теория Холзингера и принципы «простой структуры» Тэрстоуна. Примером противоположного рода является теория эталонов Томсона [465] — психологическая теория мозга. Вероятно, не может существовать метод факторизации, одинаково предпочтительный в самых разных исследованиях (см. 6.2). Если отдается предпочтение содержательной значимости в ущерб математическому формализму, то для оценки результатов необходимо привлечь специалиста. В гл. 14 и 15 описываются успехи, достигнутые в поиске объективных решений этой проблемы. Как указывалось выше, основная задача факторного анализа состоит в экономном описании экспериментальных данных. Это вовсе не оз- 1 Термином «метод главных осей» автор обозначает два различных метода: главных компонент (8.2) и главных факторов (8.3). — Прим. перге, 15
начает, что всегда методами факторного анализа ищут «фундаментальные», «базисные» категории (факторы) в данной области, например в психологии. Иногда бывает необходимо по возможности наиболее полно проанализировать набор параметров, характеризующих умственные способности некоторой популяции. Но даже и в этом случае факторы не могут полностью описать ситуацию хотя бы потому, что некоторые важные параметры попросту еще не придуманы. Теоретически задача исчерпывающе полного описания неразрешима; однако в практическом исследовании с ограниченным кругом решаемых вопросов и небольшим числом рассматриваемых параметров она разрешима вполне. Нужно только помнить, что факторный анализ дает всегда интерпретацию лишь данного экспериментального материала и, следовательно, сокращенное описание лишь данного набора параметров. Главную цель факторного анализа хорошо выразил Келли [306J: «Факторный анализ не пытается искать истину в бесконечном времени, бесконечном пространстве или для бесконечной выборки; наоборот, он стремится дать простое описание конечной группы объектов, функционирующих конечным числом способов, в терминах некоторого пространства небольшого числа измерений. Разочарован будет тот, кто пожелает найти в факторном анализе более туманные цели и истины». 1.2. Области применения факторного анализа Методы факторного анализа нашли применение главным образом в психологии. Причиной этому был тот факт, что факторный анализ зародился в психологии и формализм этой дисциплины тесно «... связан с психологической концепцией ментальных факторов; даже специалисту-статистику трудно заметить и установить связь между методами факторного анализа и методами обычной математической статистики» [312]. Одна из целей этой книги — исправить создавшуюся ситуацию. Решение, полученное методами факторного анализа, может послужить основой при формулировании некоторой научной гипотезы; возможно и обратное: методами факторного анализа ищется подтверждение существующей гипотезы. Теория Спирмэна является иллюстрацией этого последнего подхода: «... все области интеллектуальной деятельности имеют в своей основе одну глобальную функцию (или группу функций); специфические же виды человеческой деятельности в каждом случае имеют, по-видимому, совершенно различный характер» [438]. Спирмэн показал, что если между парными корреляциями имеются определенные взаимосвязи (о тетрадах см. 5.3), то может быть выписана система линейных уравнений, связывающих все рассматриваемые параметры, генеральный фактор и по одному дополнительному характерному фактору на каждый параметр. Эти взаимосвязи и позволяют дать статистическое обоснование двухфакторной теории. Если набор психологических параметров не удовлетворяет условиям су- 16
ществования указанных взаимосвязей, то может быть постулирована более Сложная гипотеза, требующая уже несколько генеральных факторов для адекватного статистического описания системы параметров. Одна из наиболее ранних работ, связанных с расширением сферы приложения факторного анализа, была проделана в 1950 г. Т. Келли [307]; в работе предлагался метод достижения максимальной социальной полезности каждого индивидуума при сохранении индивидуальных свобод и прав. Во время второй мировой войны факторный анализ широко применялся различными военными службами США в связи с решением проблем квалификационных проверок, классификации и распре- деления личного состава. Разумеется, психологи и по сей день продол жают развивать и применять методы факторного анализа. Многие психологи предприняли интенсивные исследования, пытаясь методами факторного адализа выделить небольшое число тестов, возможно более полно описывающих умственную деятельность человека. Обычно работы такого рода включают факторизацию большого набора тестов, результатом которой являются несколько общих факторов. Далее из набора тестов отбираются те, которые наилучшим образом описывают факторы (возможен и синтез «наилучших» тестов из исходных); отобранные тесты считаются прямыми измерителями «факторов мозга». Конечно, эти тесты лишь в той мере являются действительными измерителями факторов, в какой их считают «правильными» психологи. Факторные тесты должны быть «чистыми» тестами и сильно отличаться друг от друга, покрывая своей системой весь спектр умственной деятельности. Извлечению факторов из большого набора тестов было посвящено несколько крупных работ. Из наиболее ранних исследований подобного рода следует отметить работу Спирмэна и Холзингера [234] о выявлении отдельных черт характера и публикацию Тэрстоуна [472], посвященную изучению умственных способностей. Из большого потока исследований последующих лет, касающихся выделения специфических психологических факторов, следует упомянуть отдельно работы Д. Гилфорда [167], Р. Каттелла [76] и Д. Френча [135]. Столь же широкое применение, как и при исследовании интеллекта» факторный анализ получил и в других областях психологии. В качестве иллюстрации отметим несколько работ, посвященных применению факторного анализа при изучении темперамента [169], исследовании должностной морали [425], создании клинической терапии [346, 361], выявлении отличительных особенностей группы дикторов [502], анализе поведения избирателей (выборы в верховный суд) [424, 480]. За последние годы факторный анализ все более широко начал применяться и в других областях знания: в социологии, метеорологии, медицине, географии, экономике и др. В настоящей книге мы не будем вдаваться в подробности применения факторного анализа в конкретных областях; тем не менее представляется полезным перечислить эти обла«$н Материалом лля обобщения послужили около 200 публикаций 17
¦из более чем десятка отраслей наук, демонстрирующих самые интересные приложения факторного анализа. Ниже перечисляются некоторые из этих работ: международные отношения [10, 410, 411, 453]; урбанизация и экономическое развитие [37, 38, 48, 154, 157, 163, 220, 393, 421]; социология [78, 170, 350, 389]; экономика [13, 124, 310, 315, 316, 532]; системы человек — машина [412, 481]; изучение несчастных случаев [165, 500]; техника связи [509, 510]; таксономия (например, в энтомологии и при классификации публикаций) [45, 46, 406, 407, 431, 434]; биология [433, 533]; психология и медицина [15, 247, 282, 382, 384, 390]; особенно выделяются здесь сердечно-сосудистые заболевания [66, 67, 82, 92, 419]; геология [273, 317]; метеорология [17, 517]. Из этого краткого перечня областей знания, использующих факторный анализ, наглядно видно, как много исследователей уже оценили мощь и возможности методов этого раздела многомерной статистики. Рассмотренные выше приложения факторного анализа касаются в основном классификации и проверки различных гипотез в конкретных областях. Совершенно другое применение, и некоторые авторы считают его основным, имеет факторный анализ в качестве дополнительного аппарата, позволяющего упростить некоторые вычислительные процедуры. Типичным примером такого рода использования факторного анализа является привлечение его для упрощения процедуры построения линии регрессии в многомерном случае (см., например, [90, 108]), при этом особенно большой эффект получается, если число параметров велико, а число факторов мало. Это становится понятным, если учесть, насколько проще обратить корреляционную матрицу, порядок которой равен числу факторов, по сравнению с матрицей, поря-. док которой равен числу параметров (см. гл. 16). Факторный анализ может оказать помощь при изучении взаимосвязи между двумя наборами параметров, а именно: сначала факторными методами находится наилучшая линейная функция для обоих наборов, а затем для получения двух функций вычисляется так называемый канонический коэффициент корреляции [262]. Эта корреляционная зависимость отражает максимальную связь между двумя наборами параметров. Поскольку эта книга посвящена в первую очередь изложению методов факторного анализа, приведенные в ней примеры играют лишь роль иллюстраций. Некоторые из примеров надуманны, но большинство имеют реальный смысл и взяты из психологии и социальных наук. Целью этих примеров является не демонстрация полезности факторно- ного анализа, а лишь пояснение теоретических положений, 18
1.3. О многообразии методов Факторный анализ, как и вся математическая статистика, есть ветвь прикладной математики и может служить, следовательно, в качестве средства анализа для наук, связанных с обработкой эмпирической информации. При попытках объяснить наблюдаемые факты могут, конечно, появиться некоторые внутренние противоречия. Одно из требований, предъявляемых к статистической теории, состоит в томг что она должна уметь выявлять закономерности, лежащие в основе поведения объекта, характеризуемого данным экспериментальным материалом. Примерами такого рода закономерностей могут служить: 1) линия регрессии, предсказывающая зависимость будущих успехов- студента от его оценок на трех вступительных экзаменах, 2) математическая кривая, например, кривая нормального распределения или одна из семейства кривых Пирсона, аппроксимирующая кривую выборочного распределения, 3) проверка по %2-критерию гипотезы о независимости, например, таких утверждений: «дает или не дает эффект данная сыворотка», «вылечивает или не вылечивает». Такие закономерности предусматривают некоторые случайные отклонения наблюдаемых значений от значений, предсказываемых теорией. Может оказаться поэтому, что один и тот же экспериментальный материал достаточно хорошо объясняется несколькими совершенно разными математическими моделями. Можно сказать, что цель любой науки состоит в установлении закономерностей, лежащих в основе эмпирических фактов, наблюдаемых в данной конкретной области. Эти закономерности, выражаемые обычно в виде математических формул, позволяют, зная взаимосвязь между известными фактами, предсказывать новые, доселе неизвестные факты. Обычно развитие научной теории начинается с того, что на основании наблюдаемых фактов формулируется некоторое адекватное математическое соотношение; далее это соотношение (по сути дела это математическая модель некоторого явления) проверяется на новых наблюдениях. Для любого факта в прикладной науке может быть найдено удовлетворительное объяснение в рамках нескольких математических моделей. В связи с этим часто наблюдается недопонимание взаимосвязи между математической моделью и объясняемым [ею явлением. Когда теория достаточно успешно объясняет наблюдаемые факты, то имеется тенденция полагать найденную закономерность единственно правильной. «Более того, иногда утверждают, что природа ведет себя точно в соответствии с найденным математическим соотношением. На самом же деле природа никогда не ведет себя подобным образом и всегда существуют несколько математических теорий, результаты которых отличаются от наблюдаемых величин не более чем на значение ошибки измерения. ... Всегда, когда некоторая теория кажется достоверной и эффективной в течение длительного времени, возникает опасность того, что люди начнут верить в непререкаемость и безупречность этой теории. Наше 19
глубокое убеждение состоит в том, что в подобном случае мы можем настолько закрыть наш разум для восприятия других возможных теорий, что это станет серьезным препятствием на пути дальнейшего развития наших представлений об окружающем мире» [41, стр. 472, 477]. Высказанное утверждение одинаково справедливо в самых разных областях. Одним из простейших примеров может служить задача геометрического исследования небольшого участка земли. Здесь можно воспользоваться двумя математическими теориями: плоскостной и сферической тригонометриями. При изучении территории города обе теории дадут одинаково приемлемые результаты, и обычно инженер предпочитает плоскостную тригонометрию, как более простую. Нет сомнения, „однако, что сферическая теория даст более точные результаты, поскольку земля по форме близка к шару. В астрономии есть две общие теории, описывающие устройство солнечной системы. Теории Птолемея и Коперника, существенно отличаясь друг от друга по форме, описывают движение планет одинаково точно. «По своей способности численно описывать факты, наблюдаемые в солнечной системе, обе эти теории н^ имеют реальных преимуществ друг перед другом. Однако теория Коперника более проста геометрически и математически. Именно по этой причине она была принята и развита астрономами до такой степени, что сегодня возможно предсказывать появление небесных феноменов с поразительной точностью» [41, стр. 477—478]. Даже в сфере приложения такой науки, как геометрия, где, казалось бы, можно говорить лишь об одной теории, возможно описание объектов средствами разных теорий. Так, конфигурация объекта на плоскости может быть исследована с точки зрения эвклидовой геометрии, римановой геометрии и некоторых других неэвклидовых геометрий. Таким образом, в теоретическом основании прикладной геометрии лежит возможность альтернативы. Как и в приведенных выше примерах, в факторном анализе при исследовании конкретных массивов информации существует возможность использовать различные модели, или, иначе, различные виды факторных решений. На основании этой неопределенности факторного анализа некоторые ученые ставили под сомнение его полезность как орудия научного исследования. Очевидно, однако, что точно так же подобного обвинения заслуживают и другие прикладные науки, поскольку и в них имеются теоретические альтернативы. С начала этого столетия психологи и статистики разработали несколько типов факторных решений. Сторонник очередной теории аргументировал обычно ее полезность возможностью интерпретации психологических экспериментов. Сильнейшие эмоции, характерные для одного периода развития факторного анализа, остроумно выразил Куртон [91]: «Факторную теорию можно определить как математически разумную гипотезу. Специалист в области факторного анализа — это субъект, одержимый некой навязчивой идеей о природе умственных способностей или личности. Применяя высшую математику к исследуе- .20
мому предмету, он доказывает, что его оригинальная точка зрения верна и неизбежна. Обычно он доказывает также, что все другие специалисты в факторном анализе — опасные сумасшедшие и единственное их спасение состоит в том, чтобы принять его теорию; только в этом случае выяснится истина об их болезни. Поскольку противники никогда не поддерживают такое обвинение, то он обзывает их безнадежными и устремляется в области математики, наверняка им не известные; тем самым доказывается не только необходимость, но и достаточность неизлечимости оппонентов». История факторного анализа полна жарких и вдохновенных споров о «наилучших» методах; через это прошли Ч. Спирмэн A863—1945), Л. Тэрстоун A887—1955), К. Холзингер A893—1954). В этих спорах проявлялась не жажда противоречий, но твердая уверенность людей, ¦большую часть жизни посвятивших развитию одной из школ факторного анализа. Многие из публикаций 30-х и 40-х годов, уверявшие в преимуществах «этого метода» перед «тем методом», внесли свой вклад в развитие предмета. В дальнейшем, с ростом понимания свойств отдельных методов и с увеличением эффективности вычислительных процедур, различия между методами перестали казаться столь угрожающими и сторонники какого-либо конкретного подхода стали более терпимыми в отношении последователей альтернативных методов. Следует понимать, что разные типы факторных решений связаны с разными математическими подходами при описании частных научных проблем. Прежде чем детально изложить методы и вычислительные процедуры факторного анализа, в гл. 6 предварительно перечисляются наиболее популярные методы. Из этого краткого описания характерных свойств отдельных методов исследователь может узнать о преимуществах и ограничениях конкретного типа факторного решения в применении к его задаче. Автор глубоко надеется, что эта книга поможет лучше разобраться в кажущейся взаимной конкуренции методов факторного анализа. Лишь тщательный и беспристрастный анализ позволит выявить возможности каждого из методов.
ГЛАВА 2. МОДЕЛЬ ФАКТОРНОГО АНАЛИЗА 2.1. Введение Как указывалось в предыдущей главе, исследователь, анализируя экспериментальные данные, сталкивается с необходимостью сформулировать некоторую статистическую модель. Иногда этот важный шаг незаметен или только слегка выявлен. Во всяком случае, всегда, когда из анализа экспериментальных данных должно быть вынесено какое- либо заключение, необходимо знание конкретной модели. Конечно, в зависимости от целей анализа наблюдаемые факты могут быть описаны разными моделями. Чаще всего в факторном анализе применяется линейная модель. Это связано, во-первых, с извечным желанием ученых объяснить наблюдаемое явление в терминах более элегантной (и, следовательно, более простой) теории и, во-вторых, с тем, что отход от линейной модели приводит к невероятным математическим трудностям. Линейность модели предполагается во всей этой книге. На обобщения, которые могут последовать при отходе от гипотезы линейности, указывали М. Бартлетт [31], Р. Макдональд [359] и Р. Вуд [531]. Основные статистические понятия и обозначения, применяемые в факторном анализе, даны в 2.2. Далее следуют принятые в факторном анализе линейные модели. В 2.4 обсуждается вопрос о структуре дисперсии параметра. Здесь же вводятся и подробно поясняются некоторые основные термины. Задача факторного анализа и понятия об искомых величинах формулируются в 2.5. В 2.6 рассматривается вопрос об адекватности факторных моделей экспериментальным данным, в 2.7 — вопрос о неопределенности факторных решений. Наконец, в 2.8 многие из ранее данных понятий записываются с помощью матричного обозначения в более компактном виде. 2.2. Основные понятия математической статистики Обычно в статистическом исследовании рассматривается группа объектов, характеризуемых некоторыми общими для них свойствами. В каждом конкретном случае термину «объект» могут соответствовать 22
самые разные элементы: люди, финансовые бумаги и т. д. Измерения этих свойств (признаков) объектов будем называть значениями их параметров. Всюда далее для обозначения общего числа объектов используется буква iV,a для обозначения числа параметров — буква п. Отдельный параметр будем обозначать через Xj или просто /; таким образом, / может принимать любое значение из ряда 1, 2, ..., п. Индекс i используется для обозначения любого объекта: i = 1, 2, 3, ..., N. Значение параметра Xj для объекта i обозначим Хп> обращая внимание на порядок индексов. Частное значение Хн называется наблюденным (выборочным) значением и соответствует измерению при произвольном начале координат и произвольных единицах измерения. В литературе по статистике принято для обозначения статистических характеристик выборки (и гипотетических, или скрытых, параметров) использовать буквы греческого алфавита, а для обозначения наблюденных значений параметров — буквы латинского алфавита. Для обозначения выборочных оценок статистических характеристик над соответствующим символом ставится «крышка» р). Чтобы не нарушать привычных для факторного анализа обозначений, будем в той мере, насколько это окажется удобным, также пользоваться приведенными обозначениями. Для дальнейшего понадобятся некоторые простые понятия математической статистики. Во многих выражениях будет встречаться сумма N значений параметра Xj\ S Хн или %Хи, B.1) где во втором выражении суммирование ведется также по всем значениям параметра. Выражение, подобное второму в B.1), встречается далее в тексте повсюду. Среднее значение для N наблюденных значений параметра Xj определяется следующим образом: XZX B-2) Математическое ожидание, если оно понадобится в теоретических рассуждениях, будем обозначать через \LJm Наблюденное значение параметра может быть преобразовано к более удобной форме, если зафиксировать начало координат и единицы измерения. Пусть начало координат соответствует среднему выборочному значению; тогда величина **=**-** B.3) называется отклонением параметра от его среднего значения. 23
Выборочная дисперсия1 параметра Xj определяется так:. */=¦?¦ 2 */<¦ B.4) Дисперсию истинного распределения (генеральной совокупности) обозначим через с/. Теперь, приняв в качестве единицы измерения среднеквадратичное отклонение sjy определим нормированное значение параметра / для объекта i: *„ = ^. B.5) Множество значений zH (i = 1, 2, ..., N) назовем стандартной формой задания параметра zj. Очевидно, дисперсия zj равна 1. Для двух произвольных параметров j я k можно определить их коэффициент ковариации как Ън = 1>хн*м/М. B.6) а соответствующую характеристику истинного распределения обозначим через Ojk. Коэффициент корреляции обозначается через pyfe; его выборочное значение подсчитывается из выражения = 2 гн zJN = 2 хн xjYZx^xh. B.7> Обычно первым этапом факторного анализа является вычисление коэффициентов корреляции между всеми изучаемыми параметрами. В качестве иллюстраций некоторых понятий статистики рассмотрим простой численный пример. Этот пример будет неоднократно использован далее для демонстрации различных методов факторного анализа. Чтобы выяснить все аспекты факторного анализа, нам достаточно будет рассмотреть N = 12 объектов, характеризуемых п = = 5 параметрами; вычислительные работы при таком малом материале сведутся к минимуму. Хотя для получения точных математических решений достаточно воспользоваться искусственным, модельным материалом, мы полагаем, однако, что предпочтительней взять материал, полученный из практики. Несмотря на «реальность» нашего материала, результаты его обработки не имеют практической ценности и могут служить лишь для демонстрации методов и, возможно, для отладки программ на вычислительных машинах. С учетом этих замечаний были отобраны (не совсем произвольно) данные из материалов статистического обследования Лос-Анджелеса (см. табл. 2.1). Двенадцать рассматриваемых в примере объектов — это бланки переписи 12 микрорайонов Лос-Анджелеса. Бернсом и Харманом [48] было проведено полное факторное исследование 67 параметров (для лучшей сравнимости результатов работа проводилась не на 1 Следует помнить, что выборочная дисперсия является смещенной оценкой дисперсии. Для получения несмещенной оценки необходимо в знаменателе B.4) вместо N написать (N — 1). 24
Таблица 2.1. Исходная информация о пяти социально-экономических параметрах Объекты ?номера бланков) i 1 A439) 2 B078) 3 B408) 4 B621) 5 G007) 6 E312) 7 F032) 8 F206) 9 D037) 10 D605) 11 E323) 12 E416) Среднее значение Стандартное отклонение Параметры население (всего) 1 5 700 1 000 3 400 3 800 4 000 8 200 1200 9 100 9 900 9 600 9 600 9 400 6 242 3 440 образование (годы обучения) 2 12,8 10,9 13,6 12,8 8,3 11,4 11,5 12,5 13,7 9,6 11,4 11,4 1,8 общая занятость 3 2 500 600 1000 1700 1600 2 600 400 3 300 3 400 3 600 3 300 4 000 2 333 1 241 профессиональная занятость 4 270 10 10 140 140 60 10 60 180 390 80 100 121 115 средняя стоимость жилища 5 25000 10 000 9 000 25 000 25 000 12 000 16 000 14 000 18000 25 000 12 000 13 000 17 000 6 368 действительных, а на относительных значениях параметров) на материале 1169 бланков переписи (каждый бланк соответствует одному району). Среди всей совокупности параметров имелись группы параметров, характеризующих численность населения, занятость, доход и жилищные условия; все эти группы представлены в нашем примере. На основании исходного материала на первом этапе последовательного факторного анализа были вычислены коэффициенты корреляции между параметрами (табл. 2.2I. Вычисление коэффициентов корреляции есть, конечно, отдельная работа, и здесь об этом говорится только из соображений более последовательного изложения. В наши дни, когда Таблица 2.2. Матрица коэффициентов корреляции для пяти социально- экономических параметров Параметры / 1. Население 2. Образование 3. Занятость 4. Профессиональная занятость 5. Стоимость жилища 1 1,00000 0,00975 0,97245 0,43887 0,02241 2 0,00975 1,00000 0,15428 0,69141 0,86307 3 0,97245 0,15428 1,00000 0,51472 0,12193 4 0,43887 0,69141 0,51472 1,00000 0,77765 5 0,02241 0,86307 0,12193 0,77765 1,00000 1 Данные приводятся с точностью до пятого десятичного разряда, с тем чтобы иметь возможность проверить точность последующих вычислений. 25
факторный анализ проводится на ЭВМ, вычисление корреляционной матрицы является наиболее легким этапом по сравнению с другими этапами анализа. Поскольку рассматриваемый пример много раз используется далее, будем вести изложение последовательно, начиная с вычисления коэффициентов корреляции. 2.3. Линейные модели Задача факторного анализа состоит в том, чтобы выразить параметр Zj в терминах скрытых гипотетических факторов. Простейшей моделью для описания одного параметра в терминах нескольких других может служить линейная модель, которая и применяется в этой книге. Однако и в рамках линейной модели в зависимости от целей анализа возможны различные варианты. Рассмотрим две такие цели: 1) выделение максимальной дисперсии; 2) «наилучшую» аппроксимацию выборочных корреляций. К. Пирсон [386] предложил эвристический метод сжатия большого массива информации с одновременным выделением максимальной дисперсии. Позднее Г. Хотеллинг [259] развил этот метод, создав метод главных компонент, или компонентный анализ. Модель компонентного анализа проста: ("zj = ajlF1+aj2F2 + ...+ajnFn (/=1, 2,..., /г), B.8) где каждый из наблюденных параметров линейно зависит от п некоррелированных между собой новых компонентов (факторов) Flf F2> ...> ..., Fn. Важное свойство метода состоит в том, что каждая очередная компонента дает максимально возможный вклад в суммарную дисперсию параметров. Обычно на практике оставляют небольшое число компонент, особенно в том случае, если на их долю приходится достаточно большой процент суммарной дисперсии параметров. Однако для точной аппроксимации корреляций между параметрами необходимы все компоненты. В противоположность подходу, связанному с максимизацией дисперсии, в модели классического факторного анализа требуется наилучшим образом аппроксимировать корреляции (методы, реализующие этот подход, составляют большую часть книги). Основная модель факторного анализа может быть записана в таком виде: zj=.anF1+aj2F2 + ...+ajmFm + djUj (j = 1, 2,..., п). B.9) Здесь параметр z,- линейно зависит от т общих факторов и характерного фактора (обычно т много меньше п). Общие факторы учитывают корреляции между параметрами, характерный фактор учитывает оставшуюся (в том числе и связанную с различными погрешностями) дисперсию. Коэффициенты при факторах часто называют нагрузками. Иногда, для того чтобы обратить внимание на тот факт, что выражение B.9) есть математическая модель параметра zjy его обозначают со штрихом: z/. Для простоты будем далее в выражениях с параметрами опу- 26
екать штрих. Если быть точными, то следовало бы факторы, и коэффициенты при них в B.9) обозначать греческими буквами, так как здесь речь идет о гипотетических характеристиках генеральной совокупности (см. выше). Однако обозначения B.9) настолько установились в литературе по факторному анализу, что не стоит менять их1. Следует помнить только, что одни и те же символы в B.8) и B.9) обозначают разные вещи. Используя B.9), можно записать выражение для значения /-го параметра у /-го объекта: т Zjt^IiajpFpi + djUji (i = l, 2,..., N; / = 1, 2,..., л). B.10) p=i Здесь Fpi—значение общего фактора Fp для объекта i, а каждый из т членов суммы ujPFpi отражает степень влияния соответствующего фактора на параметр Zj\ dji/n — «остаток», «невязка», в выражении для наблюденного значения. Без потери общности можно предположить, что факторы имеют нулевые средние значения и единичные дисперсии (хотя фактически факторы нам не известны). Кроме того, считают, что характерные факторы независимы как между собой, так и по отношению к общим факторам2. В модели B.9) под факторами Fp понимают случайные величины с некоторым законом распределения, по ряду соображений обычно предполагаемым нормальным. Из предположения о том, что факторы — нормально распределенные независимые случайные величины, следует, очевидно, предположение о том, что параметры Zj имеют многомерное нормальное распределение (см. гл. 10). Хотя выражение B.10) формально позволяет вычислять значения факторов, в действительности, как выяснится в гл. 16, эти значения оцениваются косвенно. Существует, однако, другая модель, внешне схожая с B.10), но имеющая важное отличие: значения факторов входят в эту модель как параметры и оцениваются непосредственно, одновременно с нагрузками. Эта модель, исследовавшаяся Андерсоном и Рубином [14], Уитлом [519] и Жореско [285], в книге не рассматривается. Наибольший наш интерес вызывает модель B.9), а в ней — основная проблема факторного анализа: оценка п • т нагрузок общих факторов. Для решения этой проблемы были предложены различные методы, подробно рассмотренные в II части книги. В этих методах для вычисления факторных нагрузок используются матрицы коэффициентов корреляции'между параметрами. Предпринимались попытки (см., например, [236, 414, 519, 545]) определить факторные нагрузки не из 1 Исключение составляют сугубо математические работы по факторному анализу. 2 Обратим внимание на тот факт, что из-за предполагаемой взаимной независимости характерных факторов Uj (j = 1, ..., п) разложение B.9) представляет собой достаточно сильную гипотезу о параметрах Zj (j = 1, .., л). — Прим. перев. 27
корреляционных или ковариационных матриц, а непосредственно из наблюденных значений параметров; подобные процедуры мы рассматривать не будем. Поскольку в факторном анализе параметр описывается линейной комбинацией некоторого небольшого числа других параметров (плюс остаток), то может показаться, что факторный анализ очень похож на регрессионный анализ. Однако в регрессионном анализе набор независимых параметров предполагается измеряемым в действительности, тогда как в факторном анализе эти параметры являются гипотетическими и лишь могут быть оценены с помощью измеренной информации при последующем анализе (см. гл. 16). В большей части изложенного в книге материала не делается никаких предположений о характере распределения параметров. Более того, подсчитанные выборочные коэффициенты корреляции понимаются так, как если бы это были истинные коэффициенты корреляции генеральной совокупности; проблема статистической достоверности при этом игнорируется. Иными словами, процедуры, направленные на получение факторных решений в смысле B.9), оперируют корреляционными матрицами; при этом корреляция понимается как математическое, а не как статистическое понятие. Когда вопрос о статистической достоверности будет возникать, например при исследовании числа общих факторов или значимости факторных нагрузок, то будут делаться специальные предположения о характере функций распре- деления факторов и наблюденных параметров (см. гл. 9, 10). 2.4. Компоненты дисперсии Согласно модели, изложенной в предыдущем параграфе, дисперсия параметра может быть выражена через факторы. Так, применив определение B.4) к модели B.10), получим: = 2 а% BF%IN) + d) 2 U)ilN + i m /га S ajp ajq B Fpt FgiIN) + 2d} 2 a,p B Fpt UHIN), p\< <7= 1 P= 1 где, как мы помним, в суммах без индексов суммирование ведется по i от 1 до N. Поскольку дисперсия параметра, заданного в стандартном виде, равна единице и все параметры (включая факторы) предполагаются заданными в стандартном виде, предыдущее выражение можно переписать: ^ajprF и B.11) 28
Характерные факторы всегда не коррелированы с общими факторами; если принять, что общие факторы не коррелируют также и между собой1, то выражение B.11) можно упростить: Члены в правой части представляют доли дисперсии параметра zjr приходящиеся на соответствующие факторы. Например, aj22 есть вклад: фактора F2 в дисперсию параметра Zj. Полный вклад Vp фактора Fp> в суммарную дисперсию параметров определяется выражением Ур=2я/2р (Р = 1. 2,..., т), B.13) а полный вклад всех общих факторов в суммарную дисперсию параметров равен т P=2VV B.14) Отношение V/n служит иногда показателем полноты факторизации. Из выражения для общей дисперсии B.12) следуют два важных по* нятия факторного анализа: 1) общность2 (communality) параметра zjy которая представляет собой сумму квадратов факторных нагрузок hf = a%+a% + ...+a?m (/= 1, 2,..., п), B.15) и 2) характерность (uniqueness) — вклад характерного фактора. Последняя показывает, насколько в общих факторах учтена суммарная дисперсия параметра. Иногда удобно разбивать характерность, на две части: ту, что действительно связана со спецификой изучаемых параметров, и ту, что связана с ошибками измерений. Если к данному набору параметров добавить несколько новых, то изучение добавочных коэффициентов корреляции может привести к появлению дополнительных общих факторов. Это означает, что при рассмотрении первоначального набора параметров эти возможные связи данного параметра отражались в той доле характерности, которая связана с действительной спецификой параметра. Эта доля называется специфичностью (specificity) параметра. Оставшаяся доля, связанная с несовершенством измерений, называется дисперсией ошибки (error variance) или* ненадежностью (unreliability) параметра. Дополнение дисперсии ошибки до полной иногда называют «надежностью» параметра. В психологии эту характеристику параметра (отличая ее от дисперсии ошибки) измеряют обычно значением коэффициента корреляции между 1 Случай коррелированных факторов подробно рассматривается в гл. 13* и 15. 2 В переведенной на русский язык книге [329] этот термин — communality— переведен как факторная дисперсия. Поскольку в настоящей работе рассматривается несколько типов факторов и, следовательно, несколько типов факторных:, дисперсий, представляется более удобным перевести термин буквально, т. е.. как общность. — Прим. перев. 29*
двумя отдельными реализациями одного и того же теста или между близкими вариантами теста, реализованными параллельно. Две такие реализации параметра обозначим Zj и Zj\ тогда их коэффициент корреляции rjj измеряет надежность параметра. Если характерный фактор разбить на два описанных выше вида, то модель B.9) для произвольного параметра zj приобретет вид: Zj = aJ1F1+aj2F2 + ...+ajmFm + bjSj+ejEj (/=1, 2,..., п). B.16) Здесь Sj и Ej — соответственно факторы специфичности и ошибки, bj и ej — коэффициенты при них. Поскольку факторы специфичности и ошибки между собой не коррелированы, для характерности и составляющих ее частей справедливо соотношение B.17) Суммарная дисперсия может быть записана в виде: B.18) Таким образом, суммарная дисперсия состоит из общности (соответствует факторам F) и характерности, или иначе, суммарная дисперсия параметра состоит из общности, специфичности (соответствует факторам 5) и дисперсии ошибки (соответствует факторам Е). Методы факторного анализа позволяют получить для каждого параметра значения общности А/ и характерности df. Далее характерность может быть разбита на свои составляющие: специфичность и дисперсию ошибки; при этом способ разбиения не связан с видом факторного решения. Например, если из эксперимента известно значение надежности rjj параметра zjf то значение дисперсии ошибки можно получить из соотношения Зная дисперсию ошибки, из B.17) получаем значение специфичности: где характерность df известна из результатов факторного анализа. Поскольку надежность является дополнением дисперсии ошибки до единицы, из B.18) следует, что и, следовательно, hj* = rfJ-bj*Knj. B.19) Иными словами, общность любого параметра не превышает его надежности и равна ей только в случае нулевой специфичности. 30
Используя модель B.16), можно следующим образом записать выражения для составляющих полной дисперсии параметра (в порядке уменьшения значимости, в общем случае): полная дисперсия 1 = h надежность rjj = hj2 + bj2 =1 —ef общность hj2=l —dj2t характерность df = bf+ef = 1 —hf, специфичность bj2 = dj2—ef, дисперсия ошибки ef = 1 —rjj . Определим понятие полноты факторизации Cj параметра как С, = WOhf/ihf + bf) = 100 х общность , B.21) надежность т. е. долю общности в процентах от дисперсии, учитываемой общими факторами. Показатель С,- обычно меньше 100 и равен 100 при отсутствии специфичности bj2. Как правило, в конкретных задачах при анализе конечного набора параметров процесс определения коэффициентов ajp не доводится до того момента, когда специфичность становится равной нулю. Некоторые исследователи не вводят предположения о существовании специфичных факторов и даже факторов ошибки, выделенных в B.16). При этом число общих факторов т может быть меньше или равным числу параметров п. Можно отметить, однако, что гипотеза о факторах, введенных в B.16), оказывается продуктивной даже для тех случаев, когда параметры описывают совокупность объектов очень полно и с большой точностью. 2.5. Факторное отображение и факторная структура Выразив совокупность параметров через факторы, рассмотрим теперь некоторые аспекты, связанные с факторизацией экспериментальных данных. Пользуясь линейной моделью B.9), которая связывает параметр zj с т общими факторами и характерным фактором, запишем выражения для всех п параметров в виде: U2 B.22) F2 + ...+anmFm +dnUn. Такая система уравнений называется факторным отображением (factor pattern) или просто отображением. Для простоты отображение можно представить в виде таблицы, в клетки которой вписаны только коэффициенты при факторах; каждый столбец таблицы соответствует одному из факторов. Иногда такую таблицу, включающую толь- 3L
ко коэффициенты при общих факторах, также называют отображением. В отображении B.22) общие факторы Fp(p = 1, 2, ..., т) могут быть как коррелированными, так и некоррелированными; в то же время характерные факторы Uj (/ = 1, 2, ..., т) всегда предполагаются не коррелированными как между собой, так и с общими факторами. В уравнении для каждого конкретного параметра некоторые из коэффициентов могут оказаться равными нулю и, следовательно, этот параметр будет выражен через меньшее чем т число общих факторов. Число общих факторов, через которые выражается данный параметр, называется его сложностью (complexity). Факторный анализ позволяет получить не только отображение, но и значения коэффициентов корреляции между параметрами и факторами. Таблица таких коэффициентов корреляции называется факторной структурой (factor structure) или просто структурой. Для выполнения полного факторного анализа необходимы и отображение и структура. Рассмотрим теперь функциональные взаимосвязи между элементами структуры и коэффициентами отображения. Умножив любое из уравнений B.22) на соответствующие факторы, произведя суммирование по всем наблюдениям N и разделив на N, получим: Fm> B.23) rzjUj^dj. B.24) Из уравнения B.24) видно, что коэффициент корреляции параметра с характерным фактором всегда равен коэффициенту при характерном факторе в соответствующем уравнении отображения. Там, где это не будет вызывать недоразумения, будем понимать под факторной структурой таблицу коэффициентов корреляции параметров только с общими факторами, т. е. таблицу значений rZjF . Иногда уравнениями B.23) пользуются для оценки элементов структуры; но чаще, когда известны коэффициенты корреляции между параметрами и факторами и коэффициенты корреляции между самими факторами, с помощью уравнений B.23) получают значения коэффициентов отображения. Формально B.23) можно рассматривать как п систем линейных уравнений т-го порядка относительно неизвестных cljp (/ = 1, 2, ..., п\ р = 1, ..., гп) с известными левыми частями. Эти системы можно разрешить относительно неизвестных коэффициентов ajp. Соответствующие вычислительные процедуры развиваются в гл. 3
и используются для приложений в гл. 13; часть II полностью посвящена непосредственному анализу факторных отображений. Из B.23) следует, что элементы rZj Fp структуры, вообще говоря, не равны коэффициентам ajp отображения. В случае когда общие факторы не коррелированы между собой, т. е. rFpFq = 0 (р ф q), уравнения B.23) сворачиваются к виду rZjFp = ajp (/=1, 2,..., л; р= 1, 2,..., т). B.25) Таким образом, элементы структуры совпадают с соответствующими коэффициентами отображения только в случае некоррелированных факторов. Это означает, что если анализ ведется в предположении некоррелированности факторов, то полное решение получается непосредственно из факторного отображения, а коэффициенты корреляции между параметрами и факторами равны коэффициентам отображения. Как уже указывалось, для выполнения полного факторного анализа необходимы и структура и отображение. Структура позволяет выявить корреляции между параметрами и факторами, которые необходимы для идентификации факторов и их последующей оценки (см. гл. 16). Отображение в форме уравнений регрессии выражает линейные взаимосвязи параметров и факторов. Оно может также служить для воспро- изведениядкорреляций между параметрами при проверке значимости решения (см. следующий параграф). Отображение оказывается также полезным при сравнении разных систем факторов для данного набора параметров. 2.6. Статистический смысл факторной модели В предыдущих параграфах факторная модель была введена как форма,4 описывающая экспериментальные данные.* В этой модели — система уравнений B.22) — предполагалось, что параметры выражаются через факторы линейно. Но в каком смысле совокупность факторов объясняет взаимосвязи между параметрами? Обсудим этот вопрос. Исходная информация представляет собой выборочные коэффициенты корреляции между параметрами. Как же они соотносятся с коэффициентами корреляции, подсчитанными на основе аппроксимирующей линейной модели? Если коэффициенты корреляции, вычисленные из модели, мало отличаются от выборочных коэффициентов корреляции, то говорят, что модель хорошо описывает экспериментальные данные; в противном случае модель считается неадекватной. Факторное отображение]!B.22) позволяет следующим образом получить коэффициент корреляции между двумя параметрами: перемножим любые два уравнения из B.22), просуммируем по всем объектам N и разделим на N. Помня, что факторы заданы в стандартном виде, запишем выражение для коэффициента корреляции между параметрами Zj и г* (/> k = 1, 2, ..., п): 2 Зак. 656 33
= ailakl + aJiak2 + < + (ацак2 + ак1ап)г + (aJiak3 + ah2ai8)r + ...+andhrPiUk + FiF* F2F<. lk3 + - i 1 djrFi + (< + ( uj' im + aklaJm) ftm + aft2«7m) h B.26) где вычисленный коэффициент корреляции обозначен r'jk в отличие от выборочного коэффициента корреляции rjk. Эти обозначения используются далее повсюду в тексте. Как указывалось выше, характерные факторы предполагаются не коррелированными как между собой, так и с общими факторами, т. е. rF и, = rp uk = г и. и = 0. Если общие факторы также некоррелированны, то уравнение B.26) упрощается: tf f = 0 (р Ф q\ р, q = 1, 2, ..., m), и поэтому все члены под первой строкой исчезают. Таким образом, в случае некоррелированных общих факторов коэффициент корреляции между любыми двумя параметрами получается из факторного отображения с помощью уравнения г]к^апак1 + а^аи2+...+аыакт Цфк\ /, fe=l, 2,..., л). B.27) Здесь попросту записана сумма произведений коэффициентов отображения, соответствующих рассматриваемым параметрам. Понятно, что коэффициент корреляции параметра с самим собой равен единице; для вычисленных коэффициентов корреляции это свойство также имеет место благодаря введению характерных факторов. Действительно, положив в B.26) k = /, получим коэффициент корреляции параметра с самим собой и, снова предположив некоррелированность факторов, тотчас увидим, что корреляция параметра с самим собой равна сумме общности и характерности параметра. Выяснив различие между вычисленными и выборочными коэффициентами корреляции, обратимся теперь к тому, что их связывает* Из-за ошибок, вызванных неточностью эксперимента и непредставительностью выборки, коэффициенты корреляции, вычисленные из факторного отображения, в более общем виде B.26) или в случае некоррелированных факторов в виде B.27), вообще говоря, не равны выборочным коэффициентам корреляции. Это является следствием общенаучного принципа, состоящего в том, что теоретическая модель всегда проще, нежели действительный объект, и потому естественно ожидать несовпадения данных экспериментальных и вычисленных из теории. В частности, в факторном анализе значения коэффициентов корреляции rjh, вычисленных с помощью линейных комбинаций, могут несколько отличаться от выборочных. После получения факторного отображения необходимо выяснить, насколько адекватно оно описывает корреляции между параметрами. Для этого с помощью отображения получают вычисленные корреля- 34
ции, которые далее вычитаются из выборочных коэффициентов корреляции; итоговые разности называют остаточными коэффициентами корреляции (residual correlations): nk=rlh-r)k, B.28) где rjk — выборочный коэффициент корреляции, a r'jk — вычисленный коэффициент корреляции, полученный с помощью отображения. В случае некоррелированных общих факторов выражение для остаточных коэффициентов корреляции записывается в виде Ък = Пк—(*п aki +а^акг + ... + aimahj. B.29) Теперь, изучая значения и распределение остатков rjh, можно судить о степени приближения выборочных коэффициентов корреляции вычисленными1. Вообще говоря, значения остатков близки к нулю. Поскольку вычисление остатков связано с устранением влияния общих факторов, это означает устранение взаимосвязей между параметрами2. Можно, следовательно, ожидать, что остатки распределены так же, как некоторая выборка равного объема с нулевой корреляцией. Стандартное отклонение такой выборки определяется формулой B.30) где О} есть стандартное отклонение совокупности остатков. Такой показатель качества модели не очень хорош, так как он учитывает только размер выборки, в то время как значения остатков могут также зависеть и от других характеристик выборки, в первую очередь от числа параметров. На основании критерия B.30), зная только размер выборки, можно делать, Hanpjmep, следующие заключения. Если о~г значительно больше чем l/j/Ж, то какие-то связи между параметрами остались неучтенными и, следовательно, модель нуждается в модификации. Если, наоборот, Or значительно меньше 1/]/"#, то, возможно, в модель включены несущественные связи между параметрами. И наконец, если стандартное отклонение остатков лишь немного меньше отклонения для выборки с нулевой корреляцией, то факторное решение может считаться приемлемым в смысле критерия B.30). (Последний был рекомендован Келли [305] и Тэрстоуном [468]. Более точные критерии описываются в гл. 9.10.) 1 Вопрос о критерии для определения момента остановки факторизации обсуждается в гл. 8, 9 и 10. 2 Здесь автор имеет в виду, что для некоррелированных факторов с учетом -соотношений B.25) остаток г^ может быть представлен в виде 7^ = (Zj — — ^iajpFp)(Zk— S^Ap^p)- Следует иметь в виду, что последующие рассуждения р Р автора носят несколько неточный характер. — Прим. перев. 2* 35
2.7. Неопределенность факторных решений В любой науке наблюдаемое явление может быть описано многими не противоречащими друг другу способами. Выбор конкретного способа интерпретации зависит от цели работы. Эта произвольность или неопределенность, долгое время бывшая предметом исследования ученых, кратко отмечена Мултоном [373]: «... любая группа явлений может быть непротиворечиво описана разными путями, вернее, с помощью бесконечно большого числа путей. Независимо от причин, по которым мы выбираем способ интерпретации, мы можем выбрать любой способ, кажущийся нам наиболее целесообразным. Если бы ученые всегда помнили, сколь много приемлемых интерпретаций наблюдаемых явле- ний.может быть выдвинуто, то, быть может, они отказались бы от ультимативных попыток поиска единственно верных научных теорий». Задачи факторного анализа точно так же являются неопределенными в том смысле, что для заданного набора параметров и коэффициентов корреляции между ними коэффициенты факторного отображения могут быть вычислены неоднозначно. Иначе говоря, может быть найдено бесконечное число ортогональных (независимых) систем факторов, адекватно описывающих выборочные коэффициенты корреляции. Это свойство было известно математикам еще со времен первых исследований в факторном анализе; впервые оно было формально изложено Г. Хотеллингом [259] в применении к методу главных компонент. Много позже Т. В. Андерсон и Г. Рубин [14] дали краткое доказательство этого факта в терминах матричной алгебры. Неопределенность модели, т. е. неоднозначность факторных нагрузок ctjp, имеет своей причиной то обстоятельство, что факторное решение, определяя m-мерное пространство, содержащее общие факторы, не определяет базиса в этом пространстве, а следовательно, не определяет положения факторов в нем. С этой неопределенностью приходится сталкиваться дважды: на первом этапе, при поиске какого-либо решения, удовлетворяющего модели в статистическом смысле, и на втором этапе, при придании этому решению вида, наиболее удобного с точки зрения интерпретации. Большинство вычислительных процедур факторного анализа дают неоднозначное решение для факторных нагрузок (исключение составляет метод главных компонент, см. гл. 8). В то же время любое решение может быть найдено в «каноническом виде» (см. 8.8): после того как факторное решение, достаточно хорошо описывающее выборку, найдено, система факторов подвергается такому «вращению», чтобы полученная в итоге система (столь же хорошо описывающая выборку, что и исходная) оказалась более интерпретируемой с точки зрения специалистов соответствующей области. 2.8. Факторная модель в матричном обозначении ] Прежде чем перейти к подробному изложению факторного анализа, запишем некоторые из введенных ранее понятий в компактном матрич- 1 Читатель, желающий ознакомиться с основными понятиями матричной алгебры, может предварительно прочесть гл. 3. 36
ном обозначении. Возникающие при этом удобства связаны не только с простотой записи: часто свойства, ускользающие в обычной громоздкой записи, выявляются в матричных обозначениях. В этом параграфе мы выпишем в матричной форме некоторые фундаментальные уравнения для факторных отображений и структур; при описании методов факторного анализа в последующих главах мы также будем пользоваться понятиями и обозначениями матричной алгебры. Введем матричное обозначение некоторых основных понятий факторного анализа. Так, совокупность п рассматриваемых параметров представляется в виде вектор-столбца B.31) совокупность всех N наблюденных значений всех п параметров — в виде n-N-матрицы z2X z22... z2N ~Zn\ Zn2 •** ZnN-x B.32) Точно так же факторы представляются в виде f = "П Л** 7 Лт J L*ml'm2 ••• B.33) Коэффициенты при факторах в факторном отображении можно также представить в виде матрицы: апа12...а1т апа22...а2т йг О ...О 0 d2...O 0 0 = (А | D), B.34) где полная матрица М отображения состоит из матрицы А коэффициентов при общих факторах и диагональной матрицы D коэффициентов при характерных факторах. Обычно термин ^матрица отображения» относят к матрице А. В общем случае матрица коэффициентов А соответствует косоугольному факторному отображению, т. е. такому, ко- 37
торое отвечает системе коррелированных факторов. Иногда в процессе нахождения факторного решения последовательно находят и ортогональное отображение А, и косоугольное отображение Р. В тех случаях, когда обе матрицы встретятся в одном контексте, мы будем употреблять для них разное обозначение. Пользуясь данными выше определениями, можно переписать выражение для факторного отображения B.22) в виде z = M {f|u}=(A|D){f|u}=Af + Du B.35) или отдельно для части, связанной с общими факторами, z = Af. B.36) Условимся для большей ясности не употреблять для параметров никаких новых обозначений; каждый раз из контекста будет ясно, идет ли речь о полном факторном отображении или только о его части, соответствующей общим факторам. Кроме отображения факторный анализ изучает также структуру, т. е. таблицу коэффициентов корреляции между параметрами и факторами (отображение совпадает со структурой только в случае некоррелированных факторов). Коэффициенты корреляции параметров с характерными факторами совпадают с коэффициентами при характерных факторах в B.24), и поэтому диагональную матрицу значений этих коэффициентов корреляции естественно обозначить через D. Факторную структуру можно изобразить в виде матрицы sll SI2 ••• slm S21 S22 ••• S2m B.37) п1 sn2 ••• snm где через sjp обозначены коэффициенты корреляции параметров с общими факторами sip = r*jFp W=1' 2'-' п; Р=1' 2'"" т)' B-38) (Не следует путать обозначения элементов факторной структуры и выборочных коэффициентов ковариации B.6). Смысл этих обозначений будет ясным из контекста.) Выразив в матричной форме факторные отображение и структуру, мы можем теперь рассмотреть некоторые виды взаимосвязи между ними. Запишем факторное отображение B.36) с учетом N объектов: Z = AF; B.39) умножим обе части этого выражения на транспонированную матрицу факторных значений и разделим на скаляр N: ZF'/N = A(FF'!N). B.40) Левая часть полученного выражения есть не что иное как S: ZF7tf = S, B.41) 38
и каждый элемент этой матрицы есть коэффициент корреляции в смысле B.7). Поскольку факторы предполагаются заданными в стандартном виде, в скобках в правой части B.40) также стоит матрица коэффициентов корреляции, но уже между факторами. Эта матрица имеет вид * • • • ' F F F F '•• Подставив B.41) и B.42) в B.40), получим B.42) B.43) Таким образом, получено фундаментальное соотношение, связывающее факторное отображение А с факторной структурой S, а именно: матрица факторной структуры равна произведению от умножения матрицы отображения на матрицу коэффициентов корреляции между факторами. Из B.43) видно, что если факторы некоррелированны (т. е. Ф есть единичная матрица), то элементы структуры равны соответствующим элементам отображения. Умножив справа обе части B.43) на Ф, получим соответствующее выражение для отображения: A = S4>-1. B.44) Пользуясь соотношением между отображением и структурой, можно теперь установить несколько соотношений для матрицы вычисленных корреляций. По определению, матрица выборочных коэффициентов корреляции равна: R = ZZ7tf. B.45) Подставим в это уравнение B.39) и заменим выборочные коэффи1 ) 1: циенты корреляции вычисленными1: R = — AFF'A' = А (— FF') А' = АФА', N \ N ! B.46) где последнее равенство следует из B.42). По диагонали матрицы вычисленных коэффициентов корреляции стоят общности; иногда, однако, бывает необходимо ставить на главной диагонали единицы, или, иначе, прибавлять к общности Л/ каждого параметра его характерность dj2. Если обозначить эту матрицу через (R + D2), то уравнение B.46) примет вид Ф О M'. B.47) 1 Заменив выборочные коэффициенты корреляции вычисленными, мы тем самым молчаливо предположили, что остаточные коэффициенты корреляции равны нулю. Чтобы не усложнять обозначений, будем иногда для обеих матриц использовать символ R, поясняя отдельно, о каких коэффициентах корреляции идет речь (вычисленных по выборке или с помощью отображения). 39
Здесь в составную квадратную матрицу (порядка п + т) в правой части входит единичная матрица коэффициентов корреляции между характерными факторами (порядка п) и матрица коэффициентов корреляции между общими факторами (порядка т). Из соотношения, связывающего отображение и структуру, можно вывести формулы, в которые в явном виде не входит матрица Ф. Так, подставив B.43) в B.46), получим R = SA', B.48) или R=AS' B.49) (так как Ф — симметрическая матрица). В* случае некоррелированных факторов матрица Ф является единичной и формула B.46) для вычисленных коэффициентов корреляции упрощается: R-AA'. B.50) Тэрстоун назвал B.50) «фундаментальной факторной теоремой» [468]. Сделаем одно важное замечание. Факторный анализ занимается описанием массивов экспериментальных данных (выборочных коэффициентов корреляции) с помощью модели — факторного отображения B.22) или в матричном обозначении — B,35). Как видно из B.50), имея факторное отображение, можно вычислить коэффициенты корреляции между параметрами, пользуясь только коэффициентами при общих факторах1. Для того чтобы матрица R вычисленных коэффициентов корреляции адекватно описывала матрицу R выборочных коэффициентов корреляции, необходимо, чтобы ее диагональные элементы вычислялись исходя из части отображения, отвечающей общим факторам. Таким образом, если на главной диагонали матрицы выборочных коэффициентов корреляции стоят числа, приближающие общности, то факторное решение будет включать и общие и характерные факторы, а все данные выше формулы позволят получить различные характеристики выборки. С другой стороны, если на главной диагонали матрицы выборочных коэффициентов корреляции стоят единицы, то, для того чтобы уравнение B.50) позволило получить единицы в матрице вычисленных коэффициентов корреляции, необходимо, чтобы факторное решение включало только общие факторы. В этом случае не делается предположения о наличии характерных факторов и, следовательно, используется модель компонентного анализа4 B.8). Если же на диагонали стоят надежности — величины в диапазоне между общностями и единицей, то факторное решение будет включать общие факторы и факторы ошибки, а специфичность будет учтена дисперсией общих факторов. Из сказанного следует, что в зависимости от того, какие числа стоят на главной диагонали матрицы выборочных коэффициентов корреляции, общие факторы учитывают разные части дисперсии параметров. 1 Без ограничения общности будем здесь предполагать некоррелированность факторов.
ГЛАВА 3. ПОНЯТИЯ И МЕТОДЫ МАТРИЧНОЙ АЛГЕБРЫ, ПРИМЕНЯЕМЫЕ В ФАКТОРНОМ АНАЛИЗЕ 3.1. Введение Возникшая потребность в решении систем линейных уравнений привела к развитию теории детерминантов и теории матриц. В современной математической науке считается, что «идея матрицы предшествует идее детерминанта». Кроме того, существует мнение, что важность понятия детерминанта слишком переоценена. Детерминанты действительно полезны, но системы уравнений могут эффективно решаться и без них. Материал математической теории матриц в основном может быть изложен без применения понятия детерминанта. Тем не менее, отдавая дань исторической преемственности, прежде чем перейти к матрицам, в 3.2 будут даны основные понятия теории детерминантов. Многие встречающиеся в прикладной математике задачи можно сформулировать в терминах систем линейных уравнений. И хотя этот факт был известен давно, лишь появление электронных цифровых машин дало толчок развитию вычислительных методов решения систем линейных уравнений и связанной с этим задачи нахождения собственных значений матрицы (см. гл. 8). В последние годы в этой области были предприняты серьезные усилия, и на сегодняшний день мы имеем ряд эффективных методов, специально приспособленных для электронных цифровых вычислительных машин (ЭВМ). Примерами такого рода работ могут служить отчеты Национального бюро стандартов [376], книги Д. Фаддеева и В. Фаддеевой [123] и П. Уайта [516]. Упомянем также великолепную работу П. Дуайера [111], посвященную решению систем линейных уравнений на настольных электромеханических^машинах. Вопрос о решении систем линейных уравнений явно или не явно возникает на разных стадиях поиска факторного решения. В 3.3 и 3.4 даны два основных метода решения таких систем. Проблемы, возникающие при применении этих методов для обращения матрицы, обсуждаются в 3.5. 41
3.2. Детерминанты и матрицы Можно считать очевидным, что для полного и ясного понимания факторного анализа необходимы некоторые основные сведения из матричной алгебры. Последующий текст написан в предположении, что читатель обладает этими сведениями. Цель данного параграфа состоит в том, чтобы помочь читателю вспомнить забытое и эффективно пользоваться основными определениями и теоремами о матрицах1. Принятые ниже классические, традиционные обозначения детерминантов облегчат работу со специальной литературой. 1. Детерминант второго порядка. В алгебре часто встречается и имеет специальное название и обозначение сумма знакопеременных произведений некоторых членов. Так, выражение обозначается символом ad—be а Ь с d и называется детерминантом второго порядка (т. е. содержит две строки и два столбца). 2. Детерминант третьего порядка. Выражение aL Ьг сг а2 Ь2 с2 а» Ьа Со о о о называется детерминантом третьего порядка. Он равен ^i ^2 ^з —Pi ^з С2 ~Ь ^2 b3 Ci—а2 b\ c3 -f- a3 bi с%—а3 Ь2 с^. Девять чисел (аъ ..., с3) называются элементами детерминанта. В символе детерминанта элементы располагаются в трех горизонтальных строках и трех вертикальных столбцах; например а3, b3J c3 есть элементы третьей строки, Ь19 Ь2, bs — элементы второго столбца. Диагональ от левого верхнего угла символа детерминанта к его правому нижнему углу называется главной диагональю. 3. Детерминант порядка п. Детерминант п-то порядка обозначается через п 1п а22 Ы2 C.1) 1 Для более детального знакомства с предметом отсылаем читателя к прекрасным книгам Бодевига [43], Хедли [190], Пейджа и Свифта [385] (из литературы на русском языке можно порекомендовать книги Ф. Р. Гантмахера [551], И- М. Гельфанда [552], А. Г. Куроша [553]. — Прим- перге.).
где каждый элемент снабжен двумя индексами, первый из которых соответствует номеру строки, а второй — номеру столбца, на пересечении которых стоит данный элемент. По определению, выражение для det A есть сумма п\ членов, каждый из которых представляет собой (отдельно от знака) произведение п элементов, взятых по одному из каждой строки и из каждого столбца. Метод раскрытия детерминанта (см. п.5) позволяет легко найти для каждого члена суммы его знак. 4. Минор и алгебраическое дополнение. Детерминант порядка п — 1, полученный при зачеркивании строки и столбца, на пересечении которых находится данный элемент, в детерминанте порядка п, называется минором этого элемента. Следовательно, элементу ajht стоящему на пересечении /-й строки и &-го столбца детерминанта А, соответствует минор М^-для получения которого необходимо вычеркнуть в детерминанте строку / и столбец k. Часто вместо минора М;ъ рассматривают алгебраическое дополнение Ajk элемента a;-fe, связанное с минором соотношением Ajk = (—iy+kMJk. C.2) Следовательно, в зависимости от положения элементов детерминанта алгебраическим дополнениям будут приписаны знаки: _1 | 5. Раскрытие детерминанта. Детерминант А может быть разложен по элементам любой строки /: detA=^aJkA}k (/ = 1, 2,..., п) или по элементам любого столбца k\ detA = ^ (k=l, 2,..., n). C.3) C.4) Так, для детерминанта третьего порядка #11 #12 #13 det A = а21 а22 а2 #31 #32 #33 разложение по элементам второго столбца (k = 2), согласно C.4), имеет вид det Л = а12А12 + а22А22 +#32^32 = #12^12 • -{-а22М22 #32^32 = ~а12 (#21 #33—#31#2з) + #22 (#11#33—#31#1з)—#32 (#11 #23"#21 #13)« 43
После раскрытия скобок получим det А = ап а22 а33 + 012 #23 аз — а23 а32 an— а21 а12. Последовательно применяя описанную процедуру, можно в итоге разложить детерминант любого порядка по детерминантам второго по- дядка. 6. Матрица. Прямоугольная таблица тп чисел а}к, состоящая из т% строк и п столбцов, называется т • n-матрицей. Если т = п, то таблицу называют квадратной матрицей порядка п. Матрица изображается в виде ап а12 ...а In in п2 ••• &тп — C.5) 7. Вектор. Часто рассматривают матрицу специального вида, а именно отдельную строку или отдельный столбец. Таблица из 1 х п или п X 1 элементов называется вектором, г точнее, вектор-строкой или[вектор-столбцом соответственно. Простой пример вектор-строки — совокупность координат точки на плоскости (х, у) или в пространстве (л;, уу г). Точно так же координаты точки можно представить вектор- столбцом: хг последнее выражение можно применить и для обозначения базиса пространства. 8. Обозначения векторов, матриц и детерминантов. Матрица не есть детерминант, даже если она квадратная. Детерминант, элементы которого — действительные числа, есть действительное число, в то время как матрице не приписывается какое-либо значение в обычном смысле. Различие между детерминантом и матрицей станет особенно наглядным, если заменить строки столбцами: значение детерминанта останется неизменным, а матрица превратится в совершенно другую матрицу. Всюду ниже будем обозначать матрицы и векторы жирным шрифтом: матрицы — заглавными буквами, векторы — строчными. Детерминант обозначается заглавной прописной буквой (обычно с буквами det впереди); детерминант матрицы А обозначается |А| (см. п. 10).
9. Транспонирование матрицы. Операция замены всех строк матрицы соответствующими ее столбцами называется транспонированием этой матрицы. Если Гап а12 а- А = \а21 а22 а, 1_<% а32 а: «is 23 33 то транспонированная матрица имеет вид А' = «11 «21 «31 -«12 «22 «32 « 23 и обозначается той же буквой со штрихом. Транспонирование вектор- строки дает вектор-столбец, и наоборот. Так, в примере п. 7 транспонирование вектор-столбца х дает вектор-строку х' = {хгх2хг). 10. Детерминант матрицы. Несмотря на различие между квадратными матрицами и детерминантами, по элементам матрицы можно вычислить детерминант, который называется тогда детерминантом матрицы (обозначение для детерминанта матрицы см. в п. 8). Вычеркивая в матрице некоторые строки и столбцы, можно образовывать детерминанты меньшего порядка. Во многих задачах бывает необходимо знать наибольший порядок детерминанта в матрице, не равный нулю. 11. Ранг матрицы. Говорят, что матрица А имеет ранг г, если в ней найдется хотя бы один детерминант порядка г, не равный нулю, в то время как все детерминанты высших порядков равны нулю. Другими словами, ранг матрицы равен порядку наибольшего ненулевого детерминанта. Ранг детерминанта совпадает с рангом его матрицы. 12. Вырожденная матрица. Квадратная матрица называется вырожденной, если ее детерминант равен нулю. В противном случае матрица называется невырожденной. 13. Равенство матриц. Две матрицы А и В равны, если и только если каждый элемент матрицы А равен соответствующему элементу матрицы В. Иначе говоря, если А = (ajk) и В = (bJk), то равенство А = В означает, что ajk = bjk для любых / и k. Следовательно, одно матричное равенство эквивалентно такому количеству алгебраических равенств, сколько элементов включает одна из матриц. 14. Симметрическая матрица. Матрица А называется симметрической, если и только если она равна своей транспонированной матрице. Иными словами, матрица симметрическая, если =1» 2,..., п). 45
Например, следующая матрица является симметрической: Г 0,78 —0,16 0,23 0,04-] —0,16 0,59 —0,34 —0,21 0,23 —0,34 0,86 0,40 L 0,04 —0,21 0,40 0,65J Все матрицы коэффициентов корреляции также симметрические. 15. Матрица Грама. Особый интерес для факторного анализа представляет часто встречающаяся в литературе матрица специального вида-, получившая название матрицы Грама. Особенностью матрицы является ее симметричность и положительная полуопределенность. Определение свойства симметричности было дано в п. 14. Матрица называется положительно полуопределенной, если все ее главные миноры больше или равны нулю1. Матрица коэффициентов корреляции (с единицами на главной диагонали) есть матрица Грама (см. теорему 4.5); замена диагональных членов оценками общностей считается допустимой, если только сохраняются свойства матрицы Грама (см. гл. 5). 16. Сложение и вычитание матриц. Сумма (или разность) двух матриц, каждая из которых состоит из т строк и п столбцов, есть т • п- матрица, каждый элемент которой представляет собой сумму (или разность) соответствующих элементов исходных матриц. При выполнении сложения и вычитания матриц действуют все законы обычной алгебры. 17. Умножение матриц. Пусть необходимо умножить матрицу А> имеющую п столбцов, на матрицу В, имеющую п строк. Тогда элемент произведения, стоящий на пересечении /-й строки и k-vo столбца, есть сумма произведений элементов строки / матрицы А на соответствующие элементы столбца k матрицы В. Например, если А = a2i #12 #22 #13 ^з Ai 621 Ai 012 &22 632- то произведение этих матриц есть С _ д Г ЯП 6ц + аП hi + #13 ^31 аП Ь12 + #12 ^22 + #13 ^32 Т "" La21 ^11 + п22 hi + #23 ^31 ^21 &12 + #22 ^22 + #23 ^32 J Отметим, что при выполнении умножения необходимо, чтобы число столбцов в матрице-множимом было равно числу строк в матрице- множителе. Например, результат умножения матрицы 2x3 на матри- 1 Тэрстоун в [477] вместо термина «положительно полу определенная матрица» неточно употребляет термин «положительно определенная матрица». Матрица называется положительно определенной, если и только если все ее главные миноры больше нуля (но не равны нулю). 46
цу 3x2 есть матрица 2x2. Этот факт можно условно изобразить следующим образом: Д2ХЗ . ) или в общем случае Дт.м .Brt's = Cm*s, C.6) т. е. произведение m-n-матрицы на /z-s-матрицу есть m-s-матрица. В общем случае умножение матриц некоммутативно, т. е. АВ ф ВА. C.7) В приведенном выше примере произведение С = АВ отличается от произведения 2i Яц + ^22 ^21 b21 а^2 + b22 а22 b21 als + b22 ^23 Следовательно, всегда важно определить, в каком порядке перемножаются матрицы. В случае АВ говорят, что матрица А умножается слева на матрицу В или матрица В умножается справа на матрицу А. 18. Различные способы умножения матриц. Иногда в процессе вычислений более эффективными оказываются способы умножения матриц, отличные от обычного способа «строка на столбец». Ниже перечисляются возможные варианты умножения для данных матриц А и В: АВ означает умножение «строка на столбец»; АВ' означает умножение «строка на строку»; А'В означает умножение «столбец на столбец»; А'В' означает умножение «столбец на строку». C.8) 19. Скалярное произведение двух векторов. Скалярное произведение определяется как сумма произведений соответствующих пар чисел в обоих векторах. Если имеется два вектора: а = (а^а^ и b = = (b1b2b3)t то их скалярное произведение равно: а.й'=й161+аа6я + а868- C-9) 20. Скаляр. Для того чтобы отличать обычные алгебраические величины (т. е. действительные и комплексные числа) от матриц, для первых вводится понятие скаляра (скаляр обозначается строчной курсивной буквой). Произведение матрицы А на скаляр k (k\ или Ak) определяется как матрица, каждый элемент которой в k раз превышает соответствующий элемент матрицы А. При умножении матрицы на скаляр действуют все законы обычной алгебры. 21. Диагональная матрица и матрица-скаляр. Матрица, в которой элементы вне главной диагонали равны нулю, а все элементы главной 47
диагонали отличны от нуля, называется диагональной. Особый случай представляет собой диагональная матрица, в которой все диагональные элементы равны; эта матрица называется матрицей-скаляром. Если матрица-скаляр -* 0 ... О" К = О k ... О О 0 ... k умножена справа или слева на произвольную матрицу А того же порядка, что и К, то справедливо соотношение КА=АК = М. (ЗЛО) В частности, матрица  0 ... (Г О, 1 ... О I = О 0 ... 1 называется единичной матрицей. Для любой матрицы 1А=А1=А. C.11) C.12) Понятно, что в матричной алгебре матрица-скаляр может быть заменена соответствующим скаляром и, наоборот, скаляр может быть представлен в виде матрицы-скаляра. Единичная матрица соответствует единице в обычной алгебре, и, следовательно, в произведениях матриц на элемент I можно не обращать внимания. 22. Обратная матрица. Пусть квадратная матрица ап an a12 ... a22 •¦• On2 ••• <*2n ^7171 является невырожденной, т. е. | А | Ф 0; тогда существует другая матрица: ... л a11 a ... л" a12 a22 ... art2 , C.13) a{n a2n ..^ a71"^ каждый элемент Akj которой есть алгебраическое дополнение соответствующего элемента из А; эта матрица (без множителя утгу назы- 48
вается присоединенной матрице А. Матрица А г с элементами o)k называется обратной матрице А и также является невырожденной; справедливо свойство АА-'=А-'А = 1. C.14) Обратим внимание на обратный порядок индексов у алгебраических дополнений по сравнению с их положением в присоединенной матрице; т. е. элемент Akj9 являющийся алгебраическим дополнением элемента ahj9 расположенного в k-й строке и /-м столбце матрицы А, находится в /-й строке и k-u столбце присоединенной матрицы. 23. Теоремы о транспонировании и обращении произведений матриц. Результат транспонирования произведения нескольких матриц равен произведению транспонированных матриц, взятых в обратном порядке, т. е. (АВС)'=С'В'А'. C.15) Матрица, обратная произведению нескольких матриц, есть произведение обратных матриц, взятых в обратном порядке, т. е. (ABC)-1 ^C-1 В-1 А-1. C.16) 3.3. Решение системы линейных уравнений: метод подстановки Вообще говоря, система п линейных уравнений с п неизвестными может быть разрешена с помощью детерминантов [385, 553]. Хотя такого рода методы имеют некоторые несомненные теоретические преимущества, на практике, особенно в случае большого числа переменных, желательно иметь более экономичные вычислительные процедуры. Системы уравнений в факторном анализе обладают симметрическими матрицами коэффициентов и требуют, очевидно, специальных методов решения. Метод подстановки Гаусса1, включающий полный контроль результатов вычислений, представляет собой регулярную схему решения подобных систем. Опишем метод подстановки в общем виде и проиллюстрируем его простым примером восстановления функции методом наименьших квадратов. Ограничимся случаем уравнения регрессии для параметра г4, зависящего от трех переменных: <¦» ft -» I ft ,-» i ft ~ /Q 1 *7\ 24 — Pi Zl+P2 Z2 + Рз Z3> (*• * ' ) где коэффициенты bj подлежат определению. Тогда имеем систему уравнений L Pi + Г12 Рг + ^13 Рз = ; C.18) i + ^22 H2 Н~ Г23 Рз ~ 'aft Г31 Pi + Л32 Pi |2-Г'ззРз = '34» 1 Во многих книгах по статистике этот метод упоминается под названием «решение Дулиттла». Райтом и Хейфордом [534] описаны предложенные Дулит- тлом удобные способы решения систем нормальных уравнений (в применении к задаче вычерчивания кривой по точкам).
где rjj = 1 и по условиям симметрии rjk = rkj\ /, k = 1, 2, 3. Необходимо в C.18) выразить три неизвестных р;- через известные коэффициенты корреляции rjk. Сначала вычислим из первого уравнения C.18) plf выразив его через р2 и |33. Полученное выражение подставляется в оставшиеся два уравнения C.18). Далее из второго уравнения р2 выражается через рз и подставляется в третье уравнение; таким образом находим явное выражение рз через известные величины. Действуя в обратном порядке, получим значения р2 и рх. (Подробное описание метода в алгебраических терминах см. в [196].) В табл. 3.1 показана последовательность подстановок для следующего нисленного примера: C.19) 1,000р1+0,б93р2 + 0>216р8 = 0,571; 0,693рх + 1,000р2 + 0,295рз = 0,691; 0t216Px + 09295ра + 1 .ОООЭз = 0,456. Таблица 3.1. Иллюстрация метода подстановок Независимые переменные Зависимая переменная 24 Сумма Операция 1 2 3 4 5 6 7 8 9 10 11 1,0 -1.0 — — 0,693 —0,693 1,0 —0,480 0,520 -1,0 — 0,216 —0,216 0,295 —0,150 0,145 —0,279 1,0 —0,047 —0,040 0,913 — 1,0 Прямой ход 0,571 —0,571 0,691 —0,396 0,295 -0,567 0,456 —0,123 —0,082 0,251 —0,275 2,480 —2,480 1,986 —1,026 0,960 —1,846 1,456 -0,170 -0,122 1,164 —1,275 решения Из первого уравнения C.19) Строка 1 делится на коэффициент при первой переменной с обратным знаком Из второго уравнения C.19) Строка 1 умножается на —0,693 Сумма строк 3 и 4 Строка 5 делится на коэффициент при второй переменной с обратным знаком Из третьего уравнения C.19) Строка 1 умножается на —0,216 Строка 5 умножается на —0,279 Сумма строк 7, 8 и 9 Строка 10 делится на коэффициент при третьей переменной с обратным знаком Обратный ход решения 12 13 14 — — — — — Рз Pi 0,275 0,490 0,172 Из строки Из строки Из строки 11 6: 2: (с обратным знаком) 0,567—0,279x0,275 0,571—0,693x0,490 — —0,216X0,275 50
Коэффициенты при неизвестных и свободные члены записаны в таблице в строках 1, 3 и 7 (вследствие симметрии члены ниже главной диагонали опущены). Разделив строку 1 на коэффициент при первом неизвестном, выразим р2 через р2 и рз: р! - 0,571 — 0,693р2 — 0,216рз C.20) (свободный член, стоящий в правой части уравнения, меняет знак). Действительное значение рх будет определено только на последнем шаге, в строке 14. В результате выполнения действий строк 3 — 6 р2 выражается через рз, а именно: р2 = 0,567 — 0,27903, C.21) где знак свободного члена также меняется на противоположный. И наконец, последняя подстановка дает (см. строки 7—11) Рз = 0,275. C.22) При обратном ходе решения строка 11 немедленно дает значение р3; подставив его в C.21), получаем значение р2 (строка 6); наконец, подставив оба найденных неизвестных в C.20), находим рх (строка 2). Если в процессе решения подсчитывать суммы членов в каждой строке и применять к ним (т. е. к колонке «Сумма») те же операции, что и к отдельным членам, то появляется возможность контроля арифметических операций. Нужно только учитывать, что из-за симметрии количество членов по строкам постепенно убывает. Например, в строке 4, умножив сумму членов первой строки на —0,693, нужно учесть отсутствие единицы в первой колонке, т. е. —0,693B,480 — 1, 000) = —1,026, что в точности совпадает с суммой членов строки 4. Такая же проверка дает для строки 8 —0,216B,480 — 1, 000 — 0,693) = —0,170 и для строки 9 —0,279@,960 — 0,520) = —0,123. Последняя сумма дает допустимое различие с суммой членов строки 9 в третьем десятичном знаке. 3.4. Решение системы линейных уравнений: метод квадратного корня Перейдем к описанию другого метода решения систем линейных уравнений. Преимущества метода квадратного корня состоят в большей компактности записей в процессе решения и в большей легкости поиска промежуточных величин. Кроме решения систем с симметрической матрицей коэффициентов метод особенно эффективен для вычисления обратных матриц. 51
Ниже дается общее описание метода квадратного корня и численный пример на материале предыдущего параграфа. Вычислительные операции для решения системы C.18) в общем виде и численного примера C.19) вынесены в табл. 3.2. Подробный пошаговый алгоритм, легко распространяемый на любое число переменных, состоит в следующем. Шаг 1. В первые три строки таблицы вписываются коэффициенты корреляции между независимыми переменными и их корреляции с зависимой переменной. Шаг 2. Суммируются члены по строкам: */=2 0* (/-U 2, 3). C.23) ?—1 Примечание. Способ получения элементов строк 1, 2, 3 для колонки -«контроль» описан в шаге 10. Шаг 3. Собственно метод квадратного корня начинается с вычисления с помощью гп первого элемента строки 4: C.24-1) и остальных ее элементов: ). C.24-2) Примечание. Так как ги = 1, элементы строки 4 равны соответствующим элементам строки 1. Ш а г 4. Элемент колонки «Сумма» в строке 4 вычисляется точно так же, как и другие элементы этой строки (но вместо rlk берется ^). С точностью до ошибок округления результат должен совпадать с суммой slt' (колонка «Контроль»), вычисленной на третьем шаге. Шаг 5. Элементы строки 5 находятся по формулам S2k(\) S22.1 =У Г22 S12 ; C.25) Шаг 6. Правильность строки 5 проверяется сравнением значения S2t(l) С СУММОЙ ПО СТрОКе S2f(i). Ш а г 7. Формулы для вычисления элементов строки 6: l/V с2 п2 — У А33 Ь\Ъ Ь23A), C 26) =(Г3? S1*S13 S2fc(l) S23A))'S33B)> («>^) Здесь индекс B) в обозначении S3&B) указывает, что на этом шаге число исключенных переменных равно двум. Такая индексация допускает простое обобщение на случай, когда число исключенных переменных больше двух. Ш а г 8. Контроль суммы в строке 6. 52
Шаг 9. С помощью следующих формул получаются значения коэффициентов регрессии (обратный ход решения): Рз— S34B)'S33B) I /q с ft \/q • /Q O7\ 2 — \Л24A) ^23A) Нз;/г>22.A)> (O.Z/) Pi = (s14—s13p3—s12p2)/sn. Шаг 10. Подставив коэффициенты регрессии в уравнения C.18), проверяем правильность всех вычислений. Результаты (они обозначены ги', г24, ги') должны с точностью до ошибок округления совпадать с исходными коэффициентами корреляции независимых переменных с зависимой. Шаг 11. Используя обычную формулу, можно вычислить множественный коэффициент корреляции: D ft <• I ft #• I ft #• /Q OQ\ Д4. 123 =Pl^l4~rP2 Г24~гРз ^34* (O.ZO) Непосредственная проверка показывает для системы третьего порядка, что1 . C.29) В общем случае метод квадратного корня базируется на формуле R - S'S, C.30) из которой видно, что матрица S — «квадратный корень» из матрицы R — аналогична квадратному корню в обычной алгебре. Сходство равенства C.30) с фундаментальным равенством факторного анализа B.50) хорошо поясняет, почему метод квадратного корня, описанный многими авторами (см. 6.3), был независимо открыт в факторном анализе. Другими словами, применение метода квадратного корня к матрице R позволяет получить такую матрицу S, которая, будучи умножена справа на свою транспонированную, дает матрицу R. Поскольку умножение (S') на R дает S, то иногда удобно говорить об операции квадратного корня, под которой понимают операцию вычисления матрицы (S'). Следовательно, операция квадратного корня может быть применена и к произвольным матрицам. 1 Пользуясь разложением C.29), можно заметить, что элементы столбца, 4 в строках 4, 5 и 6 табл. 3.2 есть результат умножения матрицы (S')" на вектор k гз4}» где матрица S' имеет вид slt 0 0 Гц Гц Г»1 Г%2 Т%2 Г-23 = S12 S13 0 S22 S23 A) A) 0 0 S33A2) Sll 0 0 S22 0 A) Sl8 S23 S33 A) A5 гз4} S' = Ml S 12 S22(l) о S13 S23(l) S33B) а формулы C.27) представляют собой умножение матрицы S на вектор {s14j S24( i), S34B)}- Подробнее метод квадратного корня см. в [123]. — Прим. перев. 53
Иногда переменные в табл. 3.2 располагают не по горизонтали, а по вертикали; особенно это оказывается полезным, когда задача, решаемая с помощью метода квадратного корня, содержит большое число переменных. Таблица 3.2. Метод квадратного корня Строка 1 2 3 4 5 6 7 1 2 3 4 5 6 7 Независимые переменные Зависимая переменная z4 Сумма Контроль Решение в общем виде 'и * Sll Pi 1,000 * * 1,000 0,171 '12 '22 * «12 $22A) ?2 0,693 1,000 * 0,693 0,721 0,492 '13 '23 'зз Sl8 $23A) $33A2) Рз Числен 0,216 0,295 1,000 0,216 0,202 0,955 0,274 '14 '24 '34 Sl4 «24A) S34(l2) ный пример 0,571 0,691 0,456 0,571 0,410 0,262 к h и Sit %(l) 5з/A2) R±- 123 2,480 2,679 1,967 2,480 1,332 1,217 0,563 '14 '24 '34 slt S2t(l) S3/A2) ^4 • 123 0,571 0,691 0,456 2,480 1,333 1,217 0,750 * Для простоты и вследствие симметрии матрицы элементы ниже главной диагонали исключались. Элементы ниже главной диагонали в матрице «квадратного корня» равны нулю и также опущены. Метод квадратного корня, вообще говоря, можно применить к любой симметрической матрице; однако, в случае, когда матрица не есть положительно определенная, могут встретиться некоторые трудности. Если некоторые из диагональных элементов равны нулю или отрицательны, то процедура может привести к мнимым числам. При работе с матрицами коэффициентов корреляции (с единицами на диагонали) метод квадратного корня не создает никаких трудностей. Если же на диагонали располагаются значения общностей (не превышающие единицы), то для получения действительных решений необходимо принимать специальные меры (см. 6.3). 54
3.5. Вычисление обратной матрицы Очень часто в факторном анализе нахождение обратной матрицы либо является самостоятельной целью, либо помогает упростить решение задачи. В гл. 5 рассматривается пример оценки общности, иллюстрирующий этот тезис. Оценка общности параметра снизу есть квадрат множественной корреляции параметра с остальными параметрами; применение матрицы, обратной корреляционной, существенно упрощает задачу вычисления множественных корреляций. Другой пример: при поиске косоугольных решений (см. гл. 11, 13, 15) вычисление факторного отображения по факторной структуре сильно облегчается, если обратить матрицу коэффициентов корреляции. Обращение матрицы факторных коэффициентов корреляции необходимо также в ускоренном методе оценки значений косоугольных факторов (см. 16.7). Все эти примеры подтверждают необходимость в эффективных методах обращения матриц. Формальное определение обратной матрицы, данное в 3.2, п. 22, не является конструктивным. Для обращения матриц вполне могут быть применены методы решения систем линейных уравнений, описанные в двух предыдущих параграфах. Продемонстрируем процедуру обращения на простом примере матрицы коэффициентов корреляции трех параметров: Г 1 /12 'l3~l R = I Г21 1 Г28 • U31 '32 1 J Тот факт, что произведение матрицы на обратную к ней есть единичная матрица — свойство C.14), означает, что 1 '12 'иЛГ^П #19 ?iQ 1 Г1 О О '21 Г31 1 '23 1 J О 1 0 |, C.31) 0 0 1. Задача состоит в том, что- где ejk — элементы обратной матрицы R х бы, зная коэффициенты корреляции, найти элементы обратной матрицы. Выполним последовательно умножение в левой части C.31) и запишем выражения для каждого элемента единичной матрицы; в итоге имеем уравнения: 23 е31=0; C.32-1) '21*^12 ^12+ ~Г'13^32 = 2 +'23 <?32= 32 1 ' ^13 + '12 ^23 + '13 ^33 = 0; '21 ^13 Н~ 1 '^23 + '23 ^33 — 0; '31^13+' 32^23 + 1 -е = 1. C.32-2) C.32-3) 55
§5 Таблица 3.3. Вычисление обратной матрицы: метод квадратного корня Операции Исходные данные Операция квадратного корня (S'r1 Умножение на (S')- способом столбец на столбец, т. е. умножение слева на S" Решение в общем виде R S Результат есть матрица 1 (с учетом ошибок округления можно оставить пробел) I (S'r1 R-1 1,00 0,72 * 1,00 * * * * * * * * 1,00 0,72 0,69 0 0 1 * * * 0 0 0 ,75 ,78 ,00 ,75 ,35 0 0 0 1 * * 0 0 ,49 ,42 ,35 ,00, ,49 Л0 0 0 0 0 1 * 0 0 Численный пример ,42 ,36 ,30 ,42 ,00 ,42 ,08 0, 0, 0, 0, 0, 1, 0, о, 28 24 20 28 24 00 28 06 ,56—0,09—0,08—0,06 0 ,86 0 0 ,23 ,87 о, о, о, 15 09 94 1 — 1 —0 —0 —0 —0 1 ,00 ,04 ,69 ,52 ,31 ,16 0 0 1 —0 —0 —0 —0 2,95—0,68 * # * * : S 3,02 * ,45 ,91 ,26 ,15 ,09 -1 — 1 3 * * * 0 0 1 0 0 1,79 0,19 0,11 0,07 ,38- 0 0 0 1 0 0 0 1, -о, -о, -0 ,68—0 ,26 0 1 * * 0 0 0 0 1 16 31 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1,15 0 16—0,11 1,06 ,48-0 ,24 18 —0 0 47—0 1 * ,34—0,17 ,16—0,10 ,12 0,08 ,34—0,17 ,33—0,12 1,13 * См. сноску к табл. 3.2,
Отметим, что матрицей коэффициентов в каждой из трех групп уравнений является одна и та же матрица коэффициентов корреляции R. Следовательно, можно организовать процедуру таким образом, чтобы, например, с помощью методов, описанных в 3.3 и 3.4, получать решение для всех ejk одновременно. Для обращения относительно малых матриц удобен метод, описанный в 3.3; для обращения матриц высокого порядка более эффективен метод квадратного корня. Продемонстрируем процедуру на модельном примере матрицы коэффициентов корреляции между шестью параметрами. Порядок выполнения действий, основные операции (в общем виде и в примере) приведены в табл. 3.3. Операция квадратного корня применена к матрице R и к единичной матрице; итогом являются матрицы S и (S'). Умножение (S') слева на S дает обратную матрицу R'1. Это легко видеть, если обратить обе части равенства C.30): R-i = S-i(S')-i. C.33)
ГЛАВА 4. ГЕОМЕТРИЧЕСКИЕ ПРЕДСТАВЛЕНИЯ, ИСПОЛЬЗУЕМЫЕ В ФАКТОРНОМ АНАЛИЗЕ 4.1. Введение Геометрические представления помогают глубже уяснить алгебраические идеи, лежащие в основе методов факторного анализа. Геометрические понятия, рассматриваемые в настоящей главе, позволят далее вести наглядный анализ и сравнение различных методов. Обычно в факторном анализе изучается относительно большое число параметров. Поскольку, как станет ясно ниже, размерность пространства непосредственно связана с числом параметров, возникает необходимость в геометрии многомерных пространств. После краткого замечания о природе пространств многих измерений будет введено понятие о системе координат, существенно необходимое в аналитических выкладках. Затем в 4.4 мы рассмотрим понятие линейной зависимости, которое понадобится при установлении одной из фундаментальных теорем факторного анализа. Прежде чем рассмотреть приложения этих геометрических идей к задачам факторного анализа, будут выведены некоторые формулы для расстояний и углов: в 4.5 и 4.7 — для прямоугольной системы координат, в 4.8 — для общего случая. Формулы для общего случая позволяют интерпретировать в геометрических терминах косоугольные факторные решения. В 4.6 кратко изложена теория ортогональных преобразований, которая используется в последующих главах для некоторых видов анализа. В 4.9 параметр интерпретируется как точка или вектор в многомерном пространстве. При этом стандартное отклонение параметра превращается в расстояние, а коэффициент корреляции между двумя параметрами — в косинус угла между двумя векторами, соответствующими параметрам. В последнем параграфе главы геометрические теоремы непосредственно применяются к задачам факторного анализа. Здесь показывается, что наименьшая размерность пространства, содержащего данный набор параметров, равна рангу матрицы коэффициентов корреляции (содержащей значения общностей на диагонали). 58
4.2. Геометрия пространства N измерений Можно обобщить понятия точки, прямой, плоскости на многомерные объекты, и тогда станет возможной геометрическая интерпретация сложных алгебраических соотношений. Построение теории многомерных пространств делается по аналогии с теорией обычного, трехмерного, пространства. Примем основные аксиомы эвклидовой геометрии [437] и добавим такие их модификации, которые необходимы для пространства достаточно большой размерности. Точка, прямая линия и плоскость не определяются, а соответствующие элементы большей размерности могут быть определены через данные. Имея четыре некомпланарные (не лежащие в одной плоскости) точки, можно в трехмерном пространстве образовать любые точки, прямые и плоскости. Пространство, или многообразие, определяемое этими четырьмя точками, есть привычное нам пространство трех измерений. Далее постулируется, что для образования четырехмерного пространства достаточно лишь одной точки, не лежащей в трехмерном пространстве. Теперь трехмерная область является уже не полным пространством, а лишь подпространством пространства четырех измерений. Такую трехмерную область называют гиперплоскостью в Четырехмерном пространстве аналогично плоскости в трехмерном пространстве. Гиперплоскость в четырехмерном пространстве определяется четырьмя некомпланарными точками, либо точкой и плоскостью, либо двумя скрещивающимися прямыми. Рассмотрим некоторые элементарные свойства объектов в трех- и четырехмерном пространстве. В трехмерном пространстве две плоскости пересекаются по ^прямой; прямая пересекает плоскость в точке; пересечение трех плоскостей есть точка, а четыре плоскости могут не иметь ни одной общей точки. В четырехмерном пространстве две гиперплоскости пересекаются по плоскости, три гиперплоскости — по прямой, четыре — в точке, а пять гиперплоскостей могут не иметь ни одной общей точки; пересечение гиперплоскости с плоскостью есть прямая, а с прямой—точка; две плоскости, вообще говоря, имеют лишь одну общую точку, а плоскость и прямая могут не иметь ни одни общей точки. Понятие числа измерений можно ввести и иначе1. Говорят, что точка на прямой имеет одну степень свободы; на плоскости — две, в обычном пространстве — три. Пусть точка есть элемент пространства; тогда говорят, что прямая есть пространство одного измерения, плоскость — двух, обычное пространство — трех измерений. Такие пространства называют линейными пространствами. Пространство N — 1 измерений образует в пространстве N измерений гиперплоскость. Линейные пространства: точка, прямая, плоскость, трехмерное, ..., Af-мерное — 1 Точное определение понятия размерности пространства см. в [552]. — Прим. ред. 59
суть многообразия, определяемые соответственно одной, двумя, тремя, четырьмя, ..., N, N + 1 точками1 и имеющие нуль, одно, два, три, ..., N измерений (или имеющие размерность нуль, один, два,..., Л/). 4.3. Декартова система координат Геометрические понятия удобно выражать в аналитической форме. Так, точку Р можно представить как вектор (хъ х2, ..., #л), где каждое Xt — некоторое действительное число. Слово «точка» означает произвольный элемент, заданный в некотором пространстве, причем это пространство есть не что иное, как множество элементов произвольной природы. С другой стороны, комбинацию (хъ х2, .., xN) можно назвать «арифметической точкой». Соответствие между «геометрическими» и «арифметическими» точками задается системой координат2. Числа хъ х2, ..., Хы называются координатами точки Р. Для факторного анализа различие между «арифметическими» и «геометрическими» точками особой роли не играет, и поэтому слово «точка» может пониматься в любом из этих смыслов. Для обозначения точки и ее координат будет часто применяться обозначение P:(xt). Пусть задано iV-мерное эвклидово пространство и в нем — декартова система координат. Точка О: @, 0, ..., 0) и векторы Ег : A, 0, ..., 0), Е2: @, 1, 0, ..., 0), ..., EN : @, .... 0, 1) называются соответственно началом координат и единичными векторами (ортами). Прямые, проходящие через начало координат и один из ортов, называются осями координат. N гиперплоскостей, каждая из которых проходит через начало координат и содержит N — 1 осей координат, называют гиперплоскостями координат. Говорят, что гиперплоскость п% «противоположна» оси Охг. Координаты (xlf x2, ..., Хм) точки Р равны расстояниям от точки до соответствующей гиперплоскости, измеренным вдоль прямой, параллельной противоположной оси; иными словами, это расстояние высекается на оси гиперплоскостью, параллельной противоположной гиперплоскости координат. Например, координата хх равна длине отрезка, отсекаемого на оси Охг гиперплоскостью, параллельной гиперплоскости координат nv 4.4. Линейная зависимость Как отмечалось, точка Р с координатами (хъ х2> ..., л^) может рассматриваться как вектор, связывающий начало координат с точкой Р. Такой вектор иногда называют радиус-вектором. По правилам векторной алгебры можно умножать вектор на число и складывать векторы. 1 Понятно, что множество Р точек, определяющих (Р — 1) -мерное пространство, «не помещаются» в (Р — 2)-мерном пространстве. 2 Введенные здесь системы координат всегда порождают однозначное соответствие между «арифметическими» и «геометрическими» точками. В общем случае это, однако, необязательно. 60
Так, если Р — вектор с компонентами (хъ х2У ..., xn) и с —произвольное число, то, согласно 3.2, п. 20, произведение сР есть вектор с компонентами {схъ сх2, ..., cxN). Согласно 3.2, п. 16, если Рг: (х1Ъ х12, ..., ..., xlN) и Р2 : (х21, х22, ..., x2N)— два вектора1, то Р1 + Р2 есть век- тор с компонентами (хп +х2Ъ х12 +х22,..., x\N+X2n)- В общем случае с помощью обеих операций над векторами Рг : : (х1Ъ х12, ..., xlN), ..., Рт: (xmlJ xm2, ..., xmN) может быть получена произвольная линейная комбинация tiPi+hP2+ ... +tmPmf где tj — произвольные числа. Меняя значения tjt можно получать из исходных т векторов различные линейные комбинации. Координаты любого из этих новых векторов (обозначим его2 P(f) или P(tly t2i ..., ..., tm) равны: т **= S tgxqi (i=l, 2, ..., N). D.1) Говорят, что между вектором P(t) и исходными векторами Ръ Р2, ..., ..., Рт существует линейная зависимость. Каждая координата xt вектора P{t) является линейной комбинацией соответствующих координат т векторов Pl9 Р2У ..., Рт. Линейная зависимость любого нового вектора от т исходных векторов становится совсем ясной, если записать следующее выражение, эквивалентное D.1): (хг х2у..., x^) = ^22 D-2> Чтобы пояснить сказанное, рассмотрим случай N = 3 и векторы Рг : (хп, х12, х13) и Р2 : (х21, х22, х23). Все векторы, линейно зависимые от Рх и Р2, имеют координаты хг ~ /х х1г +12 x21j Р 1^1» ^2/ • #2 = *1 -^12 ~Г ^2 -^22> *3 == ^1 -^13 "Т *2 -^23> где /jh/2 — произвольные числа. Если задать конкретные t± и t2, та первая координата P(t) будет линейной комбинацией первых координат векторов Рг и Р2, вторая координата — линейной комбинацией вторых, а третья —третьих координат векторов Рх и Р2. Например, в случае Рг : A, 3, 4), Р : B, 1, 5) и /х = 1, t2 = 2 вектор Р(^) имеет координаты .% = 5, х2 = 5, л:3 = 14. 1 Двойная индексация помогает различать отдельные векторы. Так, xq\ означает 1*-ю компоненту вектора Pq. 2 Символом P(t) или P(tlf t2, ..., ^m) обозначается функция (читается так: «Р есть функция от t или Р есть функция от tly ..., tm»). В отличие от этого символ Р: (xt) наряду с символом Р : (хъ ..., xN) используется для обозначения точки- с координатами хъ ..., хи ..., xN. 61:
Линейную зависимость можно описать и иначе, пользуясь определением линейной независимости. Множество векторов называется ли- лейно независимым, если N условий 2 tqxqi=0 (*=1, 2, ..., N) D.3) выполняются только тогда, когда t± = t2 = ... = tm = 0. Легко видеть, что это определение не противоречит определению D.1). Если один из коэффициентов отличен от нуля, скажем tx Ф 0, то D.3) можно лереписать в виде и тогда, согласно D.1), вектор Рг есть один из векторов P(t)> линейно зависимых от векторов Р2, Р3, ..., Рт. Определение, обратное определению линейной независимости, дает определение линейной зависимости, а именно: множество векторов линейно зависимо, если условия D.3) выполняются и не все коэффициенты tj равны нулю. Пусть Рх : (хп, *12, ..., xlN), Р2 : (x21i х22, ..., x2N), ..., Рп : (хп19 Хп2> •••» xun) — некоторое множество, состоящее из п векторов. Спрашивается: какое число векторов из этого множества являются линейно независимыми? Если не все векторы имеют начало, совпадающее с началом координат, то возьмем один из таких векторов, скажем Pv Если из оставшихся векторов не все зависят от Р19 то выберем из таких векторов один, скажем, Р2. Действуя таким же образом дальше, отберем максимальное число т линейно независимых векторов Ръ Р2, ..., Рт. Для определения числа т существует следующий критерий. Выпишем матрицу X = Х1В -Хп1 п3 -строки которой есть векторы в М-мерном пространстве. Имеет место важная теорема о линейной зависимости векторов, которая будет позднее применена для определения числа общих факторов, описывающих множество параметров. Теорема 4.1. Если т — ранг матрицы X, то векторы Р1У Р2>..., Рп линейно зависимы по отношению к т из них, которые между собой линейно независимы. •62
Разобьем доказательство этой теоремы на две части. Сначала рассмотрим случай п ^ N. Поскольку по условию ранг матрицы X равен т, то без потери общности можно принять, что детерминант хг1 х12 ... х1т Х21 Х22 ••• Х2т хт1 хт2 ••• х отличен от нуля. Если т = п, то, так как D Ф О, система уравнений п 2 *&/** = 0 (/=lt 2, ..., ft) имеет единственное решение t± = t2 = ... = tn = 0. Следовательно, согласно D.3), векторы Рх, Р2, ..., Рп линейно независимы. Если т < < /г? то можно доказать точно таким же рассуждением утверждение второй части теоремы, именно что векторы Р19 Р2, ..., Рт линейно независимы. Тем самым доказана вторая часть теоремы. Теперь покажем, что все п векторов зависят от т данных. Приписав; к матрице D новые строку и столбец, сформируем новую матрицу:. А = ^2т т1 хт2 хтт xmi хрт xpi - где р = т+1,...,/ги1 произвольное. Разложим детерминант этой матрицы по элементам последнего столбца: где Dliy D2i, ..., Dmi — алгебраические дополнения элементов хц9 х2г> ..•> xmt соответственно, a D —алгебраическое дополнение элемента Xpi. Этот детерминант равен нулю, так как если i ^ m, то два столбца имеют соответственно равные элементы, а если i > m, то, поскольку ранг матрицы X равен га, любой минор порядка т + 1 равен нулю. Из D.4) Хрг — п), где константы D D.5> D.6) не зависят от элементов хц, x2i, ..., хт%9 xpi. Из определения D.1) следует, что векторы Рр9 координаты которых определяются по D.5), линейно зависят от независимых векторов Р19 Р2, ..., Рт.
Обычно в факторном анализе рассмотренная ситуация встречается часто. Более редок случай п> N, который необходимо рассмотреть для полного доказательства теоремы. В этом случае векторы Pj : : (xjl9 ..., xJN, 0, ..., 0) лежат в пространстве п измерений. Применяя рассуждения, аналогичные сделанным в первом случае, получим соотношение D.5), что и завершает доказательство теоремы для любых п. Продемонстрируем смысл теоремы на простейшем примере множества из трех точек: 1 3 4 2 1 5 5 5 14 Как видно, эта матрица имеет ранг два, так как детерминант третьего порядка равен нулю, в то время как можно найти детерминант второго порядка, отличный от нуля. Согласно теореме, тот факт, что ранг матрицы равен двум, означает, что из трех векторов лишь два линейно независимы. И действительно, легко заметить, что третий вектор есть сумма первого и удвоенного второго векторов. Дадим аналитическое выражение для подпространств Af-мерного пространства. Если Рг, Р2, ..., Рк — линейно независимые векторы, то множество линейно зависимых от них векторов называется линейным к-пространством и определяется уравнениями ** = 2t,xJt (* = 1, 2, ..., N), D.7) где tj — набор коэффициентов, так что каждому набору (tlt t2, ..., tk) соответствует свой вектор линейного ^-пространства. Понятно, что любой из k исходных линейно независимых векторов также удовлетворяет D.7); например, для вектора Р2t2 = 1 и tx = ts = ... = tk = 0. Говорят, что линейное ^-пространство определяется k векторами: Рг, Р2, ..., Ри- Линейное 1-пространство содержит все векторы, координаты которых пропорциональны координатам данного вектора Рг : (хп, х12, ..., х1Л/), и представляет собой прямую, проходящую через начало координат. Уравнения этого пространства имеют вид *i = *!*!, (/ = 1, 2, ..., N). D.8) В iV-мерном пространстве справедливы N параметрических уравнений, которые определяют прямую, проходящую через начало координат; параметром здесь является tv На плоскости линейное 1-пространство состоит из всех векторов, пропорциональных данному вектору Рг : (яш х12) и проходящих через начало координат. Его параметрические уравнения имеют вид: Х2 = ti Х12. €4
Разумеется, эту пару уравнений можно свести к более простому уравнению прямой линии, проходящей через начало координат: у = Ьх, D.9-1) где у есть ордината х2, х — абсцисса хъ Ъ—наклон — вектора Рх. Линейная зависимость обладает свойством транзитивности. Все векторы, линейно зависимые от т векторов Р19 ..., Рт линейного ^-пространства, лежат в этом ^-пространстве. Координаты т векторов определяются уравнениями вида D.7), и любой вектор, линейно зависимый от Ръ ..., Рт, обычно зависит и от Pl9 ..., Pk. Более того, если векторы Р1у ..., Рк определяют линейное &-про- странство, то не существует другого линейного ^-пространства, содержащего эти векторы. Таким образом, линейное ^-пространство полностью определяется любым набором лежащих в нем k независимых векторов, а в линейном ^-пространстве не может находиться / независимых векторов, если />>&, ибо из определения D.1) вытекает, что любые k векторов из множества / независимых векторов сами независимыми, следовательно, определяют линейное ^-пространство, содержащееся в пространстве, определяемом большим множеством. Теперь можно следующим образом переформулировать теорему 4.1. Теорема 4.2. Если т — ранг матрицы X, то все векторы Ръ Р2, ..., Рп содержатся в линейном т-пространствеу но не в линейном \1-пространствеу где \i < т. Рассмотрим геометрическую интерпретацию линейной зависимости. В определении D.1) т векторов определяют m-мерное подпространство исходного ЛЛ-мерного пространства; если взять ОР19 ОР2, ..., 0Рт в качестве осей координат, то /ь t2, ..., tm в D.1) будут координатами Хг ДЛЯ P(t). Говорят, что /г-пространство натянуто на т векторов, если любой вектор в этом пространстве может быть выражен как линейная комбинация т данных векторов. Очень важно понятие о наименьшем числе линейно независимых векторов, на которые может быть натянуто данное пространство; это число равно размерности пространства. Иначе говоря, любая система из т линейно независимых векторов определяет т-пространство и образует в этом пространстве базис. Примером базиса может служить множество единичных векторов, направленных вдоль осей координат. Базис может бь!ть задан в пространстве не единственным образом. Фактически в данном пространстве можно сконструировать бесконечное число базисов (см. [123]). Именно это и является причиной неопределенности факторных решений. Выбор конкретного базиса, приводящий иногда в факторном анализе к специальной задаче «вращения», является предметом части III этой книги. По определению D.7), линейное ^-пространство всегда содержит начало координат; следовательно, начало координат (нуль-вектор) линейно зависит от любого набора векторов. Понятие о подпространствах Af-мерного пространства можно обобщить на пространства, не 3 Зак. 656 65
включающие начало координат. Для этой цели производят сдвиг системы координат Уг=хг + сг. D.10) Теперь можно говорить, что любое множество векторов линейного ^-пространства после сдвига определяет й-мерную гиперплоскость. Как указывалось в 4.2, 0-мерная гиперплоскость есть просто точка, 1-мерная — прямая линия, двумерная — обычная плоскость, (N — 1)-мерная — гиперплоскость. 4.5. Формулы для расстояния в прямоугольной системе координат Когда оси координат взаимно ортогональны, т. е. составляют друг относительно друга прямые углы, то система координат, определенная в 4.3, называется декартовой. В настоящем параграфе рассматриваются некоторые основные формулы для декартовой системы координат. По определению, данному в 3.2, п. 19, скалярное произведение двух произвольных векторов (Рх и Р2) равно Р . р Vyy (А \\\ 12 — /' 1? 2j* V ¦*• / где суммирование ведется по *'. Нормой Рг называют положительное значение квадратного корня из скалярного произведения вектора Рх на себя самого, т. е. N (Р) = YK7^! = V^xuf D.12) а расстоянием между векторами (точками) Рг и Р2 — значение, которое принимает выражение D (Рг Р2) = Щ(Рг - Р2) = У 2 (*»-*„)«. D.13) Легко видеть, что норма вектора'есть расстояние от начала координат до соответствующей точки: N(P) = D(OP). Функция расстояния удовлетворяет следующим известным условиям элементарной геометрии: О(РгР2)>09 если РгфР2; DЛ4) Первые три из этих соотношений очевидны. Четвертое требует небольшого доказательства. Отметим, что расстояние инвариантно относительно параллельного переноса. В самом деле, если две точки (Ри Р2) параллельно перенесены в другие две точки (Р/, Р2'), то D(P±P2) = = D(P1'P2/), что легко проверить с помощью D.10). Четвертое соотношение в D.14) станет очевидным, если для точек Рг, Р2 и Р3 найти 66
такой перенос, чтобы точка Р2 совпадала с началом координат. Тогда, подставив D.12) и D.13) в D.14), получим соотношение V -*8iJ. D.15) которое можно проверить алгебраически. Равенство в D.15) достигается, если и только если *8* = — к*\% (i==l> 2, ..., N)9 где tx — положительная константа. Эти уравнения по форме совпадают с D.8) и описывают прямую линию, проходящую через начало координат, причем точки Рги Рг лежат по разные стороны от начала координат. Следовательно, равенство в четвертом соотношении D.14) достигается, если и только если координаты точек Ръ Р2м Р3 связаны соотношением A(xu-x2i) + B(xBi-x2i)=09 D.16) где А и В — константы одного знака, обе не равные нулю. Если условие D.16) удовлетворено и если Рг Ф Р2 и Р2 Ф Р3, то говорят, что точка Р2 лежит между точками Ргп Р3. 4.6. Ортогональные преобразования В факторном анализе особый интерес представляют некоторые теоремы элементарной геометрии, посвященные таким преобразованиям, при которых расстояния остаются неизменными. Иначе говоря, при подобных преобразованиях, если точка Рг: (х1г) переходит в Qx : (ylt) и точка Р2 : (x2i) переходит в Q2 : (y2i), то выполняется условие 2 (Хц-XuF = 2 (ylt-y2i)\ - D*17) Из того факта, что точка Р2 находится между Рг и Р3> если и только если D(P1P2)+D(P2PB)^D(P1PB)> следует, что преобразование, оставляющее неизменными расстояния, переводит прямую линию в прямую линию. Подобное преобразование, согласно одной из основных теорем геометрии1, является линейным, т. е. имеет вид g ; / = 1,2,3,...). D.18) Подставив уи и y2i из D.18) в D.17), получим S (*!!-*«>¦ = S [ S <*lfcfcu"- X2k)Y • D.19) 1 Теорема гласит, что любое невырожденное преобразование ^-пространства является линейным, если оно переводит прямые линии в прямые линии. Доказательство см. в [498]. 3* 67
Теперь остается найти условия, которым должны удовлетворять ctjft, чтобы D.19) имело место; затем будут определены наиболее общие преобразования, оставляющие неизменными расстояния. Правую часть D.19) можно переписать в виде N N N i 2 Jj Д «|fc «И (^Ifc — Очевидно, в D.19) имеем равенство, если D.20) D.21) где &kl — символ Кронекера, равный 1, если k = /, и равный О, если кф1. Любое линейное однородное преобразование D.22) коэффициенты которого удовлетворяют D.21), называется ортогональным, а его матрица — ортогональной матрицей. Понятие ортогонального преобразования удобно описать в матричном обозначении. Пусть координаты набора точек в исходном и преобразованном М-пространствах'описываются матрицами хп х12 •^21 ^22 и Y = 'У\1 У\2 - У21 У22 •¦¦ У2Ы Тогда, если «11 а12 ... a<2N Y ... o>nn _ то преобразование D.22) приобретает вид I == Л 1 . D.23) Условие D.21), которому должны удовлетворять коэффициенты aik ортогональной матрицы Т, может быть записано в виде матричного условия Т'Т = 1. D.24) Следовательно, матрица Т есть ортогональная матрица, если она удовлетворяет условию D.24). 68
4.7. Угол между двумя прямыми Другие геометрические идеи, весьма часто употребляемые в факторном анализе, группируются вокруг понятия угла между двумя прямыми. Единственной характеристикой точки является ее положение, задаваемое координатами в некотором базисе. Прямая линия задается обычно не координатами, а углами наклона относительно осей координат. Углы Qt = Z. POxiy которые прямая ОР составляет с осями, называются направляющими углами прямой, а косинусы этих углов — направляющими косинусами. Обозначим норму N(P), т. е. расстояние D(OP)> через р; тогда направляющие косинусы определятся так: Л, = cos 9,= ^- (i = l, 2, ..., N). D.25) Р Поскольку из D.12) р2 = 2#Д то, с учетом D.25), получим 1. D.26) Это свойство — сумма квадратов направляющих косинусов прямой в ЛЛмерном пространстве равна единице, есть непосредственное обобщение известного в обычном пространстве свойства. Параметрические уравнения D.8) задают прямую, проходящую через начало координат и фиксированную точку Рг: (х1г). Соотношения D.25) определяют координаты любой точки на прямой, проходящей через начало координат и имеющей направляющие косинусы Xt. Если р задать как функцию положения на прямой, то N уравнений D.25) можно рассматривать как уравнения прямой, записанные в виде p=f- (*=1, 2, .... N). Приравняв N выражений для р, получаем равенства: Если Р : (xlt х2, ..., xN) — переменная точка на прямой, то D.27) можно рассматривать как уравнения прямой. Используя понятие параллельного переноса, преобразуем уравнение D.27) в уравнение прямой, проходящей через произвольную фиксированную точку А : (а19 а2, ..., аи) и имеющей направляющие косинусы %г\ х1-а1 ^ xz-a2 ^ ^ _^ xN~aN ^42gj Если li=,bli (i^l, 2, ..., Л/), D.29) 69
где Ь — константа, отличная от нуля, то уравнения прямой АР можно переписать в виде D.30) где U уже не равны, а лишь пропорциональны направляющим косинусам. Числа U называются направляющими числами прямой. Значения направляющих косинусов прямой можно легко получить, зная числа, пропорциональные им. Действительно, возведя в квадрат обе стороны D.29) и просуммировав по i9 имеем: последнее равенство следует из D.26). Теперь, имея коэффициент пропорциональности можем вычислить направляющие косинусы: %1 = Соотношение D.30) есть общий вид уравнения прямой в Л/'-мерном пространстве. Координаты любой точки Р : (л^) на прямой, проходящей через точку А : (at) и имеющей направляющие числа U> определяются как (*=1. 2, ..., N)t D.32) где t — значение дроби в D.30). Уравнения D.32) можно рассматривать как систему параметрических уравнений прямой, проходящей через заданную точку. Расстояние на этой прямой от заданной точки А до произвольной точки Р равно D (АР) = /Ste-a,)* = t так что , D (ЛР) D.33) Таким образом, параметр t в уравнениях D.32) пропорционален расстоянию от заданной точки на прямой до произвольной то^ки на этой прямой и равен этому расстоянию в случае, когда уравнения прямой выражены через направляющие косинусы. Теперь выведем формулу для косинуса угла между двумя прямыми в Af-мерном пространстве. Если две прямые пересекаются в точке \ 1 Если две прямые не пересекаются, то за угол между ними принимают угол между одной из прямой и прямой, параллельной второй прямой и пересекающейся с первой. 70
то можно провести плоскость, в которой будут лежать обе прямые; угол между прямыми определяется на основании тригонометрических свойств треугольника на плоскости. Пусть имеются две прямые, проходящие через точку А : (щ), х1—а1 К У1— ai х2—а2 Х2 У2—а2 ^ D.34) где Хг и tji — координаты произвольных точек на прямых, a Xt и \,it — направляющие косинусы прямых. Возьмем на первой прямой точку Р, находящуюся на расстоянии р от точки А; на второй прямой возьмем точку Q на расстоянии q от А\ соединим обе точки прямой линией; понятно, что эта прямая также лежит в плоскости (см. рис. 4.1). Пусть ф = /_ PAQ и d = = D(PQ), тогда по закону коси- ^ нусов имеем в треугольнике /\уй.) Ч Q Ш PAQ 4.1. Угол между двумя прямыми. 2—2pqcosy* D.35) Расстояние d определяется по формуле D.13), в которой, согласно D.32), координаты точек Р и Q равны соответственно xt = щ + ркг и Уг = ot + q\iu так что с учетом того, что по D.26), 2Л*2 = 2р,;2 = 1, имеем ^|ii. D.36) Приравняв последние члены D.35) и D.36), получаем соэф — УА,^^ D.37) Таким образом, косинус угла между двумя прямыми равен сумме произведений соответствующих направляющих косинусов прямых, т. е. скалярному произведению векторов (К19 Я2, ..., Я^) и (\ily \i2y ..., jli^v). Формула D.37) позволяет получить кроме D.11) и другое выражение для скалярного произведения двух векторов. Координаты точек Рг : (хц) и Р2 : (x2t) можно записать в виде (i = l, 2, ..., N), где р2, р2 — расстояния от начала координат до соответствующих точек, а Я1г-, X2i — направляющие косинусы прямых ОРХ и ОР2. Подстановка этих величин в D.11) дает Рг • Р2 = 2 Jfii ^2г = Pi P2 2 ^!, Я2, 71
и далее, пользуясь D.37), D.38) где ф12 есть угол Р±ОР2. Следовательно, скалярное произведение двух векторов равно произведению длин этих векторов на косинус угла между ними. Очень часто D.38) дается в качестве определения скалярного произведения. 4.8. Расстояние и угол в обобщенной декартовой системе координат В4.5 и 4.7 были даны формулы для расстояний и углов в предположении прямоугольной системы координат. Сейчас мы снимем ограничение на взаимную ортогональность осей координат и получим более общие формулы. Будут выведены соотношения для расстояния и угла в обобщенной системе координат и будет показано, что в частном случае, когда все пары осей образуют прямые углы, из этих соотношений получаются формулы, выведенные ранее. В обобщенной декартовой системе координат оси могут находиться по отношению друг к другу под любыми углами. Обозначим угол между осями хг и х^ через 6lft (t\ k= 1, 2, ..., N). Естественно ожидать, что в формулы для расстояний и углов в обобщенной декартовой системе координат войдут углы между осями координат. Рассмотрим сначала расстояние в обобщенных координатах. На плоскости значение квадрата длины радиус-вектора ОР определяется как X, Расстояние в обобщенной системе координат. Эта формула следует из закона косинусов, если его применить к треугольнику РОМ (рис. 4.2). Можно показать по индукции, что в Af-мерном пространстве расстояние от начала координат до произвольной точки Р : (хъ х29 ..., xN) равно Р(хьх2) +х22—2хгх2 cos A80°—612) = KXX2Q.O$Q12. р = cose ik D.39) где суммирование ведется'по i и k от 1 до N (далее в тексте суммирование по двум индексам будет обозначаться таким же образом). Ана- 72
логично расстояние между любыми двумя точками Рг : (х1Ъ x12> xlN) и Р2 : (л:21, *22, ..., л;2лг) определяется по формуле D (Рг Р2) = К2 2 (*п-*«) (*i* - *2ft) cos в1Л . D.40) Если в D.39) и D.40) положить cos 6^ = 0 для всех i Ф k, то эти соотношения переходят в соотношения D.12) и D.13) для прямоугольной системы координат. Рассмотрим теперь некоторые свойства прямой в произвольной (не обязательно прямоугольной) системе координат. Направление прямой ОР определяется отношениями* координат любой точки Р: (х19 х2, ..., Xn) на прямой к расстоянию от начала координат до точки Р. Эти отношения %t = xt/p называются направляющими отношениями прямой ОР. Если координаты точки выразить в виде Xi = РЯ, D.41) и подставить в D.39), то получим <A = l. D.42) В случае прямоугольной системы координат направляющие отношения равны направляющим косинусам. При этом формула D.42) переходит в D.26). Выведем формулу для угла между двумя прямыми в обобщенных координатах. Пусть для простоты две прямые проходят через начало координат и имеют разные направляющие отношения Xj, jij(t* = 1, 2, ..., N). Возьмем точку Р : (xt) на одной прямой и точку Q : (yt) на второй прямой и измерим р = D(OP)y q = D(OQ), d = D(PQ) и ф = = </- POQ. Тогда d2 = p2 + q2 — 2pq cos ф. Ho d определяется из D.40), где координаты точек Р и Q равны соответственно xt = р%г и i)i = q\ii, так что, произведя подстановки, получим Приравняв два выражения для квадрата расстояния, получаем следующую формулу для вычисления угла между двумя прямыми: ^. D.43) В прямоугольной системе координат формула D.43) переходит в D.37). 4.9. Геометрическая интерпретация коэффициента корреляции В этом и следующем параграфах обсуждаются вопросы, связанные с приложением идей геометрии к задачам факторного анализа. Обычно исходная информация представляет собой значения п параметров для 73
jV объектов. Если задать параметры в стандартном виде, то матрицу данных Z\N ••• ZnN_ можно интерпретировать как матрицу координат п точек zj(] = 1, ..., п) в W-мерной прямоугольной декартовой системе координат. Подобным же образом интерпретируются элементы матрицы X = {хц) исходных (центрированных) данных. Согласно формуле D.12), длина радиус-вектора точки равна: /?- D.44) Пользуясь определением B.4), это выражение можно упростить: j. D.45) Следовательно, стандартное отклонение параметра пропорционально расстоянию от начала координат до представляющей точки параметра, с коэффициентом пропорциональности -7=.. у N Набор значений параметров xj9 хь удобно представлять геометрически как N точек с координатами (xjl9 xkl), (xj2, xk2), ..., (xjN, xkN) на плоскости XjOxu- Такое «облако» точек называют диаграммой рассеяния. Указанное представление позволяет лучше понять природу связей между элементами, входящими в определение B.7) коэффициента корреляции; в полном виде для п параметров оно называется точечным представлением1. В некотором отношении еще более важным является представление данных не в виде N точек на плоскости (для двух параметров), а в виде двух точек в 7^-мерном пространстве. Таким образом, два параметра представляются как два вектора: х7- : (xjl9 xj2..., XjN) и xft : (xkl9 Xkv •••>**#)• Соответствующее образование для п параметров называется векторным представлением. Итак, рассматривая п строк матрицы Z как координаты точек в Af-мерном пространстве, получаем векторное представление параметров. С другой стороны, те же самые числа можно читать по столбцам, что дает N точек в «-мерном пространстве; при этом облако из Af точек является точечным представлением п параметров. В факторном анализе применяют оба описанных способа представления, но чаще п параметров представляют как п векторов в Af-мерном пространстве объектов. 1 Таким образом, точечное представление есть совокупность N точек в n-мерном пространстве. — Прим. перге. 74
Если направляющие косинусы этих векторов обозначить через Xji и Хм> то, по D.25), Xji==^lLf Ki=— (*' = Ь 2> •••> #)¦ D-46) где pj = D(Oxj) и рЛ=^(Ол;ь). Подстановка D.46) в D.37) дает V у. v где (fjk — угол между двумя прямыми. Таким образом, cos <pjk можно интерпретировать как скалярное произведение векторов Xj и xk> деленное на произведение длин этих векторов. Преобразуем формулу D.47), подставив в нее значения р7- и pfe из D.45): *м!У =°* (/t й==1) 2> •¦••п)- D-48) Итак, коэффициент корреляции между двумя центрированными параметрами равен косинусу угла между векторами этих параметров в N-мерном пространстве. Обычно факторному исследованию предшествует вычисление по наблюденным (или стандартизованным) значениям параметров матрицы коэффициентов корреляции между параметрами. Именно поэтому геометрические рассуждения важно вести не в терминах элементов матрицы стандартизованных значений Z, а в терминах элементов корреляционной матрицы R. В частности, было бы желательно интерпретировать теорему 4.2 в терминах коэффициентов корреляции. Теорема 4.3. Ранг произведения матрицы на свою транспонированную матрицу равен рангу самой матрицы. Доказательство следует из другой теоремы (см. [190]), которая гласит, что ранг произведения двух произвольных матриц не превышает минимального из них. Поскольку обе матрицы теоремы 4.4 являются относительно друг друга транспонированными и имеют, следовательно, одинаковый ранг, постольку ранг произведения равен их общему рангу. Произведение матрицы Z на транспонированную Z' равно произведению корреляционной матрицы R на скаляр iV: ZZ'=NR. D.49) что легко видно из определений умножения матриц, дисперсии и коэффициентов корреляции для стандартизованных параметров. Поскольку теорема относится только к рангам матриц, то значение скаляра N здесь безразлично. Для полной строгости правую часть D.49) следовало бы обозначить через R*, но мы будем для простоты писать R. С учетом этого теорема может быть перефразирована следующим образом: если т — ранг матрицы Z, то ранг матрицы R = ZZ' равен также т. Иными словами, ранг корреляционной матрицы равен рангу матрицы наблюденных данных. 75
Можно сформулировать более сильное утверждение относительно взаимосвязи между двумя матрицами (в том числе между матрицей вычисленных коэффициентов корреляции и факторной матрицей). Теорема 4.4. Если Z есть п • N-матрица ранга т с действительными элементами, то ZZ' = R является положительно полуопределенной действительной симметрической матрицей Г рама1 ранга т. 4.10. Подпространства, рассматриваемые в факторном анализе Введенные выше геометрические представления дают возможность определить минимальное число общих факторов, необходимых для описания набора параметров в смысле уравнений B.22). Согласно теореме 4.2, п точек с координатами, задаваемыми матрицей Z, лежат в линейном /n-мерном пространстве, где т — ранг матрицы. Иначе говоря, п векторов можно описать с помощью т базисных векторов. Более того, поскольку ранг корреляционной матрицы R равен рангу матрицы стандартизованных значений Z (теорема 4.4), любое свойство параметров, связанное с рангом матрицы Z, может быть установлено и с помощью матрицы R. Как следует из теоремы 4.2, п параметров могут быть выражены как линейные комбинации не менее чем т факторов, где т — ранг корреляционной матрицы параметров. В модели компонентного анализа B.8) корреляционная матрица содержит по диагонали^единицы и ее ранг равен обычно п. Следовательно, параметры здесь могут быть описаны в терминах не менее чем п общих факторов. Если, однако, желательно описать п параметров через меньшее чем п число общих факторов, то необходимо постулировать существование факторного отображения вида B.22). С помощью такого отображения может быть вычислена матрица коэффициентов корреляции, по диагонали которой вместо единиц стоят значения общностей. Таким образом, факторное отображение нужного вида можно получить с помощью редуцированной корреляционной матрицы, т. е. матрицы со значениями общностей на главной диагонали. Ранг этой матрицы, вообще говоря, меньше его порядка п. Такие же рассуждения помогают увидеть, что число общих факторов в факторном отображении равно рангу редуцированной корреляционной матрицы. Это и есть наименьшее число общих факторов, адекватно описывающих корреляции между параметрами. В геометрических терминах это означает, что наименьшим пространством, в котором лежат п точек, является т-мерное пространство (мы будем называть его пространством общих факторов). Сказанное можно резюмировать следующим образом. Теорема 4.5. Если т-ранг редуцированной корреляционной матрицы, то наименьшее число линейно независимых факторов, адекватно описывающих коэффициенты корреляции между параметрами, равно т, или, иначе, пространство общих факторов имеет т измерений. Следует отметить, что так как размерность пространства общих 1 Доказательство см. в [7]. 76
факторов может определяться несколькими методами (см. часть II), то, вообще говоря, могут быть получены разные системы факторов. Любые т линейно независимых факторов образуют базис пространства общих факторов (как уже отмечалось, вопрос о выборе конкретных базисов рассматривается в части III). Для того чтобы пояснить проведенные рассуждения, рассмотрим три важных пространства. Набор (гзъ zj2> •••» zjn) действительных чисел, соответствующих параметру Zjy можно считать точкой в М-мерной прямоугольной декартовой системе координат. Благодаря такому векторному представлению два параметра можно изучать попросту в плоскости, хотя они и лежат в Af-мерном пространстве. Вообще, набор п векторов можно изучать в л-мерном пространстве, которое представляет подпространство исходного TV-мерного пространства. Согласно теореме 4.5, в факторном анализе это /г-мерное пространство далее редуцируется до /п-мерного пространства, которое содержит все п векторов. Прежде чем дать окончательную интерпретацию векторов, представляющих параметры в пространстве общих факторов, обратим внимание на геометрический смысл линейных выражений B.9), в которые кроме общих входят и характерные факторы. Рассмотрим п векторов в полном факторном пространстве т общих и п характерных факторов. Любой вектор в этом пространстве имеет вид z/ : (aJ19 O/2, ..., aJm, 0, ..., О, dj9 0, ...f 0), где штрих означает, что используется линейная модель B.9). Первые т координат здесь соответствуют осям общих факторов, an следующих координат, из которых лишь одна отлична от нуля, соответствуют осям характерных факторов. Предположим для простоты, что общие факторы взаимно ортогональны и, как обычно, характерные факторы ортогональны всем факторам. Тогда, согласно D.12), норма, или длина вектора, равна: Таким образом, каждый из представляющих параметры векторов имеет в полном пространстве факторов единичную длину. Направляющие косинусы вектора в этом пространстве есть попросту координаты представляющей точки, а косинус угла cp7V между двумя векторами равен: т-\-п т cosq>)*= 2j hpx'kp= 2 aJpakp = r'jki D.51) P= 1 /7=1 где Х}и' и Xkp' — соответственно направляющие косинусы векторов г/ и zk'. Из D.51) видно, что вычисленный коэффициент корреляции для любых двух параметров равна косинусу угла между их векторами в полном факторном пространстве. Понятно, что степень совпадения вычисленного коэффициента корреляции rjk' с наблюденным (выборочным) rjk тем выше, чем более адекватна материалу математическая модель. 77
Теперь перейдем к интерпретации параметров как векторов в пространстве общих факторов. Проекции п векторов в полном факторном пространстве на пространство общих факторов т измерений есть векторы, представляющие параметры в пространстве общих факторов. Обозначим такой вектор г{ : (о/х, а/2, ..., ajm). Координаты'представляющей точки этого вектора есть не что иное, как первые т координат в полном факторном пространстве. Это справедливо, даже если оси общих факторов не ортогональны, но оси характерных факторов ортогональны пространству общих факторов. Для простоты снова будем считать, что общие факторы некоррелированы. Проекция вектора на m-мерное пространство обычно имеет меньшую длину, чем сам вектор в полном факторном пространстве; эти длины равны-, только если характерность параметра равна нулю. Точно так же углы между любой парой векторов в пространстве общих факторов меньше, а их косинусы, как следствие, больше, чем в полном факторном пространстве. Длина вектора г/ в пространстве общих факторов равна: N (z"j) = |/"а?! + 4+ .-. +4» = К D.52) т. е. квадратному корню из значения общности hf параметра. Направляющие косинусы для двух произвольных параметров г/ и zk" вычисляются как Подставив D.53) в D.37), получаем выражение для косинуса угла между векторами: cos ф/А = 2d hjp %kp = -—— • D.54) Вообще говоря, значение, получаемое в D.54), больше, чем в D.51), и равно ему, только когда hjhk = 1. Следовательно, углы в пространстве общих факторов обычно меньше соответствующих углов в полном факторном пространстве. Пользуясь пространством общих факторов, можно дать геометрическую интерпретацию вычисленных коэффициентов корреляции r'jh. Из D.51) и D.54) с очевидностью следует, что D.55) В пространстве общих факторов угол между двумя векторами можно понимать как коэффициент корреляции между соответствующими параметрами, не учитывающий наличия характерности. Иными словами, если в дисперсию параметра не входит значение характерности, то 78
D.55) определяет значение вычисленного коэффициента корреляции между параметрами у и k. Выразив из D.55) вычисленный коэффициент корреляции, получаем r]k = hj hk cos ум = hj hh r"jk- D.56) Таким образом, с учетом D.38) вычисленный коэффициент корреляции между двумя параметрами равен скалярному произведению представляющих векторов в пространстве общих факторов. Конечно, в случае ненулевых остатков выборочный коэффициент корреляции не равен полученному по D.56). Выше были даны геометрические и другие понятия, часто применяемые в факторном анализе. Для большего удобства изложенный материал кратко резюмируется в табл. 4.1. В качестве иллюстрации рассмотрим простой случай двух факторов. Пространство общих факторов имеет здесь размерность два; на рис. 4.3 два некоррелированных фактора изображены как единичные векторы. Каждый параметр zj может быть выражен через два общих фактора и один характерный. Следовательно, линейная модель для этих двух параметров имеет вид: 4.3. Двумерное пространство общих факторов. = # 21 Исходные параметры могут быть представлены геометрически как векторы в четырехмерном полном факторном пространстве, соответствующем двум общим и двум характерным факторам. В этом пространстве представляющие векторы имеют единичную длину, а их коэффициент корреляции определяется как Г11 — 12 #22* Для вычисления значения коэффициента корреляции между параметрами достаточно рассмотреть пространство общих факторов. Проекции векторов г/ и z2', обозначенные на рис. 4.3 через z{ и z2", аналитически можно выразить в виде 79
g Таблица 4.1. Векторное представление параметров (М—число объектов, п—число параметров, т—число общих факторов) Понятие Пространство объектов центрированные параметры параметры стандартном виде Пространство параметров Полное факторное пространство Пространство общих факторов Число измерений Параметры (/ = 1,2,...,п) Координаты A = 1,2,..., N; р = 1, 2, ..., т) Длина радиус-вектора Направляющие косинусы вектора, соответствующего параметру / Угол между параметрами/и к Косинус угла Коэффициент корреляции между параметрами / и к N *» cos djk = 2kjilhi = NSjSh '•>* N * 1 Pj=VN eyft COS Oj/j = 2ЛjiAfoi = i i N '^ft n-\-m г I = QjiFi+ • --+ajmFm+ aJp, dj ^ = 0 для кф\ m-f-л m m ''/Л :== ^Li ^JP ^kp m a/p P;=ivB;)=ftJ. m m Мл ¦ /A
Длины этих векторов равны квадратным корням из значений их общностей, т. е. D @г2") = Уа Соответственно косинус угла между векторами равен: cos ф12" = af-. af- + af-. a-f = -L- (ац а21 + a12 a22) ИЛИ Г12'=/l^ COS ф12". Последняя формула показывает, что вычисленный коэффициент корреляции двух параметров равен произведению длин соответствующих векторов на косинус угла между ними в пространстве общих факторов. Проведенное обсуждение было необходимо для ясного понимания определений и обозначений элементов в различных пространствах. Было бы неразумно повсюду далее в тексте применять в обозначениях штрихи и двойные штрихи; поэтому там, где это не вызовет недоразумений, при обозначениях, связанных с конкретным пространством, штрихи будут опускаться.
ГЛАВА 5. ПРОБЛЕМА ОБЩНОСТИ 5.1. Введение В предыдущей главе было показано, что размерность пространства общих факторов равна рангу редуцированной корреляционной матрицы. Для выборочных коэффициентов корреляции ранг этой матрицы определяется значениями, стоящими на главной диагонали; повторяя сказанное в 2.8, отметим, что от этих диагональных элементов зависит доля суммарной дисперсии параметров, учтенная факторами. Если на диагонали стоят единицы, т. е. принимается модель компонентного анализа B.8), то как следствие п параметров выражаются через п (редко меньше) общих факторов. В классической модели факторного анализа B.9) в основном изучаются общности. Неприятность состоит в том, что априори значения общностей не известны. Для того чтобы получить факторное решение, необходимо знать либо оценить ранг корреляционной матрицы или ее диагональные члены. Согласно теореме 4.5, если ранг редуцированной корреляционной матрицы известен (или может быть задан) и равен т, то пространство общих факторов имеет т измерений. В некоторых методах для получения факторного решения необходимо иметь оценку числа общих факторов {статистически более или менее достоверную). Другие методы требуют предварительной оценки не ранга, а общностей, т. е. диагональных членов корреляционной матрицы. К последним относятся метод главных факторов и центроидный метод, рассматриваемые в гл. 8; оба они предшествуют получению многофакторных решений (которые с помощью методов, описанных в части III, могут быть далее преобразованы к более удобным видам решений). Основной проблемой, возникшей в факторном анализе с появлением многофакторного подхода, стала проблема удовлетворительной оценки общности. При изучении проблемы общности в этой главе рассматриваются г следующие вопросы: 1) нахождение условий, которым должны удовлетворять коэффициенты корреляции, чтобы соответствующая матрица имела заданный ранг; 2) определение общности при заданном ранге корреляционной матрицы; 82
3) поиск аналитического решения для общности; 4) оценка общности при неизвестном ранге; 5) построение простого примера, в котором после определения общности факторное решение получается непосредственно. Первый из этих вопросов рассматривается в 5.2 и 5.3. Задача определения общности* при заданном ранге обсуждается и иллюстрируется в 5.4. В 5.5 излагаются теоретические аспекты, а в 5.6 и 5.7 — вычислительные процедуры. Численным примерам посвящен параграф 5.8. И наконец, в 5.9 приведен вымышленный пример, объединяющий понятия общности и факторной модели, развитые в предшествующих главах. 5.2. Определение пространства общих факторов Теорема 4.4 утверждает, что если ранг редуцированной корреляционной матрицы /82 k*2 r r h 2 7ll ' 7l2 ' ПЗ •'• 1 — равен m, то пространство общих факторов имеет т измерений. Одна из главных задач факторного анализа состоит в выяснении того, насколько при данных выборочных коэффициентах корреляции и подходящем выборе значений общностей можно уменьшить ранг корреляционной матрицы. Следующая теорема позволяет определить число линейно независимых условий, которым должны удовлетворять неизвестные общности h2, чтобы матрица имела ранг т (доказательство см. в [101]). Теорема 5.1. Ранг симметрической матрицы R равен т, если не равен нулю главный минор т-го порядка Rmm и если равен нулю любой главный минор у полученный присоединением к Rmm строки и столбца из R с одинаковыми номерами, а также любой главный минор, полученный присоединением к Rmw двух строк и столбцов с одинаковыми номерами. Применив процедуру, вытекающую из этой теоремы, можно определить число условий, которые нужно наложить на общности. Матрица R содержит п строк, из них т входит в ненулевой минор Rmm. Это означает, что по одной можно добавлять (п — т) строк, т. е. (п — т) детерминантов должны равняться нулю. Добавления к Rmm одновре- (П — ГПк менно по две строки могут быть сделаны1 ( 2 / спос°бами, и, следо- 1 Символ к при а > Ь означает число сочетаний из а элементов по Ь элементов. Это число равно а^а  „' ? ———— • — Прим. перев. 83
вательно, нулю должны равняться еще (п — т)(п — т — 1)/2 детерминантов. Таким образом, общее число независимых условий (т. е. число миноров, равных нулю), которым должны удовлетворять общности, чтобы матрица R имела ранг т, равно1: vm = (п — т) + (п—т) (п—т—1)/2 = (п—т) (п—т-И)/2. E.1) Вообще говоря, vm уравнений дают решения АД Л22, ..., hn2 только если число неизвестных больше или равно vm. Если число неизвестных меньше числа уравнений, то, для того чтобы число независимых условий равнялось числу неизвестных, т. е. чтобы уравнения стали совместными, коэффициенты соответствующих уравнений (в данном случае составленных из коэффициентов корреляции между параметрами) должны удовлетворять некоторым ограничениям. Во-первых, будем предполагать, что коэффициенты корреляции — произвольные числа в том смысле, что между ними не существует взаимной зависимости2. В этом случае число vm условий, налагаемых на f общности, не должно превышать числа неизвестных, т. е. Ф(т) 25- 20- 15 ¦ ю- 5- 0 -5- -10- \ \ - \ - \ \ А I I I 10 /15 20 т 1 i i _У 5.1. Функция Ф(т) для п = 9. E.2) Это неравенство имеет следующую эквивалентную форму: O(m)=vm—п=[т2—Bл+1) X Хт+п (п—1)]/2 < 0. E.3) Разрешив E.3) относительно т для случая Ф(т) = 0, получим значения двух корней: т = [{2п+ 1) ± 1 8^+Т]/2. E.4) Легко показать, что при любом фиксированном значении п график квадратичной функции Ф(т) является параболой. На рис. 5.1 изображен типичный член этого семейства парабол для случая п = 9. Хотя на рисунке парабола изображена полностью, для интерпретации в фак- 1 Это доказательство неполно в том смысле, что не показана линейная независимость vm уравнений, т. е. что ни одно из них не вытекает из других. Ле- дерман [334] с помощью другого рассуждения пришел к такому же числу условий для п неизвестных общностей и предложил доказательство линейной независимости этих уравнений. 2 Это замечание автора неточно. Как указывалось в теореме 4.3, матрица R является положительно полуопределенной, а это означает, что на коэффициенты корреляции наложены взаимные ограничения. — Прим. перев.
торном анализе имеет смысл только левая часть кривой вплоть до точки т = п. В общем случае кривая пересекает ось т в двух точках, абсциссы которых определяются по E.4), и, следовательно, Ф(т) ^ О для значений т, лежащих между этими точками. Ранг произвольной корреляционной матрицы с неизвестными значениями общностей может быть уменьшен до числа т, которое удовлетворяет условию [Bп+1)+у/Вп + l]/2>m> [Bn + 1)— V8n + l]/2. E.5) Наименьшее возможное значение т есть наименьшее целое, большее или равное значению в правой части E.5). В табл. 5.1 перечислены наименьшие ранги, возможные для матрицы данного порядка, вплоть до л = 15 (при этом предполагается, что коэффициенты корреляции независимы). В общем случае корреляции между параметрами нельзя считать произвольными или независимыми. Тогда неравенство E.2) можно перевернуть, т. е. число неизвестных может быть меньше числа условий, которым они должны удовлетворять. При этом неизвестные общности становятся «переопределенными» в том смысле, что уравнения могут уже не быть совместными. Для существования решения необходимо, чтобы коэффициенты уравнений удовлетворяли по крайней Таблица 5.1. Минимальный ранг в предположении независимости коэффициентов корреляции п т 2 1 3 1 4 2 5 3 6 3 7 4 8 5 9 6 10 6 И 7 12 8 13 9 14 10 15 10 мере Ф(т) соотношениям. В табл. 5.2 даны разности Ф(т) = (vm — /г), т. е. числа условий, которым должны удовлетворять корреляции, чтобы матрица порядка п могла быть сведена к матрице ранга т. Нижний левый угол таблицы пуст, поскольку ранг не может быть выше порядка матрицы. Отрицательные числа соответствуют превышению числа неизвестных над числом условий, так что в этом случае может быть получено бесконечное количество решений; в общем виде решение включает (п — vm) произвольных постоянных. Нуль в таблице соответствует случаю равенства числа неизвестных и числа уравнений. Для данного числа параметров п отрицательные числа и нули в таблице соответствуют такому рангу т корреляционной матрицы, при котором на коэффициенты корреляции не накладывается дополнительных ограничений. При этом выполняются неравенства E.2), а условия на общность удовлетворяют предположению о независимости коэффициентов корреляции. Если двигаться по колонке табл. 5.2 вниз, то значение т, отвечающее первому отрицательному или нулевому элементу, соответствует при том же т значению п в табл. 5.1. Конечно, если коэффициенты корреляции независимы и факторов требуется ровно столько, сколько следует из табл. 5.1, то выигрыш при сжатии материала получится небольшой. Однако обычно при ре- 85
Таблица 5.2. Число линейно независимых условий для коэффициентов корреляции ю и 12 2 3 4 5 6 14 —2 —3 — 1 —4 20 13 —3 —1 —5 -5-4 —2 35 26 18 11 44 34 25 17 10 -6 —6 /я-1\ п (я-3) V 2 / 2 (V)-- п—3 2 л—4 n—5\ /г-6 п (А2—5) 2 я (я-7) я (я-9) 2 " + 1 +3 -^Щ+ю — 6 = л(п—13) + 15 п—т \ п (п—2т—1) 2 )-т= 2 шении задач факторного анализа исследователь отбирает параметры на основании некоторой гипотезы о природе изучаемого объекта, и нет оснований ожидать, что коэффициенты корреляции будут взаимно независимы. Поэтому взаимосвязи между коэффициентами корреляции позволяют при соответствующем подборе диагональных членов сделать ранг корреляционной матрицы меньше ее порядка. В следующем параграфе рассматриваются специальные условия, гарантирующие существование одно- и двумерных пространств общих факторов. В последующих параграфах излагаются приближенные методы построения пространств общих факторов больших размерностей. 5.3. Условия понижения ранга корреляционной матрицы Положительные числа в табл. 5.2 указывают на число независимых связей между коэффициентами коррелядии, необходимых для того, чтобы ранг матрицы был меньше минимально возможного по E.5). Так, при п = 3 для получения ранга 1 дополнительные связи не нужны, т. е. три параметра всегда могут быть описаны одним общим фактором. Однако четыре параметра уже не могут быть описаны одним фактором, если их взаимные корреляции не удовлетворяют двум 86
(независимым) условиям. Это хорошо известные по Спирмэну [440] условия равенства нулю тетрад: Г14Г23 — E.6) Для лучшего понимания обобщений на большие размерности рассмотрим более подробно, каким образом при д = 4ит= 1 возникают уравнения E.6). Редуцированная матрица коэффициентов корреляции для четырех параметров имеет вид  '12 /*21  Г31 Г32 23 h2 r24 ^34 L/41 A 42 ^43 Ранг этой матрицы равен единице, если все миноры второго порядка равны нулю. Выбрав миноры, в которые входит лишь по одному значению общности, выпишем ряд уравнений относительно всех общностей. Например, h2 может быть вычислена из любого из следующих трех уравнений: Vr3 ls = 0, = 0, h^t = 0, или ^12 ^14 r13 r14 E.7) Исключив Ai2, получим оба уравнения E.6). Если условия E.6) выполняются, то три решения E.7) для Лх2 совместны. Снова обратившись к табл. 5.2, видим, что для описания одним общим фактором пяти параметров необходимо наложить уже пять ограничений. Как и в предыдущем случае, пользуясь корреляционной матрицей, найдем решения для каждой из неизвестных общностей, приравняв для этого нулю соответствующие миноры второго порядка. Например, для h2 имеем шесть уравнений: V Гц = 0, = 0, = 0, = 0, Гц rib = 0, = 0, ИЛИ Г12 rlZ Г12 Г14 __ ^12 Г1Ъ __ ^13 ГЫ rlZ Г\Ь ^14 rl 5 87
Отсюда пять условий, которым должно удовлетворять единственное значение h±2, имеют вид Г13Г25 Г15Г23 — 0, B) Г12 Г 34 Г14 Г23 — 0 , C) Г E.9) —rurSd = 0. E) Любые другие условия будут линейно зависимыми от условий E.9). Следовательно, если вместо h±2 получить теперь решения для А22, то новые условия будут линейно зависимыми от установленных выше (см. упр. 7 к гл. 5). Множество п параметров лежит в одномерном пространстве общего фактора, если их коэффициенты корреляции, согласно табл. 5.2 (первая строка, последняя колонка), удовлетворяют ^ ; связям. Эти связи имеют вид Г23 ^13 гт Г2П гп—\,п Один член t E.10) соответствующий параметру zei называется триадой. Если ранг корреляционной матрицы равен единице, то общность параметра ze определяется любой из триад E.11). Легко видеть, что для п параметров /с 1лч / П - М / ч П(П - 3) в E.10) имеется ( 2 ) триад, или (вычитая единицу) ~— условий на существование одного фактора. Число условий вида E.10) намного меньше числа тетрад. Каждые четыре параметра дают три новые тетрады, так что при п параметрах общее число тетрад равно: я\ я(я-1)(я-2)(В-3)> Eл2) Разность между этим числом и числом условий E.10) составляет я(я-3)-2 Гя(я-ЗП Гя(я-3)-21 Чтобы представить себе порядок этого числа, возьмем, например, п = = 15. Тогда общее число тетрад равно 4095, а число условий E.10) — всего лишь 90. Таким образом, при 15 параметрах для вычисления ус- 88
ловий E.10) нужно затратить труда примерно в 40 раз меньше, чем при вычислении тетрад. Для большего числа параметров получается еще более внушительная разница. Рассмотрим теперь условия, которым должна удовлетворять корреляционная матрица, чтобы ее ранг был равен 2. Как известно, при пя ти параметрах должно быть одно условие, а именно впервые полученный Келли [305] критерий пентад: Г12 ^23 Г34 Г45 Г12 Г24 Г3\ Г4о Г2Ъ Г54 \ Г41 ГЬЗ 4 ^42 Г \ ГЗЬ Г43 == "• E.14) ' 13 ' 24 '35 '41 '52 ~Г'13 '25 ' 34' 42 '51 I '14 '23 '31'45'5 '14 Г2Ъ ^32 ^*43 ^*51 ^15 ^23 ^31 ^42 ^54 \ Г1Ь ^24 ^32 ^41 ^53 " Это условие может быть получено тем же способом, что и предыдущее. Для того чтобы ранг был равен 2, все миноры третьего порядка корреляционной матрицы должны равняться нулю. Отобрав соответствующие миноры и выписав линейные уравнения для каждой из общностей, получим условия совместности. В частности, для /гх2 имеем h 2 r r П1 Г14 М = 0, Г21 '24 '25 Г31 Г34 Г35 или, разрешив относительно h± = 1/21 V1B ' Г4д V 5—rlb r34)—r31 (ги ггь—г1ь г24)]/(г24 гзь — г2ь г84). Приравняв оба решения, получаем условие совместности: Г 1Ь Г41 (Г 13 Г1Ь Г23П [Г24/*35 Г2Ъ Г3^\ 1Г21 V — ['23 '45—^25 Г48] [ГМ (Г14 Г35 — Гц /*34) —Гз1 (Г14 Г25—Г15 Г84)] = 0. E.15) Если коэффициенты корреляции между пятью параметрами удовлетворяют E.15) или эквивалентному условию E.14), то могут быть найдены такие пять значений общности, чтобы ранг корреляционной матрицы был равен 2, т. е. чтобы пять параметров описывались двумя общими факторами. Для получения ранга 2 при шести параметрах, согласно табл. 5.2, коэффициенты корреляции должны с необходимостью удовлетворять четырем дополнительным условиям. Для удобства обозначим детерминант через его диагональные члены: hi2 rlb rld \hi2rabrcd\ = ' al ' ab ' ad rc\ rcb rcd E.16) Снова все миноры третьего порядка должны равняться нулю. Ниже выписаны пять таких детерминантов (каждый включает первые строку и столбец, остальные строки и столбцы различны): Г56 H 23Г56 89
Отсюда следуют пять решений для hj2: f, 2_ r2l\riSrti \ — r,l\ I . \ I — ^41 I 'l3 ^26 1 . I ^23 ^46 | I >23 0,6 I I ^24 '56 I \ 2__ Г31 1 ^14 r56 1 — r51 I ^14 '36 1 к34 Г56 I E.17) где I rab rcd I — rab rad rcb rcd radrcb- E.18) Исключив из E.17) ftx2, получим четыре условия, которым должны удовлетворять коэффициенты корреляции. Равенство правых частей уравнений E.17) является необходимым условием того, чтобы шесть параметров описывались двумя общими факторами. Описанный процесс можно обобщить на произвольное число параметров. Число условий, которым должны удовлетворять коэффициенты корреляции между п параметрами, для того чтобы они описывались двумя общими факторами, определено в табл. 5.2 (строка п), а именно: для того чтобы ранг корреляционной матрицы был равен двум, должны выполняться -* 2 f условии. Эти условия получаются, если исключить любую общность he2 из ~~ ? — уравнений^вида 2 __ rae I reh fed 1 —rce\ reb— rad d I e, a, b,c9d= 1,2,...,/z; ефафЬфсфй E.19) Следует отметить, что изложенная выше процедура позволяет установить для п параметров намного больше условий, чем их дает табл. 5.2. Любой четверке индексов в знаменателе E.19) соответствует детерминант третьего порядка вида E.16). который при вычислении общности he2 следует, очевидно, приравнять к нулю. Общее число возможных знаменателей, а значит, детерминантов при вычислении общностей оказывается огромным. К счастью, однако, это число значительно уменьшается благодаря симметричности корреляционной матрицы и некоторым свойствам детерминантов второго порядка. Так, из 24 возможных выражений для одной общности, вытекающих из перестановок четырех индексов в знаменателе E.19), рассмотрению подлежат только два. Общее же число детерминантов третьего 90
порядка, которые должны равняться нулю при корреляционной матрице порядка п и ранга 2, равно: 2 i'"-1 ) = (n—l)\/l2(n — S)l E.20) При п > 5 количество условий на общности, образуемых этими детерминантами, также превышает то, что указано в табл. 5.2. Наличие избыточных условий позволяет контролировать правильность оценки ранга. Однако, из следующего параграфа будет видно, что на практике для каждого параметра достаточно иметь меньшее число выражений для общности. Обобщив описанную в этом параграфе процедуру, можно получить необходимые условия для любой матрицы R и любого ранга /л, а именно все миноры порядка (т + 1) должны равняться нулю. При т> 2 вычисление детерминантов четвертого и последующих порядков становится настолько трудоемким, что не удается точно сформулировать условия, подобные условию тетрад или критерию пентад. Хотя в табл. 5.2 и приведено выражение для числа условий, которым должна удовлетворять корреляционная матрица произвольного порядка и произвольного ранга, практический интерес представляют только выражения для рангов 1 и 2. 5.4. Определение общности при неточном знании ранга Классическая проблема определения общностей ставится так: насколько можно понизить ранг корреляционной матрицы n-го порядка, подбирая значения ее диагональных членов (общностей)? Если ранг редуцированной матрицы равен /п, то наименьшее число общих факторов, необходимых для описания взаимных корреляций между параметрами, согласно теореме 4.5, также есть т; поэтому, если благодаря подбору h2 удастся уменьшить ранг исходной матрицы, окажется возможным более экономное описание материала с помощью меньшего числа факторов1. Предметом настоящего параграфа является вычисление общностей в случае, когда могут быть сделаны некоторые предположения о ранге редуцированной корреляционной матрицы. Подобного рода предположения делаются также в двух методах факторного анализа (см. гл. 9 и 10); однако в этих методах вопрос о вычислении общностей не имеет самостоятельного значения, а рассматривается лишь как вспомогательный. Запишем редуцированную корреляционную матрицу в виде? R = R0 + H, E.21) где Ro — корреляционная матрица п-го порядка с нулевыми диагональными элементами, а Н — диагональная матрица, элементы кото- 1 Как указывается в [334], даже если задаться рангом корреляционной матрицы, значения общностей могут определяться неоднозначно. 91
рой hj2 (общности) подлежат определению. Алгебраически задача состоит в нахождении такой матрицы Н, которая обеспечивала бы минимальный ранг |л матрицы R. Для факторного анализа значительный интерес представляет более частная задача определения такого «ранга», когда в минорах стоят только недиагональные элементы матрицы R. Иными словами, «ранг» равен ш, если равен т наибольший порядок ненулевых миноров матрицы Ro, образованных из т ее строк с некоторыми номерами и т столбцов с другими номерами. Альберт [8], получивший точное решение задачи вычисления общности в случае \к — т, назвал значение т идеальным рангом. В работе [9] Альберт доказал однозначность полученных им общностей. Из построений Альберта следует, что в предположении запрета на включение в миноры диагональных элементов R справедливо неравенство т<±. E.22) К сожалению, для реальных материалов это условие почти никогда не выполняется. Поэтому при всей математической аккуратности решения Альберта для случая, когда идеальный ранг известен и строго меньше у, это решение представляет лишь академический интерес. Идеей определения общностей исходя из известного ранга корреляционной матрицы можно воспользоваться, даже если ранг известен неточно. Зная приближенное значение ранга матрицы и воспользовавшись описанной в предыдущем параграфе процедурой, можно, наложив на коэффициенты корреляции необходимое число связей, вычислить значения общностей. Грубую оценку ранга корреляционной матрицы дает число разных групп в общем множестве параметров. Конечно, понятие о разных группах параметров не является математически точным, тем не менее в экспериментальном исследовании ученый обычно имеет представление о группировке параметров то ли на основании содержательных соображений, то ли на основании предварительного изучения матрицы коэффициентов корреляции. В 7.4 данчпростой статистический прием для группировки параметров («коэффициент принадлежности»1). Во всяком случае, приближенное знание ранга и метод 5.3 позволяют проверить, удовлетворяют ли коэффициенты корреляции набору условий, необходимых при данном ранге. Если условия выполняются, то для рангов 1 и 2 решения даются формулами E.11) и E.19); для других значений рангов формулы практически бесполезны. Процесс вычисления общностей при данном ранге включает ряд оценок для каждого из параметров. Совместность таких оценок позволяет проверить гипотезу о ранге, а их среднее значение дает значение общности. Подобные операции проводятся для каждого из параметров, и каждый раз необходимо проверять гипотезу о ранге матрицы. 1 Существуют различные подходы к формализации и решению задачи о разбиении множества параметров на сильно связанные группы (см., например, [550» 554]). — Прим. перев. 92
Конечно, на практике при данном ранге корреляции не удовлетворяют условиям, следующим из гипотезы о ранге, так как возможны случайные ошибки1. Поэтому, вычисляя общности для ранга 1, следует выписывать все возможные триады. Если различие между ними с достаточной степенью правдоподобия можно считать случайным, то в качестве общности берется их среднее значение. Для определения общностей при ранге 2 также необходимо рассматривать все допустимые выражения E.19). Однако, прежде чем усреднять, нужно исключить выражения с незначимыми знаменателями. Если смысл параметров известен и если содержательно они образуют две разные группы, то появляется возможность выявить незначимые комбинации. В этом случае каждая группа соответствует рангу 1 и незначимыми будут те тетрады, которые включают три параметра из одной группы2. Знание незначимых комбинаций параметров позволяет исключить отвечающие им тетрады E.19) из рассмотрения. Исследование же только тех знаменателей, в которые входят по два параметра из каждой группы, значительно уменьшает число выражений для каждой общности. Может случиться, что при определении общностей (в предположении некоторого ранга корреляционной матрицы) часть значений общностей превысят единицу. Это означает, что ранг был предположен не верно, ясно, что теоретически подобная ситуация невозможна. Тем не менее, прежде чем отбросить гипотезу о ранге, следует изучить различные оценки общности. Вообще, если для данной общности можно получить несколько совместных выражений, то наиболее надежное значение получится при их усреднении. Оправданием подобной рекомендации может служить тот факт, что сами выборочные коэффициенты корреляции не свободны от ошибок, и поэтому естественно ожидать, что числа, которые мы ставим на главную диагональ корреляционной матрицы, для того чтобы она имела заданный ранг, будут удовлетворять нашей гипотезе лишь приблизительно. Для окончательной проверки проведенных выкладок коэффициенты корреляции, вычисленные с помощью найденных значений общностей, сравнивают с выборочными коэффициентами корреляции. В случае малых различий решение считается удовлетворительным. Строго говоря, рассуждения этого параграфа справедливы, только если ранг матрицы известен, а ошибки эксперимента и округления при вычислениях незначительны. На практике ошибки эксперимента приводят к таким коэффициентам корреляции, что ранг корреляционной матрицы становится равным ее порядку. Однако для факторного анализа представляет интерес не строго математическое решение задачи. Основной проблемой является скорее анализ экспериментально найденных коэффициентов корреляции; при этом получаемые в результате разности (остатки) должны быть статистически незначимыми. Фор- 1 Известна формула для общности, полученная приравниванием нулю детерминантов высоких порядков; эта формула не учитывает ошибок выборки. Хол- зингер и Харман [243] приближенно вычислили стандартное отклонение триад. 2 См. условия E.9) предыдущего параграфа. — Прим. перев. 93
мально задача состоит в нахождении такой вычисленной корреляционной матрицы R минимального ранга, элементы, которой незначимо отличались бы от соответствующих элементов выборочной редуцированной корреляционной матрицы R. Процедурно это действительно одно и то же, поскольку определение статистической значимости влечет за собой те же самые задачи, которые возникают при определении общностей. Лоули [320] и Рао [394] на основании метода максимального правдоподобия предложили статистические тесты для проверки значимости остатков; в гл. 10 изложена процедура для проверки значимости. Чтобы иллюстрировать проведенные выше рассуждения, рассмотрим пример, взятый из [375]. Имеется набор из восьми морфологических параметров, подобранных так, что они образуют две разные группы. Из корреляционной матрицы (табл. 5.3) видно, что первые четыре параметра характеризуют «стройность» индивидуумов, а остальные четыре — их «полноту». Естественно предположить для этой матрицы ранг 2 и проверить гипотезу о ранге в процессе поиска значений общностей. Таблица 5.3. Матрица козффициентов корреляции между восемью морфологическими параметрами (вычислена по выборке из 305 девушек) Параметр 1. РОСТ 2. Размах рук 3. Длина предплечья 4. Длина ноги 5. Вес 6. Окружность бедер 7. Окружность груди 8. Ширина груди 0,846 0,805 0,859 0,473 0,398 0,301 0,382 0,881 0,826 0,376 0,326 0,277 0,415 0,801 0,380 0,319 0,237 0,345 0,436 0,329 0,327 0,365 0,762 0,730 0,629 0,583 0,577 0,539 Предположив ранг 2, можно теперь, усредняя оценки E.19), получить значение общности для любого параметра ze. Вычисление этих оценок можно упростить, упорядочив определенным образом индексы а, Ьу с, d в знаменателе E.19). Например, вычисляя значение общности для первого параметра, в качестве индексов ab возьмем 23,24 и 34 (из первой группы параметров), а в качестве индексов cd — 56, 57, 58, 67, 68 и 78 (из второй группы параметров). После того как все эти пары параметров выписаны во всех возможных комбинациях, вычислим 18 полученных знаменателей и далее 18 значений общности /гх2. Поменяв местами параметры в одной из пар аЪ или cd, можно получить еще 18 значений; этого, однако, можно не делать, так как для наших целей достаточно уже имеющихся 18 чисел. Таким образом, для каждого из восьми параметров имеем по 18 вариантов общностей, усреднение которых дает хорошие оценки общностей (см. табл. 5.4). Не существует регулярной процедуры, позволяющей вынести суждение о непротиворечивости отдельных значений общностей; можно, 94
Таблица '5.4. Значения общностей А? 4 Л *§ Значение общности Стандартное отклонение 0,842 0,068 0,881 0,071 0,817 0,066 0,815 0,066 0,872 0,071 0,647 0,052 0,584 0,047 0,502 0,041 однако, воспользоваться следующим соображением. Будем рассматривать вычисленное значение общности как оценку дисперсии и применим к ней обычную формулу для стандартного отклонения: г. . E.23) Если, согласно формуле E.23), отклонения ряда значений общностей от их средней оказываются незначимыми, то они окажутся незначимыми и при более тщательной проверке. В табл. 5.4 приведены значения стандартных отклонений общностей для восьми параметров, вычисленные по E.23). Как видно из таблицы, любая из 18 оценок по каждому из восьми параметров отклоняется от соответствующего среднего значения не более чем в 1,5 раза, что свидетельствует о непротиворечивости полученных оценок и о справедливости выдвинутой гипотезы о ранге. Рассмотренная процедура вычисления значений общностей непосредственно может быть применена, только если т равно единице или двум. При большем числе факторов и работе с электромеханическими счетными машинами процедура становится бесполезной. Вообще говоря, современные электронные машины позволяют вести подобного рода работу и с детерминантами высоких порядков; тем не менее нам представляется, что в таких случаях следует пользоваться специальными методами факторного анализа, которые не требуют предварительной оценки общностей, а, наоборот, позволяют получить значения общностей в результате анализа (см. гл. 9 и 10). 5.5. Аналитическое решение для общности Прежде чем перейти к пригодным для практики методам оценки общности, в настоящем параграфе мы попытаемся найти аналитическое решение этой задачи, не зная ранга матрицы R. С помощью основной факторной модели B.9), обозначений, введенных в 4.10, и понятий о полном факторном пространстве т общих и п характерных факторов любой параметр zj может быть выражен следующим образом: /;, E.24) E.25) 95 или в пространстве общих факторов:
Коэффициент корреляции между параметром и его «общей» частью: rrr=*+a*» + -" + a*=J?-=h,9 E.26) ;/ N(z/)N(z/') l.hj " где выражения для длин векторов в полном факторном пространстве и в пространстве общих факторов взяты из табл. 4.1. Но коэффициент множественной корреляции1 параметра zj с линейной комбинацией т факторов E.25) равен обычному коэффициенту корреляции между ними, т. е. RzrFxF2...Fm = rZjZ,f]. E.27) Поскольку г/ есть математическая модель zj, то E.26) можно записать: hf = R2Zj.FlF2...Fm, E.28) т. е. общность параметра равна квадрату коэффициента множественной корреляции между параметром и общими факторами. Хотя еще с 1936 г. эти факты были известны [403, 107, 172], попытки применить их для оценки значений общностей были сделаны лишь недавно [289, 292, 484]. Поскольку z/ в качестве базиса пространства общих факторов так же хороши, как и Fp, из E.25) и E.28) следует: Кайзер [289] показал, что если п векторов z/ лежат в пространстве общих факторов, то при вычислении квадрата коэффициента множественной корреляции E.29) некоторые из них не нужны. Исключение z] из уравнения регрессии для hj2 придает этому уравнению вид V»^...-^..^.^....;. E-30) Таким образом, общность параметра равна квадрату его коэффициента множественной корреляции с п — 1 «общими частями» остальных параметров. Очевидная трудность подобного рода подхода состоит в том, что для вычисления коэффициента множественной корреляции, т. е. значения искомой общности, необходимо знать значения остальных п — 1 общностей. Пытаясь найти методы оценки общности п параметров, Кайзер предложил итеративную процедуру, рассчитанную на применение ЭВМ. К сожалению, процедура сходится лишь для отдельных матриц; отсюда Кайзер заключил, что метод «... не имеет практической ценности ввиду его неспособности решать проблему общности для эмпирических матриц» [292]. Однако итеративные процедуры, позволяющие получить решения, близкие к теоретическим, Bqe же могут иметь практическую ценность. В частности, Гуттман [182] предложил процедуру, являющуюся обобщением и улучшением процедуры Кайзера. Его метод предназначен 1 Коэффициентом множественной корреляции вектора z с векторами Flt ..., Fj9 ..., Fn называется величина min l/"(z—2аЛJ» где <<чеРта сверху» «1 иц V j означает «среднее значение».—Прим. ред. 96
для нахождения диагональной матрицы Н допустимых значений общностей1 и не требует ни априорного знания ранга матрицы R, ни выделения общих факторов. Окончательное решение получается с помощью итеративной процедуры, в процессе действия которой ряд Н, в конечном итоге сходится (при некоторых условиях; см. [182, стр. 5—7]) к требуемой матрице общностей Н. Обозначим последовательные приближения редуцированной корреляционной матрицы, соответствующей матрице R, через R^; тогда уравнение E. ?1) примет вид R,= Ro + H, (/=1, 2, ...), E.31) В описываемой итеративной процедуре на каждом шаге необходимо вычислять матрицу, обратную R,; обозначим через D^ диагональную матрицу, главная диагональ которой совпадает с главной диагональю R71. Тогда итеративную процедуру [182, стр. 2] можно записать в виде следующей рекуррентной формулы: Ht+i=Ht-EDrl, E.32) где е — некоторое положительное число. Различные процедуры E.32) будут отличаться друг от друга значением е и начальным приближением Нх. Если в E.32) положить 8 = 1 и Н^ = I, то получим процедуру Кайзера -[289]. Эта процедура, как отмечалось выше, в общем случае не сходится. Для улучшения сходимости Гуттман [182] дает некоторые рекомендации, главная из которых сводится к тому, что нужно брать е = у, ав качестве Нх — диагональную матрицу, элементы которой равны значениям квадратов коэффициентов множественной корреляции каждого из параметров с остальными п — 1 параметрами (еще об этом см. в 5.7). Работа эта кажется весьма многообещающей, но проверка ее реальной ценности — дело будущего. Из предшествующего обсуждения явствует, что проблема нахождения общностей достаточно сложна. В следующих параграфах предлагаются некоторые пути ее решения. 5.6. Частные оценки общности Для оценки общности было предложено много методов. Но ни в одной из работ не было показано, что какой-либо один метод приближает «истинные» значения общностей лучше, чем другие методы. Ни в одном из методов не гарантировалось достижение минимального ранга корреляционной матрицы. Выбор среди группы методов некоторого «наилучшего» производился в основном с точки зрения вычислительных удобств, а также склонностей и привязанностей исследователя, которому тот или иной метод казался более адекватным его интуитивным 1 Как отмечалось в 3.2, п. 15, оценка общности считается допустимой, если соответствующая корреляционная матрица обладает свойствами матрицы Гра ма. 4 зак. 656 97
представлениям об общности. В оправдание подобного подхода отметим, что для всех даже достаточно малых по своим размерам наборов параметров, известных по литературе, финальное факторное решение весьма мало зависит от тех значений общности, которые стоят на главной диагонали корреляционной матрицы. Самой простой среди оценок общности является оценка по максимальному из коэффициентов корреляции данного параметра со всеми остальными параметрами. Этим простым способом воспользовались Л. Тэрстоун и его последователи в многочисленных работах, посвященных центроидному методу (см. 8.9). Было обнаружено, что такой способ оценки общности весьма эффективен для корреляционных матриц высокого порядка, но не может быть рекомендован в случае небольшого числа параметров. Другой метод оценки общности связан с использованием триад* т. е. hf = 11*12, E.33) гы где k и I — два параметра, коэффициенты корреляции которых с параметром Zj превышают остальные его коэффициенты корреляции. Легко видеть, что формула E.33) имеет смысл усиления, увеличения наибольших коэффициентов корреляции. Совершенно другая оценка получается при усреднении коэффициентов корреляции данного параметра: п Ц2 E-34> k=l Более удовлетворительной является процедура оценки общности, приведенная в 5.4. В ней для получения оценок необходимо предварительно, пользуясь методами группировки параметров, приблизительно оценить ранг корреляционной матрицы. В ходе процедуры вычисляются выражения, подобные E.11) при т = 1 и E.19) при т = 2, где т — предполагаемый ранг корреляционной матрицы. В случае малого числа параметров естественно ожидать, что число факторов невелико (см. 5.2). Тогда можно с достаточной уверенностью полагать, что ранг равен единице или двум, и оценивать общности с помощью процедуры 5.4. Если же ранг превышает два, то метод ввиду его сложности и связанного с этим большого объема вычислительных работ становится практически бесполезным. Эту процедуру можно несколько упростить, если разбить корреляционную матрицу на подблоки порядка р каждый, для которых можно положить ранг 1. В этом случае оценка общности вычисляется по формуле р где v = у 2 ) — общее число различных триад, которые могут быть составлены для параметра zj с помощью параметров, соответствующих 98
тому же подблоку матрицы, что и Zj. По-видимому, такое упрощение позволяет получить лучшие оценки общности, чем оценки с помощью одной триады E.33). 5.7. Полные оценки общности Нам будет удобно различать описанные выше оценки общности, в которых используется лишь несколько коэффициентов корреляции и методы, основанные на анализе всей корреляционной матрицы; эти последние мы условно назовем методами полной оценки общности. Примером подобных методов может служить процедура непосредственного вычисления общности, описанная в 5.4. Следуя этой процедуре, сначала оценивают ранг (пусть, например, он равен т) и затем в качестве hf принимают среднее значение всех оценок, которые получаются с помощью всех тех детерминантов порядка (т + 1), которые равны нулю. При т > 2 эта процедура практически бесполезна; возможно, в будущем вычислительные машины позволят выбирать требуемые миноры и вычислять детерминанты с такой скоростью, что метод станет эффективным и при т > 2. Поэтому метод Альберта, описанный в 5.4, и методы, обсуждавшиеся в 5.5, имеют скорее теоретическое, чем прикладное значение. По-видимому, самой простой процедурой, которая может быть причислена к методам полной оценки общности, является процедура вычисления первого центроидного фактора (или центроида) (см. 8.9). Вначале на главную диагональ корреляционной матрицы помещают максимальные из коэффициентов корреляции соответствующих параметров. Затем в качестве оценки общности данного параметра принимают отношение квадрата суммы элементов соответствующего столбца к сумме всех элементов матрицы1, т. е. \2 / п \2 2 он E.36) где в качестве коэффициента корреляции rjj параметра с самим собой берется максимальный из его коэффициентов корреляции с остальными параметрами. Формула E.36) отвечает одному центроидному фактору, поэтому она позволяет получить только оценку общности снизу. Почти такой же метод (но использующий вместо максимального усредненный коэффициент корреляции) приводит к формуле E.37) 2 2'« (диагональные элементы здесь опущены). В эту формулу входит 1 Только если все rjk > О, и не нужно менять направление параметров при построении первого центроида.—Прич. пер. 99
квадрат коэффициента при первом среднем факторе (или авероиде) [243]. Как и E.36), формула E.37) позволяет получить оценку общности снизу. Можно поступить следующим образом: с помощью модели компонентного анализа B.8) вычислить оценки общности, а затем получить обычное факторное решение в терминах модели B.9). На практике это делается с помощью ЭВМ. Сначала по корреляционной матрице порядка п (с единицами на главной диагонали) находятся п главных компонент и соответственно п собственных значений (см. гл. 8). Далее вводится предположение о том, что размерность пространства общих факторов равна числу главных компонент, собственные значения которых превышают единицу [296]. Часть суммарной дисперсии данного параметра, учитываемая этими выделенными компонентами, и принимается в качестве оценки общности параметра. Неопределенность понятия общности заставляет искать какую-то объективную меру, по возможности близкую к «настоящей» общности. Было, однако, высказано предположение (подтвержденное впоследствии практикой), что при достаточно большом числе параметров (скажем, п > 20) суть дела очень мало меняется от того, какие конкретные значения стоят на главной диагонали корреляционной матрицы. Дело в том, что при большом порядке матрицы немногочисленные диагональные элементы настолько «малозаметны» на фоне огромного числа вне- диагональных элементов, что факторное решение зависит от них очень слабо. Конечно, это утверждение не может быть проверено с помощью статистических выкладок. Несмотря на это, желание иметь четкую объективную меру исчисления диагональных элементов привело к появлению ряда интересных процедур. В одном из методов оценки общности используется процедура повторной факторизации. При работе с настольными арифмометрами сфера применения этой процедуры будет ограничена матрицами малых порядков; при работе на ЭВМ это ограничение снимается. Вначале на главной диагонали помещают произвольные числа и вводят предположение о числе факторов. Обычно процедура включает следующие операции: 1) нахождение главных компонент (см. гл. 8); чаще всего это делается на ЭВМ; 2) вычисление суммы квадратов факторных коэффициентов (при заданном числе факторов); эта сумма принимается в качестве новой оценки общности; 3) нахождение нового приближения для набора главных компонент; 4) процесс повторяется до тех пор, пока вычисленные диагональные элементы не перестанут меняться от итерации к итерации. Ч. Рили [538] применил подобные итеративные процедуры в великолепном исследовании, посвященном сравнению примерно пятнадцати методов приближенной оценки общности. Для пяти из методов были проделаны 100 весьма трудоемких итераций. Хотя формального доказательства сходимости итеративного процесса не существует, исследование позволяет надеяться на то, что процесс все же сходится. Обычно скорость сходимости больше при малых исходных значениях оценок; особенно плохо получается в случаях, когда в качестве начальных зна- 100
чений берутся единицы. Рили сделал вывод, что при работе с настольными арифмометрами наиболее эффективна модификация метода оценки с помощью максимального коэффициента корреляции (при больших коэффициентах корреляции параметра значение его общности несколько превышает максимальный из его коэффициентов корреляции; для параметра, слабо коррелирующего с остальными параметрами, значение общности оказывается несколько меньше максимального из его коэффициентов корреляции). При работе с ЭВМ в качестве начальной оценки общности параметра лучше всего брать значение квадрата его коэффициента множественной корреляции (КМК) с остальными (п— 1) параметрами. Но не только упомянутое свойство сходимости позволяет рекомендовать значение КМК в качестве оценки общности. Рили [535] назвал значения КМК «наблюденными общностями», поскольку именно они, а не теоретические значения общности, минимизирующие ранг, характеризуют суммарную дисперсию. Значение КМК является объективной мерой; оно может быть вычислено в один шаг, без итераций, либо вручную методом квадратного корня (при малом числе параметров, см. 3.4), либо с помощью машины (при большом числе параметров). Вычисляя значения КМК для всех параметров, удобно сначала обратить корреляционную матрицу R (с единицами на главной диагонали); значение КМК для параметра Zj определяется далее по формуле [KMKj = Rj 12...</—1 > (я-n...n =1 jf> E.38) где г" — диагональный элемент матрицы R-1, соответствующий параметру Zj. Значения КМК часто получаются как побочный результат машинного факторного анализа (методом главных компонент; см. 8.7). Значение КМК обладает и другим важным свойством: оно является нижней границей оценки общности, т. е. E.39) Впервые это свойство изложил М. Рофф [403] и строго доказал П. Дуайер [107]. В основном именно из-за этого свойства Гуттман [181] рекомендовал КМК как «наилучшую» оценку общности. В пользу значений КМК говорят также следующие свойства: 1) для многих корреляционных матриц при достижении минимального ранга т в E.39) обеспечивается равенство; 2) значение КМК приближается к значению общности, если при неограниченном возрастании п отношение т к п стремится к нулю. Вообще говоря, редуцированная корреляционная матрица, которая получится, если на главную диагональ поместить значения КМК, уже не будет матрицей Грама. В этом смысле значения КМК не являются оценками общностей; и все же, несмотря на теоретическую недопустимость, КМК можно брать в качестве оценок общности снизу. (Гуттман в рамках своей теории [176] предложил метод такого изменения вне- 101
диагональных элементов матрицы, чтобы последняя сохраняла свойства матрицы Грама.) Обычно в процессе факторизации так или иначе производится оценка значений общности; по-видимому, было бы полезно знать, «с какой стороны» от истинных значений общности находятся наши оценки. Известно, что значения КМК не превышают истинных значений общности. Этот факт плюс описанные выше свойства делают КМК наиболее удобными оценками (если, конечно, имеется возможность работы с ЭВМ). К счастью, при больших матрицах качество приближения общностей почти не играет роли, поэтому ручные вычисления можно вести с произвольными значениями общностей. С другой стороны, при малых матрицах вычислять значения КМК нетрудно, и это надлежит делать, тем более что отклонение от общности при малых матрицах становится очень важным. По существу, значениям КМК оказывается предпочтение потому, что соотношение между общей и характерной частями дисперсии параметра в смысле факторной модели B.9) зависит не от какого-либо гипотетического конечного или бесконечного набора параметров, а от конкретных изучаемых параметров. Любое значение КМК является мерой дисперсии данного параметра, общей самому этому параметру и остальным (п — 1) параметрам, в то время как общность является мерой дисперсии параметра, общей ему и набору извлекаемых факторов. Следует помнить, что соотношение между общностью и специфичностью всегда определяется самим набором параметров. Рили, высказав сомнение в том, что общность является наилучшим средством при минимизации числа факторов [535], в частности, отметил: «Основное достоинство общностей состоит в том, что они более, чем любые другие диагональные элементы, адекватны выборочным коэффициентам корреляции. В то же время психологу лучше подходит значение квадрата множественной корреляции, которое является мерой общей дисперсии рассматриваемого набора тестов». Заметим, что в методе минимальных остатков (гл. 9) ищутся общности именно с этим, упомянутым Рили, свойством. В случае когда факторы извлекаются последовательно, один за другим, диагональные элементы в каждой остаточной корреляционной матрице могут либо оставляться теми же, что получились при вычислении остатков, либо оцениваться заново. Вообще говоря, если общности вычисляются с помощью одного из методов частной оценки, то элементы каждой остаточной матрицы следует оценивать тем же методом. Например, взяв в качестве оценок общностей максимальные коэффициенты корреляции, необходимо после исключения первого фактора в матрице остаточных коэффициентов корреляции в каждом из столбцов вместо вычисленных диагональных элементов поставить максимальный остаточный коэффициент корреляции этого столбца. При применении методов полной оценки общности диагональные элементы в остаточных матрицах не нужно оценивать заново. Факторизация ведется здесь до тех пор, пока все диагональные элементы не станут равными нулю (с учетом ошибок измерения и округления). 102
В прежние годы при факторизации обычно на каждом шаге извлекали один фактор и вычисляли остаточную матрицу (например, в цент- роидном методе; см. 8.9). Ныне применение ЭВМ позволяет извлекать все факторы одновременно. Поэтому, если применяемый метод факторного анализа требует предварительной оценки общности (а не оценки числа общих факторов), необходимо воспользоваться методами полной оценки общности. 5.8. Примеры оценки общности Для того чтобы проиллюстрировать методы, описанные в двух предыдущих параграфах, рассмотрим набор из шести условных параметров (их матрица коэффициентов корреляции приведена в табл. 5.5). «Академичность» материала и связанное с этим отсутствие ошибок измерения и округления позволяют, зная ранг корреляционной матрицы, получить точное алгебраическое решение для общностей. Уже визуальный анализ табл. 5.5 показывает, что первые три параметра образуют тесную группу1; остальные три параметра связаны слабо как между собой, так и с первыми тремя параметрами. Естественно поэтому предположить, что корреляционная матрица имеет ранг 2; проверить эту гипотезу можно с помощью метода, описанного в 5.3. Таблица Параметр 1 2 3 4 5 6 5.5. Корреляционная 1 0,72 0,75 0,49 0,42 0,28 0 0 0 0 2 ,78 ,42 ,36 ,24 матрица 0 0 0 для 3 ,35 ,30 ,20 шести условных 4 0,42 0,28 0 параметров 5 ,24 6 Согласно табл. 5.2, для того чтобы шесть параметров могли быть описаны в терминах двух общих факторов, корреляционная матрица должна удовлетворять четырем условиям. Эти условия вытекают из равенства правых частей E.17). Первые три из этих выражений равны 0,74, а последние два не определены2. Таким образом, необходимые условия удовлетворяются строго, и, следовательно, ранг редуцированной корреляционной матрицы действительно равен 2. Уравнения E.19) позволяют вычислить для всех параметров значения общностей; «академичность» примера приводит здесь к тому, что разные оценки 1 «Коэффициент принадлежности» (см. 7.4) равен здесь 221. 2 Это связано с тем, что тетрады, образованные параметрами 4, 5, 6 и одним из параметров 1, 2 или 3, равны нулю. Поэтому миноры в числителях E.17) также равны нулю. Следовательно, такие четыре параметра могут быть описаны одним общим фактором. 103
общностей для каждого из параметров оказываются в точности равными. Полученные значения занесены в графу «Истинные значения» табл. 5.6. В остальные графы таблицы вписаны оценки общности, полученные с помощью методов, описанных в 5.6 и 5.7. Объединение в одной таблице разных оценок сделано не для того, чтобы указать на преимущества одного метода перед другими, а лишь из соображений наглядности и удобства. Т а б л Параметр 1 , 2 3 4 5 6 ица 5.6. Истинные значения 0,74 0,72 0,89 0,49 0,36 0,16 Оценки Максимальные значения 0,75 0,78 0,78 0,49 0,42 0,28 общности Триады E.33) 0,69 0,75 0,81 0,391 0,36 0,16 для шести условных параметров Средние значения E.34) 0,53 0,50 0,48 0,39 0,35 0,25 Ранг 1 E.35) 0,69 0,75 0,81 0,49 0,36 0,16 Центроиды E.36) 0,73 0,68 0,62 0,38 0,29 0,14 Аверо- иды E.37) 0,68 0,61 0,54 0,37 0,29 0,14 КМК E.38) 0,66 0,66 0,69 0,32 0,25 0,12 1 Оценка усреднена по значениям 0,29 и 0,49, Посмотрим, как вычислялись все оценки. Способ получения максимальных оценок очевиден. В методе триад применяется формула E.33). В частности, для первого параметра '23 0,75x0,72 0,78 = 0,69, поскольку максимальные его связи приходятся на параметры 2 и 3. Небольшое затруднение возникает при рассмотрении параметра 4. Максимальный коэффициент корреляции равен г41 = 0,49, но следующее по величине значение повторяется дважды: г42 = г45 = 0,42. Поэтому были вычислены обе оценки: 0,49X0,42 0,72 = 0,29 h 2 = ^41^46^ 0,49X0,42 ^q49. 4 r16 0,42 ' * их среднее значение занесено в табл. 5.6. Оценка общности параметра в виде среднего значения коэффициентов корреляции этого параметра со всеми остальными производится с помощью формулы E.34). В основном все такие оценки, как видно из примера, занижены по сравнению с истинными значениями, но возможно и значительное превышение (параметр 6). В 5.6 указывалось, что общность можно оценивать на основании ранга корреляционной матрицы, который, в свою очередь, выявляется благодаря более или менее естественной группировке параметров. 104
Проще всего при этом ранг считать равным числу групп, а для каждого из подблоков матрицы предположить ранг 1. В нашем примере шесть параметров распадаются на две группы: Gx = 1, 2, 3 и G2 = 4, 5, 6; ранг корреляционной матрицы равен 2. Тогда каждая из подгрупп единичного ранга включает по р = 3 параметра и число разных тетрад для каждого параметра v = 1. Следовательно, для вычисления любой общности по формуле E.35) остается только один член. Поскольку два максимальных коэффициента корреляции параметра 1 приходятся на параметры, входящие в ту же группу, что и 1, выражение для Лга имеет тот же вид, что и выражение для метода триад (в предположении одной триады). В то же время для параметра 4 выражение E.35) приобретает вид h 2_r45r46_ 0,42-0,28 __п.о К 049 куда входят коэффициенты корреляции, не вошедшие в оба возможные выражения метода триад; тем не менее результат получается тот же. Мы получили истинные значения общностей и четыре варианта их частных оценок. Рассмотрим теперь три полные оценки общности. Для первого параметра из нашего примера формула центроидов E.36) дает: 6 \2 2 __ . Из формулы авероидов1 E.37) получим = о,7з. Ь 2j / 6 \2 УТУ о,б8. 1 Ь * * 5 12,50 2 2j '« ?=2 /=2 Сравнение оценок, полученных методами центроидов и авероидов с истинными значениями общностей подтверждает высказанное выше утверждение о том, что эти методы имеют тенденцию к занижению значений общностей. Наконец, последними были вычислены оценки общностей по квадрату множественной корреляции (КМК) параметра с остальными пятью параметрами. Процедуру обращения матрицы методом квадратного корня можно провести, пользуясь табл. 3.3. Значения КМК вычислялись по формуле E.38), включающей диагональные элементы обратной матрицы; результаты вынесены в последний столбец табл. 5.6. Сравнение КМК с истинными значениями общностей с очевидностью демонстрирует заниженность значений КМК. От average — средний. — Прим. перев. 105
Хотелось бы предостеречь читателя от поспешных выводов относительно сравнительных достоинств того или иного метода оценки общности. Единственной целью примера, результаты которого сведены в табл. 5.6, является иллюстрация описанных методов. Не следует забывать, что пример мал по объему, достаточно искусствен и в нем намеренно исключены ошибки измерения. Процедуры вычисления оценок, приведенных в табл. 5.5, достаточно прозрачны и ясны; вопрос же о выборе конкретного метода оценки непрост, и его решение должно основываться не на кажущейся точности тех или иных оценок, а на содержательном анализе задачи. 5.9. Прямой факторный анализ Развитая выше теория позволяет получать факторное решение непосредственно из корреляционной матрицы, не обращаясь к методам, описываемым в этой книге далее; эту группу процедур будем называть прямым факторным анализом, В частности, при малом числе параметров для получения решения можно воспользоваться весьма простой факторной моделью и, зная корреляционную матрицу и оценки общностей, найти факторное отображение. В практических же ситуациях при более или менее значительном числе параметров для получения факторного решения приходится привлекать более сложные подходы и методы. Т а б л и ца 5.7. Параметр 1 2 3 4 5 6 Факторное отображение1 «20 «50 «60 F, аи «21 1 Всюду далее мы будем представлять факторное отображение в виде подобных таблиц (в каждом столбце помещены коэффициенты при соответствующих факторах). Рассмотрим, каким образом можно непосредственно получить решение в примере, приведенном в 5.8. Как отмечалось выше, первые три параметра в отличие от остальных трех тесно между собой связаны. В табл. 5.7 приведена одна из возможных моделей1 (для простоты факторы предполагаются некоррелированными). 1 Модель эта достаточно правдоподобна; это видно хотя бы из того, что коэффициенты корреляции между параметрами 1, 2, 3 сильно превышают коэффициенты корреляции между параметрами 4, 5, 6. Такая модель не противоречит гипотезе, что главный фактор связан с группой наиболее сильно коррелирующих между собой параметров. 106
На основании корреляционной матрицы (табл. 5.5) и значений общностей, вычисленных ранее (столбец, «Истинные значения» табл. 5.6), можно подсчитать коэффициенты факторного отображения. Так как параметрам 4, 5, 6 соответствует один общий фактор, их общности равны квадратам коэффициентов при этих факторах, т. е. Для каждого из этих коэффициентов имеем Формула для вычисленных коэффициентов корреляции позволяет получить для первых трех параметров коэффициенты при факторе Fo: r)k=alo*Ko (/=1.2,3; ? = 4,5,6). Эта формула — упрощенный вариант B.27) для конкретной факторной модели табл. 5.7. Здесь #ft0 известны; если подставить вместо вычисленных коэффициентов корреляции выборочные, то определим неизвестные коэффициенты aj0. Вообще говоря, для каждого / существует три возможных значения, и в качестве окончательного естественно было бы взять их среднее значение. В нашем случае все три значения оказываются равными; таким образом, в результате имеем: Наконец, коэффициенты при Fx получаются из выражения h? = a%+a2n (/=1,2,3), откуда ал = Yhj2—ajb2 (/ = 1, 2, 3), где значения общностей и коэффициент при Fo для первых трех параметров уже известны. В итоге получим ,36 = 0,6,а31=>/0,89-0,25 = 0,8. Окончательное факторное решение приведено в табл. 5.8. Таблица 5.8. Факторное отображение для шести условных параметров Параметр 1 2 3 4 5 6 0,7 0,6 0,5 0,7 0,6 0,4 0,5 0,6 0,8 107
До сих пор молчаливо подразумевалось, что все остатки в точности рав* яы нулю; на самом же деле естественно ожидать некоторых различий между исходными и вычисленными коэффициентами корреляции. Степень совпадения этих величин есть мера качества факторного решения; при этом вид решения может быть самым разным. Так, в нашем примере мы постулировали конкретную факторную модель (табл. 5.7); с таким же успехом можно было взять любую другую модель1. В следующей главе будут рассмотрены некоторые вопросы, связанные с выбором вида факторного решения. 1 См., например, упр. 9, гл. 8.
ГЛАВА 6. СВОЙСТВА РАЗЛИЧНЫХ МЕТОДОВ ФАКТОРНОГО АНАЛИЗА 6.1. Введение Прежде чем перейти к детальному изложению методов факторного анализа, было бы разумно предпослать краткое обозрение существующих идей и методов, принять некоторые простые, но фундаментальные критерии и установить, насколько адекватны этим критериям наиболее употребительные процедуры. Целью настоящей главы является конспективное изложение самых популярных методов факторного анализа. Будут кратко рассмотрены их свойства и указаны существующие между ними различия. Суть методов изложена здесь схематично, формулы для вычисления факторных коэффициентов отсутствуют. Детальному изложению методов и вычислительных процедур посвящены части II и III этой книги. Выше уже говорилось о пресловутой неопределенности факторного анализа; корреляционная матрица может быть факторизована бесконечным числом способов. В период наиболее интенсивных исследований A930-е и 1940-е годы) этот факт привел к постановке острого вопроса: как находить такое факторное решение, которое в одинаковой степени удовлетворяло бы разных исследователей? Метод главных факторов дает единственное решение (гл. 8), но его конечный результат обычно не устраивает специалистов (по крайней мере, психологов). Поиск «психологически содержательного» решения, которое получалось бы из некоторого произвольного факторного решения с помощью вращения, привел Л. Тэрстоуна к принципу простой структуры [468, 477]; этот принцип обсуждается в 6.2 (п. 10). Прежде чем перечислить подходы, предложенные для выбора конкретного вида решения (а следовательно, и метода факторного анализа), рассмотрим в геометрических терминах, в чем состоит задача. В гл.4 указывалось, что набор параметров можно представить множеством векторов (каждый из которых соответствует своему параметру) в пространстве, размерность которого равна числу объектов (например, испытуемых). В факторном анализе утверждается, что эти векторы, вооб- 109
ще говоря, лежат в пространстве, размерность которого меньше числа параметров. Осями координат этого редуциррбанного пространства являются общие факторы; исходные параметры могут быть линейно выражены через эти факторы. Задача выявления пространства общих факторов никак не связана с используемрй системой координат. Геометрически факторная неопределенность7 означает бесконечное число вращений, с помощью которых одна система координат может быть приведена к другой Для того чтобы упростить математическое описание (а иногда и для облегчения содержательной интерпретации), систему координат обычно так или иначе меняют. Следует помнить, что при подобных преобразованиях геометрические объекты, например прямая линия или множество точек, не изменяются; формулы, описывающие объекты, могут существенно измениться, но сами объекты относительно такого преобразования инвариантны. Обычно математик имеет дело только с геометрическими объектами; система координат для него — средство исследования, и он предпочитает одну систему другой, если замена приводит к более простому (или более элегантному) описанию объекта. Например, если объект (эллипс) в одной системе координат описывается уравнением, содержащим шесть членов: AX* + BY* + CXY + DX + EY+F=O, F.1) то можно так подобрать систему координат, что выражение для того же объекта будет выглядеть много проще: Y2 ,,2 Ь+» = 1- <6-2> В отличие от математика целью психолога является интерпретация^си- стемы координат, а объекты (в частности, множества точек) ему нужны лишь для того, чтобы эту систему координат получить. Рассматриваемые факторным анализом объекты образуют облака точек; каждой из точек соответствует какой-либо тест. Плотность точек, их взаимная близость прямо связаны с корреляциями между тестами. В психологических исследованиях искомая система координат получается на основании конкретных объектов, но упор всегда делается на интерпретацию найденной системы координат. Критерии, приведенные в 6.2, имеют целью создать базу для целенаправленного поиска системы координат. В зависимости от выбранного критерия и от того, насколько ему удовлетворяет эмпирическая информация, может быть получено одно из решений, описанных в 6.3„ 6.4. Эти решения названы прямыми факторными решениями, так как они основаны на непосредственном анализе корреляционной матрицы. В отличие от них существуют косвенные факторные решения, получаемые разного рода преобразованиями прямых решений. Преобразованным факторным решениям посвящен 6.5. Вычислительные проце- 110
дуры получения прямых факторных решений излагаются во второй, а преобразованных факторных решений — в третьей части книги. Исходные предположения и основные свойства различных методов резюмируются в 6.6. 6.2. Выбор нужного метода Для того чтобы единственным образом описать корреляционную матрицу в терминах системы факторов, необходимо ввести ряд предположений и ограничений. Однако полученное при этом решение будет единственным только с точки зрения принятого критерия; выбрав другой критерий, мы получим другое решение, также, возможно, единственное. Термин «единственное решение» отражает лишь тот факт, что два исследователя, руководствующиеся одним и тем же критерием и обрабатывающие один массив информации с помощью одной процедуры, придут к одинаковым результатам. Обсудим несколько идей и понятий, лежащих в основе факторного анализа. 1. Факторная модель. Для описания параметров принимается линейная модель. Некоторое внимание будет уделено методу главных компонент и его модели B.8); основная же часть книги посвящена классическому факторному анализу — модель B.9) или в матричном обозначении — B.35). 2. Принцип экономии. Этот принцип, присущий любой научной теории, состоит в том, что закон или модель не могут быть сложнее, чем эмпирические факты, на которых они основаны. Следовательно, общих факторов должно быть меньше, чем изучаемых параметров, и, кроме того, линейные описания параметров должны быть достаточно простыми. 3. Вклад факторов. Методы факторного анализа можно различать по вкладу B.13) в дисперсию параметров, который вносят отдельные факторы. По одному из критериев требуется, чтобы вклад каждого последующего фактора в суммарную общность был меньше, чем вклад предыдущего. При другом подходе считают, что вклады всех факторов должны быть примерно равными. 4. Группировка параметров. В ряде методов факторного анализа возникает необходимость в группировке параметров. Иногда достаточно разбить параметры на группы грубо (например, в 5.4 при оценке ранга корреляционной матрицы). В других случаях нужны более тонкие методы группировки; примерами такого рода методов могут служить «коэффициенты принадлежности» G.4) и метод классификации, развитый Р. Трайоном1 [483]. Если изучаемые параметры пронумеровать таким образом, чтобы параметры из одной группы шли один за другим, то корреляционная матрица приобретет вид, схематически показанный на рис. 6.1 и 6.2. 1 Можно указать еще на целый ряд методов группировки параметров по корреляционной и другим матрицам связи, развитых в распознавании образов и в математической экономике (см., например, [550, 554] и приведенную там библиографию. — Прим. перев.). 111
Знак плюс соответствует невысоким значениям коэффициентов корреляции, два рядом стоящих плюса отражают тесные/:вязи между параметрами одной группы, нуль означает отсутствие связи. На рис. 6.1 изобра-/ жена практически нереальная ситуация, коша имеются четыре хорошей выраженные группы, никак друг с другом/йе связанные. На практике более вероятны матрицы, в которых пара^игетры из одной группы имеют взаимные коэффициенты корреляции, Переднем существенно более высокие, нежели коэффициенты корреляции между параметрами из разных групп (рис. 6.2). 5. Система координат. При в]^боре метода анализа нужно заранее постулировать, будет ли финальная система факторов ортогональной или косоугольной, т. е. будут ли общие факторы коррелированными или 1 0 \ 0 | 0 + + N. о \ о \ о \^ 6.1. Интеркорреляции между несколькими группами параметров. 6.2. Интеркорреляции при наличии связи между группами. не коррелированными между собой. Обычно выборочные коэффициенты корреляции одинаково хорошо описываются в терминах обеих систем факторов. Если конечной целью исследования является косоугольная система, то все равно удобно начинать с ортогональной системы, переходя от нее к косоугольной с помощью различного рода преобразований. 6. Точечное представление; эллипсоидальное распределение. В 4.9 приводились два способа геометрического описания параметров. Вспомним, что в одном из них каждый из N объектов представляется в виде точки в таком n-мерном пространстве, каждая ось которого соответствует одному из параметров. Из теорем 4.3 и 4.5 следует, что на точки может быть натянуто m-мерное пространство общих факторов. Обычно облако точек имеет форму, более или менее близкую к m-мерному эллипсоиду, и становится в точности эллипсоидом в случае нормального распределения [547]. Естественно поэтому взять в качестве системы координат главные оси этого эллипсоида; соответствующее описание называется эллипсоидальным. 7. Векторное представление; линейное описание. В гл. 4 было показано, что параметры можно рассматривать как векторы в Л/^-мерном 112
пространстве; при этом коэффициент корреляции между двумя параметрами определяется как косинус угла или скалярное произведение проекций двух представляющих векторов на пространство общих факторов. Группа сильно коррелирующих между собой параметров образует в Л^-мерном пространстве «узкий конус». Если за ось координат принять вектор, направление которого совпадает с суммой векторов, входящих в конус, то все параметры группы будут коррелировать с этим вектором на достаточно высоком уровне. Качество линейного описания измеряется тем, насколько направления представляющих векторов близки к направлению оси координат. Построив по средним направлениям отдельных косинусов несколько осей координат, получим, вообще говоря, косоугольную факторную систему. 8. Векторное представление; описание с помощью плоскостей. Линейное описание можно считать плоскостным в том смысле, что если векторы близки к осям координат, то они близки также и к плоскостям, образованным парами осей координат. Качество плоскостного описания можно измерять степенью близости представляющих векторов к координатным плоскостям. Векторы, «хорошие» в смысле плоскостного описания, могут оказаться «плохими» в смысле линейного описания, т. е. может оказаться, что вектор лежит в плоскости координат, но далеко от осей координат. Таким образом, поиск системы факторов, удовлетворяющих плоскостному описанию, дает большую свободу, чем в случае линейного описания. Если окажется, что все векторы параметров лежат в одной из координатных плоскостей, то это означает, что каждый параметр может быть линейно выражен всего через два общих фактора. 9. Векторное представление; описание с помощью гиперплоскостей. В двух предшествующих пунктах для представления подмножеств векторов использовались пространства одного и двух измерений. Естественно распространить подобный подход на пространства большего числа измерений вплоть до полного пространства факторов. При описании с помощью гиперплоскостей, лежащих в т-мерном пространстве общих факторов, предполагается, что представляющие векторы лежат в пространстве (т — 1) или меньшего числа измерений. Если все параметры удовлетворяют этому предположению, то, следовательно, сложность любого из параметров меньше числа общих факторов. Подобное утверждение не является сильным, так как оно справедливо уже в случае, когда сложность каждого из параметров равна (т — 1). В то же время это утверждение достаточно ценное, поскольку наша гиперплоскость есть пространство наименьшей размерности, включающее данный параметр. Иными словами, мы предполагаем, что существуют пространства меньшей размерности, чем полное, в которых содержатся некоторые подмножества параметров. В частности, вектор, лежащий на оси координат, содержится в одномерном пространстве, а соответствующий параметр имеет сложность 1. Точно так же параметр, вектор которого лежит в координатной плоскости, имеет сложность 2. Таким образом, способы описания, приведенные в пп. 7 и 8, являются частными случаями настоящего описания. Действитель- 113
но, если параметры представлены с помощью линейного или плоскостного описаний, то они могут быть описаны и гиперплоскостями. Обратное, вообще говоря, неверно. 10. Принципы простой структуры используются в многофакторном анализе. Интуитивное понятие «простой структуры» впервые предложил Тэрстоун. Он же одним из первых заговорил об объективизации самого понятия и предложил процедуру поиска простой структуры. Начиная с 1935 г. многие исследователи разрабатывали формальные либо полуформальные процедуры для точного или приближенного поиска простой структуры. Однако реальные успехи в этой области были получены лишь спустя 20 лет. Суть этих результатов будет подробно изложена в гл. 14 и 15. Тэрстоун предложил следующие три условия, которым должна удовлетворять простая структура [468]: 1) в каждой строке факторной структуры должен быть хотя бы один нуль; 2) в каждом столбце факторной структуры должно быть по крайней мере т нулей (т — число общих факторов); 3) для каждой пары столбцов можно найти по крайней мере т параметров, для которых элементы факторной структуры равны нулю в одном из этих двух столбцов и не равны нулю в другом. Тэрстоун дает такое определение простой структуры [477]: «Если можно подобрать систему координат таким образом, чтобы каждый из представляющих векторов лежал в одной или более гиперплоскостей, то полученная система называется простой структурой». Как видно, здесь требуется выполнение лишь первого условия — наличия в каждой из строк факторной структуры хотя бы одного нуля. Смысл этого определения лучше всего объясняет сам Тэрстоун [477]: «Мы считаем само собой разумеющимся, что индивидуальные различия в остроте зрения не играют роли при осуществлении шага; тем самым мы предполагаем, что те или иные функции (возможности) мозга необходимы индивидууму при решении не любых, а лишь некоторых задач. В этом и заключается принцип «простой структуры». Из приведенных выше условий второе и третье были введены для того, чтобы избежать неопределенности и совпадения координатных гиперплоскостей. Чтобы зафиксировать систему координат, отвечающую простой структуре, Тэрстоуи увеличил число условий до пяти [477]; эти условия на языке, принятом в этой книге, звучат так: 1. Каждая строка матрицы факторной структуры должна содержать хотя бы один нулевой элемент. 2. В каждом столбце факторной структуры имеется не менее т нулей (т — число общих факторов). 3. Для каждой пары столбцов матрицы найдется несколько параметров, соответствующие элементы которых в матрице равны нулю в одном столбце и отличны от нуля в другом. 4. Если количество факторов равно четырем или превышает это число, то достаточно велика доля параметров, имеющих в любой паре столбцов одновременно нулевые коэффициенты. 114
5. Для любой пары столбцов найдется мало параметров, соответствующие элементы которых в обоих столбцах отличны от нуля. До сих пор молчаливо подразумевалось, что факторы между собой не коррелируют. В случае косоугольной системы структура не совпадает с отображением и применение термина «факторная структура» может привести к недоразумениям (подробнее об этом см. в гл. 13). Принцип простой структуры можно применять как к косоугольному, так и к ортогональному факторным решениям; возникающие при этом различия подробно изложены в гл. 12—15. Вообще говоря, вращение осей при поиске простой структуры можно понимать как способ уменьшения сложности параметров. Предельным является случай однофакторного решения1, когда сложность любого из параметров равна единице. Как отмечалось выше, при работе с реальным материалом получить ортогональное однофакторное решение практически невозможно; если же допустить косоугольное решение, то оно будет весьма сильно отличаться от ортогонального. Следовательно, упомянутый случай лишь предельный, но именно его достижение и является целью при реализации в многофакторном анализе принципа простой структуры. Если многофакторное решение удовлетворяет перечисленным выше пяти условиям, то геометрически в плоскости любых двух факторов имеем такую картину: 1) многие точки лежат вблизи осей (факторов); 2) большое число точек располагается вблизи начала координат; 3) относительно малое число точек располагается вдали от начала координат и от обеих осей. Структуры, все двумерные проекции которых образуют описанную картину, Тэрстоун выделил в отдельную группу, отметив, в частности [477], что «в процессе анализа могут получиться диаграммы, которые более, чем любые другие факты, свидетельствуют о наличии гиперплоскостей простой структуры, а также о том, что полученная структура устойчива и интерпретируема». Подобные двумерные диаграммы являются основой для графических методов вращения (гл. 12, 13). В гл. 14 и 15 одновременно с изложением процедур многофакторного анализа мы расскажем о различных попытках формализации принципа простой структуры. 6.3. Методы, требующие предварительной оценки общности При решении задач факторного анализа может случиться так, что корреляционная матрица аппроксимирована достаточно точно, но найденная система координат не удовлетворяет исследователя в содержательном плане. Впрочем, возможны разные варианты: иногда решение вполне устраивает исследователя; в некоторых случаях оно необходимо лишь как предварительный этап в поиске интерпретируемого 1 Под однофакторным решением здесь понимается решение, когда имеется несколько общих факторов, таких, что для представления каждого параметра используется лишь один фактор. — Прим. перев. 115
решения (см. 6.5). Методы, о которых пойдет речь в этом и следующем параграфах, позволяют получить решение непосредственно из корреляционной матрицы. Различие между методами этого и следующего параграфов состоит в том, что если в первых априори нужно знать оценки общностей, то в методах 6.4 — число общих факторов, определяющих модель B.9) (см. гл. 5). В этом параграфе рассмотрим три метода. Развитие вычислительной техники вывело на первое место по широте применения метод главных факторов. Максимум популярности центроидного метода приходится на 30-е и 40-е годы; в наши дни его применяют лишь в особых случаях. Метод треугольной декомпозиции с точки зрения даваемых результатов совершенно неконкурентоспособен; но его простота привлекает к нему внимание: его используют при поиске некоторых видов факторных решений (см. 6.4, п. 3). 1. Метод главных факторов. При поиске системы координат методом главных факторов существенно используется понятие об эллипсоидах, описанное в 6.2. Первые предложения о применении главных осей многомерных эллипсоидов восходят к К. Пирсону [386] и временам, когда факторного анализа еще не существовало. Из ранних работ наиболее близка к сегодняшнему пониманию вопроса работа Г. Хо- теллинга [259], предложившего процедуру компонентного анализа корреляционной матрицы на основе модели B.8). Метод главных факторов основан на той же процедуре, но оперирует редуцированной корреляционной матрицей (т. е. матрицей, на главной диагонали которой стоят оценки общностей) и с моделью B.9). Важное различие между обоими методами состоит в том, что факторы, полученные компонентным анализом, непосредственно выражаются через параметры, в то время как в методе главных факторов последние непосредственно не определяются (см. гл. 16). Ниже кратко рассматриваются свойства и возможности метода главных факторов; математические тонкости и вычислительные процедуры вынесены в гл. 8. Если в качестве факторов взять главные оси эллипсоида, то каждый последующий фактор будет давать меньший вклад в суммарную общность, чем предыдущий. Иначе говоря, на первый фактор приходится максимально возможная доля суммарной дисперсии; второй фактор учитывает максимум дисперсии в подпространстве, которое получится после исключения первого фактора (т. е. соответствующей оси координат); третий фактор учитывает максимум дисперсии после исключения первых двух факторов и т. д.; последний фактор учитывает оставшуюся долю общности. Если число общих факторов равно т, то факторное отображение в методе главных факторов имеет^ид (характерные факторы опущены) +а22 F2 +... + а2т FmJ 116
Здесь сложность любого из параметров равна числу общих факторов. По существу, первый фактор является генеральным фактором. Если все коэффициенты корреляционной матрицы положительны, то все коэффициенты при первом факторе ап (/=1, 2, ..., п) также положительны. В то же время для каждого из остальных факторов F2, F3, ..., Fm примерно половина коэффициентов отрицательны; эти факторы являются, следовательно, биполярными1. Биполярный фактор ничем особенным от других факторов не отличается, просто некоторые из параметров дают на нем отрицательные проекции. Можно говорить, что такие параметры имеют отрицательное значение по данному фактору. Так, на пример, если параметры, характеризующие «страх», дают положительные проекции, то параметры с отрицательными проекциями естественно понимать как «смелость». Еще проще назвать данный фактор фактором «страха» и говорить, что параметры с отрицательными проекциями измеряют «отрицательный страх». Понятно, что без ущерба для решения все знаки при коэффициентах могут быть изменены на противоположные. Такая операция в нашем примере приведет к появлению фактора «смелость» и группы параметров, измеряющих «отрицательную смелость». В дальнейших примерах мы будем давать биполярному фактору одно название (в пределах каждой отдельной задачи). Обычно отображение F.3) приводят к виду, подобному тому, что изображен на рис. 6.2. Со статистической точки зрения такое решение является наиболее удовлетворительным. Хотя, как правило, метод главных факторов дает более сложные по форме решения, чем другие общепринятые методы, в некоторых случаях он позволяет получить более приемлемые результаты. Метод не требует, чтобы все элементы корреляционной матрицы были положительными; таким образом, метод главных факторов пригоден для анализа любых корреляционных матриц. 2. Центроидный метод. Этот метод когда-то был одним из наиболее популярных в факторном анализе. Нужно отметить, что получаемые с его помощью результаты часто не ясны и не интерпретируемы. Центроидный метод, давая значительную экономию в объеме вычислительных работ, позволяет аппроксимировать систему главных факторов. Как и в этой системе, каждый последующий центроид (фактор) должен «оттягивать» на себя максимум суммарной дисперсии. Однако в отличие от метода главных факторов, для данного набора параметров центроидный метод не дает единственного решения. Метод лишен и других весьма интересных свойств, присущих методу главных факторов. Тэрстоун отмечал [477]: «Центроидный метод и центроидное решение являются вычислительным компромиссом, применяемым вместо метода главных осей там, где нужно экономить на объеме работ». Конечно, в наше время вычислительные машины позволяют за минуты найти систему главных факторов. Тем не менее центроидный метод сохраняет некоторое значение. 1 Этот термин, впервые введенный С. Бартом [55], применяется в нашей книге в более широком смысле, чем в [55]. 117
Как и в методе главных факторов, в центроидном методе параметры выражаются через факторы в виде F.3). Если все элементы корреляционной матрицы положительны, то решение состоит из одного генерального и биполярных факторов. С учетом некоторых дополнений центроидный метод позволяет исследовать и матрицы с отрицательными элементами. Подробно центроидный метод будет изложен в 8.9. 3. Треугольная декомпозиция. Как отмечалось в 3.4, метод квадратного корня дает возможность свести симметрическую матрицу к такой треугольной, произведение которой на транспонированную равно исходной матрице. Это свойство, выраженное в B.50), составляет одну из основных теорем факторного анализа. Иначе говоря, треугольная декомпозиция матрицы приводит к факторному решению. Метод квадратного корня как процедура для решения систем линейных уравнений или для уменьшения ранга матрицы был переоткрыт много раз и во?ходит своими истоками ко временам Гаусса. По- видимому, впервые метод был применен офицером французского флота А. Чолески примерно в 1915 г. в работе, посвященной решению систем уравнений методом наименьших квадратов и опубликованной уже после смерти автора в 1942 г. Бенуа [35]. В 1938 г. Т. Банашевич [241 переоткрыл метод, пользуясь им как эффективным средством решения систем линейных уравнений, вычисления детерминантов и обращения матриц. В американскую статистическую литературу метод квадратного корня был введен П. Дуайером [109], который применял его в основном в корреляционном и регрессионном анализе. Дуайер указал также [111] на взаимосвязь между этим методом и другими линейными процедурами. Параллельно с развитием метода квадратного корня как средства решения чисто математических и статистических задач, метод развивался также и применительно к факторному анализу. Примерно в 1923 г. Д. Макмагон [360] применил метод специально к корреляционной матрице. В 30-е годы, в период резкой активизации исследований в факторном анализе, метод был независимо развит Тэрстоуном [468] под названием диагонального метода (diagonal method) и Холзингером [234] под названием метода жесткой лестницы (solid staircase method). Г. Харман [198] в 1954 г. описал возможные способы применения метода квадратного корня в факторном анализе. (Подробно процедура метода квадратного корня изложена в 3.4.) Выразим следующим образом п параметров через п (или меньшее число) некоррелированных факторов: z1=a11F1\ z3 = a31 Ft + a32 F2 + a33 F3; F.4) Понятно, что в первое уравнение можно поставить любой из параметров, т. е. система F.4) может быть записана многими способами. При 118
полной корреляционной матрице (с единицами на диагонали) в декомпозиции F.4) окажется п факторов. Если заменить диагональные элементы значениями общностей и попытаться извлечь п факторов, то ввиду отсутствия положительной определенности при реализации метода квадратного корня могут появиться комплексные числа. Для практики представляют интерес случаи, когда ищется малое число факторов (особенно если эти факторы имеют важный содержательный смысл). А. Маданский [353] предложил процедуру и машинную программу для решения подобной задачи. В этой процедуре параметры упорядочиваются таким образом, чтобы в операциях C.25), C.26) из диагональных элементов вычитались самые маленькие числа. Таким образом обеспечивается, чтобы при вычислении остальных элементов в знаменатели C.25), C.26) попали большие по своим значениям числа. Тогда в полученной декомпозиции S все последующие диагональные элементы имеют максимально возможные значения. Далее из последовательности извлекаются самые важные факторы. Здесь работает следующее соображение. Вычислим из C.30) значение детерминанта матрицы R: |R| = |S|-|S'!. F.5) Из того, что детерминант матрицы S (как и матрицы S') равен произведению ее диагональных элементов, следует, что детерминант R равен произведению квадратов диагональных элементов S. Если веса факторов равны, то равны также и их вклады в п-й корень характеристического уравнения |R|. Поэтому можно воспользоваться n-м корнем как порогом для отделения важных факторов: важными считаются те факторы, для которых квадраты диагональных элементов в R превышают значение я-го корня. До сих пор мы считали, что R — полная корреляционная матрица. Однако операция упорядочения параметров имеет смысл и для редуцированной матрицы (с общностями на главной диагонали): она позволяет установить порядок важности факторов. 6.4. Методы, требующие предварительной оценки числа общих факторов Как уже отмечалось, методы 6.3, 6.4 позволяют находить решение непосредственно на основании обработки корреляционной матрицы. Полученные решения могут быть как конечным результатом, так и заготовкой для последующих преобразований (см. 6.5). Напомним, что для реализации методов предыдущего параграфа нужно предварительно получить оценки общностей, а для реализации методов настоящего параграфа — оценку числа общих факторов. Первые два из кратко описанных ниже методов в некотором смысле являются альтернативами метода главных факторов и пригодны для анализа произвольных корреляционных матриц. Третий метод несколько специализирован, но также имеет ряд полезных применений. Наконец, остальные три метода представляют ныне лишь исторический интерес. 119
1. Метод максимального правдоподобия. Если исключить случай классической факторной модели B.9), то можно утверждать, что метод максимального правдоподобия не связан с идеями, подходами и критериями, изложенными в 6.2. Основания метода сугубо статистические: анализу подвергаются разности между выборочными коэффициентами корреляции и гипотетическими коэффициентами корреляции генеральной совокупности. Первые успешные попытки дать факторному анализу прочный статистический фундамент принадлежат Д. Лоули [320, 321]. Основываясь на методе «максимального правдоподобия» Р. Фишера [128, 129], Лоули по эмпирическому материалу оценил факторные нагрузки генеральной совокупности. Метод максимального правдоподобия дает возможность, задавшись числом общих факторов, найти факторное решение и значения общностей. Для проверки гипотезы о числе факторов в метод включен статистический тест оценки достоверности. Хотя формальные вопросы были решены уже к началу 40-х годов, практическая реализация метода максимального правдоподобия стала возможна лишь недавно. Даже с распространением ЭВМ в 50-х и 60-х годах время решения задач этим методом оставалось значительным. Более того, часто нельзя было утверждать наверное, сойдется ли процесс, хотя для большинства практических задач сходимость имела место. Крупные исследования последних лет в области создания эффективных алгоритмов и успехи в области вычислительной техники позволяют надеяться, что метод максимального правдоподобия явится достойным конкурентом методу главных факторов. Как и в методе главных факторов, в методе максимального правдоподобия параметры выражаются через факторы в виде F.3). Однако получаемые здесь факторы уже не «оттягивают» на себя максимум суммарной дисперсии. Еще одно различие: если метод главных факторов дает единственное решение, то метод максимального правдоподобия позволяет однозначно определить лишь пространство общих факторов и, следовательно, получить множество решений, эквивалентных с точностью до поворота. Чтобы исключить эту неопределенность, необходимо ввести дополнительное условие, которое и зафиксирует конкретное решение. 2. Метод минимальных остатков1 разработан совсем недавно [207]. В этом методе факторные нагрузки определяются из условия минимизации внедиагональных элементов остаточных корреляционных матриц. По сути дела, это означает реализацию второго из приведенных в начале 2.3 подходов — «наилучшее» воспроизведение выборочных коэффициентов корреляции. В этом смысле метод отличен от метода главных факторов, направленного на минимизацию дисперсии. В то же время для метода минимальных остатков также справедлива система соотношений F.3). Получаемые здесь решения существенно зависят от того, каким числом общих факторов задаются вначале, а значения 1 В оригинале minres solution (сокращенное от minimal residual solution). — Прим. переа. 120
общностей получаются попутно, в процессе поиска факторного решения. Эти свойства сближают методы минимальных остатков и главных факторов. Как видно, исходные предпосылки метода минимальных остатков весьма близки к классическому подходу факторного анализа. Спрашивается: почему же в таком случае метод не появился намного раньше? Ответить легко: без современной вычислительной техники метод не имеет смысла. В наши дни метод уже практически реализуем и в некоторых случаях может оказаться даже предпочтительнее методов главных факторов и максимального правдоподобия. 3. Групповой метод. В отличие от первых двух методов, результаты которых являются промежуточными и используются для последующего «вращения» и получения многофакторного решения, групповой метод дает окончательное решение. С остальными перечисленными в этом параграфе методами его сближает необходимость предварительной оценки числа общих факторов; кроме того, нужны также и оценки значений общностей. Главное в групповом методе — процедура группировки параметров. На основании произвольно или как-либо разумно отобранных групп строятся общие факторы, число их равняется числу групп. Естественно ожидать, что система факторов, полученная групповым методом, будет косоугольной. Поэтому полный факторный анализ групповым методом должен включать вычисление факторного отображения, факторной структуры и матрицы коэффициентов корреляции между факторами. Если желательно произвести вращение системы факторов, то в случае ортогональной системы задача упрощается. Применив к матрице факторных коэффициентов корреляции и косоугольной факторной структуре метод квадратного корня, можно достаточно просто выполнить преобразование косоугольного решения в ортогональное, а также вычислить ортогональное или косоугольное факторное отображение. 4. Простые факторные модели. Эта группа методов также требует предварительной оценки числа факторов. Практическая их ценность ныне близка к нулю: лишь в очень редких специальных задачах они могут оказаться полезными. Но их крайняя простота и очевидная полезность ретроспективного взгляда на предмет требуют рассмотрения и этой группы методов. Однофакторное решение является в некотором смысле идеальным решением, в которое трудно втиснуть реальный материал. Это решение линейное и обладает минимальной сложностью. Дело в том, что каждый представляющий вектор лежит в точности на оси координат и измеряет, следовательно, один фактор; поэтому вычисленная корреляционная матрица имеет вид, изображенный на рис. 6.1. Если для данного материала ортогональное однофакторное решение неудовлетворительно, то можно переходить к косоугольному однофакторному решению. В пору зарождения факторного анализа для оправдания некоторых психологических теорий были предложены очень простые факторные модели. Так, Ч. Спирмэн [438, 440] предложил теорию, согласно кото- 12]
рой интеллектуальные возможности описываются одним «генеральным» и одним «характерным» факторами. В некотором смысле эта теория сводится к однофакторной модели; а именно предполагается, что все параметры можно выразить через один общий фактор. А это и есть простейший вариант однофакторного решения, когда в корреляционной матрице рис. 6.1 остается только один из треугольников и выполнены условия E.10) для одного общего фактора. По двум типам факторов: генеральному и характерному — Спирмэн назвал свою теорию двухфакторной. Факторная модель общих и характерных факторов B.9) является обобщением различных моделей, появившихся после Спирмэна и получивших название по числу рассматриваемых в них факторов. В частности, двухфакторная модель Спирмэна в наших терминах — просто однофакторная модель. Холзингер в своей бифакторной теории попытался преодолеть недостатки, присущие двухфакторной теории. Эти недостатки стали особенно явными к 30-м годам, когда психологи начали работать с большими и сложными наборами психологических тестов. В своих поисках теории, удовлетворяющей современным требованиям, Холзингер руководствовался работами Спирмэна. И хотя сам он утверждал, что его бифакторная теория не более как обобщение двухфакторной теории, фактически Холзингер предложил вариант многофакторной теории. Особенность бифакторной модели в том, что кроме групповых и характерных она включает один генеральный фактор. Такое дополнение позволяет освободиться от ограничения, присущего двухфакторно- му решению: если с помощью ортогонального однофакторного решения можно описать только корреляционную матрицу вида рис. 6.1, то бифакторное решение может описать уже более сложную картину (рис. 6.2). По сути дела, такая модификация означает переход от плоскостного описания к линейному. Действительно, если векторы группы параметров лежат в плоскости координат, то каждый параметр характеризует только два соответствующих фактора. Если же векторы лежат в плоскости, образованной осью генерального фактора (Fo) и одной из осей групповых факторов (а не в плоскости двух групповых факторов) , то нужно говорить о пучке плоскостей \ проходящих через ось Fo. 6.5. Многофакторные методы В отличие от методов, непосредственно оперирующих корреляционной матрицей F.3 и 6.4), методы настоящего параграфа требуют некоторого исходного, предварительного решения. Термин «многофакторный», введенный Тэрстоуном, выделяет группу методов, в которых си- 1 В обычной геометрии под пучком проходящих через прямую плоскостей понимают множество произвольных плоскостей, линейно зависящих от любой пары плоскостей и проходящих через эту прямую. В данном случае под пучком плоскостей понимается множество взаимно ортогональных плоскостей, проходящих через прямую в (т + 1)-мерном пространстве. Ясно, что пучок, проходящий через ось Fo, включает т таких плоскостей. 122
стема т общих факторов получается без предварительной группировки параметров. Основная отличительная особенность многофакторного решения состоит в отсутствии генерального фактора и в «перекрытии» групповых факторов. Эффект «перекрытия» состоит в том, что разным групповым факторам соответствуют, вообще говоря, пересекающиеся группы параметров. Следовательно, в описание параметра могут войти несколько групповых факторов. Это означает, что в многофакторном отображении сложность параметров может равняться двум и более (отсюда приставка «много»). Свойство «перекрытия» позволяет описывать с помощью многофакторных систем матрицы вида рис. 6.2. Многофакторное решение адекватно описанию с помощью гиперплоскостей1. Формально это означает, что сложность параметров не превышает (т — 1). Задача, однако, состоит в максимальном упрощении решения, т. е. в уменьшении сложности параметров. Следовательно, несмотря на «перекрытия», желательно получить максимальное число нулевых коэффициентов в линейных выражениях для параметров. Более точно эти требования отражены в «принципе простой структуры» F.2, п. 10). Любое предварительное решение, полученное на основании анализа корреляционной матрицы, можно преобразовать в ортогональное или косоугольное многофакторное решение. Как правило, в таком решении будет много нулевых коэффициентов. В общем же случае в многофакторном решении необязательны ни нулевые коэффициенты, ни «перекрытие» групповых факторов. Как уже отмечалось, в прошлом для получения многофакторных решений привлекались графические методы (гл. 12,13); в настоящее время имеются формальные процедуры, удовлетворяющие принципу простой структуры (гл. 14, 15). Прежде чем закончить перечень методов факторного анализа, остановимся еще на одном подходе. Некоторые идеи математической статистики позволяют строить факторное отображение, близкое к заданному (см. [286, 287, 416]). Суть подобных процедур состоит в том, что на основании предварительного решения постулируется, какие факторные нагрузки в окончательном решении будут нулевыми, а какие — большими по величине. Таким образом, предварительное решение преобразуется в конечное не исходя из некоторых критериев (например, принципа простой структуры), а опираясь на конкретные предположения о виде конечного решения. Следует отметить, что бифакторный метод также приводит к заданному (в некотором смысле) факторному решению. Поэтому, хотя простота и специфика бифакторного метода ставят его несколько в стороне от других, более общих методов, его все же следует причислять к группе методов, приводящих к заданному факторному отображению. 1 В частности, в психологии факторы, определяемые гиперплоскостями, Тэрс- тоун назвал «первичными факторами» (primary factors), а их психологические эквиваленты — «первичными способностями» (primary abilities). 123
6.6. Сводная таблица методов факторного анализа Мы кратко описали более десятка методов факторного анализа. Не все они одинаково хороши для.исследователя. Некоторые из них имеют лишь историческую ценность, другие пригодны для частных задач. Ряд методов достаточно общи и универсальны. Основное, что требуется от факторного решения, — это адекватное описание взаимосвязей между параметрами. Иначе говоря, вычисленные коэффициенты коро реляции должны хорошо приближать выборочные коэффициенты корреляции. Кроме этого, желательно, чтобы факторное решение был- как можно более простым и содержательно интерпретируемым. С появлением ЭВМ большинство, работ пошло по стандартной схеме: сначала выборочная корреляционная матрица факторизуется методом главных факторов, затем полученное решение преобразуется к многофакторному виду методом «варимакс» (см. гл. 14). Не следует, однако, забывать и о возможных альтернативах. Развитие вычислительной техники делает вполне приемлемым метод максимального правдоподобия, а в ряде случаев он может даже оказаться предпочтительнее метода главных факторов. Точно так же иногда наилучший результат может дать метод минимальных остатков. Для получения окончательного решения годится групповой метод; кроме того, групповое решение можно при желании преобразовать в многофакторное. В процессе такого преобразования приходится выбирать между ортогональным и косоугольным решением, и здесь есть свои методы (см. гл. 14, 15). В табл. 6.1 сведены основные виды факторных решений, кратко отмечены главные предположения, свойства и наиболее важные различия. После детального изучения теории и вычислительных процедур таблица может явиться удобным справочным пособием. При выборе того или иного метода следует руководствоваться содержательными особенностями изучаемого объекта и, конечно, критериями, приведенными в этой главе. Так, например, если в биологии считают, что существует некий генеральный фактор роста, то, по-видимому, следует воспользоваться бифакторным анализом. Если, наоборот, в некоторой области наличие генерального фактора отрицается, то лучше подойдет многофакторный анализ. Хорошо известны психологические теории умственных способностей: двухфакторная теория Ч. Спирмэна, бифакторная теория К. Холзингера, теория первичных факторов Л. Тэрстоуна. Методы факторного анализа, появившиеся в связи с этими теориями, оказались универсальными и полезными в областях, весьма далеких от той, для которой они первоначально предназначались. Важно помнить, что из согласования экспериментальных фактов с данной теорией еще не следует, что природа ведет себя в точности так, как гласит теория. Несомненно, возможна другая теория, с которой факты будут согласовываться не хуже. Математические описания этих теорий (например, факторные отображения) могут быть различными, поскольку они покоятся на разных исходных предпосылках; тем не менее обе теории следует признать эквивалентными и при прочих 124
Таблица 6.1. i Метод Компонентный анализ Главные факторы Центроидный Треугольная декомпозиция* Максимум правдоподобия Минимальные остатки Групповой Однофакторный Двухфакторный Бифакторный Многофакторный Сводная таблица методов факторного анализа X t_ кни Главы 8 8 8 6** 10 9 11 6** 7 7 12, 13 14, 15 Основные свойства д S фактог B.8) B.9) B.9) B.9) B.9) B.9) B.9) B.9) B.9) B.9) B.9) сто- 03 & X о число ров п т т т т т т т 1 т+1 т СЛОЖНОСТЬ параметров п т т От 1 до т т т 1 (в среднем) 1 1 2 От 1 до (т-1) необходимость предва- рительных оценок значен] общнос Нет Да Да Да Нет Нет Да Нет Нет Нет ш о числа фактор Нет Нет Нет Нет Да Да Да Да Да Да Зависит от пред в а рите ль - ного решения описание Эллипсоидальное » » — — — Линейное Линейное Линейное Плоскости Гиперплоскости й8 О СО О О. м В о я II Нет Нет Нет Нет Нет Нет Да Да Да Да Нет вклад факторов Падает от фак тора к фактору То же » » » Ограничен Ограничен Велик у одного фактора Велик у одного фактора, остал ьные ограничены Ограничен Отличительные особенности Все факторы генеральные (биполярные) То же » Каждый последующий фактор включает на один параметр больше, чем предыдущий Все факторы генеральные (биполярные) » Только групповые факторы (косоугольное решение) Групповые факторы (косоугольная система) Один генеральный фактор Один генеральный и т групповых факторов «Перекрытие» групповых факторов (ортогональных или косоугольных^ го ел * Дано для случая редуцированной корреляционной матрицы (со значениями общностей на диагонали). Для полной матрицы треугольная декомпозиция включает, конечно, я факторов. ¦* Кратко рассматривается (только в этой главе).
равных условиях ни одной из них не может быть отдано предпочтение. Неверно думать, что некое конкретное факторное решение неудовлетворительно только потому, что оно отличается от другого решения. Факторный анализ как ветвь математической статистики позволяет получать для одного материала несколько решений; предпочтительность того или иного из них выявляется при их содержательном анализе. И как во всех экспериментальных науках, факты могут быть успешно описаны несколькими по-разному сформулированными закономерностями.
ЧАСТЬ II ПРЯМЫЕ ФАКТОРНЫЕ РЕШЕНИЯ ГЛАВА 7. ПРОСТЫЕ ФАКТОРНЫЕ МОДЕЛИ 7.1. Введение В первой части мы рассмотрели основные идеи и формальные предпосылки факторного анализа. В гл. 7—11 развиваются прямые, т. е. не связанные с последующими преобразованиями решений, методы анализа. В этой главе представлены некоторые процедуры, весьма популярные в первые годы развития факторного анализа. Более современные и эффективные методики для анализа произвольных корреляционных матриц описываются в следующих главах. В знак уважения к роли Спирмэна в факторном анализе его двухфакторный метод рассматривается первым. С позиций сегодняшнего дня нам бы казалось совершенно естественным, чтобы в первых попытках факторизации фигурировала самая простая факторная модель. Так, собственно, и случилось: в 1904 г. Спирмэн сформулировал теорию интеллектуальных возможностей, включавшую единственный общий фактор. Согласно его знаменитой теореме (см. 5.3), факт равенства нулю тетрад означает, что каждый из параметров можно выразить через один генеральный фактор g и специфический (мы называем его характерным) фактор 5. Помимо того, что один общий фактор «объяснял» все корреляции, в терминах психологии его существование означало, что g связан со всеми способностями человека. Спирмэн, однако, предостерегал [440], что наличие подобного универсального понятия должно обрести прочный подтверждающий фундамент, «...прежде чем мы согласимся с ним, даже только как с общим принципом, не говоря уже о неизбежных уточнениях и.ограничениях». За двухфакторным методом, описанным в 7.2, следует интересный пример G.3), в котором все условия для существования одного общего фактора выполняются, но тем не менее решение получается неадекватным материалу. В 7.4 предлагается показатель, характеризующий степеньгсвязности параметров. Понятно, что двухфакторный метод, исходящий из единичного ранга корреляционной матрицы, имеет крайне ограниченное применение. 127
Метод проистекает из весьма спорной психологической теории единственного генерального фактора «g»; поэтому он оказывается неадекватным задачам, связанным с анализом сложных наборов психологических тестов. Чтобы покрыть этот недостаток, Холзингер, один из главных защитников двухфакторной теории Спирмэна, развил бифакторный метод. Его бифакторная теория включила кроме факторов Спирмэна еще и групповые факторы, так что каждый параметр, согласно этой теории, может быть описан в терминах генерального, группового и характерного факторов. Процедура бифакторного анализа корреляционной матрицы излагается в 7.5 и иллюстрируется в 7.6 примером анализа набора из 24 параметров. 7.2. Двухфакторный метод Согласно теореме Спирмэна, для того чтобы п параметров выражались через один генеральный и п характерных факторов, необходимо и достаточно, чтобы все тетрады равнялись нулю: = Ъ (/,?,/,"* =1,2,..., л; \фк\ф1фт). G.1) Как явствует из E.12), с ростом п количество таких условий быстро растет. В действительности не все эти условия являются независимыми и, как указывалось в 5.3, при п параметрах существование одного генерального фактора гарантируется выполнением п ^пГ~ ' условий. В первые годы развития факторного анализа, прежде чем принять некоторую факторную модель, производили полное статистическое исследование: по корреляционной матрице вычисляли все разности в тетрадах, находили их среднее значение и подсчитывали вероятные ошибки. Спирмэн и Холзингер предложили формулы для подсчета ошибок измерения тетрадных разностей [444]. Двухфакторное отображение можно записать в виде (/=l,2,...f л), G.2) где Fo — генеральный фактор, Uj — характерный фактор; как и в B.9), знак штриха при zj для простоты опущен. Если коэффициенты корреляции rjk удовлетворяют условиям тетрад или эквивалентным условиям E.10), то можно постулировать отображение G.2) и вычислить коэффициенты а7-0 и dj. Вычисляя aj0, будем предполагать, что остатки равны нулю, т. е. n'k = rjk-rik. G.3) По отображению G.2) можно получить вычисленные коэффициенты корреляции: G.4) и, считая, что остатки равны нулю, — выражение для выборочных коэффициентов корреляции rSh = rik=aJoaM. G.5) 128
Рассмотрим теперь, как заменить вычисленные коэффициенты корреляции выборочными. Умножим уравнение G.5) на квадрат коэффициента произвольного параметра ze при генеральном факторе: ae^r jk = ае02 aJQ ak0 = (пе0 ajo) (ae0 ako) == rej rek' G.6) Просуммировав по всем коэффициентам корреляции, получим 2 ^ " (е—фиксированное, п ^ n Символ 2 Oft означает, что суммирование ведется- по индексам / и k, которые пробегают значения 1, 2, ..., /г, причем в любом из членов / меньше k. В симметрической корреляционной матрице — это попросту сумма всех элементов матрицы выше (или ниже) главной диагонали. Поскольку общий фактор всего один, коэффициент при нем для любого параметра равен квадратному корню из значения общности этого параметра. Следовательно, можно переписать формулу G.7), выразив из нее общность: е0 е Видно, что в формулу G.8) не входят диагональные элементы корреляционной матрицы. Теоретически значения общностей, полученные с помощью этой формулы, делают ранг матрицы равным единице. Если выборочные коэффициенты корреляции удовлетворяют условиям E.10), то можно постулировать существование единственного фактора. Для того чтобы вычисленная корреляционная матрица имела ранг 1, подсчитанные диагональные элементы также должны удовлетворять условиям E.10). Формула G.8) достаточно проста: знаменатель есть сумма всех элементов корреляционной матрицы, за исключением коэффициентов корреляции рассматриваемого параметрам, а числитель—сумма парных произведений коэффициентов корреляции параметра е с каждым из остальных параметров. Например, при пяти параметрах квадрат коэффициента первого параметра при генеральном факторе равен: п 1 0 = • ( / • У) Г 23 + Г24 + Г2Ъ + Г и + '35 + ^45 Несмотря на простоту формулы G.8), для вычислений более удобен такой ее вид: 2 (е — фиксировано, \фе). G.10) 5 Зак. 656 129 (п п 2 '*.-2 /<А==1 /=
Это удобство для машинных вычислений станет более ясным, если рассмотреть члены формулы в отдельности. Обозначим через Ro корреляционную матрицу с исключенными диагональными элементами. Тог- п Да 2 rej — сумма элементов столбца е матрицы Ro, 2 п 2 r\i — сумма квадратов элементов столбца е матрицы Ro, п 2 rJk — сумма всех элементов матрицы Ro ниже диагонали. f<k=\ Вычислив значения общностей, можно подсчитать дисперсию, определяемую характерностью. Из 2.4 имеем, что характерность равна: dj=l— hi Если известны коэффициенты надежности параметров, то, воспользовавшись формулами B.20), можно разложить характерность на дисперсию ошибки и специфичность. Приведем пример, поясняющий описанную выше методику. В табл. 7.1 дана матрица коэффициентов корреляции для пяти параметров, послужившая Спирмэну примером при демонстрации возможностей его двухфакторной теории [440]. Таблица 7.1. Корреляционная матрица для пяти тестов и результаты вычисления коэффициентов при генеральном факторе Тест 1. Математическая смекалка 2. Понимание взаимосвязей 3. Пересказ текста 4. Рассудительность 5. Составление слов Сумма: 2rej Сумма квадратов: 2г^ Знаменатель в G.10) а!о Яео 1 0,485 0,400 0,397 0,295 1,577 0,6399 3,692 0,5003 0,707 2 0,397 0,397 0,247 1,526 0,6115 3,794 0,4526 0,673 3 0,335 0,275 1,407 0,5055 4,032 0,3656 0,604 4 0,195 1,324 0,4655 4,198 0,3067 0,554 5 1,012 0,2617 4,822 0,1581 0,398 Спирмэн вычислил все тетрады и нашел их среднее значение 0,013. Наиболее вероятная ошибка в тетрадных разностях для выборки данного размера оказалась равной 0,011; отсюда Спирмэн заключил, что его материал хорошо описывается простой теорией. В нижней части табл. 7.1 выписаны суммы, необходимые для формулы G.10); в последней строке таблицы даны коэффициенты при генеральном факторе. 130
7.3. Вариант Хейвуда В предыдущем параграфе мы изложили теорию и вычислительные процедуры, позволяющие выразить набор параметров через единственный общий фактор. Как отмечалось выше, условием существования такого решения является равенство нулю всех тетрад, т. е. всех миноров второго порядка в корреляционной матрице (не включающих диагональных элементов). Этому условию можно удовлетворить; при этом идеальный ранг (в смысле 5.4) равен 1; однако для того чтобы редуцированная корреляционная матрица имела ранг 1, необходимо, чтобы один из диагональных элементов был больше единицы. Эта удивительная коллизия известна под названием варианта Хейвуда [229]. Матрица, приведенная в табл. 7.2, дает классическую иллюстрацию варианта Хейвуда. Таблица 7.2. Пример, иллюстрирующий вариант Хейвуда Корреляционная матрица Решение Хейвуда Допустимое решение «/О а/2 0,945 0,840 0,720 0,735 0,630 0,560 0,630 0,540 0,480 0,420 1,05 0,90 0,80 0,70 0,60 1,10 0,81 0,64 0,49 0,36 0,89 0,90 0,80 0,70 0,60 0, 0,43 3349 0,2170 0,1578 0,1210 0,7937 0,59 0,71 0,99 0,99 0,99 0,99 0,99 Легко проверить, что все тетрады равны нулю; воспользовавшись формулой G.10), получаем решение (см. среднюю часть таблицы). Это решение в точности воспроизводит корреляционную матрицу, но тем не менее это «ненастоящее» решение: общность всегда должна быть положительным числом в интервале от 0 до 1. Вариант решения, когда одна из общностей превышает единицу, и называют вариантом Хейвуда. Идеальный ранг корреляционной матрицы табл. 7.2 равен 1; в то же время фактически ранг матрицы с допустимыми числами на диагонали превышает 2. Если допустить более одного фактора, то можно получить бесконечное количество решений, в которых все общности меньше единицы. В правой части табл. 7.2 дан пример решения при пяти общих факторах. В этом случае все общности не превышают 1. Если идеальный ранг больше 1, но меньше ранга редуцированной корреляционной матрицы и один из диагональных элементов больше 1, то соответствующее решение называется обобщенным вариантам Хейвуда. Во всех случаях, когда значение общности превышает 1, можно сделать вывод, что ранг корреляционной матрицы должен быть больше, чем ранг, приводящий к варианту Хейвуда. Гуттман [177] показал, что существует множество ситуаций, когда ранги всех диагональных подматриц корреляционной матрицы малы, но, тем не менее минималь- 131
ный ранг, при котором сохраняются свойства матрицы Грама, очень велик по сравнению с числом параметров. Отсюда он заключил, что для определения значений общности или минимально возможного ранга недостаточно исследовать миноры, не включающие элементы главной диагонали. 7.4. Группировка параметров В бифакторном и некоторых других методах факторного анализа (см., например, гл. 11) главный упор делается на группировку параметров на отдельные подмножества. Часто в наборе параметров можно выделить такие три, четыре параметра (или более), которые, по-видимому, характеризуют один и тот же фактор. Подобную гипотезу о структуре набора параметров можно далее проверить методами факторного анализа. В тех случаях, когда факторный анализ применяется как средство проверки некоторых конкретных теорий, группировка параметров основывается обычно на предшествующих исследованиях, в которых уже выявлялись некоторые из факторов. При этом цель работы состоит в том, чтобы с помощью дополнительных групп параметров выявить еще ряд факторов. Иногда новые параметры добавляют к предыдущему набору для того, чтобы более точно описать уже исследованные факторы. Успех подобного исследования в большой мере зависит от того, насколько хорошо произведена группировка параметров. Кроме этого, при упрощении и интерпретации корреляционных матриц факторным анализом можно пользоваться как статистическим аппаратом. При этом также необходимо группировать параметры, и, по-видимому, существуют объективные показатели, позволяющие по матрице произвести требуемую группировку. Процедуру группировки легко построить, если предположить, что параметры, определяющие один фактор и, следовательно, относящиеся к одной группе, коррелируют между собой сильнее, чем с остальными параметрами. Такого рода показатель мы назовем «В-коэффициентом» или «коэффициентом принадлежности» [243] и определим как отношение среднего коэффициента корреляции между параметрами данной группы к среднему коэффициенту корреляции параметров этой группы с остальными параметрами] для удобства это отношение умножается на 100. Чтобы различить параметры разных групп, воспользуемся обозначениями теории множеств. Пусть: e?Gp означает, что параметр е принадлежит группе Gp; (zj; j^Gp, p = l, 2, ..., т) обозначает систему элементов zj, входящих в группы Gp\ указаны также номера групп р, т. е. сначала записывают обозначение элемента, а затем (после точки с запятой)—необходимые сведения об этом (этих) элементе; (^; / = 1, 2, ..., N) означает суммирование по элементам системы (zji; t = l, 2, ...,.N), значение индекса / фиксируется, суммирование ведется по i. В более привычном виде эта сумма может быть записана как Б гц. 132 GЛ1)
Далее мы увидим, насколько полезны эти обозначения с точки зрения ясности и точности изложения теории. Воспользуемся приведенными обозначениями и запишем выражение для В-коэффициента: В(/) = 100х — I— (jeGp, p = l, 2, ..., т), G.12) где фигурируют параметры Zj из группы Gp\ S есть сумма коэффициентов корреляции между параметрами этой группы: а Т — сумма коэффициентов корреляции параметров группы Gp с остальными параметрами: ^ = E(Ofe; /€GP, k не входят в Gp); . G.14) ns и пт — число членов в суммах 5 и Т соответственно. Значения 5-коэффициентов применяются для группировки параметров в зависимости от их взаимных коэффициентов корреляции. Сначала выделяются два параметра, коэффициент корреляции между которыми максимален. К ним добавляется такой третий параметр, сумма коэффициентов корреляции которого с предыдущими максимальна. И так к формирующейся группе каждый раз добавляется по одному параметру, максимально связанному с предыдущими, и вычисляется значение В. Процесс продолжается до тех пор, пока не произойдет резкого уменьшения значения В. В этом случае последний присоединенный параметр убирается из группы и делается попытка присоединить другой параметр; если при этом значение В остается низким, то присоединение аннулируется. Таким образом определяется первая группа параметров. Далее, исключив параметры первой группы, находим среди оставшихся два наиболее связанных и даем тем самым начало следующей группе. К отобранным параметрам описанным способом присоединяются по одному другие, и так до следующего резкого спада значения коэффициента В. Чтобы получить ясно выраженные группы, желательно каждую новую группу начинать при максимально возможном значении В. Для этого следует, начиная формирование новой группы, вычислить пробные значения В для нескольких пар параметров. Пара, которой соответствует наибольшее значение Bf и дает начало новой группе. Описанный процесс продолжается до тех пор, пока все параметры не окажутся распределенными по группам. Если на некотором шаге число параметров в рассматриваемой группе равно v, то V \ __ V (V —1) 2>~ 2 ' G.15) пт = v(n—v) 133
и, следовательно, выражение G.12) можно переписать в виде ?(/) = 200 |J=^|-. G.16) Эта формула удобна для вычисления Б-коэффициентов. Можно, кроме того, выписать ряд полезных при вычислениях формул. Вместо выражения G.14) для Т можно взять 71 = 2(Oe; /6<V в = 1, 2, ..., n; j=?e)—2S. G.17) Обычно суммы коэффициентов корреляции каждого параметра со всеми остальными параметрами оказываются вычисленными в самом начале работы; поэтому для получения Т достаточно вычесть из суммы этих сумм по всем параметрам группы удвоенное значение S. Кроме того, более удобно организовать вычисление суммы коэффициентов корреляции последнего параметра, присоединенного к группе, с остальными параметрами группы. Обозначим номер последнего параметра через е и запишем выражение Ь=2(гЛ; /6GP, 1Ф1). G.18) Если текущее число параметров в группе равно v, то будем к соответствующей сумме добавлять индекс v. Тогда для S иТ имеем следующие рекуррентные формулы: Sv=Sv-i+Lv G.19) и ; * = 1, 2, ..., щ e^l)-2U G.20) Ниже в этой главе будет дан пример с вычислением 5-коэффициен- тов; здесь же скажем несколько слов относительно интерпретации. Если В = 100, то это означает, что средняя взаимосвязь между параметрами данной группы в точности равна средней их взаимосвязи с остальными параметрами набора. Очевидно, о таких параметрах нельзя говорить, что они связаны между собой теснее, тем с другими параметрами. Поэтому, чтобы иметь некоторый порог, отделяющий «сильную» связь от «слабой», потребуем, чтобы значение 5-коэффи- циента для группы не опускалось ниже 130. Мы не знаем формул для оценки значимости разностей между двумя последующими значениями В. Ввиду этого лишь знание природы параметров помогает судить о том, является ли конкретное изменение значения В «резким» или «нерезким». Поскольку 5-коэффициент есть отношение двух средних значений, то его свойства удобно исследовать, рассматривая порознь обе его составляющие. Присоединение каждого последующего параметра происходит на основании наибольших корреляционных связей; поэтому среднее значение коэффициентов корреляции внутри группы по мере роста числа параметров в группе падает. Точно так же при росте группы падает среднее значение связей параметров группы с осталь- 134
ными параметрами (знаменатель В). Однако числитель уменьшается относительно быстрее, чем знаменатель. Добавление к числителю (который обычно содержит небольшое число членов) нескольких дополнительных членов, меньших по величине, чем уже имевшиеся, ведет к тому, что значение числителя уменьшается. С другой стороны, при этом из знаменателя убирается несколько членов, достаточно больших по своим значениям. Поскольку знаменатель включает, как правило, относительно много членов, то после проведенной операции его значение хотя и уменьшится, но не столь значительно, как у числителя. В общем же, по мере роста группы значение /J-коэффициента будет падать. Ситуация, отличная от описанной, может возникнуть в случае, когда к группе присоединяется параметр, имеющий относительно большие коэффициенты корреляции с ранее присоединенными параметрами и небольшую сумму коэффициентов корреляции с остальными параметрами. При этом числитель уменьшается слабее, чем знаменатель и в итоге значение коэффициента В растет. В подобном случае, поскольку значение В резко изменяется, данный параметр следует изъять из группы, с тем чтобы попытаться включить его в группу позднее, когда к ней будет присоединено еще несколько параметров. По мере роста числа параметров в группе указанные выше средние значения меняются все медленнее и становятся все устойчивее. Следствием этого является то, что с ростом v возрастает относительная значимость разности между двумя последующими значениями 5. 7.5. Бифакторный метод Бифакторное решение в простейшем виде включает п линейных уравнений (п—число параметров), в которые входят один генеральный фактор и т групповых факторов (характерные факторы не рассматриваются). Если упорядочить параметры по их вхождению в группы, то любой параметр можно выразить через генеральный фактор и один из групповых факторов, причем выражения для параметров первой группы будут включать первый групповой фактор, для параметров второй группы — второй групповой фактор, и т. д. вплоть до последней группы, в выражение для которой войдет групповой фактор Fm. Из модели следует, что выражение для вычисленного коэффициента корреляции между параметрами Zj и zht входящими соответственно в группы Gpu GQ, имеем вид * Чь ' = !> 2, ..., N)IN = Fqi]; i = l, 2,..., N)!N= F, + % % % Fg = G'21> 135
где последнее равенство следует из того факта, что генеральный фактор не коррелирован с групповыми. Если два параметра входят в разные группы, то г & = аю ako A6 GP> ke Gq, рфд), G.22) а если в одну и ту же группу, то г\k = aJO ak9 + ajp akp (/, k ? Gp). G.23) В процессе получения бифакторного решения сначала вычисляют коэффициенты при генеральном факторе, а затем коэффициенты при групповых факторах. Иногда после этого на основании изучения остатков производят упрощение модели. 1.. Коэффициенты при генеральном факторе. Подбирая соответствующим образом параметры, можно отобрать параметры, удовлетворяющие условию существования единственного общего фактора; тогда для получения коэффициентов при генеральном факторе можно воспользоваться процедурой 7.2. Вначале параметры распределяются по группам, для этого удобно воспользоваться методом В-коэффициентов. Отметим, что если в каждую из групп входит всего по одному параметру, то набор удовлетворяет условиям двухфакторного отображения и для него, следовательно, необходимо строить один генеральный фактор и по одному характерному фактору для каждого параметра. Чтобы разобраться, каким образом отбирается множество параметров, отвечающих только одному общему фактору, рассмотрим три группы: Gp, Gq и Gr. Извлечем из каждой группы по одному параметру и обозначим полученную тройку (е, /, А), где e?Gr, j ?Gpy k?Gq и гФрФц. Любая из таких троек отвечает только одному общему фактору. Это означает, что вычисленный коэффициент корреляции между двумя парахметрами из тройки определяется по формуле G.22). Заменим эти коэффициенты корреляции, полученные из факторного отображения, выборочными коэффициентами корреляцииг и умножим G.22) на dloi а2ео rjk - (aeQ aj0) (aeQ ak0) = rej rek (e 6 Qn г\ф р ф q). G.24) Далее, опираясь на коэффициенты корреляции параметров Zj и ?&, можно вычислить коэффициент параметра ге при генеральном факторе. Чтобы получить более близкую оценку коэффициента при генеральном факторе, просуммируем обе части G.24) по всем значениям2 / и k, которые вместе с е отвечают условию единственного общего фактора. Тогда для любого е ? Gr квадрат его коэффициента при генеральном факторе равен: p<q=l, 2 m; p, q ф г) t p<q=U 2, ..., m; p, дфг) 1 Подразумевая тем самым, что остатки равны нулю. 2 Если параметры/ и k находятся в разных группах и нумерация параметров сквозная, то, поскольку г^ = r%j, каждый из коэффициентов корреляции будет учтен дважды. Чтобы избежать этого, оставим сквозную нумерацию, т. е. / ?G и k^Gqy p, q — 1, 2, ..., m, но введем условие р < q. 136
В случае когда весь набор отвечает одному общему фактору, G.25) переходит в G.8). Отметим один важный вариант формулы G.25). Если для набора параметров факторное отображение имеет бифакторный вид и включает ряд параметров, которые характеризуют только генеральный фактор и не характеризуют групповых факторов, то в формулу следует включить дополнительные члены. Два таких параметра совместно с произвольным параметром е отвечают единственному общему фактору. Тогда в G.25) необходимо распространить суммирование на все такие параметры /, k, чтобы каждый из коэффициентов корреляции не входил дважды в формулу, вводится ограничение / < k. 2. Коэффициенты при групповых факторах. Прежде чем перейти к вычислению коэффициентов при групповых факторах, нужно подсчитать остаточные корреляции (после исключения генерального фактора); они равны: [Oft = Oft—ajo%> (/, k=l, 2, ..., п). G.26) Вид такой остаточной корреляционной матрицы близок к виду, изображенному на рис. 6.1; значения в прямоугольниках мало отличаются от нуля. (Стандартные ошибки остаточных коэффициентов корреляции см. в табл. А приложения.) В усеченном пространстве (с исключенным генеральным фактором) п параметров можно описать однофакторным отображением; т. е. бифакторное решение можно рассматривать как однофакторное, дополненное генеральным фактором. Остаточные коэффициенты корреляции G.26), взятые отдельно для каждой группы, образуют матрицу ранга 1 и, следовательно, измеряют единственный общий фактор. Для вычисления коэффициентов при групповых факторах можно воспользоваться методом 7.2; однако обычно в каждую группу входит небольшое число параметров, и поэтому более рентабельным оказывается метод триад 5.3. Согласно его процедуре, для любого параметра коэффициент при групповом факторе равен: (p=l,2,...,m), G.27) где ' "') G.28) и np — число параметров в группе Gp. Формулы G.25) и G.27) дают возможность полностью определить факторное отображение. После подсчета всех коэффициентов можно получить финальные остатки, т. е. остатки после исключения всех факторов: —<*jP akp; = rjk-ajpakp. G.29) 137
Если параметры / и k входят в разные группы, то rjk = rjk, так что остатки только с учетом генерального фактора уже есть финальные остатки, по своим значениям они близки к нулю. С другой стороны, для параметров одной группы после исключения генерального фактора остатки имеют большие значения, что подтверждает существование для этих параметров дополнительного фактора. (Оценки ошибок измерения остатков даны в приложении.) 3. Корректировка решения. Если оказывается, что для параметров разных групп остатки велики, то бифакторное решение приходится модифицировать. То же относится к случаю, когда для параметров одной группы остатки после исключения влияния главного фактора близки к нулю. Бифакторное решение включает формулировку математической модели (факторного отображения) и вычисление коэффициентов этой модели. Это дает возможность ввести меру «качества описания». Оценить адекватность решения исследуемому материалу можно по грубым оценкам ошибок измерения факторных коэффициентов и остатков (см. приложение). Кроме того, в настоящее время это можно сделать методами статистики [286, 287, 416]. Прежде, до появления указанных методов, сначала получали простую бифакторную модель, а затем ее модифицировали. Новое, модифицированное, факторное отображение можно вычислить, воспользовавшись методом Б-коэффициентов (для отдельных групп параметров), либо с помощью статистических тестов оценки значимости, либо просто анализируя остатки после исключения влияния генерального фактора. 7.6. Численный пример Чтобы проиллюстрировать бифакторный и позже некоторые другие методы, рассмотрим конкретный пример. Имеется в виду исследование 24 психологических тестов, проведенное К. Холзингером [234] на 145 школьниках седьмых и восьмых классов в предместье Чикаго. Материал был собран К. Холзингером и Ф. Суайнфорд [245], позднее им пользовались К. Холзингер и Г. Харман [243], Г. Кайзер [293], Д. Нейгауз и Ч. Рили [379] и другие исследователи, так что в литературе по факторному анализу этот пример стал уже классическим. ?& В табл. 7.3 приведены список 24 параметров и их характеристики: средние значения, стандартные отклонения и коэффициенты надежности. Корреляционная матрица дана в табл. 7.4; в последнюю строку этой таблицы вписаны суммы коэффициентов корреляции каждого параметра со всеми остальными параметрами. Поскольку в таблице приведена лишь половина симметрической матрицы, при вычислении указанных сумм среди их 23 членов оказываются элементы как строки, так и столбца соответствующего параметра. 1. /^коэффициенты. Во-первых, проиллюстрируем группировку параметров методом 7.4. Работа начинается с выбора двух тестов—5 и 9, коэффициент корреляции между которыми максимален, а именно гь,9 = 0,723. Вычислим по формуле G.6) значение В E,9) (табл. 7.5). 138
Таблица 7.3. Статистические характеристики 24 психологических тестов Тест Xj 1 1. Зрительное восприятие 2. Кубики 3. Форма плоской фигуры 4. Флажки 5. Общее восприятие информации 6. Понимание смысла прочитанного 7. Составление предложения 8. Классификация слов 9. Понимание смысла слов 10. Сложение 11. Декодирование 12. Подсчет числа точек 13. Анализ геометрии букв 14. Узнавание слов 15. Узнавание чисел 16. Узнавание фигур 17. Объект—число 18. Число—фигура 19. Фигура—слово 20. Дедукция 21. Числовые головоломки 22. Решение практических задач 23. Составление рядов 24. Арифметические задачи Среднее значение X : 2 29,60 24,84 15,65 36,31 44,92 9,95 18,79 28,18 17,24 90,16 68,41 109,83 191,81 176,14 89,45 103,43 7,15 9,44 15,24 30,38 14,46 27,73 18,82 ' 25,83 Стандартное отклонение sy 3 6,90 4,50 3,07 8,38 11,75 3,36 4,63 5,34 7,89 23,60 16,84 21,04 37,03 10,72 7,57 6,74 4,57 4,49 3,58 19,76 4,82 9,77 9,35 4,70 Коэффициент надежности гц 4 0,756 0,568 0,544 0,922 0,808 0,651 0,754 0,680 0,870 0,952 0,712 0,937 0,889 0,648 0,507 0,600 0,725 0,610 0,569 0,649 0,784 0,787 0,931 0,836 Расчет идет по параметрам г- и г9, а коэффициент корреляции' между ними есть в данном случае значения L и S, так как каждая из сумм состоит пока из одного члена. Значение Т получается из G.17): r = Srfc + 2^-2г59 = 8,242 + 8,156—2@,723) -14,952, где суммы коэффициентов корреляции берутся из табл. 7.4. Теперь вычислим значение ^-коэффициента; E>9)^ B-1)х 14,952 Позже мы увидим, насколько" удобно вести вычисления в форме табл. 7.5. Далее по G.18) определяем сумму L, а рекуррентные формулы G.19) и G.20) очень облегчают подсчет последующих значений^?. Чтобы посмотреть, как работать с этими формулами, рассмотрим в деталях процесс вычисления значения В A7, 18, 19, 15, 16). Имеем v = 5, последним был включен параметр / = 16. Воспользовавшись G.18), просуммируем коэффициенты корреляции параметров группы с последним, 16-м параметром: Ь6=2 г. 1б = ; / ф 1 6 - ' ' 16 +Г 18,46 19, 16 16 139
Таблица 7.4. Корреляционная матрица для 24 психологических тестов Тест : / 1- 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1 0,318 0,403 0,468 0,321 0,335 0,304 0,332 0,326 0,116 0,308 0,314 0,489 0,125 0,238 0,414 0,176 0,368 0,270 0,365 0,369 0,413 0,474 0,282 7,528 2 0,317 0,230 0,285 0,234 0,157 0,157 0,195 0,057 0,150 0,145 0,239 0,103 0,131 0,272 0,005 0,255 0,112 0,292 0,306 0,232 0,348 0,211 4,751 3 — 0,305 0,247 0,268 0,223 0,382 0,184 0,075 0,091 0,140 0,321 0,177 0,065 0,263 0,177 0,211 0,312 0,297 0,165 0,250 0,383 0,203 5,309 4 — — 0,227 0,327 0,335 0,391 0,325 0,099 о,но 0,160 0,327 0,066 0,127 0,322 0,187 0,251 0,137 0,339 0,349 0,380 0,335 0,248 6,045 5 — — — 0,622 0,656 0,578 0,723 0,311 0,344 0,215 0,344 0,280 0,229 0,187 0,208 0,263 0,190 0,398 0,318 0,441 0,435 0,420 8,242 6 — — — — 0,722 0,527 0,714 0,203 0,353 0,095 0,309 0,292 0,251 0,291 0,273 0,167 0,251 0,435 0,263 0,386 0,431 0,433 8,182 7 — — — — — 0,619 0,685 0,246 0,232 0,181 0,345 0,236 0,172 0,180 0,228 0,159 0,226 0,451 0,314 0,396 0,405 0,437 7,909 8 — — — — — — 0,532 0,285 0,300 0,271 0,395 0,252 0,175 0,296 0,255 0,250 0,274 0,427 0,362 0,357 0,501 0,388 8,306 9 — — — — — — -— 0,170 0,280 0,113 0,280 0,260 0,248 0,242 0,274 0,208 0,274 0,446 0,266 0,483 0,504 0,424 8,156 10 — — — — — 0,484 0,585 0,408 0,172 0,154 0,124 0,289 0,317 0,190 0,173 0,405 0,160 0,262 0,531 5,666 И — — — — — — — 0,428 0,535 0,350 0,240 0,314 0,362 0,350 0,290 0,202 0,399 0,304 0,251 0,412 7,089 140
12 0,512 0,131 0,173 0,И9 0,278 0,349 0,110 0,246 0,355 0,193 0,350 0,414 5,877 13 0,195 0,139 0,281 0,194 0,323 0,263 0,241 0,425 0,279 0,382 0,358 7,584 14 0,370 0,412 0,341 0,201 0,206 0,302 0,183 0,243 0,242 0,304 5,443 15 0,325 0,345 0,334 0,192 0,272 0,232 0,246 0,256 0,165 5,079 16 0,324 0,344 0,258 0,388 0,348 0,283 0,360 0,262 6,609 17 - 0,448 0,324 0,262 0,173 0,273 0,287 0,326 6,009 18 0,358 0,301 0,357 0,317 0,272 0,405 6,808 19 0,167 0,331 0,342 0,303 0,374 5,754 20 0,413 0,463 0,509 0,366 7,755 21 0,374 0,451 0,448 7,606 22 0,503 0,375 7,693 23 0,434 8,678 24 — 8,220 141
4*. to я g о ст> со 8 и я н 8 а Е 8 8 5*ю5"ю CO CO 5Г to toto СЛ "со to to to to CO CO CO CO to to to сл сл ел 4*- со ю СЛ СЛ СЛ ЬО СО СЛ 45» СЛ tO СО СЛ О ^- ЬО СО 00 О СО сл CO CO СО СО4^ 4* 4*. HО >о о со со to to •— 4^ ь-os^ СЛ ^ to'co^— 4^ СО ОООЧ'- 4s- О CTXJ5 СЛ ^••J "О tO "-«J 4^> '—i со со сл со to сл о со •—* со со 4*. CO tO N3 •—' СЛ »—' сл о ооо to сл CO CO 4 tO СО О) СЛ I I оо оо оо со оо оо оо оо ю- го- - - - - - tO 4* ^ ^^ ^^ со ^ со со со со со У сл сл S 5- О> СЛФ» 4^ СОЮ и- н- h-»—ООО О СЛ tO 00 СО СТ)ь 4s. 00 сл оо 4ь. CO tO tO t— О CO СЛ О СЛ CO 4ь. to to >—сл о со СО СО СО 4ь ф> ?ь 4*. о со со •— сл »— •—» *<J СЛ О СО СО СО СЛ 4*- ОЪ •—» tO СО СЛ СО СО >— и— Со Э СО СЛ О5 CO ^* ¦> слоосо to •— сл с со t ОС )сл со COCO COCO 4^ СЛ to о сл о сл сл I I S СО СО СО to to to СЛ4ь> СО tO СО СЛ О СЛ СО СЛОО 00 со to «—о 1оЪ>^* ф. СО 4^ -^ СЛ 4^ СОСЛ t -^ сл с -J СЛ С СО >—* ел СО > елсон- > оо со to »— Oi О СЛ ь— СЛСЛСО сл со о *-j оооооо to to to to to to елсл4^ coco to 1^J4^ COCO С » елслю ос 4>. 4^ tO»— «-- сл сл coo с ^tO Ч СЛС 00 СО О Ю tO 4ь. СЛО СЛСЛО н— со <п •— со О»— СОь— <1 4 н со <п • СЛО»— СОь— о to to со-о СО О СЛ COCO н- со о о ¦— too >ос >оос ) tO t ) --4С > СЛ * и— Ю *- tO coOCO 4^ 4*. и- а> со СП СЛ4и СО tO сл елслел сл со со со со со О>СЛ4ь СО to to to to >— о -^ СЛ СЛ 4*ь t сл сл оо •— с сл со *— о *^ OI-nJ ЬЭСЛ tO 4i. CO tO 45». СО СЛ00О tO4x О О О О О о о о о о СЛ СО 4^ *^ СЛ слео сл со to > tO tOO и 00 •— -«J С юслео с СЛС75 СЛС ь- tO tO Ю tO 4^ СЛ -<I СЛСО SI I я 1 200 (n — v) 200 (n—v) S (V—1) T Примечания
B) тест 13 убирается, как как при v = 3 уменьшение В на 52 является слишком большим; C) тест 11 имеет ту же природу, что и 10 и 12; поэтому он оставляется в группе, несмотря на падение В на 47 единиц; D) хотя тест 13 выше изымался из группы, теперь он оставляется в ней. После того как к группе был присоединен тест 11, принадлежность к этой группе теста 13 становится более явной; при v = 4 значение В падает лишь на 7 единиц; E) тест 24 убирается, так как при v = 5 значение В падает на 17 единиц; F) тест 21 убирается, так как при v = 5 значение В падает на 20 единиц; G) прежде чем продолжить образование группы, начатой тестами 20 и 23, поищем другую пару тестов, дающих значение В, большее 145; (8) хотя тесты 1 и 4 коррелируют между собой меньше, чем пара 20 и 23, они приводят к большему значению коэффициента В. Поэтому следующая группа начинается с тестов 1 и 4; (9) тест 21 убирается, так как при v = 5 падение В равно 15; кроме того, по своей природе он, по-видимому, отличается от тестов 1, 2, 3, 4; A0) тест 16 дает падение В на 15 единиц. Хотя при v = 4 это падение не является большим, мы убираем 16 из группы и ищем другой тест, приводящий к меньшему падению В. Если бы такой тест не был обнаружен, то тест 16 был бы оставлен в группе; A1) тест 24 убирается, так как при v = 7 значение В падает на 10 единиц; A2) тест 22 убирается, так как при v = 7 значение В падает на 11 единиц; A3) хотя тесты 18 и 16 были ранее помещены в другую группу, здесь они снова проверяются вместе с тестами 20, 21, 22, 23 и 24. Делается это для того, чтобы выяснить, насколько тесно связана последняя группа тестов с остальными тестами набора. Поскольку и тесты 18 и 16 приводят к относительно резкому падению В и, кроме того, по своей природе они отличаются от остальных тестов группы, их, по-видимому, следует из группы изъять. (коэффициенты корреляции берем из табл. 7.4). С помощью G.19) вычислим сумму S5: S5=S4 + L5 = 2,001 + 1,251=3,252. Отметим, что в табл. 7.5 фигурируют для этой группы параметров два значения 54, но одно из них, согласно примечанию 10 к табл. 7.5, отбрасывается. Теперь подсчитаем: 200 (п—v) = 200 B4—5) = 3800, Из Г4 с помощью G.20) вычислим Тъ\ при этом v = 4 и рассматривается ряд A7, 18, 19, 15), а не A7, 18, 19, 16): е ^ 2 г 16 — 21в = 19,648 + 6,609—2x1,251=23,755 16 (сумма коэффициентов корреляции теста 16 с остальными тестами берется из табл. 7.4). 143
Далее: (V_ i) т = 4 х 23,755 = 95,020 В A7, 18, 19, 15, 16)= 38^Х0^252 =130. Следуя процедуре 7.4, группируем все параметры. Как видно из табл. 7.5, имеются следующие группы: Gx-A, 2, 3, 4); G2 = E, 6, 7, 8, 9); G,=A0f 11, 12, 13); G.30) G4 = A4f 15, 16, 17, 18, 19); G5 = B0, 21, 22, 23, 24). Большинство из рассматриваемых тестов уже исследовались в многочисленных факторных экспериментах, и их свойства хорошо известны, а следовательно, известно, какие факторы каждый из них характеризует; поэтому, группируя параметры методом ^-коэффициентов, мы каждый раз согласуем группы с априорными сведениями1. Понятно, что в общем случае ситуация может быть другой. Во многих публикациях результаты группировки и последующие факторные решения не согласуются с априорными гипотезами о факторах2. 2. Бифакторное решение. Из группировки G.30) следует простая бифакторная модель, включающая один генеральный и пять групповых факторов; как указывалось, это решение можно далее модифицировать. При вычислении бифакторных нагрузок молчаливо предполагается, что все элементы корреляционной матрицы положительны (маленькие отрицательные элементы приравниваем к нулю). Коэффициенты при генеральном факторе подсчитываются по формуле G.25); для облегчения вычислений будем записывать промежуточные выкладки. Полное бифакторное решение для нашего примера приведено в табл. 7.6, в том числе нагрузки на главный фактор —в первом столбце этой таблицы. Остаточная корреляционная матрица (после исключения влияния генерального фактора), рассчитанная по формуле G.26), приведена в табл. 7.7 (элементы ниже главной диагонали). Эти остатки, относительно малы, за исключением остатков, соответствующих внутригруп- повым связям (если группировка произведена разумно). Для первых 1 Таким образом, метод /^-коэффициентов не является полностью формализованным методом. В работе [554]приведены формализованные процедуры группировки, которые на этом материале B4 психологических теста) приводят к группировке G.30). — Прим. перев. 2 Таковы, например, решения/которые дали для рассматриваемой задачи Холзингер и Харман [241]. Проф. Тэрстоун предполагал об этом наборе тестов, что «... вербальное мышление, математическое мышление и пространственное воображение суть разные факторы, отличные от вербальных абстракций и восприятия зрительных образов» [470]. Оба решения [241] не согласуются с этой априорной группировкой тестов и приводят к другим факторам. 144
Таблица 7.6. Бифакторное отображение для 24 психологических тестов Тест 1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Вклад факторов Общая дукция 0,589 0,357 0,401 0,463 0,582 0,575 0,534 0,624 0,560 0,388 0,521 0,404 0,576 0,388 0,351 0,496 0,422 0,515 0,442 0,644 0,645 0,644 0,734 0,712 6,874 , 3 н к аз " О. w м« 0,484 0,285 0,479 0,317 — — — — — 0,645 (S 2 т Вербал] фактор 0,574 0,559 0,708 0,375 0,628 — 1,678 0 0 0 0 1 в? Скорое: мышле! — — ,594 ,478 ,642 ,438 — — — — — — ,185 в? о со (О СО Я со — — — — 0,545 0,476 0,353 0,361 — — — 0,779 са Ассоци 0, 0, о, 0, л jg и — — — — — — — — 493 468 278 539 5 Фактор о, 0, 0 X — — — — — 377 — 377 284 If «Я то 0,647 0,889 0,781 0,828 0,576 0,597 0,463 0,686 0,540 0,59S 0,707 0,652 0,690 0,743 0,806 0,793 0,670 0,718 0,853. 0,765. 0,764 0,765 0,679* 0,592 четырех групп внутригрупповые остатки в основном положительны и по своим значениям превышают межгрупповые остатки (за одним исключением: Гю,24 = 0,255). Однако в группе Gb имеются несколько отрицательных остатков и маленькие положительные остатки; это говорит о том, что параметры пятой группы не требуют введения нового фактора. Поэтому бифакторное решение модифицируется: групповой фактор в G5 убирается и для этих параметров остатки после учета генерального фактора принимаются в качестве финальных остатков. Воспользовавшись остатками после учета генерального фактора (курсив в табл. 7.7), вычислим по формуле G.27) коэффициенты при каждом из групповых факторов. Нагрузки на Bl9 В29 Вв вычисляются достаточно легко; результаты вычислений см. в табл. 7.6. Однако при подсчете по формуле G.27) триад для любого из параметров группы G4 выясняется, что триады сильно различаются; следовательно, данные шесть параметров измеряют более чем один фактор. В самом деле, простой анализ остатков указывает на существование групп 14, 15, 16,
Таблица 7.7. Остаточные коэффициенты корреляции1 ю 3 ji 8 I 9 Г 10 1 11 I 12 I 13 14 15 16 17 18 19 20 21 22 23 24 0,108 0,167 0,195 —0,030—0,065 0,037 0,174 0,065 —0,022 —0.004 —0,011 —0,036—0 —0,004—0 0,077 0,029 •0,034 ,066 ,005 0,119 0,014—0 0,037 0,009 0,132 -0,041 0,042 —0,025 —0,033 ,042 0,061 0,088 0,102 0,066 0,287 0,345 0,215 0,397 __0,034 —0,061 0,415 0,168 О 0,392 О —0,113 0,001 0,076 0,150 —0,082—0 —0,035—0,118—0 0,001 0,033 231 —0,081 " ,131 0,085—0,020 0,041 0,019 ,286 ,386 0,039 0,000 —0,042 0,037 0,041 —0,022 —0,027 —0,020 —0,137 0,090 " -" 0,053 —0,046 —0,025 0,020 —0,059 — —0,053 0,183 0,043 —0,047 0,060 0,009—0,022 —9,104—0 0,031 0,122 —0,073—0 0,065 0,010 ,035 0,006 0,095 0,146 0,071 -0,045 0,021 _0,076—О 0,064 0,008 0,004 0,135 —0,114 ,036 0,092—0 —0,008—0 0,013 0,068—0 0,054 0,025 ,102 ,038 ¦0,037 ,037 0,069 —0,035 0,037 0,029 —0,012 О 0,049 —0,015 —0,044 0,019 —0,113 О 0,036 —0,043 О 0,010 0,005 —0,085 0,030 . —0,129—0,116—0,071 —0,003 0,003 —0,008 —0,010 —0,002 0,043 0,051 -0,014 —0,036 0,038 —0,080 0,026 ,282 ,428 ,185 0,021 0,018 -0,068 0,125 0,117 0,019 —0,014 —0,011 0,034 0,042 —0,137 0,062 0,076 0,002—0 0,085 -0,043 0,039 •0,094 ,008 0,089 —0,083—0 0,023 0,065 0,107 0,041 0,050 —0,057 —0,108 —0,030 0,082 ¦0,005 ",082 0,055 0,008 0,005 0,016 0,009 0,024 0,052 0,013 0,057 0,025 —0,040 -0,045 0,043 —0,055 0,085 —0,077 0,155 -0,090 -0,023 0,255 —0,002 0,218 0,235 0,148 0,057 0,056 0,142 0,082 0,060 —0,134 0,063 —0,095 0,122—0,090—0,032 0,093 0,025 —0,023 —0,131 0,041 1 Значения, диагонали). напечатанные курсивом, не являются финальными: над ними производится 17 и 17, 18, 19; остаточные связи параметров 14, 15, 16 с 18, 19 можно считать финальными. Необходимость подобных изменений может быть проверена с помощью статистической проверки на значимость; это видно, кроме того, из значений В-коэффициентов для обеих групп: 5A4, 15, 16, 17)=202и5A7, 18, 19)=177 (коэффициенты вычисляются по остаточным связям между шестью параметрами). Факторные коэффициенты при Б4 и В5, полученные в результате произведенного изменения, приведены в табл. 7.6. Наконец, необходимо учесть необычно большое значение остаточной связи между параметрами 10 и 24. Для этих параметров приходится предположить отдельный фактор. Как видно из табл. 5.2, для однозначного определения факторных весов необходимо, чтобы в группе было не менее трех параметров; отсюда следует, что при двух параметрах в группе последние выражаются через факторы произвольным образом. В примере, прежде чем разделить поровну между параметрами дисперсию, из остаточной связи вычли значение стандартного отклонения (значения факторных коэффициентов см. в табл. 7.6). Чтобы завершить линейное описание тестов в терминах факторов, остается определить коэффициенты при характерных факторах. Как следует из 2.4, они определяются по формуле 146
12 0,047 -0,089 0,279 —0,026 0,031 —0,081 0,108 0,Ш —0,069 —0,014 0,094 —0,067 0,053 0,126 13 -0,075 0,026 —0,002 ооооо oooooo 14 0,234 0,220 0,177 0,001 0,035 0,052 -0,067 —0,007 -0,043 0,028 15 — —0,025 0,151 0,197 0,153 0,037 0,046 0,006 0,020 —0,002 —0,085 16 _ 0,028 —0,017 0,115 0,089 0,039 0,069 0,028 —0,036 —0,004 —0,091 17 — —0,020 0,025 —0,012 0,231 0,137 —0,010 -0,099 0,001 —0,023 0,026 18 — 0,000 0,130 —0,031 0,025 —0,015 —0,106 0.038 19 — оТооо 0,000 —0,118 0,046 0,057 -0,021 0,059 20 — —0,002 0,048 0,036 —0,093 21 — —0,041 —0,022 —0,011 22 — 0,030 —0,084 23 — -о7о89 24 0,117' дальнейшая факторизация (соответствующие финальные остатки размещены выше главной; По данным табл. 7.6 вычисляются суммы квадратов коэффициентов при общих факторах и как общности заносятся в табл. 7.8. Дополнение каждого из этих чисел до единицы есть значение характерности, которое вынесено в отдельный столбец табл. 7.8. Значение коэффициента при характерном факторе равно квадратному корню из соответствую ющей характерности. Методы факторного анализа позволяют получить для каждого па-, раметра значения общности и характерности; однако, зная надежность, параметра, уже можно разложить его дисперсию на специфичность, и дисперсию ошибки. В табл. 7.8 приведены значения надежности для, каждого из 24 тестов и значения их специфичности и дисперсии ошибки, вычисленные по формуле B.20). Кроме этого, в последнем столбце табл. 7.8 помещены значения индекса полноты факторизации, вычисленные по формуле B.21). Было бы интересно выяснить, насколько адекватно данное факторное решение описывает исследуемый материал. Вообще говоря, существуют лишь очень грубые процедуры для выяснения точки «остановки факторизации» (впрочем, в 9.5 и 10.4 приводятся более точные статистические методы, предназначенные для некоторых типов факторных решений). Применяют, например, такие правила: анализ ведется до тех пор, пока не будет учтено 50% (или 75%) суммарной дисперсии параметров; или берется подходящее соотношение для надежности, таг кое, чтобы оставалась возможность существования специфических фак- 147
Т а б л Тест / 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 ица 7.8 Общность1 0,581 0,209 0,390 0,315 0,668 0,643 0,786 0,530 0,708 0,503* 0,500 0,575 0,524 0,448 0,350 0,371 0,551 0,484 0,273 0,415 0,416 0,415 0,539 0,507** Распределение дисперсии тестов Надежность 0,756 0,568 0,544 0,922 0,808 0,651 • 0,754 0,680 0,870 0,952 0,712 0,937 0,889 0,648 0,507 0,600 0,725 0,610 0,569 0,649 0,784 0,787 0,931 0,836 Характерность 0,419 0,791 0,610 0,685 0,332 0,357 0,214 0,470 0,292 0,497 0,500 0,425 0,476 0,552 0,650 0,629 0,449 0,516 0,727 0,585 0,584 0,585 0,461 0,493 Дисперсия ошибок 0,244 0,432 0,456 0,078 0,192 0,349 0,246 0,320 0,130 0,048 0,288 0,063 0,111 0,352 0,493 0,400 0,275 0,390 0,431 0,351 0,216 0,213 0,069 0,164 Специфичность A2 — rf? 0,175 0,359 0,154 0,607 0,140 0,008 —0,032 0,150 0,162 0,449 0,212 0,362 0,365 0,200 0,157 0,229 0,174 0,126 0,296 0,234 0,368 0,372 0,392 0,329 Индекс факторизации — 100 ru 76,9 36,7 71,7 34,1 82,7 98,8 104,2 77,9 81,4 52,8 70,2 61,4 58,9 69,1 69,0 61,8 76,0 79,4 47,9 63,9 53,1 52,7 57,9 60,6 * С учетом фактора Dx общность равна 0,641. •¦ С учетом фактора Dt общность равна 0,645. торов; или считают практически значимыми лишь те факторы, которые учитывают не менее 5% (или 2%) суммарной дисперсии. Другие приближенные методы включают анализ величин и распределения финальных остатков. Бифакторный метод не позволяет определить, на каком шаге следует прекратить факторизацию. В некотором смысле доля суммарной дисперсии, учитываемой факторами, определяется из факторного отображения. Кроме того, для суждения о степени адекватности бифакторного решения можно воспользоваться эмпирическими правилами, используемыми в методе главных факторов. Например, в табл. 7.6 общие факторы учитывают около 50% суммарной дисперсии 24 тестов; отсюда можно сделать вывод, что решение не является «слишком фак- торизованным». Вклад фактора D± весьма мал; каждый из факторов Въ 54 и Въ учитывает менее 5% (но более 2%) суммарной дисперсии, так что для целей практики их значимость может оказаться сомнительной. Другой путь для выяснения адекватности решения дает индекс полноты факторизации С/. Анализ психологических тестов в терминах 148
общих факторов нельзя довести до стадии, когда специфические факторы станут равными нулю. В нашем примере только одно из значений Cj превышает 100. Ввиду возможных ошибок в определении факторных весов или коэффициента надежности на наличие одного большого значения индекса факторизации можно не обращать внимания. Если бы, однако, мы имели несколько таких значений и они соответствовали большим коэффициентам надежности, то это было бы веским основанием для модификации факторного решения. При рассмотрении статистического описания факторной модели в 2.6 был предложен критерий B.30) для суждения о соответствии между вычисленными и выборочными коэффициентами корреляции. Для реализации этого критерия необходимо, чтобы стандартное отклонение финальных остатков было меньше оценки ошибки при вычислении коэффициента корреляции, равного нулю. В таблице 7.9 приведены плотности распределения финальных остатков. Поскольку стандартное отклонение равно 0,0655, а ошибка вычисления коэффициента корреляции в этом случае равна 0,0830, то, следовательно, требуемое условие для выборки в 147 объектов удовлетворяется. Таблица 7.9. Распределение финальных остатков Интервал значений остатков 0,150-М), 169 0,130-0,149 0,110-0,129 0,090~-0,109 0,070-М), 089 0,050-7-0,069 0,030-7-0,049 0,010-7-0,029 —0,010-т—0,009 —0,030-7—0,011 —0,050-г—0,031 —0,070-г—0,051 0,090-7- 0,071 —0,110-7—0,091 Частота 3 5 6 8 12 25 33 30 39 29 29 15 17 10 Интервал значений остатков —0,1304—0,111 —0,150 ч—0,131 -0,170-7—0,151 —0,190-г—-0,171 —0,210-7—0,191 —0,230-7—0,211 —0,250-г—0,231 Всего , Среднее значение Стандартное отклонение Частота 8 6 1 276 —0,0004 0,0655 3. Названия факторов. Необходимо сказать несколько слов о наименовании факторов. Вспомним, что основная цель факторного анализа состоит в том, чтобы описать широкий класс явлений (множества значений набора параметров) в терминах небольшого числа понятий (факторов), причем это описание есть линейная функция от факторов. В математике и теоретической физике было бы достаточно знать, что 24 параметра линейно выражаются через шесть новых гипотетических параметров; обычно исследование на этом заканчивается и никакого интереса не представляет то, как назовут новые параметры. Но в биологии и в социальных науках, в психологии например, идентификация новых параметров приобретает большое значение. 149
Коэффициенты факторного отображения указывают на корреляции параметров с соответствующими факторами и тем самым дают основание для их наименования. В случае косоугольных факторов корреляции параметров содержатся в факторной структуре, и они точно так же могут быть использованы для идентификации факторов. Подбирая факторам подходящие названия, исследователь руководствуется значениями факторных весов. Подобранное название обычно отвечает природе параметров, имеющих наибольшие коэффициенты корреляции с рассматриваемым фактором. Кроме того, название должно быть согласовано с остальными параметрами, имеющими малые значения коэффициентов корреляции с данным фактором. В нашем примере основанием для наименования факторов послужили "факторное отображение (табл. 7.6) и краткое описание тестов. Фактор Во имеет только положительные веса и сильно коррелирует с тестами, определяющими способности к дедукции — составление рядов B3), арифметические задачи B4), решение практических задач B2) и классификация слов (8). Поэтому Во можно назвать «общим дедуктивным фактором». Это название согласуется с природой остальных параметров: они почти не имеют отношения к способностям к дедуктивному мышлению и слабо коррелируют с фактором Во. Оставшиеся факторы названы в соответствии с сильно коррелирующими с ними подгруппами тестов. Так, первый групповой фактор назван по «пространственной» подгруппе тестов (тесты 1—4), второй — по «вербальной» подгруппе и т. д. (названия шести общих факторов приведены в табл. 7.6). Кроме общих факторов каждому из 24 тестов соответствует свой характерный фактор. Если последним также желательно присвоить наименования, то для этого можно воспользоваться описанием каждого конкретного теста. Неназванным остался только фактор, соответствующий скорости сложения A0) и арифметическим задачам B4). Этот фактор измеряет «скорость арифметического мышления», возможно, если бы в наборе имелись еще несколько параметров этого типа, фактор оказался бы более существенным, чем в данном случае. Поскольку, как отмечалось выше, фактор однозначно определяется тремя параметрами, то далее фактор Dx будет исключен из рассмотрения. Шесть общих факторов можно называть либо по их обозначениям, либо по подобранным названиям. Эти названия, однако, не могут быть предметом дискуссии; если другой исследователь захочет дать факторам другие названия, то он волен сделать это. Задачей факторного анализа как ветви статистики не является присвоение названий; тем не менее в конкретных задачах для целей классификации может оказаться весьма желательным найти для факторов подходящие наименования.
ГЛАВА 8. МЕТОД ГЛАВНЫХ ФАКТОРОВ И РОДСТВЕННЫЕ ЕМУ МЕТОДЫ 8.1. Введение По-видимому, метод главных факторов является ныне наиболее применяемым из методов факторного анализа. Впрочем, так было не всегда; метод требует значительной вычислительной работы, которая без вычислительных машин практически невыполнима. Основание «методу главных осей» было положено К. Пирсоном в начале этого столетия [386]. Однако метод в том виде, в которомы мы его теперь знаем, был разработан лишь в 1930-х годах Г. Хотеллингом [259] по предложению Т. Келли. Позднее Келли предложил еще одну процедуру {305], которая, как показано было 20 лет спустя, оказалась наиболее приспособленной для реализации на ЭВМ (впрочем, эта последняя работа была выполнена независимо). Ч. Рил и и Д. Нейгауз [539, 540] впервые применили ЭВМ для факторного анализа методом главных факторов. Методы, рассматриваемые к этой главе, относятся к первому из отмеченных в 2.3 подходов (учет максимума дисперсии наблюденных параметров). Типичным примером ситуации, где такой подход оказывается полезным, является «сжатие» большого массива информации до более удобного для интерпретации массива. Наибольший интерес представляют, конечно, те параметры, которые максимально варьируют на множестве объектов. Следовательно, если можно найти небольшое число линейных комбинаций исходных параметров, учитывающих большую долю суммарной дисперсии параметров, то тем самым будет достигнута значительная экономия при описании материала. В этой главе будут рассмотрены три метода. В 8.2 излагается фундаментальный метод — компонентный анализ. Далее, в 8.3—8.6, дано развитие этого метода (метод главных факторов) как для вычислений вручную, так и в варианте вычислений с помощью ЭВМ. В 8.5 приведена процедура вычислений с помощью настольного арифмометра; процедура иллюстрируется на примере восьми морфологических параметров. В 8.7 на четырех материалах показаны различные свойства 151
системы главных факторов. Техника фиксации системы координат в пространстве факторов (в применении к любому методу факторного анализа) развивается в 8.8; отмечаются особенности этой техники в применении к методу главных факторов. И наконец, в 8.9 изложен приближенный аналог метода главных факторов — центроидный метод, наиболее популярный во времена, предшествовавшие появлению вычислительных машин. 8.2. Компонентный анализ Метод главных компонент, или компонентный анализ, основывается на ранней работе К. Пирсона [386]; он учитывает ряд особенностей факторного анализа, изложенных Г. Хотеллингом [259]. Как отмечалось в 6.2, при точечном представлении равномерное распределение имеет вид эллипсоида. Оси этого эллипсоида соответствуют главным компонентам. Следовательно, в компонентном анализе производится вращение исходной системы координат к новой системе в полном пространстве параметров — ортогональное преобразование, при котором каждый из п параметров выражается через п главных компонент. Важным свойством компонент является то, что каждая из них по порядку учитывает максимум суммарной дисперсии параметров. Говоря точнее, первая главная компонента есть линейная комбинация исходных параметров, учитывающая максимум их суммарной дисперсии; вторая главная компонента не коррелирует с первой и учитывает максимум оставшейся дисперсии и т. д. до тех пор, пока вся дисперсия не будет учтена. Сумма дисперсий всех главных компонент равна сумме дисперсий всех исходных параметров. Поскольку метод связан с суммарной дисперсией параметров, наиболее эффективным он становится в случае, когда все параметры измеряются в одних единицах. В противном случае изменение единиц измерения или любое другое линейное преобразование приводят к тому, что эллипсоид перекашивается или вытягивается, в результате чего оси координат (т. е. главные компоненты) теряют содержательный смысл. Поэтому принято выражать параметры в стандартной форме, при которой дисперсия параметра равна единице (следовательно, суммарная дисперсия равна я). Исходным материалом для анализа является корреляционная матрица; ввиду ее симметричности и положительной определенности все главные компоненты действительны и положительны. Мы не будем давать формального изложения метода главных компонент1. Вместо этого будет изложен вариант метода, являющийся дальнейшим его развитием. Важная особенность метода состоит в том, что в компонентном анализе используется модель B.8), в то время как в методе главных факторов — модель B.9). Дисперсия параметров ана- ^ 2 Детальное изложение метода главных компонент см. в работе Г. Хотел- линга [259] и в более поздней монографии Т. Андерсона [11]; о статистическом обосновании компонентного анализа можно прочесть также у Андерсона [12]. 152
лизируется в терминах главных компонент, а общность — в терминах общих факторов. Следовательно, различие состоит в объеме анализируемой дисперсии—сумме чисел, стоящих на диагонали корреляционной матрицы. Если на диагонали корреляционной матрицы стоят единицы, то ее анализ приводит к главным компонентам, а если значения общностей, то к главным факторам. В гл. 16 будет показано, что главные компоненты легко выражаются через наблюденные параметры; для измерения же любых других факторов используют приближенные процедуры. Прежде чем перейти к изложению процедур, будет небезынтересно посмотреть, какой вид имеют результаты, получаемые в компонентном анализе. В табл. 8.1 приведен простой пример, подсчитанный на материале, описанном в гл. 2. Колонки таблицы (за исключением первой и последней) соответствуют главным компонентам, а строки—параметрам. Таким образом, элементы любой из строк есть коэффициенты при компонентах в линейном выражении для соответствующего параметра; кроме того, они являются коэффициентами корреляции между параметрами и главными компонентами. Безотносительно к другим компонентам направление любой из них может быть изменено на противоположное; для этого достаточно все элементы соответствующего столбца умножить на —1* Таблица 8.1. Главные компоненты для пяти социально-экономических параметров1 Параметр 1 2 3 4 5 Дисперсия 3 процентах Pi 0,5810 0,7671 0,6724 0,9324 0,7911 2,8733 57,5 Pi 0,8064 —0,5448 0,7260 —0,1043 -0,5582 1,7966 35,9 р> 0,0276 0,3193 0,1149 —0,3078 —0,0647 0,2148 4,3 Р* —0,0645 0,1118 —0,0072 0,1582 —0,2413 0,1000 2,0 Р* -0,0852 —0,0216 0,0862 0,0000 0,0102 0,0153 0,3 Дисперсия 1,0000 1,0002 0,9999 1,0000 0,9999 5,0000 100,0 1 Как и ранее, большое число десятичных знаков дано только в целях контроля. Сумма квадратов элементов строки есть дисперсия данного параметра. В предпоследней строке указаны дисперсии главных компонент (суммы квадратов элементов по столбцам). Здесь хорошо видно, как реализуется принцип максимального вклада каждой последующей компоненты в суммарную дисперсию. В частности, в этом примере первые две главные компоненты учитывают более 93% дисперсии; такое сжатие информации устроит самого требовательного исследователя. 153
8.3. Метод главных факторов Метод главных компонент предназначался для работы с моделью B.8); Г. Томсон [459] впервые применил его к классической модели факторного анализа (впрочем, в то время применение относилось только к двухфакторному методу Спирмэна). Вообще говоря, под «методом главных факторов» понимают приложение метода главных компонент к редуцированной корреляционной матрице (т. е. к матрице, у которой на главной диагонали вместо единиц стоят значения общностей). Изложению этого метода и посвящены этот и три следующих параграфа. Согласно классической модели факторного анализа B.9), выражение для определения коэффициентов при общих факторах записывается в виде рр Fm (/ = 1, 2, ..., п). (8.1) Специфический фактор здесь опущен; на самом деле следовало бы писать z/, чего не делается для простоты записи. Сумма квадратов факторных коэффициентов дает значение общности данного параметра, а член а% указывает на вклад фактора Fp в общность параметра Zj. В методе главных компонент на первой стадии ищут коэффициенты при первом факторе таким образом, чтобы сумма вкладов фактора в суммарную общность была максимальной. Эта сумма равна: V1=a2n + a22l+ ... +а2т. (8.2) Максимум Vx должен быть обеспечен при условии, что т rjk= 2 aJpahp (/, /е=1, 2, ..., п)9 (8.3) где г/ь = rkj, а rjj — общность Щ параметра Zj. Условие (8.3) означает, что выборочные коэффициенты корреляции заменяются вычисленными (т. е. предполагается, что остатки равны нулю). Для того чтобы максимизировать функцию п переменных, связанную некоторым числом дополнительных условий, лучше всего воспользоваться методом множителей Лагранжа [555]. В данном случае необходимо максимизировать V± — функцию п переменных ап при наличии п^п ? условий (8.3), наложенных на коэффициенты ajp. В соответствии с методом множителей Лагранжа составим функцию п п т 2Т = Уг~ S Wih = Vx- У 2 \^hajpakp, (8.4) /, k=l /,?=1/7=1 где \ijk = Phj — множители Лагранжа. Приравняем частные производные функции Т по п переменным ап нулю: ^-=ап- ? 1****1 = 0; (8.5) 154
точно так же приравняем нулю частные производные по остальным переменным: 2|*^ 0(р^П. (8.6) dajp k= l Две системы уравнений (8.5) и (8.6) можно объединить: ?-=Ьц>ац- 2 И"Л^р = 0, (р-1, 2, ..., т), (8.7) 00 / 1 где б7-р—символ Кронекера: 61р = 1, если р=1; б1р = 0, если рф\. Умножив (8.7) на ад и просуммировав по /, получим б1р 2 а2п- S S |1ЛаЛ<^р = 0. (8.8) / 1 / 1 л 1 п Согласно (8.5), выражение 2 И7лаЛ PaBH0 ^ai> положив 2 a/i^^, можно переписать (8.8) в виде 8**1- S Лщ^р = 0. (8.9) Умножим (8.9) на О/р и просуммируем по р: - S akl ( 2 а/РаАР) =0, (8.10) или, воспользовавшись (8.3), О. (8.11) Распишем подробно систему уравнений, определяемую выражением (8.11): (h12—X)an+ r12an+ (^2—к) (hi + '13 «31 '23 «31 -h)an + ... + + ... + + ... + r%n «nl «Til anl = 0; = 0; =-0; (8. 12) + 'Л2 «21 + гпЪ ап + ... + (hi—к) ап1 - О, где параметр X из (8.11) записан без индекса. Таким образом, максимизация функции (8.2) при условиях (8.3) приводит к системе п уравнений (8.12) относительно п неизвестных ajV Необходимым и достаточным условием существования нетривиального решения в этой системе п однородных уравнений является 155
равенство нулю детерминанта матрицы коэффициентов этих уравнений [551]. Запишем это условие для нашего случая: 13 rn (/l22 — X) r23 rn гз2 (h32 — 'In rnl гп3 ... (Ли—Я) = 0. (8.13) Если развернуть детерминант (8.13), то получим полином /г-й степени относительно Я. В развернутом виде уравнение (8.13) называется характеристическим уравнением. По поводу свойств характеристических уравнений имеется хорошо разработанная теория (см., например, [376, 516, 551]). Для нас важным является тот факт, что все корни уравнения действительны и, кроме того, что если вместо К подставить 9-кратный корень уравнения (8.13), то ранг матрицы, фигурирующей в (8.13), будет равен (п — q). Если в (8.12) вместо К подставить простой корень характеристического уравнения, то получим систему однородных линейных уравнений, матрица коэффициентов которой имеет ранг (п — 1). Этой системе соответствует множество решений, пропорциональных одному частному решению. Из определения числа X следует, что искомое частное решение должно удовлетворять условию Кг = 2 ап • я 2 2 это выражение в точности равно максимизируемой функции Vx. Иными словами, Vx равно одному из корней характеристического уравнения (8.13), а именно наибольшему корню %г. Теперь можно решить задачу поиска коэффициентов ajiL при первом факторе Flt учитывающих максимально возможную долю суммарной общности. Подставим наибольший корень Хг уравнения (8.12) в (8.13) и получим одно из возможных решений ап, а21, ..., ап1. Далее, чтобы удовлетворить соотношению (8.2), разделим полученные значения на корень из суммы их квадратов и умножим на )/\. В итоге имеем (/=1, 2, ..., п), (8.14) что и представляет собой искомый коэффициент при F± в факторном отображении (8.1). В математической литературе корни Я7- характеристического уравнения (8.13) называют «собственными значениями». Решение системы уравнений (8.12), соответствующее каждому собственному значению, представляет собой вектор (набор значений aftJ-), который называют «собственным вектором». В общем виде задача обычно ставится так: найти число Я и n-мерный вектор q Ф 0, такой, при котором Rq - Xq. (8.15) 156
Любое число Хр9 удовлетворяющее этому уравнению, называется собственным значением матрицы R, а соответствующий вектор qp = = {alp, a2jP, ..., anp) называется собственным вектором матрицы R. Собственный вектор, нормированный согласно (8.14), обозначают р \ip 2Р пр\ Посмотрим на выражение (8.15) с несколько другой стороны. Член Rq есть не что иное, как линейное преобразование вектора q; поэтому из (8.15) следует, что преобразованный вектор пропорционален исходному с коэффициентом пропорциональности X. Конечно, в общем случае преобразованный вектор не пропорционален исходному. Однако если это так, то существует такое X,, которое удовлетворяет уравнению (8.15); такое Я должно быть корнем характеристического уравнения (8.13). Каждому корню Хр системы уравнений (8.12) соответствует ненулевое решение qp = (alp, a2P, ..., апр). Следовательно, п корней Хг, Я2, ..., Хп порождают п векторов q1? q2, ..., qn, так что (8.15) можно переписать в виде Vl2> ...t КЧп) (8.16) или, сведя п векторов в матрицу Q, RQ-QA, (8.17) где A = diag(Xif Я2, ..., Хп). Если анализ проводится методом главных компонент (с единицами на главной диагонали в R), то векторы в Q являются линейно независимыми, так что их детерминант отличен от нуля и Q имеет обратную матрицу. Тогда из (8.17) следует выражение Q-iRQ^A, (8.18) которое приводит R к диагональному виду; при этом элементы в А есть собственные значения, а столбцы матрицы Q — собственные векторы. Более того, из симметричности корреляционной матрицы R=RA следует, что Q'R(Q-i)'=A. (8.19) Это означает, что строки матрицы (Q)' суть собственные векторы Qi> Яг» ••••> Чтг и, следовательно, Q есть ортогональная матрица, что, в частности, означает: QQ' = I или Q-*-Q\ (8.20) Таким образом, из симметричности R следует: Q'RQ = A. (8.21) Это выражение (называемое иногда спектральной теоремой [450]) означает, что с помощью ортогонального преобразования Q матрица R любой симметричной (квадратичной) формы может быть приведена к диагональному виду и, кроме того, что элементы матрицы А и Q действительны и п собственных векторов линейно независимы. 157
В случае когда анализ ведется в терминах главных факторов (и основан, следовательно, на оценках общностей), получают только т (т < п) положительных собственных значений и отвечающих им действительных векторов. Нормированные согласно (8.14), эти векторы обозначаются ах, а2, ..., ат вместо ql9 q2, ...., qm, а матрица, составленная из этих векторов, — через А (поскольку каждый из столбцов содержит п элементов, то А представляет собой прямоугольную матрицу размером п • т). Так как А не имеет обратной матрицы, соответствующее свойство «ортогональности» приобретает вид X2, ..., Хт) (8.22) или в развернутом виде /= 1 (p, q - 1, 2, ..., m; p=#=?). У1 — О (8.23) Отметим, что (8.9) представляет собой особый случай свойства ортогональности. Сделанное отступление дает некоторое представление о теоретических вопросах, имеющих отношение к компонентному анализу и методу главных факторов. Вернемся к изложению основного материала. В (8.14) мы вычислили коэффициенты Яд при первом факторе Fx. (Для лучшего понимания нам удобно думать, что факторы исследуются последовательно, хотя на самом деле все коэффициенты вычисляются одновременно.) Следующая задача состоит в поиске фактора, который учитывал бы максимум остаточной общности. Чтобы сделать это, необходимо вычислить матрицу остаточных коэффициентов корреляции (с учетом только первого фактора). Ввиду того что остаточные коэффициенты корреляции будут вычисляться после исключения двух, трех, ..., (т— 1) факторов, нам понадобится специальное обозначение. Удобно обозначить остаточный коэффициент корреляции rjk после исключения s факторов через /jk. Тогда после исключения первого фактора имеем iOft = Oft—% flw=^2 ah2 + aJ3ak3+ ••• +аыаш. (8.24) В общем виде остаточная матрица запишется так: R1==R_ R,, (8.25) где Ri-axa/ (8.26) есть симметрическая (п • п) матрица произведений коэффициентов при первом факторе, т. е. матрица коэффициентов корреляции, вычисленных с учетом только первого фактора. 158
Для определения коэффициентов при втором факторе F2 необходимо максимизировать функцию Vi = a2i2 + al2+ ... +вп2, (8.27) представляющую собой сумму вкладов F2 в остаточную общность. При этом следует учесть условия (8.24), аналогичные ограничениям (8.3) для первого фактора. Из теории характеристических уравнений следует метод вычисления коэффициентов при втором и последующих факторах. В самом деле, вовсе нет необходимости максимизировать вклады F2 в остаточную общность. Ниже будет показано, что максимальное собственное значение матрицы Rx является вторым собственным значением исходной матрицы R. Пусть ах, а2, ...., ат — нормированные собственные векторы матрицы R. Проверим, не будут ли они собственными векторами и матрицы Rx. Умножив справа матрицу Rx на вектор ар> с учетом (8.25) и (8.26) имеем Riap = (R-aia;)ap. (8.28) Раскрыв скобки и воспользовавшись (8.15), получаем Rx ар = Ra^—аг а/ ар = Яр ар—аг ах'ар. (8.29) Рассмотрим теперь два случая: р = 1 и р Ф 1. а) Если р = 1, то, согласно (8.9), &\ ах = Хг и (8.29) приобретает такой вид: R1a1 = O. (8.30) Таким образом, собственный вектор, соответствующий максимальному собственному значению К± матрицы R, является к тому же и собственным вектором матрицы Rx, но соответствующее ему собственное значение равно нулю. б) Если р Ф 1, то, согласно (8.9), sl\ ар = 0 и выражение (8.29) приобретает следующий вид: Следовательно, за исключением Хъ собственные значения и собственные векторы матрицы Rx равны соответствующим собственным значениям и собственным векторам матрицы R. Выражения (8.30) и (8.31) доказывают, что собственные векторы матрицы Rx идентичны собственным векторам матрицы R, как и их собственные значения, за исключением вектора а1? собственное значение которого в Rx равно нулю,, а в R равно Xv Из предыдущего ясно, что собственное значение К2 матрицы R является наибольшим собственным значением матрицы Rx. Иными словами, для того чтобы получить коэффициенты при втором факторе F2> достаточно выделить второе собственное значение исходной матрицы R. Точно так же последующие собственные значения и отвечающие им 159
собственные векторы получаются непосредственно из матрицы R. Процесс" продолжается вплоть до получения т факторов. Обычно, если на главной диагонали R стоят единицы, то m = д. В случае когда на диагонали R стоят числа, меньшие единицы (оценки общностей), и выполняется свойство положительной полуопределенности, то обычно т <; п и все собственные значения действительные и неотрицательные. Однако редуцированная корреляционная матрица R (т. е. с оценками общностей на диагонали) на практике может не обладать свойством положительной полуопределенности, вследствие чего появляются положительные и отрицательные собственные значения. Понятно, что в практических задачах отрицательные собственные значения не имеют смысла. Для того чтобы выделить все действительные собственные векторы, факторизацию приходится проводить далее, чем это было бы необходимо. Дело в том, что сумма положительных собственных значений оказывается больше, чем сумма общностей (при учете отрицательных собственных значений сумма становится прежней). Поскольку суммарная общность п параметров равна следу редуцированной корреляционной матрицы, то процесс факторизации прекращается на шаге, когда сумма собственных значений становится равной этой величине. Из приведенных ниже примеров будет ясно, что исследователю бывает обычно достаточно и меньшего числа факторов. Материал этого параграфа дает теоретическое основание для метода главных факторов, но в нем нет приемлемых для практики вычислительных процедур. Непосредственное разрешение характеристического уравнения (8.13) и системы однородных уравнений (8.12), наталкивается на серьезные вычислительные трудности. В следующих параграфах обсуждаются применяемые на практике процедуры метода главных факторов. 8,4. Теоретическое дополнение Ниже рассматривается способ выделения главных осей, основанный на двух фундаментальных работах Г. Хотеллинга [259, 261]. Метод включает итеративную процедуру, которая выдает одновременно корень характеристического уравнения и коэффициенты при соответствующем факторе. Корни получаются последовательно, в порядке убывания их величины; вследствие этого метод оказывается особенно эффективным в задачах, где достаточно получить небольшое число наибольших собственных значений и отвечающих им коэффициентов при факторах. Обычно несколько факторов учитывают почти всю суммарную общность. Итеративный процесс начинается с выбора п произвольных чисел; далее с помощью выборочных коэффициентов корреляции эти числа последовательно преобразуются до тех пор, пока не сходятся к искомым коэффициентам при первом факторе. Как уже отмечалось в предыдущем параграфе, операция] Rqx есть не что иное, как преобразование вектора qx = {an, a2]f, ..., ап1] в некоторый новый вектор. В гео- 160
метрических терминах это соответствует вращению прямой линии, • направляющие косинусы которой пропорциональны числам ajlf вплоть до нового направления, направляющие косинусы которого пропорциональны элементам вектора (Rqx). Вообще говоря, новая прямая отличается от исходной. Однако, если прямая оказывается инвариантной относительно такого преобразования, то, как видно из (8.15), новый вектор пропорционален исходному. В матричной форме это за - пишется так: (R—U)qi = 0, (8.32) а в развернутом виде: /—*) «Л + - +0*^=0 (8.33) (необходимо помнить, что на месте коэффициента корреляции параметра с самим собой стоит значение его общности). Поскольку / меняется от 1 до /г, то, как легко видеть, уравнения (8.33) идентичны уравнениям (8.12). Следовательно, для любой инвариантной относительно данного преобразования прямой направляющие косинусы пропорциональны решению системы (8.12), где X есть корень характеристического уравнения (8.13). Отсюда следует, что инвариантные прямые и являются искомыми главными осями. Таким образом, если найдется набор чисел Си, сс21, ..., ап1, таких, что удовлетворится соотношение (8.32), то элементы вектора Rqx оказываются пропорциональными направляющим косинусам главных осей. С помощью упомянутого набора чисел можно тогда получить коэффициенты при одном из главных факторов; сумма вкладов этого фактора в суммарную общность параметров равна Я. Конечно, при решении практической задачи нельзя надеяться на то, что произвольно выбранные числа aj± окажутся пропорциональными направляющим косинусам одной из главных осей. Тогда для поиска решения уравнения (8.32) используется итеративный процесс, на первом шаге которого в качестве а^ берутся элементы вектора Rqx; в свою очередь, вектор Rqx преобразуется в R(Rqi) и т. д. Так как R{(Rq)=R2q, (8.34) вместо последовательного применения двух преобразований можно использовать одно преобразование с матрицей R2. Свойство (8.32) можно обобщить на любую степень т; так, для вектора q, (... (Rq))) = R«q. (8.35) Матрица R2, взятая в качестве множителя для ите раций, вдвое повышает скорость сходимости. Возведем ее еще раз в квадрат; умножение вектора qx на R4 эквивалентно четырем единичным итерациям (т. е. четырем умножениям на R). В описанной процедуре можно использовать любую степень матрицы R. В следующем параграфе даны реко- 6 Зак. 656 1§1
мендации по поиску оптимальной степени матрицы R при практической работе. Итеративный процесс заканчивается, когда отношения между полученными величинами сходятся с заданной точностью к соответствующим отношениям между коэффициентами при Fv Хотеллинг дал доказательство сходимости этих отношений к соответствующим отношениям коэффициентов ап при первом главном факторе FJ259]. Удобно делить текущие значения получаемых на каждом шаге коэффициентов на какое-нибудь одно из них, например на наибольшее. В этом случае соответствующее этому коэффициенту значение, полученное на следующем шаге, будет являться очередным приближением характеристического корня Kv Второй и остальные главные факторы получаются точно так же; сходимость процесса также может быть ускорена с помощью подходящей степени матрицы остаточных коэффициентов корреляции. Однако для получения этой степени нет необходимости последовательно возводить матрицу остаточных коэффициентов корреляции в квадрат, как это делалось в случае исходной корреляционной матрицы. Вместо этого пользуются некоторыми свойствами матриц и уже определенной ранее для первого фактора степенью матрицы R. Возведем алгебраически обе части (8.25) в квадрат: R12 = R2_2RR1 + R12. (8.36) Теперь можно, выразив два последних члена в (8.36) через известные величины, избежать фактического возведения матрицы Rx в квадрат. Действительно, из (8.26) с учетом определения (8.22) имеем Ri2 = (ai а/) (ях а1/) = ах (ах' ах) а/ == ах %х аг' = Хг а± а/. Подставив в последнее выражение соотношение (8.26), получим Ri^XiRx. (8.37) Из выражения (8.15), выписанного для частного случая первого главного фактора (с вектором коэффициентов а2), следует соотношение которое и дает возможность выразить RRX через известные величины. Умножим справа предыдущее соотношение на а.\\ с учетом (8.26) имеем RR^^Ri. (8.38) Подставим (8.37) и (8.38) в (8.36): R12 = R2_xiR1. (8.39) Поскольку квадраты корреляционной матрицы и матрицы произведений коэффициентов при первом факторе уже вычислены, то нет необходимости возводить в квадрат матрицу остаточных коэффициентов корреляции. 162
Точно так же можно показать, что для любого целого е Rei=R#-M-!Ri- (8-40) Иными словами, степень е матрицы остаточных коэффициентов корреляции выражается через степень исходной корреляционной матрицы, что позволяет избежать последовательного умножения матрицы остаточных коэффициентов корреляции. Теперь можно вкратце изложить весь ход итеративной процедуры. Сначала, пользуясь R* как множителем в итерациях при вычислении текущего собственного вектора, получают значения коэффициентов при первом факторе1 и корень ^характеристического уравнения. Кроме того, умножая текущий вектор на Re, определяем %е\ операция деления дает А,6-1. Затем, умножив Хе~1 на каждый из элементов Rx и вычтя результаты из соответствующих элементов матрицы R*, получим степень е остаточной матрицы коэффициентов корреляции. Коэффициенты при втором факторе определяются из Rx и Кге точно так же, как коэффициенты при первом факторе (из матриц R и R*). Поскольку при вычислении коэффициентов второго фактора и так имеется быстрая сходимость, то нет необходимости брать е-ю степень матрицы R1# Обычно берут меньшую степень Rx или даже просто Ra (подробнее см. об этом в следующем параграфе). При вычислении коэффициентов третьего фактора берут матрицу вторых остатков R2 и матрицу R2* (или меньшую степень R2). Матрица R2* легко получается из соотношения (8.40), куда подставляются матрицы первых и вторых остатков. Далее таким же образом получают следующие факторы, и так до тех пор, пока не будет учтена почти вся общность. 8.5. Вычислительные процедуры для настольных арифмометров Для любой корреляционной матрицы можно вычислить факторное отображение главных факторов. Однако при большом числе параметров эта работа настолько трудоемка, что не может быть выполнена без электронных вычислительных машин (о соответствующих процедурах речь пойдет в 8.6). При небольшом же числе параметров вполне можно обойтись настольным арифмометром, если воспользоваться методом, описанным в 8.4. Ниже на примере восьми морфологических параметров, данных в 5.4, показан порядок вычислений при работе с настольным арифмометром. 1. Организация информации. Вследствие симметричности корреляционной матрицы обычно достаточно писать одну ее половину. Однако в методе главных факторов, связанном с возведением корреляционной матрицы в квадрат, более удобно записывать матрицу целиком. На- 1 С. Барт [54] показал, что задача факторизации матрицы R6 эквивалентна задаче выделения генерального фактора Спирмэна. Это следует из того факта, что при достаточно большом значении степени е произвольная симметрическая матрица может быть с любой степенью точности приведена к матрице ранга 1. 6* 163
пример, в табл. 8.2 приведена симметрическая редуцированная корреляционная матрица R, выполненная на основе табл. 5.3. Первое, что требуется определить для реализации метода главных факторов (в соответствии с основной факторной моделью), — это оценки значений общностей. Значения, приведенные в табл. 8.2, взяты из работы Ф. Муллена [375]; наши восемь параметров представляют собой часть набора из 17 параметров, исследованных в [375]. Эти значения общностей несколько отличаются от вычисленных в табл. 5.4, где ранг корреляционной матрицы предполагался равным 2. Таблица 8.2. Редуцированная корреляционная матрица: R 1 2 3 4 5 6 7 8 1 0,854 0,846 0,805 0,859 0,473 0,398 0,301 0,382 0,846 0,897 0,881 0,826 0,376 0,326 0,277 0,415 0,805 0,881 0,833 0,801 0,380 0,319 0,237 0,345 0,859 0,826 0,801 0,783 0,436 0,329 0,327 0,365 0,473 0,376 0,380 0,436 0,870 0,762 0,730 0,629 0,398 0,326 0,319 0,329 0,762 0,687 0,583 0,577 0,301 0,277 0,237 0,327 0,730 0,583 0,521 0,539 8 * 0,382 0,415 0,345 0,365 0,629 0,577 0,539 0,579. 4,918 4,844 4,601 4,726 4,656 3,981 3,515 3,831 1,000 0,985 0,936 0,961 0,947 0,809 0,715 0,779 2. Текущий собственный вектор при вычислении коэффициентов первого фактора. Вычислив суммы элементов строк матрицы R и разделив их на максимальную из сумм, получаем первое приближение а)}*. Заметим, что эти числа не применяются непосредственно в качестве элементов собственного вектора; сначала для ускорения сходимости этих элементов к числам, пропорциональным искомым факторным коэффициентам, матрица возводится в подходящую степень. Квадрат корреляционной матрицы приведен в табл. 8.3. Поскольку квадрат симметрической матрицы есть также симметрическая матрица, то вычислять приходится, конечно, только диагональные элементы и элементы выше (или ниже) диагонали. Однако для удобства при дальнейшей работе мы запишем полную матрицу. Таблица 8.3. Квадрат корреляционной матрицы: R2 1 2 3 4 5 6 7 8 - 1 3,450 3,450 3,301 3,325 2,577 2,185 1,903 2,179 2 3,450 3,475 3,322 3,333 2,471 2,093 1,815 2,115 3 3,301 3,322 3,181 3,188 2,341 1,983 1,718 2,003 4 3,325 3,333 3,188 3,213 2,461 2,084 1,810 2,085 5 2,577 2,471 2,341 2,461 2,966 2,550 2,278 2,372 6 2,185 2,093 1,983 2,084 2,550 i 2,200 1,965 2,041 1 7 1,903 1,815 1,718 1,810 2,278 1,965 1,765 1,820 8 " 2,179 2,115 2,003 2,085 2,372 2,041 1,820 1,925 22,370 22,074 21,037 21,499 20,016 17,101 15,074 16,540 ГB) 22,370 22,075 21,039 21,499 20,016 17,102 15,074 16,540 1,0000 0,9868 0,9405 0,9611 0,8948 0,7645 0,6739 0,7394 164
Можно проверить правильность сделанных вычислений. Подсчитаем произведение матрицы R на столбец значений Sj табл. 8.2. Полученные значения с точностью до ошибок округления должны равняться соответствующим суммам S/2) элементов строк матрицы R2. Возьмем в качестве следующего приближения числа aj2), которые представляют собой отношения сумм 7/2) к наибольшей из этих сумм. Сравним их с результатами а}}* предыдущего шага. Процесс следует продолжать в случае большой разницы между приближениями вектора на двух последующих шагах итерации. В данном случае различия следует признать значительными и, следовательно, нужно продолжить вычисления. Желательно, чтобы в конце процесса результаты на двух последующих шагах совпадали с точностью до пяти единиц последнего десятичного разряда. В нашем примере исходные, коэффициенты корреляции, так же как и факторные коэффициенты, измеряются с точностью до пяти десятичных знаков. Следовательно, различие между последующими значениями коэффициентов в конце итеративного процесса не должно превышать 0,005. Возведение корреляционной матрицы в квадрат производится до тех пор, пока собственный вектор не перестанет изменяться. Перед очередной операцией возведения матрицы R в степень всегда вычисляют столбец чисел Tj. Так, прежде чем подсчитать элементы матрицы R*, по Re/2 и Sf/2) вычисляют значения Т}е). Затем вычисляются коэффициенты а)?, и если они совпадают с требуемой точностью с коэффициентами af/2), то нет необходимости считать элементы матрицы R*. В нашем примере по R2 и Sj2) вычислим значения ТL) и aft. Эти значения недостаточно совпадают с соответствующими значениями af\\ поэтому^ переходим к вычислению элементов R4 (табл. 8.4). Далее подсчитываются величины 7/8) (табл. 8.5). Максимальное различие между а)?} и ajt* составляет всего три тысячных, поэтому элементы R8 можно уже не вычислять. Таб лица 8.4. Четвертая степень корреляционной матрицы: R4 2 3 4 5 6 7 8 65,54 64,94 61,95 63,06 56,04 47,80 42,00 46,59 64.94 64,38 61,41 62,49 55,27 47,13 41,41 45,98 61.95 61,41 58,59 59,61 52,67 44,91 39,45 43,82 63,06 62,49 59,61 60,67 53,86 45,93 40,36 44,78 56,04 55,27 52,67 53,86 50,40 43,06 37,97 41,61 47,80 47,13 44,91 45,93 43,06 36,80 32,45 35,55 42,00 41,41 39,45 40,36 37,97 32,45 28,62 31,33 _46,59 45,98 43,82 44,78 41,61 35,55 31,33 34,39_ S<4> 7<4> а<4> 447,92 447,93 1,0000 443,01 443,02 0,9890 422,41 422,43 0,9431 430,76 430,76 0,9617 390,88 390,90 0,8727 333,63 333,64 0,7448 293,59 293,60 0,6555 324,05 324,05 0,7231 165
S}8) Г(8) 176 738 174 853 166 733 169 980 153 733 131201 115430 127 505 1,0000 0,9893 0,9434 0,9618 0,8698 0,7423 0,6531 0,7214 Таблица 8.5. Восьмая степень корреляционной матрицы: R8 1 2 3 4 5 6 7 1 2 3 4 5 6 7 8 3. Коэффициенты при первом факторе. Чтобы удостовериться в том, что предыдущий этап действительно привел к инвариантному относительно преобразования вектору, т. е. к числам, пропорциональным ад, найденный набор ап представляется в (8.32) в качестве вектора qx. В первой колонке табл. 8.6 вместо ад помещены вычисленные на предыдущем этапе величины aji}. Далее столбец этих величин умножается на R. После вычисления всех элементов вектора Rqx все они делятся на максимальный элемент (для простоты опять обозначим элементы через ад). Вследствие того что различие между этими и старыми значениями ад составляет всего 0,0001, полученные результаты можно считать стабильными. Значение Rqx, соответствующее ац = 1,0000, и есть первый корень характеристического уравнения й1. Далее с помощью (8.14) подсчитываются "коэффициенты при первом факторе (последняя колонка табл. 8.6). Таблица 8.6. Вычисление коэффициентов при первом факторе Параметр / 1 2 3 4 5 6 7 8 1,0000 0,9893 0,9434 0,9618 0,8698 0,7423 0,6531 0,7214 Rqi 4,4556 4,4083 4,2038 4,2852 3,8757 3,3076 2,9099 3,2142 1,0000 0,9894 0,9435 0,9618 0,8698 0,7423 0,6531 0,7214 0,858 0,849 0,810 0,825 0,747 0,637 0,561 0,619 4 = 4,4556 2 а?! =6,0487 166
Для проверки окончательных значений сся воспользуемся соотношением V Иными словами, сумма вкладов первого фактора в суммарную общность должна быть равна первому характеристическому корню. Значение Я^ полученное в результате анализа, равно 4,4556, а сумма квадратов коэффициентов равна 4,455; следовательно, с точностью до ошибок округления результаты проверки можно считать удовлетворительными. 4. Остатки после учета первого фактора. Для того, чтобы перейти к вычислению первых остатков, необходимо предварительно подготовить матрицу произведений коэффициентов первого фактора (табл. 8.7; ввиду симметричности матрицы элементы выше диагонали опущены). Таблица 8,7 1 2 1 2 3 4 5 6 7 0,736 0,728 0,695 0,708 0,641 0,547 0,481 0,531 0,721 0,688 0,700 0,634 0,541 0,476 0,526 Матрица произведений: Ri= 3 4 5 6 7 0,656 0,668 0,605 0,516 0,454 0,501 0,681 0,616 0,526 0,463 0,511 0,558 0,476 0,419 0,462 0,405 0,357 0,394 0,315 0,347 0,383 5,067 5,014 4,783 4,873 4,411 3,763 3,312 3,655 5,057 5,014 4,784 4,872 4,412 3,762 3,313 3,656 Для проверки правильности вычислений матрицы Rx подсчитаем суммы элементов по строкам (считая матрицу полной) и сравним их с соответствующими значениями а^Въ где 0i= 2 Для нашего примера сумма коэффициентов первого фактора равна Dx = 5,906. В двух последних столбцах табл. 8.7 записаны значения СуММ Ец И КОНТРОЛЬНЫХ СуММ OftDj. Матрица Rx первых остаточных коэффициентов корреляции равна разности матриц R и Rx (табл. 8.8; для облегчения последующей обработки дана полная матрица). В предпоследней колонке табл. 8.8 даны суммы матрицы по строкам; они должны быть равны разностям соответствующих сумм матриц R и Rx, т. е. 167
Таблица 8.8. Матрица первых остаточных коэффициентов корреляции: 1 2 3 4 5 6 7 8 S/i о 0,118 0,118 0,110 0,151—0,168—0,149—0,180—0,149 0,118 0,176 0,193 0,126—0,258—0,215—0,199—0,111 0,110 0,193 0,177 0,133—0,225—0,197—0,217—0,156 0,151 0,126 0,133 0,102—0,180—0,197—0,136—0,146 -0,168-0,258-0,225-0,180 0,312 0,286 0,311 0,167 —0,149-0,215—0,197—0,197 0,286 0,281 0,226 0,183 —0,180-0,199—0,217—0,136 0,311 0,226 0,206 0,192 -0,149-0,111— 0,156— 0,146 0,167 0,183 0,192 0,196 —0,149—0,6082 —0,170—0,6939 —0,182—0,7429 —0,147—0,6000 0,245 1,0000 0,218 0,8898 0,203 0,8286 0,176 0,7184 5. Собственный вектор, соответствующий второму фактору. При вычислении коэффициентов второго фактора для получения наилучшего приближения необходимо подобрать подходящую степень матрицы Rx. Самое операцию возведения в степень можно не выполнять: формула (8.41) позволяет выразить остаточную матрицу любой степени через исходную корреляционную матрицу и матрицу произведений коэффициентов в той же степени. Кроме того, если известны суммы элементов строк, то при определении приближенных значений коэффициентов можно обойтись без элементов матрицы Rx2 или любой другой степени Rx; это дает возможность упростить процесс вычислений. Можно считать, что 5/2) и Еп относятся к матрицам R2 и Rx соответственно. Тогда, согласно (8.41), так что сумма S]V элементов строки / матрицы Rx2 может быть получена помимо вычисления элементов матрицы Rx2. В сводной табл. 8.9 собрана информация о всех этапах вычисления приближенных значений коэффициентов (степень матрицы Rx обозначена верхним.индексом при aj2). Значения Sj и Ел (первые две колонки) взяты из табл. 8.2 и 8.7, их разности S7l помещены в третью колонку. Разделив значения S71 на наибольшее из них (по абсолютному значению), т. е. на 2,45, получаем элементы 0,$ собственного вектора. Поскольку при работе используются три значащие цифры и для обеспечения заданной точности достаточно одного дополнительного знака, в значениях SJ2), взятых из табл. 8.3 (пятая колонка табл. 8.9), оставлено только два десятичных знака. Значение Хх = 4,4556, необходимое при вычислении кгЕп, взято из табл. 8.6. Далее простым вычитанием получены суммы S)V и подсчитаны соответствующие значения a)V. Эти значения верны с точностью до первого десятичного знака, и с этой точностью они совпадают с aj^. Если попытаться продолжить вычисления, то соответствующие значения S\4) и XxsEn будут равны с точностью до трех знаков.4 Так, например, S\4) = 448 и V^u = 448- Следовательно, суммы Sft не нужны и а)^ можно не вычислять. Это означает, что набор aj|) является наилучшим приближением собственного вектора для вычисления О/2. 168
Таблица 8.9. Собственный вектор при вычислении коэффициентов при Р2 Параметр 1 2 3 4 5 6 7 8 4,918 4,844 4,601 4,726 4,656 3,981 3,515 3,831 Еп 5,067 5,014 4,783 4,873 4,411 3,763 3,312 3,655 —0,149 -0,170 —0,182 —0,147 0,245 0,218 0,203 0,176 —0,608 —0,694 —0,743 —0,600 1,000 0,890 0,829 0,718 sj») 22,37 22,07 21,04 21,50 20,02 17,10 15,07 16,54 22,58 22,34 21,31 21,71 19,65 16,77 14,76 16,29 оB) —0,21 -0,27 —0,27 —0,21 0,37 0,33 0,31 0,25 -0,57 -0,73 —0,73 -0,57 1,00 0,89 0,84 0,68 В табл. 8.10 для получения первой колонки R^ в качестве приближения собственного вектора aj2f умножаемого на матрицу Rlf взяты числа a)V. Затем, разделив полученные значения на большее из них A,492), получили следующее приближение элементов собственного вектора (для простоты они также обозначены через а/2). Новое умножение на Rx и деление на максимальное из полученных значений дает следующее приближение собственного вектора. Процесс продолжается вплоть до совпадения на двух последующих итерациях элементов собственного вектора с точностью до трех значащих цифр. Если в факторных коэффициентах нужны три значащие цифры, то при вычислениях достаточно иметь четыре знака. В нашем примере для получения устойчивого собственного вектора достаточно трех итераций. Та Параметр 1 2 3 4 5 6 7 8 блица - —0,57 —0,73 -0,73 —0,57 1,00 0,89 0,84 0,68 8.10. ... —0,865 —1,100 -1,097 —0,902 1,492 1,348 1,300 0,987 Вычисление коэффициентов •- -0,580 —0,737 —0,735 —0,605 1,000 0,903 0,871 0,662 —0,8856 —1,1152 —1,1118 -0,9129 1,5136 1,3666 1,3144 1,0005 а/2 —0,5851 -0,7368 -0,7345 —0,6031 1,0000 0,9029 0,8684 0,6610 при факторе F2 —0,8852 — 1,1148 — 1,1112 —0,9129 1,5129 0,3660 0,3142 0,0001 а/2 —0,5851 —0,7369 —0,7345 -0,6034 1,0000 1,9029 1,8687 1,6610 :# II —0,328 —0,414 -0,412 —0,339 0,561 0,50? 0,48в 0,371 Я2 = 1,5129, -4,8027 =0,56126 6. Коэффициенты при втором факторе. После того как найден устойчивый, т. е. удовлетворяющий уравнению (8.32) (но для второго фактора), собственный вектор, можно вычислить сами коэффициенты при втором факторе. Значение характеристического корня Я2, соответст- 169
вующего а52 = 1,0000, равно 1,5129; теперь по формуле (8.14) можно подсчитать коэффициенты при втором факторе (последняя колонка табл. 8.10). Правильность вычисления коэффициентов aj2 проверяется с помощью формулы В примере сумма квадратов восьми коэффициентов равна 1,511 и с точностью до ошибок округления совпадает с К2 = 1,5129. 7. Адекватность решения. Чтобы получить дополнительные факторы,-следует вычислить матрицу остаточных коэффициентов корреляции при условии исключения всех предшествующих факторов; затем, следуя пп. 4, 5 и 6, нужно найти собственные векторы для новых факторных коэффициентов. В данном примере нет необходимости в новых факторах. В табл. 8.11 приведена матрица вторых остатков (получается при вычитании произведений aj2ak2 из соответствующих первых остатков ^ь табл. 8.8). Как видно, эти остатки достаточно малы, так что их можно считать финальными. Таблица 8.11. Матрица вторых остаточных коэффициентов корреляции: R2 1 2 3 4 5 6 7 8 1 ~~ 0,010 —0,018 —0,025 0,040 0,016 0,017 —0,020 —0,027 2 0,005 0,022 —0,014 —0,026 —0,005 0,003 0,043 3 0,007 —0,007 0,006 0,012 —0,016 -0,003 4 —0,013 0,010 —0,025 0,029 —0,020 —0 0 0 —0 5 ,003 ,002 ,037 ,041 0 —0 —0 6 — ,024 ,021 ,005 7 8 — — — —0,032 — 0,011 0,058 Задачей факторного анализа является учет суммарной общности; поэтому следует особенно тщательно проверить, в какой мере сумма вкладов факторов совпадает с исходной суммарной общностью. В нашем примере два общих фактора учитывают практически 100% суммарной общности. В табл. 8.12 представлены вклады отдельных факторов и полное факторное отображение. 8. Интерпретация главных факторов. Коэффициенты при первом факторе (табл. 8.12) положительны и достаточно велики, что указывает на особую важность генерального фактора (фактора роста G) среди прочих факторов. С другой стороны, второй фактор имеет на двух подгруппах параметров нагрузки с разными знаками. Исходя из природы этих параметров, этот биполярный фактор можно назвать «полнотой». Конечно, при желании можно знаки при всех коэффициентах этого фактора изменить на противоположные; тогда фактор может быть понят как «стройность». Независимо от того как назван биполярный фактор, бросается в глаза противоположность его характеристик по двум группам парамет- 170
i 1. 2. 3. 4. 5. 6. 7. 8. Таблица 8.12. Параметр / Рост Размах рук Длина предплечья Длина ноги Вес | Окружность бедер Окружность груди Ширина груди ИТОГО Вклад факторов (УР) Процент от суммарной исходной общности Факторное параметров отображение для восьми Коэффициенты факторного ражения * 0 0 0 0 0 0 0 0 4 G ,858 ,849 ,810 ,825 ,747 ,637 ,561 ,619 — ,455 74,0 ВТ —0 —0 —0 —0 0 0 0 0 1, 25 ,328 ,414 ,412 ,339 ,561 ,507 ,488 ,371 511 ,1 0 0 0 0 0 0 0 0 отоб- и1 ,395 ,328 ,417 ,452 ,357 ,581 ,669 ,692 — — — (О 0 0 0 0 0 0 0 0 6 исходная ,854 ,897 ,833 ,783 ,870 ,687 ,521 ,579 ,024 — — морфол огических Общность B) вычисленная 0 0 0 0 0 0 0 0 5 ,844 ,892 ,826 ,796 ,873 ,663 ,553 ,521 ,968 — 99,1 (D- 0 0 0 —0 —0 0 —0 0 0 0 -B) ,010 ,005 ,007 ,013 ,003 ,024 ,032 ,058 ,054 ,9 1 Надежность любого из этих параметров близка к единице, поэтому характерный фактор в каждом случае можно считать специфическим. Индекс полноты факторизации B.21) для каждого параметра приблизительно равен его вычисленной общности, умноженной на^100. ров. Было бы желательно найти более объемлющий термин, отражающий обе стороны фактора. Например, биполярный фактор с названием «тепло» (или «холод») имеет противоположную характеристику «холод» («тепло»). Название «температура» представляет обе эти qj . стороны. Схематично оба эти у А подхода показаны на рис. 8.1. \\ п ?в Поскольку термины «полно- ^ та» и «стройность» являются не / совсем противоположными (как . в части (а) рис. 8.1), ни один из них, по-видимому, не подходит 1 в качестве названия для бипо- ( лярного фактора. В результате поиска названия, которое перекрывало бы специфику обеих fi) ^ 1 . Холод Тепло OJ 0J 0J 0А 0,5 0,6 0/ 0,8 Температура 8.1. Интерпретация биполярного фактора. 4 ' з"г 8.2. Представление восьми морфологических параметров в пространстве главных факторов. 171
групп параметров, был принят термин «тип телосложения»1. Параметры, характеризующие разные типы телосложения, дают на этот фактор проекции противоположных знаков. На рис. 8.2 представлены все восемь параметров в плоскости двух главных факторов; значения координат взяты из табл. 8.12. Обе поД- группы параметров лежат в первом и четвертом квадрантах. Поэтому проекции всех точек образуют единую группу на положительной стороне оси G. В то же время по своим проекциям на ось ВТ обе подгрупйы сильно разнесены. Анализ этих проекций позволяет дать геометрическую интерпретацию генерального и биполярного факторов. 8.6. Программирование метода для ЭВМ Одна из основных трудностей, стоящих на пути практического применения метода главных факторов, состоит в громадном объеме требуемых вычислительных работ. Это более или менее справедливо и для всех остальных методов, но особенно ясно эта трудность выявлена в методе главных факторов. С другой стороны, как явствует из предыдущего изложения, методу главных факторов присущи математическая строгость и некая элегантность—достоинства, которых были лишены более ранние методы. Уже только по этой причине метод предпочтителен при факторизации корреляционных матриц, несмотря даже на то что получаемые биполярные факторы могут оказаться неприемлемыми с точки зрения психологов. Психологи обычно предпочитают брать некоторое произвольное решение и вращать его до получения психологически осмысленной системы факторов (см. часть III). Тэр- стоун, глава и проповедник этой идеологии, писал [477]: «Несомненно, все исследователи перейдут к методу главных осей, если его можно будет реализовать с меньшими трудовыми затратами, и будут решать задачу вращения, начиная с матрицы главных факторов». Задача на восемь параметров достаточно легко решается с помощью метода из 8.5 (в сумме на это нужно около десяти часов вычислений вручную). Совершенно иначе будет обстоять дело в случае примера на 24 параметра из 7.6. Найти здесь вручную систему главных факторов практически невозможно: только для вычисления весов при первом факторе понадобилось бы более 70 часов [243]. Нахождение каждого последующего фактора оценивается примерно в 40 часов. В 1941 г. К. Холзингер и Г. Харман [243] предложили отложить непосредственное применение метода главных факторов до появления подходящих вычислительных машин. Это время пришло: метод стал реализуем даже для очень больших корреляционных матриц. Это оказалось возможным благодаря быстрому развитию и росту мощностей быстродействующих электронных цифровых вычислительных машин. Несмотря на большую стоимость ЭВМ, большинство университетов, правительство и исследовательские центры приобретают их и предоставляют, зачастую бесплатно, заинте- 1 Сокращенно ВТ — «Body type». — Прим. перев. 172
ресованным лицам. Сегодня метод главных факторов можно с полным правом считать наиболее предпочтительным из методов, поскольку он позволяет осуществлять эффективное «сжатие» корреляционной матрицы и, следовательно, дает основу для последующего вращения ц любому другому виду решения. 7 i 1 Запомнить \начало I >- *J(*jbnJ*{ 8.3. Блок-схема машинной программы для метода главных факторов. Вычислительная процедура, изложенная в 8.4, пригодна- для работы с настольным арифмометром, но не^совсем удобна для реализации на 3BJVL В этой процедуре собственные значения и соответствующие им собственные векторы получались последовательно; при работе с ЭВМ более естественно все собственные значения и собственные векторы получать одновременно. Теория, изложенная в 8.3, относится к классической математической проблеме — определению собственных значений и соответствующих собственных векторов редуцированной матрицы R. Для фактор- 173
ного анализа также весьма важны методы решения систем~линейных уравнений, а также связанные с этим методы обращения матриц и разрешения характеристических уравнений. В работе «Реализация математических методов на ЭВМ» [200] нет специальной главы о факторном анализе, но часть II настоящей книги, относящаяся к матрицам и ли-,1 нейным уравнениям, имеет непосредственное отношение к факторному анализу. Вычислительно-прикладной вариант работы С. Якоби [278]| выполненной более 100 лет назад, оказался весьма эффективным для программирования метода главных факторов на современных ЭВМ1 Первые программы такого рода были написаны для [ машин ORDVAC [539], Johnniac [161] и IBM 704 [418]. Впоследствии этиЪро- граммы повсеместно применялись для машин более поздних выпусков. Предметом множества статей явилось увеличение скорости и точности сходимости итеративного процесса (см., например, [427, 428, 516, 521]); несомненно, поток подобных публикаций будет продолжаться. Цель настоящего параграфа — рассказать о главных вопросах, возникающих при составлении машинной программы. Суть модифицированного метода Якоби состоит в диагонализации матрицы R с помощью серии ортогональных ее преобразований; при этом на каждом шаге один недиагональный элемент матрицы обращается в нуль. Каждое ортогональное преобразование имеет вид BB/ где '1 COS07- -sin8M sin07- COS0* (8.41) 1 (на пересечении строк и столбцов / и k стоят показанные в (8.41) элементы, остальные диагональные элементы равны единице, а внедиа- гональные — нулю). Угол вращения Bjh находится из условия, чтобы элемент rih обращался в нуль, и определяется так: h*,-hl (8.42) 174
Если некоторый элемент обратился в нуль, то это не означает, вообще говоря, что он останется нулем в процессе последующих преобразований. Однако сумма квадратов внедиагональных элементов уменьшается на каждом шаге на величину, соответствующую 2rJk2; таким образом, метод Якоби гарантирует, что при достаточном числе итераций внедиагональные элементы матрицы R сойдутся к нулю (с заданной точностью). В процессе перехода от исходной матрицы R к диагональной матрице D внедиагональные элементы постоянно пересматриваются. При преобразовании (8.41) исходные коэффициенты корреляции изменяются; поэтому удобно обозначить внедиагональные элементы через dJk, ц промежуточные матрицы — через D с соответствующим индексом внизу. Тогда для некоторого шага, на котором очередное преобразование обращает внедиагональный элемент djk в нуль, можно записать: vD = B/Mv-i)DB;*i (8.43) где номер преобразования определяется таким образом: (8.44) здесь / = 1, 2, ..., п — 1 nk = j + 1, / + 2, ..., п, т. е. имеем п(п — 1)/2 возможных пар (/, k). Обозначим произведение v отдельных преобразований через VB = B^...B13B12, (8.45) где v определяется из (8.44). Произведение преобразований для всех j и k(k > /) назовем итерацией. После того как кончается одна итерация, производится следующая и т. д. Таким образом, матрица преобразования при одной i-й итерации равна: = 1, 2,..., п) (i = h 2 |х). (8.46) Результат применения 1-й итерации можно записать так: D^B^D^B/ (i = l, 2,..., |i). (8.47) Если определить произведение (в указанном порядке) матриц преобразований к моменту i-й итерации через Pt = BfB^i...BaB1# (8.48) то можно выразить (8.47) через исходную матрицу R: D, = P,RP/. (8.49) После некоторого числа ^итераций \х получим решение задачи в виде Оц = Вд D^_! В' = BRB' = D = (8pq Яр), (8.50) где B = P^ = B|iB^i...B2B1. (8.51) 175
Диагональные элементы Хр матрицы D есть собственные значения матрицы R, а строки матрицы последнего преобразования В являются соответствующими собственными векторами матрицы R. Этот вектор-строка есть транспозиция определенного в 8.3 вектор-столбца. Вследствие ортогональности каждой отдельно^ матрицы преобразования (а значит, и ортогональности произведений таких матриц) результирующая финальная матрица В также ортого} нальна и, следовательно, собственные векторы нормализованы. Таким образом, вектор коэффициентов каждого фактора Fp получается прог стым умножением квадратного корня из собственного значения нЬ соответствующий собственный вектор, т. е. p (8.52) Эта формула аналогична формуле (8.14), где первый произвольный собственный вектор нормализуется и пересчитывается в факторные веса. При равенстве ранга т матрицы R ее порядку п матрица имеет п действительных неотрицательных собственных значений и для нее можно получить коэффициенты по п общим факторам. В случае же положительной полуопределенности матрицы R и т <Г n матрица имеет (п — т) нулевых собственных значений и только т общих факторов с ненулевыми коэффициентами. Если редуцированная корреляционная матрица не является матрицей Грама, то некоторые из собственных значений окажутся отрицательными и соответствующие факторы будут иметь мнимые коэффициенты. На рис. 8.3 представлена блок-схема программы, реализующей изложенную выше процедуру для мощной ЭВМ. Рассмотрим детально порядок выполнения отдельных блоков этой программы. 1. В память строка за строкой записываются n* ^ ' элементов редуцированной матрицы R (каждая строка начинается с диагонального элемента). Запоминаются также след T(R), порядок матрицы я, и максимальное число итераций |х—может понадобиться> чтобы машина остановилась после заданного числа итераций независимо от результата. В качестве исходной матрицы 0D заносится матрица R. 2. В массив VB заносится единичная матрица как начальная матрица 0В. В счетчик / заносится 1, а в счетчик k заносится 2. 3. Проверяется, не равен ли нулю (с заданной степенью точности гг) элемент djk матрицы VD (вначале это rjk из R). Если djk равен нулю с точностью до &!, то перейти к шагу 7, иначе — к шагу 4. 4. По формуле (8.41) вычисляется Bjk; при этом используются соотношения (8.42) и известные тригонометрические тождества, позволяющие получить значения'синуса и косинуса угла поворота (берутся только алгебраические функции аргумента). 5. По (8.43) вычисляется VD; вспомним, что 0D = R. 176
6. По формуле (8.45), эквивалентной соотношению VB = B7-fe(V—i)B, подсчитывается VB; вспомним, что 0В = I. 7. Если k = я, то, следовательно, при данном номере строки / все столбцы уже просмотрены; перейти к шагу 9. В противном случае перейти к шагу 8. 8. Значение индекса k увеличивается на 1; перейти к следующему преобразованию данной итерации. 9. Если / меньше (п — 1), перейти к шагу 10. При достижении / значения (п — 1) i-я итерация усложняется, а именно в качестве В$ в формуле (8.46) берется последняя вычисленная матрица VB (когда уже рассмотрены все возможные комбинации / и k в этой итерации); в результате итерации получается матрица D^. Перейти к шагу 11. 10. Значение / увеличивается на единицу, а значение k полагается на единицу большим значения ;. Перейти к следующей группе преобразований итерации / относительно элементов новой строки. 11. Для проверки предшествующих вычислений определяется след матрицы EV, согласно свойству он не должен отличаться от исходного значения. Если результаты проверки удовлетворительны, перейти к шагу 13, в противном случае перейти к шагу 12. 12. Условная остановка. Величина допустимой ошибки е2 определяется исследователем. Инструкция оператору машины должна включать возможные действия в случае такой остановки. Можно, например, выпечатать значения определенных ячеек памяти; при желании исследователь может попросить продолжить процесс, после того как зафиксирован факт остановки. 13. Подсчитываются D^Pj и Р^ R; матрица Рг вычисляется согласно (8.48) по всем матрицам преобразований вплоть до итерации и 14. Производится вторая проверка: обе части формулы (8.49) умножаются справа на матрицу Рх; отметим, что вследствие ортогональности этой матрицы Р/Р^ = I. Если каждый элемент D*P$ в пределах точности 83 совпадает с соответствующим элементом P^R, то перейти к шагу 16. В противном случае перейти к шагу 15. 15. Условная остановка (см. шаг 12). 16. В результате каждой полной итерации матрицы Dt и Р* изменяются и запоминаются. 17. Подсчет числа (с) внедиагональных элементов djkf равных ну лю с точностью е2. 18. Если все внедиагональные элементы не равны нулю с точностью г1у перейти к шагу 19. В противном случае, т. е. если процесс сой дется, перейти к шагу 20. 19. Если число итераций / не достигло максимального значения (л, перейти к шагу 2 и начать следующую итерацию. В противном случае перейти к шагу 20. 177
20. Ввиду того что собственные векторы располагаются в матрице В по строкам, а коэффициенты соответствующих факторов стоят обычно в матрице А по столбцам, то проводится преобразование (8.52) для всех общих факторов в виде 8.7. Примеры Для демонстрации действенности метода главных факторов (при наличии ЭВМ) рассмотрим несколько примеров. 1. Пять социально-экономических параметров. Следует отметить, что результаты компонентного анализа табл. 8.1 были получены на сравнительно медленной машине Philco 2000 (расчет шел несколько секунд). Если вместо единиц на главной диагонали в качестве оценок общностей1 взять значения КМК, то получаются следующие собственные значения: 2,73429 1,71607 0,03955 —0,02452 —0,07261 (в табл. 8.13 представлены два фактора решения). Дисперсия, учитываемая этими двумя факторами D,450), меньше той же дисперсии двух первых главных компонент D,670); это становится понятным, если вспомнить, что КМК представляет собой нижнюю границу оценки общности (см. 5.7). Более важен, конечно, тот факт, что решение табл. 8.13 получено исходя из другой модели, чем решение табл. 8.1; следовательно, даже в случае совпадения первых двух главных компонент в этих двух решениях они тем не менее не будут эквивалентны. Модели B.8) и B.9) приводят к фундаментальным различиям на стадии определения значений компонент и факторов (см. гл. 16). Будем оценивать значения общностей по тем главным компонентам, чьи собственные значения превышают единицу. Из* табл. 8.1 видно, что таковыми являются только первые две компоненты. Вычисленные по этим компонентам «общности» для пяти параметров равны: 0,98783 0,88515 0,97930 0,88023 0,93746. Подставленные в главную диагональ корреляционной матрицы, эти значения приводят при факторизации к следующим собственным значениям: 2,79652 1,75496 0,10642 0,02094 —0,00888, и тогда в терминах двух факторов получается решение, учитывающее несколько больше суммарной дисперсии, чем показано в табл. 8.13. На основании этого решения итеративно было получено другое: вычисленные общности используются как начальные, далее они заменяются i 1 В большинстве программ, реализующих метод главных факторов, имеется возможность помещать на главной диагонали любые нужные величины, в частности значения КМК; обычно эти величины вычисляются на предварительном этапе анализа. 178
Таблица 8.13. Главные факторы для пяти социально-экономических параметров (в качестве оценок общностей взяты значения КМК) Параметр 1. Население 2. Образование 3. Занятость 4. Профессиональная занятость 5. Стоимость жилища Вклад фактора (Vp) Процент исходной общности Общие факторы * Pi 0,62533 0,71417 0,71414 0,87979 0,74107 2,73429 62,2 Р* 0,76621 —0,55535 0,67949 —0,15879 —0,57764 1,71607 39,1 ч Общность A) исходная 0,96859 0,82227 0,96918 0,78572 0,84701 4,39277 B) вычисленная 0,97811 0,81845 0,97170 0,79924 0,88285 4,45035 101,3 A)-B) —0,00952 0,00382 —0,00252 —0,01352 —0,03584 —0,05758 — 1,3 1 В табл. 8.1 и 8.13 для обозначения главных факторов и компонент используются од~ ни и те же символы; из текста ясно, о чем идет речь в каждом случае. общностями, вычисленными по первым двум факторам, и процесс повторяется вплоть до совпадения результатов на последующих шагах с точностью до трех знаков. Было проведено 14 итераций, в результате чего получены общности: 1,00000 0,76687 0,95562 0,79837 0,97142. Система главных факторов с этими общностями представлена в табл. 8.14. Таблица 8.14. Другой вариант системы главных факторов для пяти социально-экономических параметров (в качестве оценок общностей—результаты итеративной факторизации) Параметр] 1. Население 2. Образование 3. Занятость 4. Профессиональная занятость 5. Стоимость жилища Вклад фактора (Vp) Процент общности Главные факторы * Рх 0,622 0,702 0,701 0,882 0,779 2,756 61,3 Р* 0,785 —0,524 0,681 —0,145 —0,604 1,740 38,7 Общность 1,000 0,767 0,956 0,798 0,971 4,492 1 См. сноску к табл. 8.13. Хотя между результатами табл. 8.13 и 8.14 имеется значительное сходство, видны, однако, и некоторые различия, вызванные разным выбором общностей. Эти различия, относительно большие в малых за- 179
дачах, уменьшаются с ростом числа параметров; эффект от влияния п диагональных элементов (при общем числе элементов, участвующих в вычислениях, я2) падает с ростом п. Прежде чем оставить этот пример, отметим, что- процедура, примененная для получения результатов табл. 8.14, понадобится нам в методе минимальных остатков (гл. 9). В частности, выяснится, что решение табл. 8.14 весьма схоже с решением метода минимальных остатков табл. 9.2. 2. Исследование восьми эмоций. Рассмотрим психологический пример на материале восьми параметров, исследованных Бартом много лет назад. Изучая вопросы факторизации эмоций [55], Барт, хотя и указал на биполярный характер искомых факторов, фактически системы факторов не получил. В табл. 8.15 представлена матрица коэффициентов корреляции параметров, включая значения общностей, вычисленные на основании бифакторного решения. Анализ главных факторов показал, что вся общность учитывается двумя общими факторами (факторное отображение см. в табл. 8.16). Таблица 8.15. Матрица коэффициентов корреляции для 8 параметров (выборка из 172 детей в возрасте от 9 до 12 лет) Параметр 1. Жажда общения 2. Грусть 3. Нежность 4. Радость 5. Удивление 6. Отвращение 7. Гнев 8. Страх 1 0,94 0,83 0,81 0,80 0,71 0,54 0,53 0,24 2 _ 0,94 0,87 0,62 0,59 0,58 0,44 0,45 3 — 0,89 0,63 0,37 0,30 0,12 0,33 4 _ — — 0,50 0,49 0,30 0,28 0,29 5 — — 0,57 0,34 0,55 0,19 6 — — 0,28 0,38 0,21 7 _ — — — 0,63 0,10 8 _ — — — 0,12 Таблица 8.16. Факторное отображение системы главных факторов для восьми параметров Параметр 1. Жажда общения 2. Грусть 3. Нежность 4. Радость 5. Удивление 6. Отвращение 7. Гнев 8. Страх ИТОГО Вклад фактора (Vp) Процент суммарной исходной общности Общие с 0,98 0,95 0,81 0,72 0,68 0,53 0,52 0,35 — 4,17 85,6 эакторы Рг 0,06 —0,14 —0,51 —0,10 0,32 0,14 0,60 —0,14 — 0,79 16,2 Общность A) исходная 0,94 0,94 0,89 0,50 0,57 0,28 0,63 0,12 4,87 — — B) вычисленная 0,96 0,92 0,92 0,53 0,56 0,30 0,63 0,14 4,96 — 101,8 A) B) —0,02 0,02 —0,03 —0,03 0,01 —0,02 0,00 —0,02 —0,09 — — 1,8 180
Несмотря на недостаточную представительность эмоций в наборе, первый фактор можно назвать «общей эмоциональностью» (Pi). Наименование для второго фактора ищется исходя из значений его коэффициентов. Грубо стандартную ошибку факторного коэффициента можно оценить с помощью табл. Б приложения. Так, при N = 172 и среднем коэффициенте корреляции г = 0,48 стандартная ошибка равна 0,064 и любой коэффициент, превышающий 0,20, может рассматриваться как значимый. Значимые коэффициенты по второму фактору имеют параметры: гнев — @,60), удивление — @,32) и нежность — (—0,51). Так как гнев и удивление указывают на некоторую эгоцентричность чличности, а нежность — на некоторую неуверенность, то фактор, отражающий эти два противоположных качества, может быть~ назван «эгоцентричностью» (Р2). Барт отнес страх и грусть в один класс с нежностью; в настоящем анализе эти три характеристики имеют одинаковый знак у коэффициентов при втором факторе. Это обстоятельство может помочь при интерпретации второго фактора. Следует отметить, что данный материал просчитывался и со значениями КМК, взятыми в качестве оценок общностей. Здесь, однако, встретились некоторые трудное^. Самый эффективный способ получения квадрата множественной корреляции включает, согласно E.38), вычисление матрицы, обратной к корреляционной (с единицами на главной диагонали). Несмотря на то что эта матрица есть матрица Грама (см. 3.2, п. 15), значение ее детерминанта, подсчитанное на ЭВМ, оказывается равным 0,00062, т. е. так мало отличается от нуля, что обратная матрица практически не существует. Когда в нашем примере была подсчитана «обратная» матрица, то большинство ее диагональных членов оказались отрицательными, а соответствующие КМК — большими единицы. Другой возможный путь состоит в том, что для полной корреляционной матрицы предполагается ранг, меньший восьми, что означает коллинеарность параметров. 3. Анализ восьми политических параметров. Чтобы проиллюстрировать применимость метода главных факторов к различным областям, рассмотрим набор параметров из сферы политики. Получаемые здесь факторы, включая и первый, имеют биполярную природу. Данные восемь параметров есть часть набора из 17 параметров, исследованных Г. Госнеллом и М. Шмидт [162]. Этот уменьшенный набор включает параметры, наиболее близкие к найденным Госнеллом факторам. Ниже дается краткое описание этих параметров (статистика собиралась на 147 выборных участках Чикаго). 1. Льюис: суммарный процент голосов членов демократической и республиканской партий, поданных за Льюиса. 2. Рузвельт: то же за Рузвельта. 3. Голосование за партию: процент голосов, поданных за свою партию. 4. Средний доход: средний доход (в долларах). 5. Домовладельцы: процент семей, имеющих собственные дома. 6. Безработица: процент не занятых на производстве рабочих со стажем от десяти лет и выше (по состоянию на 1921 г.). 181
7. Подвижность: процент семей, живущих по последнему местожительству менее года. 8. Образование: процент населения A8 лет и старше) с образованием выше школы-десятилетки. В табл. 8.17 представлены матрица коэффициентов корреляции и значения общностей перечисленных параметров (общности вычислялись методом 5.4). Таблица 8.17. Матрица коэффициентов корреляции для восьми пол итиче- ских параметров (подсчитана по 147 выборным участкам) Параметр 1. Льюис 2. Рузвельт 3. Голосование за партию 4. Средний доход 5. Домовладельцы 6. Безработица 7. Подвижность 8. Образование 1 0,52 0,84 0,62 —0,53 0,03 0,57 —0,33 —0,63 2 1,00 0,84 —0,68 —0,05 0,76 —0,35 —0,73 3 — 0,78 —0,76 0,08 0,81 —0,51 —0,81 4 0, —о, —о, о, о, 82 25 80 62 88 5 — — — 0, 0, -о, —о, 36 25 72 36 б — — — — 0, —о, —о, 80 58 84 7 — — — — — 0,63 0,68 8 — — — — — — 0,97 В отличие от предыдущего, в настоящем примере некоторые из параметров имеют по первому фактору большие отрицательные коэффициенты (факторное отображение главных факторов дано в табл. 8.18). Название для первого фактора, имеющего биполярную при- Таблица 8.18. Факторное решение для восьми политических параметров г Параметр / 1. Льюис 2. Рузвельт 3. Голосование за партию 4. Средний доход 5. Домовладельцы 6. Безработица j 7. Подвижность 8. Образование ИТОГО Вклад фак тора (Vp) Процент суммарной исходной общности Общие факторы тд 0,69 0,88 0,87 —0,88 0,28 0,89 —0,66 —0,96 — 5,01 85,2 Д -0,28 —0,48 —0,17 —0,09 0,65 0,01 —0,56 —0,15 — 1,10 18,8 Общность A) исходная 0,52 1,00 0,78 0,82 0,36 0,80 0,63 0,97 5,88 — B) вы- численная 0,55 1,00 0,79 0,78 0,50 0,79 0,75 0,94 6,10 103,7 О)-B> —0,03 0,00 —0,01 0,04 —0,14 0,01 —0,12 0,03 —0,22 -3,7 1 Если в качестве оценок общностей взять КМК, то получаемые при этом два фактора дают соответственно вклады 5,01 и 1,28. 182
роду, можно найти, если рассмотреть две подгруппы параметров A, 2, 3) и D, 7, 8). Можно сказать, что параметры первой подгруппы измеряют степень «традиционной демократичности» (ТД), которая и дает название первому фактору. Параметры второй подгруппы дают социологическую характеристику выборных участков и по своей природе противоположны фактору «традиционной демократичности». С такой интерпретацией согласуется высокий вес по первому фактору у параметра 6; безработица обычно связана с «традиционной демократичностью». Большие веса по второму фактору имеют параметры 5 и 7 (их веса равны соответственно +0,65 и —0,56). Оба эти параметра характеризуют аспекты одного и того же вопроса, поэтому второй фактор естественно назвать «Домовладение» (Д). Такое название подтверждается и отрицательными факторными весами первых^трех параметров. Разные параметры измеряют противоположные по знаку степени изменения второго фактора; этим и объясняется тот факт, что этот фактор (биполярный по своей природе) адекватно описывается одним названием. 4. Двадцать четыре психологических теста. В заключение рассмотрим пример сложной задачи. Сегодня задача такой размерности является обычной, но в 1940 г. потребовалось около 100 часов счета вручную только на вычисление первых двух факторов. Поэтому можно считать большим достижением то, что в 1952 г. полная факторизация материала выполнялась на машине ORDVAC в Абердине за 40 минут, а в 1958 г. на машине IBM 704 — примерно за8минут. В 1965 г. это время сократилось до 2 минут (IBM 7094), а позднее стало занимать менее минуты (большие машины IBM System 360, CD 6600, GE 625). В табл. 8.19 представлены значения корней характеристического уравнения, подсчитанные по корреляционной матрице табл. 7.4. Данные табл. 8.19 ясно демонстрируют свойство действительности корней характеристического уравнения подобного типа; ввиду положительной полуопределенности матрицы R все корни неотрицательны. В действительности были вычислены все 24 собственных вектора, но для Таблица 8.19. Вклады (собственные значения) 24 главных компонент в примере с 24 психологическими параметрами Порядок I Собственное значение Порядок Собственное значение 1 2 3 4 5 6 7 8 9 10 11 12 8,135 2,096 1,693 1,502 1,025 0,943 0,901 0,816 0,790 0,707 0,639 0,543 13 14 15 16 17 18 19 20 21 22 23 24 0,533 0,509 0,477 0,390 0,382 0,340 0,334 0,316 0,297 0,268 0,190 0,172 183
экономии в табл. 8.20 даны только первые десять главных компонент. Кроме факторных весов в табл. 8.20 представлены вклады Vp факторов Рр (совпадающие с собственными значениями Хр) и их доля в процентах от суммарной дисперсии (равной 24). Таблица 8.20. Первые десять главных компонент для 24 психологических параметров Тест Рз 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 0,616 0,400 0,445 0,510 0,695 0,690 0,677 0,694 0,694 0,474 0,576 0,482 0,618 0,448 0,416 0,534 0,488 0,544 0,475 0,643 0,622 0,640 0,712 0,673 —0,425—0 0 0 0 0 -0,005 -0,079 -0,191 -0,178 -0,321 -0,418 -о, - -0,243 -0,451 0,542 0,434 0,549—0 0,279 0,093 0,142 0,091 0,276 0,386 0,138 -0,186 0,232 -0,146 -0,105 0,196 ,428 ,400 ,476 ,335 —0,335 —0,204—0,009 —0 -0,106—0,375 —0 —0,265 355 144 —0,291 —0,446 ),216 -0,053 0,081 —0,010 0,079 —0,008 —0,072—0,040 —0 —0,210 127 ,035 —0,055 ,078 392 052 198 122 132 ,116 0,080 -0,202 0,034 ,340 ,366 0,555 ),526 ),327 —0 -0 0 ,141 ,005 ,079 —0 —0 0 0 0,469—0 ,152 ,193 ,070 0,002 0,099 —0,075 0,156 0,306 0,171 ,255 ,104 0 О О —О О О О О —О —О О О О О —О О -О —О —О —0,604—0 100—0,202 ПО 150 233 0,056 —О -О ,103 ,062 О О —О О —О ,285 ,174 ,023 ,064 ,097 —О —О —О —О —О ,070 ,089 ,329 ,192 ,078 ,124 ,011 ,119 ,071 ,085 ,301 ,039 ,364 ,383 ,057 ,172 ,107 ,252—0 ,139 ,191 ,226 ,331 ,111 ,170 0,199 _0,506— О 0,083 0,461 0,123 0,001 0,081 0,158 0,009 0,013 0,043 0,158—0 0,130 0,084 0,126 0,081 0,248 ,019 0,341 0,026 0,161 0,045 0,081 0,228 0,220 ,024 0,356 0,142 0,028 0,129 0,009 0,172 0,117 0,080 0,320 ,301 0,175 0,126 0,072 0,128 0,214 О, 0,192 0,294 0,176 0,131 0,248 0,119 —0,232—О —0,003 —О -0,153 -0,263 -0,060 0,135 -О, -0,054 0,001 0,115 -0,124 0,079 -0,004 -0,132 -0,040 0,262 -0,304 О, -0,152 ),344 0,102 0,176 0,323 0,022 0,067 0,154 0,156 —0,256 0,021 —0,266 ,010 —0,129 —0,091 0,065 0,029 —0,099 0,062 0,159 0,104 0,056 0,208 ,212 0,137 —0,287 0,104 0,057 —0,000 0,368 0,300 —0,185 297—0 8,137 33,9 2,097 8,7 1,692 7,0 1,501 6,2 1,025 4,3 0,943 3,9 0,900 3,8 0,817 3,4 0,790 3,3 0,707 2,9 Из материала табл. 8.20 можно сделать общие выводы о свойствах системы главных факторов. Во-первых, вклад каждого из факторов в суммарную дисперсию (или суммарную общность, в зависимости от того, что анализируется) убывает с ростом номера фактора. Отсюда немедленно следует возможность грубой статистической оценки максимальной ошибки от преждевременной остановки процесса фактори» зации. Так, например, если вклад последнего из вычисленных факторов составляет 5% суммарной дисперсии, то это означает, что вклады ни одного из последующих факторов не будут превышать 5%. Понятно, что эта оценка влияния факторов делается на основании вычисленных заранее собственных значений; сами факторные веса при этом счи- 184
тать не нужно. Другой вывод, который можно сделать, состоит в том, что положительность (почти) всех коэффициентов корреляции исходной матрицы приводит к положительности нагрузок всех параметров по первому фактору. Все остальные факторы имеют примерно одинаковое число положительных и отрицательных коэффициентов. Иногда система главных факторов является конечной целью анализа; в других случаях она служит для дальнейшего преобразования в новую систему координат. Психологи обычно анализируют не суммарную дисперсию, а суммарную общность набора параметров. Взяв в качестве оценок общностей квадраты множественной корреляции (КМК), получим следующие собственные значения: 7,665 0,447 0,254 0,028 —0,104 -0,199 1,672 0.407 0,175 —0,014 —0,127 —0,235 1,208 0,319 0,109 —0,048 —0,940 —0,247 0,920 0,305 0,046 —0,066 —0,161 —0,269 из них тринадцать положительны и одиннадцать отрицательны. Последнее обстоятельство является естественным следствием того, что на диагонали вместо единиц стояли оценки общностей. Поскольку в выражение для факторных весов входит в качестве множителя корень квадратный из собственного значения, одиннадцать главных факторов оказываются мнимыми. С точки зрения интерпретации результатов это означает, что для описания суммарной общности 24 тестов требуется не более тринадцати факторов. Анализ в терминах тринадцати действительных факторов дает значение суммарной общности 13, 555 вместо значения исходной общности 11,943. Это становится ясным, если учесть тот математический факт, что вклады одиннадцати мнимых факторов отрицательны и компенсируют вклады действительных факторов, доводя сумму до исходного значения. Первые пять собственных значений учитывают почти всю суммарную исходную общность; следовательно, только эти факторы и имеют практическую ценность. Этот вывод согласуется с высказанным ранее критерием, что число оставляемых факторов должно равняться числу главных компонент, собственные значения которых превышают единицу (см. табл. 8.19). Естественно думать, что пять факторов представляют адекватную модель для описания взаимосвязей между 24 тестами. Неплохой результат получается и при четырех факторах, когда некоторая потеря в учтенной дисперсии компенсируется достигнутой простотой описания. В табл. 8.21 даны пять главных факторов. Это решение возможно интерпретировать в психологических терминах, но на практике его обычно преобразуют в новую систему координат, для которой характерны отсутствие биполярных факторов и более ясная выраженность факторов (см. гл. 14, 15). 185
Таблица 8.21. Система главных факторов для 24 психологических параметров (в качестве оценок общностей—значения КМК) Тест 1 2 3 4 5 6. 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 VP inn- Vp 100Х11,943 Общие факторы Pi 0,595 0,374 0,433 0,501 0,701 0,683 0,676 0,680 0,690 0,456 0,589 0,448 0,590 0,435 0,390 0,512 0,471 0,521 0,450 0,623 0,596 0,600 0,685 0,635 7,665 64,2 Рг —0,039 0,026 0,115 0,108 0,312 0,404 0,412 0,206 0,446 —0,469 —0,372 —0,491 -0,268 . —0,063 —0,102 —0,098 —0,212 —0,331 —0,115 0,135 —0,220 0,103 0,063 —0,169 1,672 14,0 Р* 0,369 0,270 0,396 0,290 —0,273 —0,213 —0,284 —0,088 —0,212 —0,446 -0,198 —0,154 0,018 —0,012 0,055 0,325 —0,036 0,118 0,110 0,142 0,076 0,138 0,160 —0,192 1,208 10,1 Р4 -0,184 -0,147 —0,112 —0,178 —0,050 0,067 —0,082 —0,115 0,076 —0,128 0,076 —0,263 —0,300 0,418 0,362 0,259 0,388 0,145 0,167 0,049 —0,140 0,053 —0,096 —0,009 0,920 7,7 —0,073 0,121 —0,276 0,044 0,003 —0,102 —0,046 -0,118 0,036 0,105 —0,185 0,044 —0,255 —0,057 0,101 0,006 —0,087 0,028 —0,178 0,252 0,204 0,142 0,154 0,079 0,447 3,7 Общность исходная 0,511 0,300 0,440 0,409 0,673 0,677 0,684 0,564 0,713 0,579 0,541 0,537 0,539 0,358 0,293 0,429 0,412 0,443 0,367 0,464 0,473 0,449 0,561 0,527 11,943 100,0 вычисленная 0,531 0,250' 0,446 0,380 0,666 0,690 0,716 0,540 0,727 0,654 0,565 0,537 0,575 0,371 0,307 0,444 0,426 0,417 0,287 0,492 0,471 0,413 0,532 0,475 11,912 99,7 8.8. Канонический вид решения Ниже описывается общая процедура получения в заданном факторном пространстве системы координат со свойствами, близкими к свойствам системы главных факторов. Как хорошо известно B.7), факторное решение, соответствующее данной корреляционной матрице, обычно представляет собой однозначно определенное пространство факторов, в котором однозначно не определен набор факторных нагрузок (за исключением метода главных факторов). Поэтому было бы желательно определить некоторую «каноническую» форму решения. Вращение к такой канонической системе не имеет ничего общего с пресловутой «проблемой вращения» (часть III этой книги), связанной с получением интерпретируемого решения. Вращение к каноническому виду есть способ приведения произвольного решения к некоторой математически фиксированной системе координат. Кроме всего прочего, это 186
оказывается полезным для вынесения суждения об эквивалентности двух решений; разные решения считаются эквивалентными, если, будучи приведены к каноническому виду, они совпадают. Принятая в книге каноническая форма (особенно это справедливо для гл. 9 и 10) обладает следующим свойством: каждый из последующих факторов учитывает максимально возможную долю дисперсии в пространстве общих факторов, определяемом исходным решением. (Не нужно смешивать обсуждаемую проблему с задачей нахождения пространства общих факторов, в котором каждый последующий фактор выделяет максимум суммарной дисперсии параметров, т. е. с задачей, поставленной в 2.3 и являющейся предметом этой главы.) Каноническую форму получают следующим образом: А — произвольная факторная матрица (п • т)\ В — каноническая факторная матрица (п • т)\ Т — матрица ортогонального преобразования (т • т); тогда В^АТ (8.53) и есть искомый вид решения и проблема состоит в нахождении матрицы Т. Умножим (8.53) слева на транспонированную матрицу В: В'В=Т'А'АТ. (8.54) Положив1 А = В'В и умножив это соотношение слева и справа соответственно на Т и Т', имеем ТАТ'=ТТ'А'АТТ' (8.55) и, поскольку из свойства ортогональности матрицы преобразования следует ТТ = I (см. 4.6), окончательно имеем ? А'А = ТАТ'# (8.56) Это выражение представляет собой специальный случай (8.21) диаго- нализации произвольной симметрической матрицы. Умножим (8.21) справа и слева соответственно на Q и Q': R = QAQ'. (8.57) Сходство с (8.56) очевидно. Итак, А есть диагональная матрица с собственными значениями на диагонали, а матрица ортогонального преобразования Т есть матрица соответствующих собственных векторов матрицы А'А. Следовательно, для получения матрицы преобразования, приводящего произвольную факторную матрицу А к каноническому виду В, достаточно вычислить набор собственных векторов т • т-матрицы. 1 Условие Л = В'В выделяет канонический вид решения из всех эквивалентных решений.— Прим. ред. 187
Поскольку из ортогональности матрицы преобразования и B.50) следует R = BB'=ATT'A'=AA', , (8.58) то из матрицы А и из матрицы В получится одна и та же матрица остаточных коэффициентов корреляции. Для удобства после приведения к каноническому виду полученная факторная матрица вновь обозначается А, а не В. 8.9. Центроидный метод Этот метод факторного анализа представляет собой вычислительный компромисс по отношению к методу главных факторов. Будучи широко распространенным до появления вычислительных машин, центроидный метод в настоящее время представляет лишь исторический интерес. Основная формула центроидного метода была впервые применена в 1917 г. С. Бартом [51] для получения генерального фактора Спирмэна. В цельном виде метод был развит Л. Тэрстоуном [4671 и предназначался для анализа в терминах общих факторов больших наборов психологических тестов. 1. Основания метода. Название метода происходит от механического понятия центроида, или центра тяжести. В связи с этим удобно описывать метод в геометрических терминах. Как указывалось в 4.10, параметры можно рассматривать как набор п векторов в т-мерном пространстве, где т—число общих факторов; при этом, согласно D.56), скалярное произведение любой пары векторов равно коэффициенту корреляции между соответствующими параметрами. Кроме того, можно говорить о т координатах каждого вектора в системе т взаимно ортогональных осей. Все коэффициенты корреляции полностью определяются взаимным расположением векторов; поэтому систему координат можно как угодно поворачивать, не влияя на корреляционную матрицу. Повернем систему координат таким образом, чтобы первая ее ось проходила через начало координат и центр тяжести п точек концов векторов. Теперь можно вычислить проекции векторов, или координаты параметров, на первую ось новой системы. При некоррелированных общих факторах можно исходя из обычного факторного отображения B.22) получить с помощью B.27) вычисленные коэффициенты корреляции. Выражение для выборочных коэффициентов корреляции в предположении отсутствия остатков запишется так: rik = r'ik = ai.lakl+aJak2+...+ajmakm (/, k = I, 2,..., п), (8.59) где т — число общих факторов, ajp есть /?-я координата параметра г/; численные значения ajp(p = 1, 2, ..., т) определяются положением осей координат. 1 Этот параметр представлен в пространстве общих факторов, поэтому точнее было бы обозначить его через zf (см. 4.10). 188
В произвольной ортогональной системе координат п точек характеризуются координатами: Pl:(<*ll> 012>---> alp •••» alm) Ph:(akl> afe2>-> «ftp...., ^ftm) n Любая из т координат центра тяжести равна среднему значению соответствующих координат п точек, т. е. центр тяжести: /— УаА1,..., — Уа*р,..., — У.акт) (8.60) (суммирование ведется от 1 до п по индексу, стоящему под знаком суммы). Пусть теперь система координат выбрана таким образом, что первая ось Fx проходит через центр тяжести. Тогда все координаты центра тяжести, за исключением первой, равны нулю: M = ...=2fl*m = 0. (8.61) k При этом (8.60) переходит в — y\ahV 0, 0,..., О, п Т где число нулей равно (ш — 1). Расположение центра тяжести на первой оси означает, что первая координата есть расстояние от центра тяжести до начала координат. Теперь можно перейти к определению коэффициентов при первом центроидном факторе, т. е. выразить координаты ад через значения выборочных коэффициентов корреляции. Просуммируем элементы некоторого столбца / корреляционной матрицы: Воспользовавшись (8.61), получим (8-62) 2 Сумма всех элементов корреляционной матрицы равна: 189
Извлечем квадратный корень из левой части (8.63) и подставим полученное значение вместо члена в скобках в (8.62); это приводит нас к следующей основной формуле центроидного метода: -—- 0 = U я), (8.64) где 5^ есть сумма элементов столбца / корреляционной матрицы, а Т — сумма всех элементов матрицы (в обоих случаях учтены и диагональные члены). В этой формуле положительное значение корня взято случайно. Если же радикал оказывается отрицательным, то нужно попросту изменить знаки при всех факторных коэффициентах, что не отразится на «качестве» фактора. Формула (8.64) позволяет получить коэффициенты всех параметров Zj при первом факторе Рг (или, иначе, координаты точек, представляющих параметры). Для нахождения второго фактора нужно теперь вычислить матрицу первых остатков. Нам придется работать с матрицами остатков после исключения одного, двух, ..., (пг— 1) факторов; поэтому воспользуемся обозначениями, введенными в 8.3. Остатки после учета первого фактора, согласно (8.24), равны: Пк—ап ahi = Я/2 я Остаточные корреляции можно рассматривать как скалярные произведения пар остаточных векторов в пространстве (пг —1) измерений, согласно теореме 4.5 размерность остаточного пространства равна рангу матрицы остаточных коэффициентов корреляции, или числу членов в правой части (8.24). Обозначим следующим образом координаты каждой их п точек в этом остаточном пространстве: Л:(%2» я13,..., а1р,..., alm) akm) l^n.: (an2> an3> ••• > anp> •'• » flnm). Центр тяжести этих п точек имеет также (т — 1) координаты: (8.65) которые, согласно (8.61), все равны нулю. Таким образом, начало координат этого (т — 1)-мерного пространства совпадает с центром тяжести; поэтому значения коэффициентов при втором факторе нельзя получить непосредственно из формулы (8.64). Следует^обратить внимание на то, что при выводе формулы (8.64) производилось деление (8.62) шЪакъ т. е. на умноженное на п расстояние от центра тяжести к 190
точек до начала координат. Тем самым подразумевается, что центр тяжести не совпадает с началом координат, в противном случае такое деление было бы невозможным. Следующая задача состоит в таком разнесении центра тяжести и начала координат в (т — 1)-мерном пространстве, что можно было вновь применить предыдущую процедуру. Центр тяжести можно вывести из начала координат, вращая некоторые из векторов вокруг начала на 180°; эта операция носит название отражения. Если точка Pj9 представляющая параметр zjf имеет координаты (aJ19 aH,...9 ajm)y то координаты отраженной точки — Pj равны ( — «Л» —aj29... , —ajm) и соответствуют параметру — zj9 все измерения которого отличаются от исходного параметра Zj лишь знаком. Из (8.59) следует, что изменение знаков координат Pj означает изменение знаков коэффициента корреляции параметра zj со всеми остальными параметрами. Следовательно, для отражения параметра достаточно просто изменить на противоположные знаки всех коэффициентов корреляции этого параметра. Понятно, что это справедливо не только для исходного m-мерного пространства общих факторов, но и для остаточного (т — 1)-мерного пространства. Таким образом, для отражения параметра в остаточном пространстве нужно изменить знаки остаточных коэффициентов корреляции параметра. Пытаясь определить порядок отражения параметров, Тэрстоун [468] предположил, что «нужно, чтобы каждый последующий фактор учитывал максимум остаточной дисперсии». Строгое следование этому принципу приводит к методу главных факторов, в то время как процедура центроидного метода лишь приближает его. Если среди остаточных параметров существует группа параметров (связанных достаточно большими положительными коэффициентами корреляции), представляющие векторы которых образуют пучок достаточно тесно расположенных векторов, то, для того чтобы второй фактор учитывал максимум остаточной дисперсии, вторая ось должна быть направлена вдоль этого пучка. Поскольку центр тяжести остаточных векторов совпадает с началом координат, то наряду с такой группой существуют другие параметры, представляющие векторы которых расположены по «другую» сторону от начала координат и «компенсируют» параметры, входящие в пучок. В этом случае кажется естественным у таких «компенсирующих» векторов изменить направление на противоположное и ввести их тем самым в наш пучок. После этого координаты второго центроидного фактора можно вычислять так же, как и первого. В приложениях сначала отражают параметры, имеющие наибольшие отрицательные коэффициенты корреляции с параметрами группы. Тэрстоун предложил на практике [468] изменять знаки одного из параметров, затем другого и т. д. до тех пор, пока число отрицатель- 191
ных знаков у любого из параметров (т. е. в любом из столбцов корреляционной матрицы) не станет меньше -^-. На самом же деле, если мы хотим, чтобы каждый последующий фактор учитывал максимум дисперсии, нужно продолжать процесс отражения до тех пор, пока сумма остаточных коэффициентов корреляции каждого из параметров не •станет максимальной. Введем обознач ие для вектора, представляющего отраженный параметр. Пусть е,- означает алгебраический знак Pj, т. e.ejPj есть + Pj ИЛИ —Pj. Таким образом, е/ определяется следующей формулой: ( + 1, если Zj — неотраженный параметр; 3 {— 1, если zj—отраженный параметр. Обозначив первые остаточные коэффициенты корреляции после отражения некоторого параметра через rljk (в отличие от гг;ъ — первых остаточных коэффициентов корреляции до отражения), можем записать: rijk=^4(^2ak2 + ajZak3 + ...+ajmakm). (8.66) Это соотношение немедленно следует из (8.24), если в нем заменить ajp и akp на е;- ajp и sk akp соответственно и затем вынести за скобки 8; и efe. Если параметры Zj и zh отражались или, наоборот, оба не отражались, то r1jk = lrjk\ если же отражался один из них, то *ijft = — iOv Иначе говоря, г1Л = е^еЛ^Ок)- Все (т — 1) координат центра тяжести, отвечавшие вначале соотношению (8.65), равны теперь Повернем систему координат вокруг оси Ft таким образом, чтобы вторая ось F2 прошла через этот центр тяжести1. Допустим, что это уже сделано, и воспользуемся прежними обозначениями. Тогда координаты центра тяжести, лежащего на оси F2, будут Отсюда следует полезное соотношение, подобное (8.61) для случая первого центроида: 1 Остаточное (т — 1)-мерное пространство ортогонально к первой оси Fx. Вторая ось F2 поворачивается в остаточном пространстве, оставаясь ортогональной к jFx. 192
Выразим через остаточные корреляции проекции векторов на второй центроидный фактор. Просуммируем (8.66) по всем элементам некоторого столбца / остаточной корреляционной матрицы (уже после отражения параметров); с учетом (8.67) имеем Теперь просуммируем по всем столбцам: отк уда или, умножив обе части на е;-, (/ = 1, 2,..., я), (8.68) где Sjx есть сумма элементов столбца / матрицы первых остаточных коэффициентов корреляции, а^ — сумма всех элементов этой матрицы (знаки берутся с учетом отражения). Множитель е7- означает, что если параметр zj отражался, то знак нужно сменить на противоположный, в противном случае в; равно +1. Иначе говоря, BjSjX есть сумма остаточных коэффициентов корреляции неотраженного параметра Zj со всеми остальными параметрами. Следовательно, обозначив iS, = *,Snt (8.69) можно переписать (8,68) в виде ^= (/-1, 2,..., п). (8.70) Числитель в этой формуле равен сумме остаточных коэффициентов корреляции неотраженного параметра /, а 7\ — сумме всех остаточных коэффициентов корреляции после перемены знаков. Формула (8.70) дает коэффициенты каждого из параметров при втором центро- идном факторе F2. Таким же образом получаются и остальные факторные веса. Для выполнения принципа учета максимальной дисперсии каждым последующим фактором в остаточных подпространствах производится отражение параметров и сведение их в тесно связанные группы. После изменения знаков коэффициентов корреляции центр тяжести системы точек в остаточном*пространстве располагается вблизи центра такой группы и очередная ось проводится через этот центр. Ввиду ортогональности остаточного пространства и пространства уже построенных факторов каждая новая ось ортогональна всем предыдущим. При ис- 7 Зак. 656 193
ключении очередного фактора происходит уменьшение величин остаточных коэффициентов корреляции; ранг остаточной матрицы также уменьшается на единицу. Все предшествующие рассуждения справедливы для любых элементов главной диагонали. От этих элементов зависит число фактически получаемых факторов и, следовательно, решение вопроса о том, «где прекратить факторизацию». Если на главной диагонали стоят значения простейшей из частных оценок общностей (см. 5.6) — наибольшее значение каждого столбца корреляционной матрицы, то в каждой последующей остаточной корреляционной матрице вместо вычисленного диагонального элемента ставится максимальное в данном столбце значение (без учета знака). При такой процедуре нет критерия для определения числа общих факторов. Если же, вместо того чтобы модифицировать диагональные элементы на каждом шаге, брать каждый раз вычисленные диагональные члены, то число факторов определяется моментом, когда диагональные элементы сойдутся к нулю. При этом получаются только общие факторы. На практике рекомендуется пользоваться полными оценками общности (обсуждаемыми в 5.7). 2. Вычислительные процедуры. При наличии ЭВМ нет необходимости подменять метод главных факторов приближенными методами. Однако при отсутствии вычислительной машины можно добиться вполне приемлемых результатов с помощью центроидного метода1 и настольного арифмометра. Ниже приводится такое решение на примере тринадцати из 24 психологических тестов, описанных в 7.6. В табл. 8.22 дана соответствующая матрица коэффициентов корреляции, взятая из табл. 7.4; оценки общности, стоящие на ее диагонали, получены бифакторным методом по тринадцати параметрам. Вычислим суммы по столбцам Sj коэффициентов корреляции и сумму Т всех элементов матрицы R, необходимые, согласно (8.64), для 1 Нельзя согласиться с утверждением автора, что центроидный метод представляет собой лишь некоторый приближенный метод, применение которого может быть оправдано только отсутствием ЭВМ. Как показано в [550], при поиске фактора F в методах главных факторов или главных компонент максимизи- п руется критерий 2(z^, Т7J, в то время как в центроидном методе максимизируется /=1 п критерий 2 1 (Zj, F) |. Очевидно, с точки зрения интерпретации оба эти критерия эквивалентны; поэтому в теоретическом отношении метод главных факторов не имеет особых преимуществ по сравнению с центроидным методом. С другой стороны, при факторизации матрицы, описывающей несколько десятков или сотен параметров, даже при наличии ЭВМ метод главных факторов оказывается практически не реализуемым, а центроидный метод — все еще реализуемым. В [550], кроме того, установлено, что при точном решении задачи максимиза- п ции критерия 2 | (zj, F) | отражать параметры следует таким образом, чтобы максимизировать величину = 2 Zj 8fe (Zjt Zk) = 2 8; 8fe rjk = T. Прим. перев. 194
Таблица 8.22. Корреляционная матрица R и коэффициенты при первом факторе Параметр 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 13 558 3180 403 0 468 0 321 335 304 332 0 326 0 1160 308 0 314 ',362 489 0 ,203 ,317 0 ,230 0,285 0,234 0,157 0 ,1570,3820,391 ,195 ,057 0,075 0^99 0 ,150 0,145 ,239 ,247 ,268 1,223 > ,091 • ,321 i,314 0,227 0,327 0,335 0,110 0 0,140 0,160 0 0,327 0,646 0,622 0,656 578 0,723 0,311 0,344 0,215 0,344 ,095 0 0,641 0,722 0,750 0,527 0,619 0 0,714 0,203 0,246 0,353 0,232 0 0, 0, ,309 0 ,571 0,685 0,532 0,285 ,300 0,271 0,395 1,181 1,345 758 170 280 0,554 0,280 0,408 0,484 0,449 0,428 0,531 0,535 113 0,585 0,5120,599 592 2 607 0 5,519 1,687 3,168 3,618 >,355]0,418 0,4780,729 0,707 0,721 5,350 5,455 5,340 5,285 3,443*4,064J 3,690 0,707 0,721|0,705 0,698 0,455j0,537|0,487j 5,104 0,673 получения коэффициентов при первом факторе. Суммы по столбцам приведены в последней строке табл. 8.22 (для получения каждой из них складываются сначала элементы соответствующей строки до диагонали, а затем элементы этого же столбца). Сумма всех Sj есть величина Т = 57,314. Разделив Sj на УТ = 7,5706, получаем значения коэффициентов при первом центроидном факторе (нижняя строка табл. 8.22). Проверим проделанные вычисления. Просуммируем факторные коэффициенты, обозначив сумму D±: (8.71) Можно считать, что D± — 7,571 вполне удовлетворительно с достаточной точностью. Матрица первых остатков получается в центроидном методе точно так же, как в 8.5, п. 4. Матрица произведений коэффициентов Rx представлена в табл. 8.23. Вычисление элементов этой матрицы проверяется с помощью следующего соотношения, связывающего суммы полных строк Е^ и Dx: EA = ^anaK1=an^aKl=ailD1 (/ = 1, 2,..., п) (8.72) (результаты подсчета этих чисел приведены в последних строках табл. 8.23). В табл. 8.24 дана матрица первых остатков. В остаточном пространстве центр тяжести системы точек лежит в начале координат, и, следовательно, с точностью до ошибок округления суммы элементов по столбцам равны нулю. Для сдвига центра тяжести из начала коор- 7* 195
Таблица 8.23. Матрица произведений R1=(a;/.1a>fe Параметр 10 11 12 13 1 2 3 4 5 6 7 8 9 10 11 12 13 0,368 0,215 0,126 0,254 0,148 0,290 0,443 0,170 0,429 0 0,438 0 0,259 0 ,251 0,428 0,424 0,276 0,326 ,256 0 0,296 0 0,409 0 0,250 0,248 0,162 0,191 ,175 ,200 ,305 ,296 ,301 ,295 0,228 0,348 0, 0,345 0,337 338 0 0,531 ,515 0, 0,514 526 0 0,500 ,510 0,498 0,508 0 0,520 0,292 0,334 0,509 0,493 0,503 0,492 0,487 ,173 0 ,239 0 0,1900,21 0,224 0,257 ,233 0,322 204 0 282 0,332 0,391 0,355 0,491 ,497 ,492 0,328 0,321 0,3180,207 0,322 0,380 0,387 0,379 0,375 0,244 О, О,; 0,477 ,351 0,486 0,343 0 0,475 0 340 0,222 0 470 0,307 0 288 - 262 0,237 362 0,328 0,454 апД{ 2,688 3,1663,619|5,519'5,353 5,459J5, 4,596 4,596 2,688 3,165 3,619:5,519J5,353 5,4595,338 5 337 5 i,285 3,446 4,066 3,688 ;,285 3,445J4,066 3,687 5,102 5,103 динат в пространстве остаточных факторов и для увеличения вклада второго фактора в остаточную дисперсию производится отражение ряда параметров. Отражаемые параметры показаны в табл. 8.25. Знак минус в колонке «Отражение параметра» означает, что данный параметр подвергается отражению. В остальных колонках показано изменение числа минусов при последовательном отражении параметров. Работа начинается с подсчета количества отрицательных коэффициентов корреляции каждого параметра в остаточной матрице табл. 8.24; результат заносится в колонку «Перед отражением» табл. 8.25. Заметим, что, хотя в таблицу вписана лишь половина симметрической остаточной матрицы, при подсчете минусов матрица считается полной. Иначе говоря, подсчет минусов для данного параметра ведется сначала по соответствующей строке матрицы до диагонали, а затем вниз от диагонали по соответствующему столбцу. Первым отражается параметр с наибольшим числом минусов. Если таких параметров несколько, то отражается любой из них. В нашем примере параметры 10 и11 имеют по 9 минусов; для отражения выбран вначале г10. Прочерк в колонке «Отражение параметра» табл. 8.25 напротив параметра 10 означает, что этот параметр подвергается отражению. Вместо того чтобы при отражении каждого параметра производить изменения в табл. 8.24, будем лишь подсчитывать эти изменения и заносить результат в соответствующую колонку табл. 8.25. Так, в колонку «10» табл. 8.25 занесены числа минусов после отражения параметра 10. При отражении параметра все его- положительные остаточные коэффициенты корреляции становятся отрицательными и наоборот; исключение составляют диагональные элементы, не меняющие знака при отражении. Таким образом, число минусов у отражаемого пара- 196
Т абл v Параметр 1 2 3 4 5 6 7 8 9 10 И 12 13 ща 8.24 1 0,190 0,103 0,149 0,178 —0,122 —0,094 —0,134 —0,096 —0,098 —0,160 —0,018 0,018 0,080 —0,004 Первая остаточная матрица: ] 2 0,077 0,169 0,060 0,026 —0,017 —0,099 —0,093 —0,053 —0,105 —0,041 —0,028 0,000 —0,001 3 — 0,187 0,105 —0,058 —0,028 —0,078 0,087 —0,108 —0,265 —0,133 —0,064 0,039 0,002 4 — — 0,086 —0,121 —0,011 —0,010 0,054 —0,009 —0,118 —0,147 —0,073 0,005 —0,001 5 — — 0,115 0,107 0,130 0,064 0,214 —0,021 —0,047 -0,140 —0,147 0,000 6 — — — 0,141 0,212 0,029 0,221 —0,119 —0,027 —0,249 —0,168 —0,003 7 — — — — 0,230 0,111 0,182 —0,082 —0,155 —0,170 —0,141 —0,004 8 — — — — 0,074 0,040 —0,036 —0,079 —0,072 —0,080 0,003 9 _ — — — 0,271 —0,148 —0,095 —0,227 —0,190 0,000 10 „ — — — 0,347 0,240 0,363 0,101 —0,003 и — — — СМ (И 0,166 ои/з —0,002 12 _ — 0,294 0,184 0,002 13 _ — , , 0,145 0,001 Таблица 8.24а. Изменение знаков при отражениих Параметр 1 2 3 4 5 6 7 8 9 10 И 12 13 -1 \ — 2 — \ — 3 — \ — _ — 4 \ — — — 5 — — \ 6 — — — \ 7 — — — \ 8 — \ 9 — — — \ -10 -и \ -12 \^ -13 — — — 1 Знаки элементов до отражения показаны ниже диагонали, знаки после отражения—выше диагонали.
? Таблица 8.246 оо Остаточные корреляции после отражения (п/к) и коэффициенты при втором факторе Параметр 1 2 3 4 5 6 7 8 9 10 11 12 13 S/l 1 4 1 а/2 1 0,Ш0 — — — 0,224 —0,224 —0,060 2 —0,103 0,077 — — . — 0,141 0,141 0,038 3 —0,149 0,169 0,187 — — — — 0,550 0,550 0,148 4 -0,178 0,060 0,105 0,086 — — — 0,309 0,309 0,083 5 0,122 0,026 —0,058 —0,121 0,115 — — — 0,954 0,954 0,257 6 0,094 —0,017 —0,028 —0,011 0,107 0,141 — 1,311 1,311 0,354 7 0,134 —0,099 —0,078 -0,010 0,130 0,212 0,230 . — — 1,360 1,360 0,367 8 0,096 -0,093 0,087 0,054 0,064 0,029 0,111 0,074 — — 0,729 0,729 0,197 9 0,098 -0,053 —0,108 -0,009 0,214 0,221 0,182 0,040 0,271 — 1,516 1,516 0,409 -10 —0,160 0,105 0,265 0,118 0,021 0,119 0,082 0,036 0,148 0,347 — — 1,785 — 1,785 —0,482 — 11 —0,018 0,041 0,133 0,147 0,047 0,027 0„155 0,079 0,095 0,240 0,161 — 1,446 —1,446 —0,390 — 12 0,018 0,028 0,064 0,073 0,140 0,249 0,170 0,072 0,227 0,363 0,166 0,294 — 2,048 —2,048 —0,553 -13 0,080 —0,000 -0,039 —0,005 0,147 0,168 0,141 0,080 0,190 0,101 0,173 0,184 0,145 1,365 — 1,365 —0,368 Таблица 8.25. Число знаков минус в первой остаточной матрице после отражения параметров Параметр 1 2 3 4 5 6 7 8 9 10 11 12 13 Итого разность Отражение параметра MM I Перед от- ражением 7 7 7 7 7 8 8 6 8 9 9 8 5 96 Последовательное отражение параметров 10 6 6 6 б 6 7 7 5 7 3 10 9 6 84 12 11 5 5 5 5 5 6 б 4 6 2 2 10 7 68 16 12 6 4 4 4 4 5 5 3 5 2 8 52 16 13 7 5 5 5 3 4 4 2 4 0 0 1 4 44 8 1 5 6 6 6 2 3 3 1 3 1 1 0 3 40 4
метра после отражения равно разности числа (п — 1) и числа минусов до отражения. В примере п — 1 = 12, так что после отражения параметра 10 число его минусов равно 3 A2—9). Что касается подсчета числа минусов у остальных параметров при отражении данного параметра, то также нет необходимости делать это явным образом. Рассмотрим все элементы строки и столбца отражаемого параметра zj в табл. 8.24 и поступим следующим образом. а. Если корреляция параметра zk(k ф j), который ранее не отражался, с параметром zj положительна, то число минусов параметра zk увеличивается на единицу. Например, коэффициент остаточной корреляции между параметрами 11 и 10 положителен; поэтому, поскольку параметр 11 ранее не отражался, число его минусов после отражения параметра 10 увеличивается от 9 до 10. б. Если корреляция параметра zk(k Ф /), который ранее не отражался, с параметром Zj отрицательна, то число минусов параметра zk уменьшается на единицу. Например, коэффициент остаточной корреляции между параметрами 1 и 10 отрицателен; поэтому, поскольку параметр 1 ранее не отражался, число его минусов после отражения параметра 10 уменьшается от 7 до 6. Правила подсчета числа минусов при отражении сведены в табл. 8.26. Таблица 8.26. Правила изменения знаков Предшествующие отражения Элемент строки (или столбца) отражаемого параметра положителен Элемент строки (или столбца) отражаемого параметра отрицателен Ранее не отражался (или отражался четное число раз) Ранее отражался один раз (или другое нечетное число раз) Увеличить на едини- Уменьшить на едини- ДУ Уменьшить на единицу Увеличить на единицу После отражения одного параметра находится следующий параметр с наибольшим числом минусов и производится его отражение. В данном примере это параметр 11, имеющий 10 минусов; ему соответствует колонка «11» табл. 8.25. Согласно изложенным выше правилам, под- считывается число минусов у каждого параметра, результаты заносятся в табл. 8.25. Процесс отражения продолжается до тех пор, пока число отрицательных остаточных корреляций не станет меньше половины их общего числа. В данном случае п = 13, так что отражению подвергается пять параметров, после чего число минусов у каждого параметра не превышает шести. Здесь следует сделать несколько замечаний. Если в исходной или в остаточной корреляционных матрицах имеются нулевые значения, то при подсчете отрицательных элементов их считают положительными. Поскольку при отражении параметра его корреляция «с самим собой» остается неизменной, диагональные элементы не участвуют в операции подсчета минусов. Может случиться так, что параметр, уже подвер- 199
g Таблица 8.27. Матрица вторых остатков и коэффициенты при третьем факторе Параметр 1 2 3 4 5 6 7 8 9 10 11 12 13 Ъгзъ k J S 2= «' Sj2 °73 1 0, 186 0, 105 0, 158 0, 183 —0,107 — 0,073 — 0,112 -0,084 — 0,073 —0,189 — 0,041 — 0,015 0,058 — 0,004 1,384 — 1,384 — 0,443 2 0, 105 0,076 0, 163 0,057 0,016 — 0,030 — 0, 113 — 0,100 — 0,069 — 0,087 — 0,026 — 0,007 0,014 — 0,001 0,831 — 0,831 — 0,266 — 3 0, 158 0, 163 0, 165 0,093 — 0,096 — 0,080 — 0, 132 0,058 — 0, 169 — 0, 194 — 0,075 0,018 0,093 0,002 1,342 — 1,342 — 0,429 — 4 0, 183 0,057 0,093 0,079 — 0,142 — 0,040 — 0,040 0,038 — 0,043 — 0,078 — 0,1 15 — 0,027 0,036 0,001 0,895 — 0,895 — 0,287 5 0, 107 — 0,0 16 0,096 0,142 0,049 0,016 0,036 0,013 0, 109 0, 103 0,053 0,002 — 0,052 0,000 0,762 0,762 0,244 6 0,073 0,030 0,080 0,040 0,016 0,016 0,082 -0,041 0,076 0,052 0,111 — 0,053 — 0,038 — 0,002 0,520 0,520 0, 167 7 0, 112 0, 113 0, 132 0,040 0,036 0,082 0,095 0,039 0,032 0,095 — 0,012 0,033 — 0,006 — 0,003 0,803 .0,803 0,257 8 0,084 0, 100 — 0,058 — 0.038 0,013 — 0,041 0,039 0,035 — 0,041 0,059 — 0,002 0,037 — 0,008 0,003 0, 195 0, 195 0,062 9 0,073 0,069 0, 169 0.043 0, 109 0,076 0,032 — 0,041 0, 104 0,049 0,065 — 0,001 — 0,039 0,000 0,786 0,786 0,252 10 0, 189 0,087 0,194 0,078 0, 103 0,052 0,095 0,059 0,049 0, 115 0,052 0,096 — 0,076 — 0,003 1,245 1,245 0,399 0,041 0,026 0,075 0, 115 0,053 0, 111 — 0,012 — 0,002 0,065 0,052 0,009 — 0,050 0,029 — 0,002 0,454 0,454 0, 145 42 0,015 0,007 — 0,018 0,027 0,002 — 0,053 0,033 0,037 — 0,001 0,096 — 0,050 — 0,012 — 0,020 0,001 0, 103 0, 103 0,033 — 13 0,058 0,014 0,093 0,036 0,052 0,038 0,006 0,008 0,039 0,076 — 0,029 0,020 0,010 0,001 0,421 — 0,421 — 0, 135 Проверка 7'2=2X5,334 — — 0,927=9,741 Г2=9,741 VT\=3, 1211 l//r7=o,32O4 D3= — 0,001
Таблица 8.28. Число знаков минус во второй остаточной матрице после отражения параметров Параметр 1 2 3 4 5 6 7 8 9 10 И 12 13 Итого Разность Отражение параметра — Перед отражением 8 7 6 7 4 7 6 6 7 5 7 7 7 84 Последовательное отражение параметров 1 4 8 7 8 3 6 5 5 6 4 6 6 8 76 8 2 3 4 8 9 4 5 4 4 5 3 5 5 9 68 8 4 2 3 9 3 3 4 3 5 4 2 4 4 10 56 12 13 1 2 10 2 2 3 2 4 3 1 5 3 2 40 16 3 0 1 2 1 1 2 1 5 2 0 4 4 1 24 16 гавшийся отражению, на некотором шаге опять будет иметь наибольшее число минусов. В этом случае параметр отражается как обычно и минус напротив него в первой колонке табл. 8.25 меняется на плюс. Таким образом, параметры могут отражаться более одного раза. Чтобы лучше уяснить описанную процедуру, обратимся к вспомогательным таблицам 8.24а и 8.2461. Во-первых, поставим знак минус перед номерами отражаемых параметров, т. е. перед параметрами 1,10, 11, 12 и 13 табл. 8.24а. Далее найдем новые знаки всех элементов матрицы первых остатков после отражения этих параметров. Для этого воспользуемся правилом: riJk = ZjEh(irJk)* (8.73) Следовательно, если оба параметра, zj и zfe, отражаются (или, наоборот, не отражаются), то r17-fe = xrjh\ если же отражается один из них, то Гии = —iOfe- Просматривая строку за строкой элементы табл. 8.24 (для удобства демонстрации знаки этих элементов вынесены в нижнюю часть табл. 8.24а), отмечают элементы, знаки которых должны измениться, и заносят в соответствующие места верхней части табл. 8.24а знаки минус после отражения параметров. После обработки каждой строки матрицы сверяют число полученных минусов с данными табл. 8.25. После обработки всей матрицы делается дополнительная проверка: число минусов в верхней части табл. 8.24а должно равняться половине суммы последней колонки табл. 8.25. 1 В практических расчетах эти вспомогательные таблицы не строятся отдельно, а совмещаются с табл. 8.24. Таким образом мы и поступим при вычислении вторых остатков (табл. 8.27). 201
Таблица 8.29. Матрица третьих остатков (финальная) Параметр 1 2 3 4 5 6 7 8 9 10 И 12 13 1 — 0, — 0, — 0, 0, о, 0, 0, — 0, 0 — 0 0 0 — 0 — 0 010 013 032 056 001 001 002 057 039 012 023 000 002 ,004 2 0, 0, — 0, 0, 0, — 0, — 0, — 0, 0, 0 0. — 0 — 0 005 049 019 081 014 045 084 002 019 013 002 022 002 3 — 0, — 0, — 0, -0, — 0, 0, — 0, — 0, — о, 0, 0 0 019 030 009 008 022 085 061 023 013 032 035 002 4 — 0, — 0, 0, 0, 0, 0, 0, — о, — 0, — 0, 0 003 072 008 034 056 029 037 073 018 003 002 5 — 0, — 0, — 0, — 0, 0, 0, 0, — 0, — 0, 0 Oil 025 027 002 048 006 018 006 019 001 6 — 0 — 0 — 0 0 — 0 0 — 0 — 0 — 0 ,012 ,039 ,051 ,034 ,015 ,087 ,059 ,015 ,002 7 0, 0, — 0, — 0, — 0, 0, о, — 0, 029 023 033 008 049 025 029 003 8 0, — 0. 0, — 0 0 0 0 031 057 034 01 1 035 000 ,002 9 0, — 0, 0 — 0 — 0 — 0 • 040 052 028 009 005 ,001 10 — 0 — 0 0 — 0 — 0 044 006 083 022 ,003 1 — 0 — 0 0 — 0 ¦ 012 055 049 ,001 12 — — — — — — — — — — 0,013 — 0,016 0,001 13 - - - - - — - - — — — — 0,008 0,001
Далее элементы из нижней части матрицы табл. 8.24 переносятся с новыми знаками в верхнюю часть этой матрицы (для иллюстрации это сделано в табл. 8.246). Таким образом, получена матрица остатков с учетом отражения параметров. Пользуясь этой матрицей, вычислим по (8.68) коэффициенты при втором факторе. После подсчета сумм по столбцам знаки меняются у сумм, соответствующих отраженным параметрам. Коэффициенты в последней строке табл. 8.246 отвечают выборочным, а не отраженным параметрам. Проверка вычисления коэффициентов при всех факторах, кроме первого, опирается на тот факт, что сумма коэффициентов каждого фактора должна приблизительно равняться нулю (что и выполняется для второго фактора). В нижней части табл. 8.27 приведены остаточные коэффициенты корреляции после учета второго фактора. Для сдвига центра тяжести в новом остаточном пространстве производится отражение параметров, указанных в табл. 8.28. Остаточная матрица после отражения показана в верхней части табл. 8.27. На основании этих остатков под- считываются коэффициенты при третьем факторе (нижняя строка табл. 8.27) и матрица третьих остатков (табл. 8.29). Процедура повторяется вплоть до получения достаточного числа факторов, учитывающих суммарную общность. Таблица 8.30. Центроидное решение для 13 психологических тестов Тест 1 2 3 4 5 6 7 8 9 10 11 12 13 Итого Вклад фактора (Vp) Процент суммарной исходной общности Коэффициенты пр* факторах 0,607 0,355 0,418 0,478 0,729 0,707 0,721 0,705 0,698 0,455 0,537 0,487 0,674 4,620 66,6 —0,060 0,038 0,148 0,083 0,257 0,354 0,367 0,197 0,409 —0,482 —0,390 —0,553 —0,368 1,392 20,1 i общих 3 —0,443 —0,266 —0,429 -0,287 0,244 0,167 0,257 0,062 0,252 0,399 0,145 0,033 —0,135 0,954 13,8 Общность A) исходная 0,558 0,203 0,362 0,314 0,646 0,641 0,750 0,571 0,758 0,554 0,449 0,531 0,599 6,936 — [2) вычисленная 0,568 0,198 0,381 0,318 0,657 0,653 0,721 0,540 0,718 0,599 0,461 0,544 0,608 6,966 100,4 (О- ) —0,010 0,005 -0,019 —0,004 -0,011 -0,012 0,029 0,031 0,040 —0,045 —0,012 —0,013 —0,009 —0,030 —0,4 203
ГЛАВА 9. МЕТОД МИНИМАЛЬНЫХ ОСТАТКОВ 9.1. Введение В гл. 6 указывалось, что работа с классической моделью факторного анализа B.9) предполагает знание либо оценок общностей, либо размерности пространства общих факторов. В методах, рассмотренных в предыдущей главе, необходимо было знать значения общностей. В методах этой и следующей глав требуется знание числа общих факторов. Метод минимальных остатков вполне реализуем современными средствами и может быть хорошей заменой методам главных факторов и максимального правдоподобия. Как отмечалось в 2.3, одна из задач факторного анализа состоит в «наилучшем» описании выборочных корреляций. Л. Тэрстоун писал: «Предмет факторной проблемы состоит в описании тестов или их интеркорреляций в терминах минимального числа новых искусственных параметров при условии приемлемых остаточных невязок» [477]. Именно в этой главе наилучшим образом (в смысле средних квадратов) решается поставленная Тэрстоуном задача описания внедиагональных элементов корреляционной матрицы. Как побочный результат в соответствии с принятым критерием получаются оценки общностей. Следует ясно понимать различие между этой идеей и идеей выделения максимальной дисперсии, развитой в гл. 8. Краткая история и формальная постановка задачи о минимальных остатках даны в 9.2. Далее, в 9.3, следует изложение самого метода. В 9.4 рассмотрены специальные процедуры, предохраняющие от появления значений общностей, больших единицы. В 9.5 обсуждается вопрос о статистической оценке числа общих факторов. Блок-схемы машинных программ вынесены в 9.6. Наконец, в 9.7 метод минимальных остатков иллюстрируется численными примерами. 9.2. Постановка задачи Идея получения факторного решения на основании минимизации остаточных коэффициентов корреляции достаточно обычна и прямолинейна. Однако первое такое практическое решение было получено лишь 204
в 1965 г. Г. Харманом и В. Джонсом [207]. Сама по себе идея не нова, но ее реализация требует быстродействующих вычислительных машин. Несомненно, эта идея многие годы занимала умы ученых, работавших в области факторного анализа. Первое теоретическое исследование относится к 1936 г., когда С. Экарт и Г. Янг отметили: «... если в качестве критерия для приближения (одной матрицы другой, меньшего ранга) принять критерий наименьших квадратов, то задача имеет общее решение, теоретически относительно простое; однако громадный объем требующихся вычислительных работ сделает приложения нереальными» [114]. Вслед за этой работой в ближайшие два года появились теоретические работы А. Хаусхолдера и Г. Янга [267] и П. Хорста [250]. В более поздние годы было опубликовано еще несколько работ, близких к этой проблеме. П. Уитл рассмотрел вопрос о сумме квадратов остатков, но в задаче о главных компонентах. В. Хау [268] предложил новый подход к решению уравнений максимального правдоподобия Лоули и обнаружил, что его метод (минимизация детерминанта матрицы частных коэффициентов корреляции) «близок к идее минимизации суммы квадратов частных коэффициентов корреляции». Следует упомянуть и о работе Д. Келлера [304], исследовавшего в общем виде задачи, включающие задачу минимизации остатков как частный случай. Нужно отметить, что ни в одном из перечисленных исследований не говорится о минимизации внедиагональных остатков. Минимизация же полной остаточной матрицы (включая диагональные члены) приводит к обычной системе главных факторов (см. гл. 8). Операция исключения диагональных членов, тривиальная на первый взгляд, на самом деле имеет чрезвычайно большое значение, так как диагональные элементы выборочной корреляционной матрицы (значения общностей) не являются заданными, а должны определяться в ходе решения совместно с факторными нагрузками. По-видимому, первая попытка решения практической задачи минимизации внедиагональных остатков была предпринята в 1954 г. Л. Тэр- стоуном совместно с Р. Баргманом и С. Генриссоном (см. [479]). Позднее А. Комри [85] предложил вычислительную процедуру для получения такого решения. Однако в этих работах не приводилось полной минимизации суммы квадратов разностей (остатков) между выборочными и вычисленными коэффициентами корреляции. Вместо этого в них рассматривался метод минимальных остатков, который можно было бы назвать «последовательно-шаговым»1, когда вначале получают один фактор и матрицу остаточных коэффициентов корреляции, а затем на основании последней ищется следующий фактор и т. д. до тех пор, пока не будет выделено необходимое число факторов. Вообще говоря, такое решение будет, конечно, отличаться от решения, даваемого критерием наименьших квадратов. Р. Болдт [44] рассмотрел вопросы, тесно при- 1 Интересно отметить сходство подобной «последовательно-шаговой» процедуры с процедурой последовательного вычисления коэффициентов множественной регрессии [143] и приближенного определения факторного решения по методу максимального правдоподобия [23]. 205
мыкающие к тем, которым посвящена настоящая глава. Он поставил? задачу точно таким же образом и исследовал процедуры, подобные раз- витым*Харманом и Джонсом [207]. Основная модель метода минимальных остатков — классическая модель факторного анализа B.9), имеющая в матричной форме вид: Неизвестными являются факторные нагрузки в матрице А. Определив их, обратимся к фундаментальной теореме факторного анализа, т. е. к соотношению B.50) (без потери общности факторы считаем некоррелированными) : R = AA', где R — матрица вычисленных коэффициентов корреляции со значе ниями общностей на главной диагонали. Итак, единственное, что требуется, — это, пользуясь моделью B.35), «наилучшим образом» заменить матрицу выборочных коэффициентов корреляции R матрицей вычисленных коэффициентов корреляции R. Для реализации метода наименьших квадратов нужно выразить R через (R + D2), (9.1) либо (R_I) через (R—Н), (9.2) где Н= I—D2 = diag(AA') (9.3) является диагональной матрицей общностей, найденных из решения А. В случае (9.1) минимизация остатков полной матрицы приводит к системе главных компонент (см. 8.2). В случае (9.2) минимизируются только внедиагональные остатки, что приводит к решению метода минимальных остатков. Более точно это можно записать так: min || [R—Ц -[АА' -diag (AA')] |. (9.4) А Здесь подчеркивается, что обе матрицы, А и Н, — переменные. Минимизируемое в (9.4) выражение можно записать в алгебраической форме (с точностью до возведения в степень): 2 (9-5) Заметим, что функция (9.5) включает ~^ внедиагональных остаточных коэффициентов корреляции, зависящих от элементов факторной матрицы А. Цель метода минимальных остатков состоит в том, чтобы, меняя значения факторных нагрузок при фиксированном т, 206
минимизировать функцию /(А). Диагональная матрица значений общностей получается как побочный результат вычислений. В проделанных рассуждениях подразумевалось, что значения общностей не превышают единицы. На самом же деле, если ограничиться условием (9.5), в некоторых случаях можно получить общности, большие единицы. Впрочем, если остальные результаты анализа кажутся приемлемыми, отмеченный недостаток легко исправить; для этого вводится дополнительное нормирующее ограничение Л/ = 2 fl/p<l (/ = 1,2,..., /г), (9.6) благодаря которому значения общностей не выходят из области между нулем и единицей. 9.3. Метод минимальных остатков Выше уже отмечалось, что вычислительные трудности не позволяют пользоваться методом минимальных остатков при отсутствии ЭВМ. Однако и при наличии ЭВМ большая стоимость машинного времени заставляет искать наиболее эффективные алгоритмы. Прежде чем остановиться на предлагаемой здесь процедуре, были опробованы и проверены на многих задачах различные математические подходы [207]. Среди опробованных и отвергнутых методов были: 1) процедура повторного вычисления1 матрицы главных факторов А и соответствующей ей матрицы общностей Н, что позволяет улучшить целевую функцию /; 2) несколько вариантов метода, известного под названием «градиентного метода», в котором оптимальное значение функции (минимальное или максимальное) ищется итеративно, начиная с некоторых исходных условий, причем каждое следующее приближение делается в направлении максимального изменения функции. Эти методы дают приемлемые решения, но требуют слишком много времени. Намного более эффективен другой метод — процедура Гаусса — Зейделя [518]. Этот метод называют иногда «методом последовательных замен», поскольку он представляет собой итеративную процедуру, в которой на каждом шаге производится небольшое изменение значений переменных (параметров) и вместо прежних значений принимаются эти новые значения. Из основной теоремы факторного анализа B.50) явствует, что если замены вводятся только в одну строку матрицы А, то вычисленные коэффициенты корреляции будут линейными, а целевая функция — только квадратичной2 функциями от этих замен. 1 Эта процедура применялась для получения решения табл. 8.14. Соответствующее решение с минимальными остатками представлено в табл. 9.1. 2 Вследствие этого здесь требуется значительно меньшее время для решения, чем в градиентных методах, где приходится решать полиномы четвертой степени (см. [207]). 207
Иначе говоря, к элементам любой строки / матрицы А добавляется приращение гр(р = 1, 2, .., т): Новые факторные нагрузки равны: (р=1, 2,..., т) (9.7) (обозначение bjp принято длд большей ясности; после получения окончательного набора факторных нагрузок им снова присваивается прежнее обозначение ajp). Запишем выражение для вычисленного коэффициента корреляции между некоторым фиксированным параметром / и произвольным параметром k: т 7,ъ=ЪакрЬ,р (9.8) и для суммы квадратов остаточных коэффициентов корреляции этого параметра: п I m \ 2 U = 2 Ой — 2 акр bip (номер / фиксирован), (9.9) jfe=l \ р=1 / Выделив в последнем выражении исходные коэффициенты корреляции и приращение согласно (9.7), получим п / т \ 2 fy= 2 (о* —2 aftp8p) (номер / фиксирован), (9. а = 1 V р= 1 / k 10) где г^—исходные остаточные коэффициенты корреляции параметра / с параметром k (без учета приращений в факторных нагрузках), т. е. % = rjk- Iiakpaip (k = l, 2,..., п; кф\). (9.11) i Для определения значений eg, приносящих минимум целевой функции /, возьмем частную производную от (9.10) по этим величинам гч\ Приравняем эти выражения нулю, получив тем самым набор неявных уравнений относительно гр: т / п 2 akpahq}*p= S О*»*, (9=1. 2,..., m), (9.12) или в матричной форме: еД;А,. = г/А, (9.13) 208
где &j — вектор-строка приращений факторных нагрузок параметра /, Aj—факторная матрица, в которой элементы строки / заменены нулями, Vj° — вектор-строка остаточных коэффициентов корреляции параметра / со всеми остальными параметрами (остаточный коэффициент корреляции «с собой» равен нулю). Теперь набор приращений факторных нагрузок данного параметра, минимизирующих целевую функцию, определяется из Bj = r/>A(A'A)~l . (9.14) Описанный процесс повторяется для всех параметров поочередно. Последовательно получаются приближения строк факторных нагрузок, приносящих минимальное значение функции / (с заданной степенью точности). Нет, однако, гарантии того, что финальная матрица факторных нагрузок не приведет к значениям общности, большим единицы. Эта проблема рассматривается в 9.4. 9.4. Теоретическое дополнение Случай, когда общность параметра оказывается больше единицы, называется «вариантом Хейвуда» (см. 7.3). С целью распространить метод минимальных остатков на подобные случаи Г. Харман и И. Фу- куда [205] предложили процедуру, в которой финальная матрица А получается на основании минимизации (9.5) при условии (9.6). Эта процедура является модификацией основной процедуры, описанной в 9.3, и предназначена только для случаев, когда значение общности превышает единицу. Вычисление начинается процедурой 9.3; в выражении (9.5) для целевой функции элементы ajp заменяются на bjp> определяемые согласно (9.7), и подставляются в (9.9). Далее эта функция минимизируется при условии т ^J Ujp <^, lj ^7.10/ т. е. новые значения факторных нагрузок также должны удовлетворять ограничениям (9.6). На этом этапе Г/& и а^р известны и только bjP могут меняться. Если минимум функции fj (9.9) приходится на точку (bjx, bj2, ...» bjm), принадлежащую области (9.15), то задача решена и в модификации процедуры нет необходимости. Если же точка не принадлежит области (9.15), то приходится принимать во внимание это неравенство и задача усложняется. В этом случае можно воспользоваться следующей теоремой. Теорем а;|9.1. Если минимум функции fj соответствует точке вне области, определяемой ограничением (9.15), то минимум этой функции при условии ограничения (9.15) соответствует граничной точке области; так что ограничение можно заменить на т 2N/„=1. (9-16) 209
Суть доказательства [205] сводится к обычному в линейной алгебре преобразованию квадратичной формы (9.9) к простому выражению fj=2(xp-lpr + K (9-17) с дополнительным условием ? ?<!. (9Л8) В этих выражениях хр — некоторые линейные функции исходных переменных bjP, Хр — собственные значения /n-m-матрицы квадратичной формы-(9.9); ?р и К — константы, определяемые по известным величинам Г/ь и cikp и применяемому преобразованию. Из (9.17) видно, что fj есть сумма константы К и квадрата расстояния между фиксированной точкой (?lt ?2, ...., Ът) и переменной точкой (xlt х2» •••» *т)» принадлежащей области с ограничением (9.18). Следовательно, задача минимизации f3 эквивалентна задаче нахождения такой точки, удовлетворяющей (9.18), которая находилась бы на минимальном расстоянии от данной точки (glf |a, ..., |т). Если данная точка принадлежит области, т. е. то она и есть искомая точка и *p = gp (p=lf 2,..., m). (9.20) Если же точка находится вне области, т. е. I2 I2 2 + т то, для того чтобы расстояние от данной точки было минимальным, точка (хъ х2У ..., хт)9 принадлежащая области, должна лежать на ее, границе. Более того, поскольку для получения отношений -^- произво- %р дилось ортогональное преобразование от исходных переменных, расстояние сохраняется и поэтому координаты граничной точки можно, подобно (9.16), выразить через bjp. Сведение условия к равенству позволяет при решении задачи воспользоваться обычными математическими методами. При доказательстве теоремы 9.1 появляется дополнительная информация, облегчающая решение. Во-первых, показано, что если минимум fj находится в области (9.15), то его значение равно К в (9.17) и искомая точка есть (9.20). Более важно другое: для случая, когда минимум fj находится вне области, предлагается подход, намного более удобный, чем тот, что порождается задачей минимизации (9.9) при ограничении (9.16). 210
Упрощенно задача, возникающая из (9.17) и (9.18), сводится к минимизации. (*1-SlJ + (*2-i2J+- + (*m-U2 (9-22) при ограничении ^1 + _1+...+^ = 1. (9.23) i2 ~ л2 ~ ' j2 Л1 А2 Лт Для решения этой задачи воспользуемся методом множителей Лагран- жа (см. 8.3). С этой целью необходимо построить новую функцию, равную разности (9.22) и произведения множителя Лагранжа \i на (9.23), и приравнять нулю частные производные полученного выражения па переменным хр. В результате получим уравнения 1г *W (9.24). которые вместе с (9.23) образуют систему {т + 1) уравнений с (т+ 1) неизвестными xlt х2, ..., хту [i. Параметр \i можно определить из любого уравнения (9.24). (р=1J т) (925> и исключить, подставив (9.25) в остальные уравнения (9.24). Приравняем первое и любое другое выражения вида (9.25); откуда хр = х *Jk*PXl Р & = 2, 3,..., т). (9.26) Заметим, что при решении системы уравнений (9.23) и (9.24) можно полагать все 1Р неотрицательными числами. Даже если некоторое исходное число |р отрицательно, его можно заменить в (9.24) на |?р|, получить решение хр, а затем в окончательном решении заменить хр на —хр. Подстановка (9.26) в (9.23) приводит к полиному степени 2т относительно хг. Непосредственное решение такого уравнения может оказаться затруднительным, поэтому здесь пользуются методом последовательных приближений. Основанием для этого служит следующая теорема. 21!
Теорема 9.2. Пусть выбрано некоторое значение хъ лежащее между О umin (^Дх); воспользовавшись этимуси по (9.26) вычислены хр(р = 2, ..., т — 1) и по (9.23) — хт. Если (f) (9.27) то *i^*i*. (9.28) еде хг* есть искомое решение для х±. Доказательство начинается с выяснения того факта, что хр есть возрастающая функция от хх AР считаются положительными). Затем можно сделать еще два заключения. Если х± < #!*, то хр меньше своего решения хр* и, значит, хт больше своего решения хт*. Таким образом, Если хх>хг*, то подобные же рассуждения приводят к л 2 / 1 Ei \ л 2 К\ 1 > Кт \ Ч ) что и завершает доказательство. Прежде чем покончить с рассмотрением теоретических аспектов метода минимальных остатков, обратим внимание на некоторые его свойства. В то время как система главных факторов не есть, вообще говоря, система факторов с минимальными остатками, обратное всегда верно: решение с минимальными остатками является результатом применения метода главных факторов к матрице с соответствующими диагональными элементами. Оба метода, примененные к корреляционной матрице со специальными значениями общностей на диагонали (т. е. с общностями, соответствующими минимальным остаткам), дают одно и то же решение. Если бы, это было не так, то сумма квадратов вне- диагональных и диагональных остатков была бы больше в первом случае из-за того, что минимальные остатки минимизируют внедиаго нальную сумму, а во втором — потому, что при минимальных остатках" сумма диагональных остатков равна нулю. Это означает, что оба метода дают эквивалентные решения (при этих специальных общностях). Приведенные к каноническому виду (8.8), оба решения идентичны. Высказанное утверждение можно изобразить схематично: (R-I + Hmin)^^-Amin, (9.29) где Hmin — диагональная матрица общностей, соответствующих минимальным остаткам, Amin — факторная матрица, найденная методом минимальных остатков. 212
Точно такая же связь, как между методами минимальных остатков и главных факторов, может быть найдена для метода максимального правдоподобия, а именно (см. гл. 10): (R * 4~ пмакс.правд.) *" АМакс.правд. (У.«30) Конечно, это совпадение происходит лишь в случае канонического вида решения: обычное решение метода максимального правдоподобия, не приведенное к каноническому виду, может не дать подобной эквивалентности. Факторная матрица, определяемая (9.30), приближает в смысле наименьших квадратов матрицу (R — I + Нмакс.правд.), причем диагональные члены обеих матриц совпадают и поэтому эта факторная матрица является одновременно решением метода минимальных остатков. Это и дает основание вместо трудоемкого метода максимального правдоподобия использовать метод минимальных остатков с его вычислительными достоинствами. 9.5. Проверка значимости при оценке числа факторов В основном в этой книге задача факторного анализа рассматривается в чисто математическом плане, как задача описания некоего «чистого» материала, генеральной совокупности, а не определенной выборки. Ссылаясь на «истинные» значения, мы заменяем вычисленные коэффициенты корреляции выборочными, предполагаем отсутствие остатков и т. д., не заботясь о теоретико-статистической обоснованности подобных допущений. Цель этого замечания не в том, чтобы принизить значение подобных работ, а в том, чтобы привлечь внимание к связи между сложными приближенными процедурами и методами статистической проверки значимости. Факторный анализ имеет дело с информацией, искаженной помехами; отдельные измерения и коэффициенты корреляции между параметрами меняются от выборки к выборке. Как следствие факторный анализ дает от выборки к выборке разные результаты. В частности, при оценке числа т общих факторов следует основываться не только на значениях вычисленных корреляций, но и на значимых отклонениях этих корреляций. Вопрос о подведении строгого статистического фундамента под факторный анализ волновал исследователей еще в пору зарождения предмета. Методы анализа были еще весьма простыми, но уже тогда большое внимание в приложениях уделялось теоретико-статистической обработке. Спирмэн построил свою «двухфакторную» теорию в статистических терминах и исследовал ошибки измерения «тетрадных разностей» [444]. В 1930-е годы, в пору быстрого развития факторного анализа, усилия ученых были направлены на распространение методов анализа на класс корреляционных матриц, не обладающих иерархической структурой в смысле теории Спирмэна. Большинство работ этого периода связано с развитием вычислительных процедур для анализа больших наборов психологических тестов в терминах многих факторов. При переходе от единственного генерального фактора ко 213
многим общим факторам статистические проблемы необычайно услож нялись и умножались, но на это не обращали внимания. Были, конечно, и исключения, пример тому — работа Г. Хотеллинга [259]. Наконец, в началее 1940-х годов последовательными усилиями Д. Лоули [320, 321] была разработана статистическая база для новых методов факторного анализа. Предложив применять «метод максимального правдоподобия» Р. Фишера [128, 129] для оценки значений факторных нагрузок по данной эмпирической информации, Лоули присовокупил к этим методам оценки статистический тест для проверки значимости числа факторов, необходимых для описания выборочных коэффициентов корреляции (эти методы изложены в следующей главе). Еще до мощной атаки Лоули [320] делались попытки построения статистических тестов для проверки факторной модели B.9), правда менее плодотворные. К. Кумбс [86] выделил в матрице остаточных коэффициентов корреляции после учета любого числа факторов дисперсию, определяемую общностью, и дисперсию ошибки и ввел понятие «критической точки», когда доля дисперсии ошибки, учитываемой вновь построенным фактором, намного перекрывает его вклад в общность. Однако эта концепция оценки числа значимых факторов была сугубо специфической и годилась только для центроидного метода, поскольку опиралась на изменение направления параметров (векторов) и на число отрицательных элементов в остаточной матрице. Другая попытка, уже в применении к бифакторному методу, была предпринята К. Холзингером и Г. Харманом [243]. После трудоемких выкладок в духе ранних работ по исследованию стандартного отклонения тетрадных разностей появились приближенные формулы для подсчета стандартного отклонения остатков и факторных коэффициентов. Эти результаты приведены в табл. А и Б приложения. В работе П. Хоула [231] также рассматривается вопрос о статистической оценке числа общих факторов. Разработав подобную процедуру для метода главных компонент, Хоул модифицировал ее для центроидного метода и факторной модели B.9). Хоттелинг [259] был первым, кто предложил строгую статистическую процедуру оценки числа значимых факторов в методе главных компонент. Позднее Бартлетт [28] внес дальнейший вклад в развитие этой проблемы. В компонентном анализе он предложил пользоваться Х2-критерием для оценки статистической значимости нередуцированной корреляционной матрицы и меньших корней характеристического уравнения. Бартлетт разработал также модифицированный вариант 5С2-критерия для обычной модели компонентного анализа. По-видимому, наиболее важной теоретической работой, имеющей отношение к методу минимальных остатков, была работа Риппа [401]. В частности, Рипп предложил критерий для оценки полноты факторизации, который не зависит от конкретного вида факторного решения (в отличие от критерия 10.4, предназначенного для оценки факторных нагрузок методом максимального правдоподобия). Основное предположение здесь состоит в том, что исходные параметры имеют много- 214
мерное нормальное распределение и, следовательно, коэффициенты корреляции распределены по Уишарту (см. 10.3), а их выборочные значения есть максимально правдоподобные оценки коэффициентов корреляции генеральной совокупности. Рипп строил свою теорию в терминах выборочных ковариаций [401], но его результаты в равной степени применимы к факторному анализу матриц выборочных коэффициентов корреляции. Применив принятые в этом тесте обозначения, запишем выражение для оценки значимости т факторов: +D2'. . (9.31) Здесь Um асимптотически распределена по закону %2 с числом степеней свободы, равным: v = — [(п — тJ + п—т]. (9.32) Смысл процедуры состоит в следующем: если Um превышает значение %2 при заданном уровне значимости, то гипотеза о числе факторов т отклоняется; в противном случае гипотеза принимается. При отклонении гипотезы можно выдвинуть и проверить справедливость гипотезы о большем числе факторов, описывающих выборочные коэффициенты корреляции. Отметим, что соотношение (9.31) основано на дисперсии выборочной корреляционной матрицы (а значит, и факторной матрицы А). Отклонение выборочных коэффициентов корреляции от теоретических зависит, конечно, от размера выборки N. Поскольку эти отклонения особенно велики при малых выборках, на практике стараются проводить факторный анализ на выборках большого объема. В этих случаях результаты, полученные с помощью формулы (9.31), достаточно хорошо удовлетворяют целям практики. Нельзя забывать о различии между понятиями статистической и «практической» значимости. Вывод о статистической значимости означает лишь, что некоторый формальный критерий удовлетворен на заданном уровне достоверности по вероятности. Все выводы о достоверности тех или иных величин, полученных в результате анализа эмпирического материала, верны не абсолютно, а в вероятностном смысле. Достоверность выдвинутых гипотез выражается через некоторые достаточно произвольные уровни значимости, выражаемые обычно в процентах; в приложениях часты числа 5% и 1 %. Так, если различие между теоретическим значением некоторой характеристики и ее значением, вычисленным из исследуемого материала, существенно на уровне 1 %, то можно сделать заключение о наличии «действительного» различия и отказаться от противоположной гипотезы. Впрочем, на практике подобное заключение может оказаться и неверным, т. е. статистика дает дополнительные характеристики, которые для практики роли не играют. Например, в результате проверки значимости гипотезы о числе общих факторов выявляется некоторое их число (анализ основан на достаточно большой выборке!); при этом последние один 215
или два фактора в статистическом плане значимы на высоком уровне, но для практики они могут не иметь никакого значения. Как отмечалось в 2.6, на основе опыта работы с реальными задачами в факторном анализе появились грубые методы для определения момента остановки факторизации. В дополнение к этим грубым методам (между прочим, ряд исследователей указывали на их тесное сходство с более точными методами) был обнаружен еще один эффективный прагматический подход. Рассмотрим долю суммарной дисперсии (или общности), которая учитывается каждым фактором. Если, после того как учтено 75% (или 80, или 90%) суммарной дисперсии, очередной фактор учитывает меньше 5% (или 2%) дисперсии, то этот фактор исключается. Фактически здесь исходят из статистической значимости фактора; он исключается, поскольку заранее было условлено, что фактор с малым вкладом в суммарную дисперсию не имеет практической ценности. Проводя интенсивные практические работы с применением ЭВМ, Кайзер [296] пришел к эвристической процедуре поиска числа необходимых, надежных и значимых полезных общих факторов, объясняющих корреляции между параметрами. Рассмотрев разнообразные аспекты проблемы: статистическую значимость, формальные ограничения, вопросы надежности измерений, психологическую содержательность результатов, Кайзер пришел к выводу, что общих факторов должно быть столько же, сколько собственных значений корреляционной матрицы (с единицами на главной диагонали), больших единицы. Он обнаружил, что это число колеблется от одной шестой до одной трети общего количества параметров (в примере табл. 8.19 при 24 параметрах количество общих факторов равно 5). Многие исследователи заметили, что применяемые ими эмпирические тесты значимости часто приводят к тем же результатам, что и «чисто статистические» тесты. Денфорд [93] хорошо отразил проблему соотношения осмысленности и значимости факторов: «Истые статистики недовольны произвольностью решений, возникающей здесь «дымовой завесой». Но статистик-практик понимает, что во многих случаях тесты значимости бесполезны ... поскольку они могут привести, а могут и не привести к осмысленным факторам ... даже при произвольном выборе этих «точных» тестов». 9.6. Блок-схема машинной программы Изложенные выше теоретические результаты могут лечь в основу программы для ЭВМ, краткая блок-схема которой представлена на рис. 9.1. Рассмотрим более детально отдельные этапы этой программы. 1. Вводятся (строка за строкой) полная корреляционная матрица R (с единицами на диагонали) и ряд необходимых характеристик: число параметров п, число факторов т (или интервал от тх до т2), максимальное число итераций t, значение параметра сходимости е (не путать с вектором bj приращений). Для контроля удобно иметь всю вводимую информацию отдельно в напечатанном виде. 216
2. Подпрограмма вычисления собственных значений и собственных векторов действительной симметрической матрицы; в процессе получения решения с минимальными остатками используется много раз. Примером такой подпрограммы является блок-схема рис. 8.3 (см. также пояснения в 8.6). 3. Строится и запоминается начальная произвольная факторная матрица Ао, содержащая первые т главных компонент. В действительности программа вычисляет решение в минимальных остатках для значений т от т1 до т2, но в данном сокращенном варианте эта деталь'не Ввод Г /Вычисление\ Iсобственных Д [значений и coo A \ ственных / \ век тор од I npeoffpQ у 10 зоВанае 11 Определение ^ Вычисл нет 12 е//ие i Диагон(. матрис ^ э 7ли5аца* (ы W Печать А/,#п?> плотности распределения ikAaj Мочальная факторная матрица Ао Вычисление вектора 6j /Решение I систем мине \ Модифици- робаняая матрица А[ Вычисление матрицы остаткоВЯт Вычисление а запоминание Приведение А к канонической форме да ^s^ " "' ^ нет 9.1. Блок-схема машинной программы для метода минимальных остатков. 217
указана. Выпечатываются исходная матрица Ао, значения общностей и дисперсии всех факторов. 4. По формуле (9.14) подсчитывается вектор приращения е}- (применяя шаг 5). Итеративный процесс начинается с определения приращений для первого параметра исходя из начальной факторной матрицы Ао и первой строки выборочных коэффициентов корреляции гД 5. Подпрограмма решения системы линейных уравнений. 6. Определяется новая факторная матрица Ах, в которой первая строка нагрузок заменяется значениями, вычисленными согласно (9.7). Таким образом, выполнена первая итерация. При каждой итерации i строится новая факторная матрица Aj (индекс при А относится к номеру итерации, а не к параметру). 7. Сравнение значения общности hj2 (в новой строке А) с единицей. Если hj2 > 1, перейти к шагу 8, в противном случае — к шагу 5. 8. Целевая функция fj из (9.9) выражается в виде суммы квадратичной формы b'Wb от т неизвестных bjP (/ фиксировано, р = 1, 2,..., т), линейного выражения от этих неизвестных и константы [205]. На этом этапе определяется симметрическая матрица. 9. С помощью подпрограммы шага 2 производится диагонализация матрицы W. Согласно (8.21), любую симметрическую матрицу можно диагонализировать с помощью ортогонального преобразования Q, определяемого из QWQ-A, где А—диагональная матрица с элементами А,х2, Я22, ..., Хт2, которые являются собственными значениями матрицы W; столбцы матрицы Q, есть собственные векторы матрицы W. 10. Производятся дополнительные преобразования, в результате которых неизвестные хр выражаются через исходные bjP, а константы 1Р и К — через известные rjk и акР- В итоге этого шага получается уравнение (9.17) относительно целевой функции при условии (9.18). 11. Процесс проводится для первого неизвестного хъ далее для определения остальных хр применяется итеративная схема, вытекающая из теоремы 9.2. В качестве начального значения х1 удобно взять 12. С помощью (9.26) вычисляются остальные хр (р = 2, 3, ..., т — 1) и с помощью (9.23) — значение хт. 13. Проверка сходимости хх к хг*, согласно теореме 9.2. Цикл, включающий шаги 11—13, представляет собой подпрограмму оптимизации расстояния; итеративный процесс продолжается, пока хг не сойдется к своему решению с точностью не менее 10~8. 14. Определяется модифицированная матрица А*. Этим завершается цикл модификации (шаги 8—14), работающий при hj2 > 1. 218
15. Согласно (9.2), по факторной матрице А* и исходной корреляционной матрице R вычисляется матрица остатков (с нулями на диагонали). Обозначение Rm подчеркивает учет т общих факторов, номер итерации для простоты в обозначении опущен. 16. Вычисляется и запоминается матрица изменений факторных нагрузок при переходе от предыдущей итерации к текущей (понадобится в дальнейшем). 17. Определяется, все ли строки факторной матрицы подверглись изменениям на данном цикле. Цикл, включающий шаги 4—17, повторенные п раз, представляет собой главный цикл итерации. При первом его прохождении по векторам гг, г2, ..., s n приращений нагрузок п параметров определяется набор факторных матриц Ах, А2, ..., Ап. Точно так же набор факторных матриц определяется при каждом прохождении главного цикла. 18. В конце каждого прохождения главного цикла (т. е. после определения \СП9 где с = 1, 2, 3, ... — номер прохождения главного цикла) проверяется выполнение условия сходимости: msix\ii)ajp — {i-.i)aJp\<e (/ = 1,..., п; р=1,..., т)9 и р где i — номер итерации. Максимальное изменение нагрузки, вычисленное на шаге 16, должно быть меньше е. В большинстве приложений удобно брать е = 0,001. 19. Если условие сходимости не выполнено, то проверяется, не выполнено ли максимально допустимое число итераций. Для предосторожности рекомендуется брать t = 1000 (тогда процесс закончится при / = сп, т. е. при наименьшем числе шагов, кратном п и превышающем 1 000). 20. Если факторные нагрузки сошлись к решению или достигнуто максимально допустимое число итераций, то последняя факторная матрица преобразуется в каноническую форму (см. 8.8). При этом вновь используется подпрограмма шага 2. 21. Вывод на печать результатов; в частности, выводятся: факторная матрица минимальных остатков А, финальное значение целевой функции /, матрица финальных остатков, плотность распределения остатков и изменений факторных нагрузок (с их средними значениями и стандартными отклонениями), значение характеристики Um и число степеней свободы v. Хотя на блок-схеме не показано, но в реальной программе реализовано определение значения Umy согласно (9.31), и числа степеней свободы. Таблица необходимых для сравнения значений %2 заполняется вручную. 9.7. Примеры Для решения множества прикладных задач была написана машинная программа [203] (на языке ФОРТРАН с учетом особенностей машины Philco-2000), реализующая метод минимальных остатков согласно 219
процедуре 9.6; позднее программа была модифицирована для машин IBM 7044 и СДС 3200. Задачу минимизации внедиагональных остатков программа решала весьма эффективно. В табл. 9.1 показано время,, требующееся для решения задач различных размерностей. Вообще говоря, метод минимальных остатков требует большего времени, чем метод главных факторов, поскольку при получении решения в минимальных остатках на некоторых стадиях применяется процедура вычисления собственных значений и собственных векторов. Тем не менее для задач умеренной размерности вычисление минимальных остатков требует весьма небольшого времени. С появлением нового поколения ЭВМ метод минимальных остатков становится рентабельным даже для очень больших задач. Таблица 9.1 Машинное время» минимальных остатков необходимое для реализации метода Размерность задачи п 5 8 8 9 9 24 24 24 36 42 42 42 42 42 42 42 42 42 т 2 2 3 2 3 4 5 6 12 7 8 9 10 И 12 13 14 15 Требуемое время* Philco-2000 (модель 2i0) 3 сек 5 » 18 » 5 » 12 » 39 » 3,0 мин 5,6 » 8,0 » 6,1 » 6,2 » 6,0 » 12,5 » 15,4 » 26,3** » 30,0** » 27,1 » 31,8** » машины, выпущенные после 1960 г. 1—5 сек ) ) 5—30 » J 40 » } 30—60 » 1—4 мин ¦ Приводимые оценки основаны на опыте работы с машиной Phil со, а также с такими большими машинами, как система IBM/360, CDC 6600 и GE 625. *¦ Решение не сошлось (согласно критерию блок-схемы, шаг 18); данная оценка соответствует 1008 итерациям. Прежде чем перейти к частным проблемам, сделаем общее замечание. Вполне может оказаться так, что модель, описывающая данный материал «наилучшим» (в смысле минимума целевой функции /) образом, оказывается не очень подходящей. Например, если при 50 параметрах модель включает два фактора, то естественно ожидать достаточно больших значений финальных остатков, хотя суммы квадратов вне- диагональных остатков и будут минимальными. При данной гипотезе решение в минимальных остатках наилучшим образом удовлетворяет 220
критерию наименьших квадратов. Что же касается статистической значимости факторов, то для ее выяснения при больших выборках можно воспользоваться процедурой 9.5. Во всяком случае, при любой гипотезе о числе факторов необходимо получить устойчивое факторное решение. Цель, следовательно,, состоит в том, чтообы некоторый критерий сходимости гарантировал точность вычисления факторных нагрузок. Для того чтобы быть уверенным в устойчивости решения в минимальных остатках, необходимо ограничить некоторым заранее заданным малым числом максимально допустимое изменение всех факторных нагрузок от одной итерации к другой (см. шаг 18 блок-схемы). 1. Пять социально-экономических параметров. Первый пример относится к простому материалу, описанному во второй главе. Из предыдущих экспериментов с этим материалом видно, что для него естественно предположить два общих фактора. Процедура поиска решения в минимальных остатках начинается с произвольной факторной матрицы. Сначала находятся две главные компоненты (для этого машине нужно лишь задать число т общих факторов). Решение, выданное машиной, приведено в табл. 9.2. Кроме этого, выдается финальное значение целевой функции (/ = 0,00098), матрица остатков со своей гистограммой, а также гистограмма изменений факторных нагрузок при переходе от предыдущей итерации к настоящей. Вся эта дополнительная информация представляет значительный интерес, поскольку позволяет судить об адекватности описания и проводить интерпретацию результатов; в целях экономии места мы не будем приводить ее здесь. Что касается теста для проверки значимости числа общих факторов, отсылаем читателя к упражнениям, относящимся к этой главе. Из табл. 9.2 видно, что в данном случае мы имеем дело с вариантом Хейвуда. При обработке первого параметра придется проводить модификацию (шаги 8—14 блок-схемы). Таблица 9.2 Решение в минимальных остатках для пяти социально- экономических параметров (два общих фактора) Параметр / 1. Население 2. Образование 3. Занятость 4. Профессиональная занятость 5. Стоимость жилища .... Дисперсия 0,621 0,701 0,702 0,881 0,781 2,756 F* —0,783 0,522 —0,683 0,144 0,605 1,739 1,000 0,764 0,958 0,797 0,976 4,495 Любопытно сравнить результаты, даваемые методами минимальных остатков и главных факторов. Естественно, что две главные компоненты учитывают большую долю суммарной дисперсии D,670), чем любые 221
другие два фактора, но сумма квадратов полученных здесь внедиагональных остатков не является минимальной (/ = 0,01217). В решении табл. 9.2 значение целевой функции значительно уменьшено. В то же время эти два фактора, не учитывающие максимума дисперсии, но дающие «наилучшее» описание внедиагональных коэффициентов корреляции, позволяют учесть 90% суммарной дисперсии параметров. 2. Восемь морфологических параметров. Теперь рассмотрим пример с восемью морфологическими параметрами, введенный в 5.4; проанализируем гипотезы о двух и о трех общих факторах. На первый взгляд может показаться, что для более тонкой модели, чем двухфак- торная, нет никаких оснований; при двух факторах f = 0,01205, а при трех / = 0,00452. Кроме того, обе модели учитывают примерно одинаковую долю дисперсии параметров, а именно трехфакторная модель учитывает 77,1%, что лишь ненамного превышает 74,5%, соответствующие двухфакторной модели. Более внимательный анализ решения при т = 2 дает новую информацию, весьма полезную с точки зрения применения метода минимальных остатков. Если бы модель описывала материал точно, то все остатки были бы равны нулю; понятно, что при работе с эмпирическим материалом это невозможно. В данном случае остатки располагаются в интервале от —0,027 до 0,044, имеют нулевое среднее (с точностью до четырех десятичных знаков) и стандартное отклонение, равное 0,021. С точки зрения практики эти остатки слишком малы, чтобы потребовался еще один фактор. Однако для адекватного описания выборки в 305 объектов третий фактор вполне может понадобиться. Ответить на этот вопрос помогает тест для проверки значимости 9.5. С помощью (9.31) получаем U2 = 304 loge@,00125958)/@,00096740) = 79,8. Далее с помощью ЭВМ вычисляются детерминанты матриц выборочных и вычисленных коэффициентов корреляции. Согласно (9.32), число степеней свободы равно 21. Из табл. Г приложения находим, что при 21 степени свободы иР = 0,001 %2 = 46,8. Это означает, что вероятность того, что величина %2 превысит 46,8, составляет всего 0,001. Поскольку в действительности U2 = 79,8, т. е. значительно больше исследованного значения, то, очевидно, от гипотезы т = 2 следует отказаться. Следовательно, для адекватного описания данного материала необходимо не менее трех общих факторов. Решим ту же задачу для т = 3. Детерминант матрицы выборочных коэффициентов корреляции остается тем же, что и в предыдущем случае. Детерминант матрицы вычисленных коэффициентов корреляции при трех факторах равен 0,00105459, т. е. он немного меньше, чем при двух факторах. Из (9.31) имеем U3 =26,2 и 15 степеней свободы. Отсюда получаем U3 = 37,7 при Р = 0,001; U3 = 30,6 при Р = 0,01; ?/3=25,0 при Р = 0,05. Следовательно, гипотеза о трех факторах неверна с уровнем значимости 5% и верна с уровнем значимости 1%. На основании этих трех общих факторов было проделано сравнительное исследование решений по методу минимальных остатков и по '222
методу максимального правдоподобия. В конце 9.4 отмечалось, что обработка методом главных факторов корреляционной матрицы со значениями общностей, полученных методом максимального правдоподобия, приводит к решению, которое является решением с минимальными остатками. Согласно условиям методов минимальных остатков и максимального правдоподобия (см. 10.3), два решения идентичны, только если значения соответствующих общностей равны. Целью исследования было выяснение того, насколько фактические значения общностей для набора из п параметров могут различаться,, приводя в то же время к эквивалентному решению (понятно, что речь не идет о строгом равенстве). Для данного примера были получены следующие решения: методом максимального правдоподобия (с произвольной исходной матрицей); методом главных факторов (с общностями, полученными по методу максимального правдоподобия); методом минимальных остатков (с исходной матрицей, полученной методом максимального правдоподобия); методом максимального правдоподобия (с исходной матрицей, полученной методом минимальных остатков). После того как решения, полученные методом максимального правдоподобия, были приведены к канонической форме, все четыре решения практически совпали. Значения общностей и вклады факторов различались лишь в третьем десятичном знаке; факторные нагрузки за отдельными исключениями также совпадали с точностью до третьего десятичного знака. Решения оказались эквивалентными, несмотря на то что значения восьми общностей меняются в интервале от 0,5 до 1,0 (см. табл. 9.3). Таблица 9.3 Решение в минимальных остатках для восьми морфологических параметров (два и три общих фактора) Параметр Гипотеза: F2 Гипотеза: A.-2 1. Рост 2. Размах рук . . . 3. Длина предплечья 4. Длина ноги . . 5. Вес 6. Окружность бедер 7. Окружность груди 8. Ширина груди . Дисперсия 0,856 0,848 0,808 0,831 0,750 0,631 0,569 0,607 4,449 -0,324 -0,412 -0,409 -0,342 0,571 0,492 0,510 0,351 1,510 0,838 0,889 0,821 0,808 0,889 0,640 0,583 0,492 0,860 0,867 0,803 0,835 0,751 0,626 0,565 0,611 5,959 4,480 -0,322 -0,432 -0,396 -0,340 0,583 0,492 0,508 0,362 1,533 -0,160 0,242 0,031 -0,163 -0,113 0,019 0,001 0,182 0,158 0,868 0,998 0,803 0,839 0,915 0,635 0,577 0,537 6,171 Следует однако, отметить, что найденное решение с минимальными остатками эквивалентно решению методом максимального правдоподобия, соответствующему одному локальному максимуму (решение 2 22$
в табл. 10.6), отличается от другого правдоподобного решения, соответствующего другому локальному максимуму (решение 1 в табл. 10.6). Проблема поиска глобального оптимума вместо локального в методах максимального правдоподобия и минимальных остатков не решена. Даже в случае сходимости вычислительной процедуры нет уверенности в том, что оптимальная точка (минимум или максимум) является таковой для всей многомерной поверхности, а не только для ее области. Впрочем, для практики этот вопрос несуществен: лишь бы получалось приемлемое решение. 3. Исследование восьми эмоций. Этот пример, впервые введенный в 8.7, рассматривается здесь лишь в связи с трудностями, возникающими при получении системы главных факторов на основании значений КМК (взятых в качестве общностей). Конечно, в методе минимальных остатков подобные трудности не возникают, поскольку здесь не нужны предварительные оценки общностей. Была выдвинута гипотеза о двух общих факторах (на основании предварительных исследований этого материала) и получено решение в минимальных остатках (табл. 9.4). Таблица 9.4 Решение в минимальных остатках для восьми эмоций (два общих фактора) Параметр / 1 2 3 4 5 6 7 8 Дисперсия 0,982 0,935 0,833 0,720 0,676 0,526 0,515 0,355 4,176 F2 -0,065 —0,111 -0,550 -0,091 0,330 0,164 0,583 —0,128 0,820 V 0,968 0,888 0,997 0,526 0,566 0,304 0,605 0,142 4,996 Интересно отметить большое сходство решения в минимальных остатках и системы главных факторов (табл. 8.16). Наибольшие различия получаются у параметра 3: для общностей это различие составляет почти 0,1- Суммарная общность решения в минимальных остатках D,996) превышает общность системы главных факторов D,87). Что же касается интерпретации результатов, то все выводы относительно системы главных факторов в равной степени могут быть приложены к решению в минимальных остатках. Отмеченные выше трудности побудили к дальнейшему исследованию материала методом минимальных остатков. Что произойдет в случае вырожденной корреляционной матрицы, если попытаться вычислить решения в минимальных остатках для т = 3, 4, ..., 8?. Если некоторые из восьми параметров коллинеарны, то при т = 8 решение 224
должно быть невозможным. В действительности так оно и оказалось (некоторые основные результаты этого исследования приведены в табл. 9.5). Легко видеть, что все коэффициенты корреляции полностью описываются уже при т = 6. При т =7 и 8 исследуется лишь «шум» самих вычислений. На самом же деле с точки зрения требований практики удовлетворительным является уже двухфакторное решение табл. 9.4. Решение для т = 3 может понадобиться только в случае особенных требований к точности описания выборочных коэффициентов корреляции. Таблица 9.5 Решение в минимальных остатках для восьми эмоций (от двух до шести общих факторов) Число факторов т Целевая функция f Число общностей, равных 1 (до двух десятичных знаков) Число итераций (тах=1000) Машинное время (Philco-2000) 2 3 4 5 6 0,07431 0,02605 0,01380 0,00277 0,00018 56 88 1000 1000 1000 5,0 сек 18,7 » 8,4 мин 12,1 » 25,5 » 4. Двадцать четыре психологических теста. В качестве последнего примера рассмотрим сложную задачу большой размерности. В целях демонстрации метода минимальных остатков были получены системы 4-, 5- и 6-факторных решений в минимальных остатках для набора из 24 психологических тестов (табл. 7.4). Как видно из табл. 9.1, для получения всех трех решений понадобилось около 9 мин. на сравнительно медленно работающей машине A966 г.); на современных машинах та же работа требует меньше минуты машинного времени. Для экономии места в табл. 9.6 представлено полное решение только для случая пяти факторов. Решение в минимальных остатках дано в канонической форме, т. е. порядок факторов соответствует их вкладу в суммарную дисперсию. Это позволяет достаточно просто сравнить данное решение с системой главных факторов табл. 8.21. Видно, что каждый из «минимальных» факторов учитывает большую часть диспер сии, чем соответствующий главный фактор. Это различие слабо выяв лено у первых четырех факторов и достаточно сильно у пятого фактора. При внимательном анализе обнаруживается, что причиной такой резкой разницы для пятого фактора является параметр 19. В самом деле, при поиске системы главных факторов в качестве оценки А192 бралось значение 0,367 (а само решение дало лишь 0,287), тогда как решение в минимальных остатках дает для этой общности максимально допустимое значение 1,00. Такая же картина получается при шести факторах, но совсем другая — в случае четырех факторов (А192 = 0,235). Метод главных факторов позволяет учесть для данного числа факторов максимум суммарной дисперсии параметров. Но он не может 8 Зак. 656 225
Таблица 9.6 Решение в тестов E общих факторов) Тест / 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Дисперсия 0,597 0,372 0,420 0,483 0,686 0,685 0,676 0,673 0,695 0,473 0,555 0,470 0,598 0,426 0,392 0,512 0,465 0,518 0,492 0,616 0,594 0,610 0,688 0,651 7,671 минимальных остатках для 24 F2 0,028 —0,033 —0,Ш —0,112 —0,308 —0,404 —0,420 —0,200 —0,452 0,511 0,349 0,493 0,254 0,059 0,097 0,090 0,207 0,318 0,182 —0,141 0,208 —0,103 —0,065 0,167 1,700 0,341 0,231 0,365 0,228 —0,277 —0,181 —0,294 —0,096 —0,204 —0,498 —0,170 —0,203 —0,025 0,025 0,105 0,348 0,020 0,156 0,285 0,119 0,050 0,125 0,128 —0,185 1,241 Ft 0,274 0,208 0,127 0,240 0,006 —0,102 0,005 0,073 —0,120 0,050 —0,079 0,272 0,273 —0,329 —0,258 —0,108 —0,331 —0,091 —0,508 0,055 0,139 —0,020 0,131 —0,050 0,985 психологических 0,020 —0,036 0,129 0,006 0,002 —0,017 0,084 0,076 0,010 0,038 —0,055 —0,007 0,111 —0,302 —0,314 -0,272 —0,156 —0,060 0,621 -0,179 0,042 0,008 0,003 0,087 0,767 V 0,549 0,237 0,355 0,355 0,642 0,675 0,728 0,514 0,743 0,736 0,468 0,580 0,509 0,386 0,339 0,477 0,393 0,405 1,000 0,449 0,419 0,398 0,512 0,496 12,365 учесть больше дисперсии, чем ее учтено корреляционной матрицей (т. е. оценками общностей). При поиске системы главных факторов (табл. 8.21) в качестве оценок общностей принимались значения КМК, которые, как мы знаем, являются для общностей оценками снизу. Поэтому нет ничего удивительного в том, что в решении в минимальных остатках учтено почти на 4% суммарной дисперсии больше, чем в системе главных факторов. Оценки общностей, попутно получаемые при нахождении решения в минимальных остатках, по-видимому, наилучшим образом соответствуют нашему представлению об общности. Обсуждая эту задачу в 8.7, мы пришли к выводу, что оптимальным числом факторов здесь будет пять, а с точки зрения практической целесообразности достаточно даже четырех. Этими выводами мы пользовались и в этой главе. Однако было бы желательно проанализировать решения при разном числе факторов. Не доводя это пожелание до абсурда, сравним между собой некоторые характеристики решений при 4, 5 и 6 факторах (табл. 9.7). Естественно ожидать, что по мере усложнения модели она будет описывать материал все лучше. Это подтверждается гистограммами минимальных остатков, а также приведенными в табл. 9.7 характеристиками минимальных остатков (их сред- 226
ними значениями, стандартными отклонениями и значениями целевой функции). Таблица 9.7 Распределение минимальных остатков для 24 психологических тестов D, 5 и 6 общих факторов) Интервал Более 0,0475 0,0425— 0,0475 0,0375— 0,0425 0,0325— 0,0375 0,0275— 0,0325 0,0225— 0,0275 0,0175— 0,0225 0,0125— 0,0175 0,0075— 0,0125 0,0025— 0,0075 —0,0025— 0,0025 —0,0075 0,0025 —0,0125 0,0075 —0,0175 0,0125 —0,0225 0,0175 —0,0275 0,0225 —0,0325 0,0275 —0,0375 0,0325 —0,0425 0,0375 —0,0475 0,0425 Менее —0,0475 Итого Среднее значение Стандартное отклонение /(А) Частота т = 4 29 9 6 7 16 15 19 13 12 15 9 14 12 13 9 12 6 10 10 5 35 276 —0,0000467 0,04089 0,45989 /72 = 5 25 6 6 8 11 19 10 19 12 24 И 18 17 8 11 14 7 8 10 4 28 276 —0,0000225 0,03708 0,37811 т = б 16 7 5 10 10 11 14 18 18 24 25 18 15 14 14 7 16* 8 2 4 20 276 —0,0000169 0,03186 0,27909 Насколько улучшается качество описания внедиагональных корреляций по мере увеличения числа факторов в модели, можно оценить не только по уменьшению.значений целевой функции. Сравним между собой соответствующие значения целевой функции решения в минимальных остатках (обозначим их через /тш) и системы главных факторов (/гф.). Так, для рассматриваемых чисел факторов имеем ш = 4 :/гф-/mln = 0,46788; ™ = 5 : /гф—/mm = 0,52775; m = 6 : /Гф—/min = 0,55765. Таким образом, значение целевой функции падает с ростом числа факторов как в решении с главными факторами, так и в решении с минимальными остатками. Однако при увеличении числа факторов различие между обоими решениями становится все существеннее. 8* 227
Наконец, с помощью статистического критерия значимости из 9.5, проверим гипотезу о пяти общих факторах. ЭВМ дает следующие значения детерминантов: |AA'+D2| = 0,0000507017; |R| = 0,0000107920, и при N = 145 из (9.31) получаем Ub = 222,8. Число степеней свободы согласно (9.32) , равно v = 190. Табл. Г приложения не позволяет работать с такими большими значениями числа v. Поэтому оценим необходимую нам вероятность исходя из нормального распределения. Подсчитаем нормальное отклонение распределения с единичной дисперсией и возьмем из_табл. В приложения значение соответствующей площади под кривой нормального распределения. Тогда искомая вероятность пропорциональна площади под кривой распределения за пределами найденного отклонения. Если принять %2 = Ubt то z = 1,64 и Р = = 0,50 — 0,4495 = 0,05, где учтена площадь между кривыми, выражающими среднее значение и значение отклонения. Следовательно, гипотеза о пяти факторах принимается с уровнем значимости 5%.
ГЛАВА 10. МЕТОД МАКСИМУМА ПРАВДОПОДОБИЯ 10.1. Введение В 9.5 уже говорилось о том, что в начале 40-х годов Лоули [320, 321] внес существенный вклад в развитие факторного анализа, предложив статистический метод оценки адекватности модели B.9) исследуемой корреляционной матрице (при фиксированном числе факторов). Тест Лоули для оценки числа общих факторов связан с определенным факторным решением, а именно с максимально правдоподобными оценками факторных нагрузок. Непомерный объем требуемых вычислительных работ ограничивал применение этого метода в 40-х и 50-х годах, не позволяя решать большие задачи. Благодаря современным ЭВМ метод максимального правдоподобия сегодня вполне реализуем. Впрочем, вопрос о сходимости процесса до сих пор остается нерешенным. Эта глава посвящена теоретико-статистическим вопросам. Поэтому в 10.2 дается краткое изложение основных идей построения статистических оценок. Имея представление об этом, будет легче понять идеи применения метода максимального правдоподобия в факторном анализе. Последние излагаются в 10.3; там, в частности, дается вывод оценок для факторных коэффициентов. Далее, в 10.4, описывается Х2-тест для оценки числа общих факторов. 10.5 посвящен детальному изложению вычислительных процедур для оценки факторных нагрузок методом максимального правдоподобия и для оценки числа общих факторов. Применение этих процедур иллюстрируется там на примере восьми морфологических параметров. Обсуждение численных примеров продолжается в 10.6. 10.2. Построение статистических оценок В основном в этой книге мы говорим об идеальных, строгих решениях. Хотя методы факторного анализа всегда применяются к выборочным корреляционным матрицам, интерпретация ведется обычно так, как если бы речь шла о генеральной совокупности, из которой 229
взята выборка. За исключением 9.5, мы почти не уделяли внимания проблемам достоверности выводов, которые делаются на основании анализа эмпирического материала. В этой главе будет проведено резкое различие между выборочной корреляционной матрицей и гипотетической матрицей, соответствующей генеральной совокупности, из которой взята исследуемая выборка. На основании выборки и в предположении факторной модели B.9) будут получены оценки факторных весов для генеральной совокупности и исследованы вопросы статистической значимости этих оценок. Для лучшего понимания развиваемых далее методов рассмотрим некоторые фундаментальные понятия статистической теории оценок. Задача статистической оценки состоит в извлечении информации о неизвестных параметрах генеральной совокупности на основании изучения'ограниченной выборки из этой совокупности. Пусть, например, функция распределения величины х определяется двумя параметрами, 0! и 92. Обозначим такую функцию через f(x\ Ql9 02) и будем понимать под ней функцию распределения для одного наблюдения х. Совместное распределение N (независимых) наблюдений xlt x2f ..., хы определяется как произведение отдельных функций, т. е. N .п/(**; 0х, 02). Эту функцию, рассматриваемую как функцию от 0 при фиксированных хь часто называют «функцией правдоподобия» выборки и обозначают L. Обычно проблема построения статистических оценок состоит в том, что по случайной выборке из N наблюдений требуется восстановить значения 0Х и 82. Оценка значений параметров сводится к построению функций -^ их обозначают обычноЪл(хъ х2У ..., xN) и 02 (л^, хг> ..., хп), таких, что распределение этих функций при повторных выборках сходится к искомым значениям. Такие функции от выборки называют оценками. Поскольку можно предложить разные способы построения оценочных функций, ниже дается распространенный критерий для их выбора. 1. Оценка 0 называется состоятельной, если при неограниченном возрастании выборки она сходится к истинному значению параметра, т. е. lim 0->0. N->oo 2. Оценка называется эффективной, если ее дисперсия ограничена и имеет наименьшее значение. Эффективная оценка является также и состоятельной. 3. Оценка называется достаточной, если в ней учтена вся информация, содержащаяся в выборке, о параметре. 230
4. Если математическое ожидание оценки равно истинному значению параметра, т. е. ?F)=е, то оценка называется несмещенной. Хотя несмещенность оценки и представляет некоторые удобства, она не является самым важным требованием к оценке. Благодаря тому что метод максимального правдоподобия позволяет получить оценки неизвестных параметров генеральной совокупности, удовлетворяющие первым трем из перечисленных четырех критериев, этот метод хорошо разработан и часто применяется. Не для всех параметров существуют достаточные оценки, но если таковые существуют, то метод максимального правдоподобия позволяет их получить [369]. Однако максимально правдоподобные оценки, вообще говоря, не являются несмещенными1. Значения этих оценок соответствуют максимуму функции правдоподобия. Для того чтобы переход к сложной задаче, обсуждаемой в 10.3, не представил трудностей, рассмотрим пример применения метода максимального правдоподобия в хорошо известной задаче. Пусть имеется нормальное распределение случайной величины X: f(X; lh°)=-p=e-&{X-»)\ A0.1) /2 характеризующееся двумя параметрами: средним значением генеральной совокупности и ее стандартным отклонением. Функция правдоподобия имеет вид |1,а), A0.2) что при N независимых наблюдениях переходит в BлJ о" м Чтобы найти максимально правдоподобные оценки \i и а, необходимо максимизировать функцию правдоподобия L. Но поскольку функция правдоподобия включает произведение некоторых элементов или, как в данном случае, выражена через экспоненты, часто практикуют максимизацию логарифма от нее (по основанию е). Делается это только для упрощения выкладок; суть дела при этом не меняется, так как 1 С помощью значения математического ожидания такой оценки можно получить несмещенную оценку. 231
максимумы функции правдоподобия и ее логарифма совпадают. Прологарифмируем выражение A0.3): = —^ \og2n-N 1оёв-± A0.4) 1=1 Для нахождения максимума этой функции по переменным \i и а приравняем нулю соответствующие частные производные и решим полученную систему двух уравнений: A0.5) Решив A0.5) относительно [х и а2, получаем следующие максимально правдоподобные оценки: (Ю.6) V Эти оценки параметров генеральной совокупности \i и а2 есть не что иное, как хорошо известные первый и второй моменты выборки. Нужно только заметить, что если оценка |1 несмещенная, то оценка а2 смещенная. Действительно, математическое ожидание этой оценки несколько меньше истинного значения параметра а2: ЕF*)=^о\ A0.7) Иными словами, несмещенная оценка для а2 (но не максимально правдоподобная оценка) будет 10.3. Оценка факторных нагрузок методом максимума правдоподобия Идея точного определения факторных коэффициентов в зависимости от сделанных предположений приводит к одному из трех методов: бифакторному, главных факторов, минимальных остатков; несколько 232
в стороне стоит общий подход метода максимального правдоподобия. Последний позволяет на основании гипотезы о числе общих факторов и выборки из N наблюдений набора в п параметров определить оценки факторных нагрузок для генеральной совокупности. Включаемый далее статистический тест дает ответ об адекватности гипотезы о числе общих факторов (см. 10.4). Принцип метода максимального правдоподобия относительно прост, требуемые же алгебраические преобразования достаточно сложны. Поэтому мы не будем приводить все выкладки полностью. Во-первых, установим основную модель и сделаем предположения относительно распределений. Будем понимать выражение B.9) более широко; пусть вместо параметра, заданного в стандартном виде, вы- ра>! ение B.9) задает параметр, измеренный в произвольных един цах: Без потери общности можно считать, что все параметры набора имеют нулевые средние значения. Будем далее предполагать, что факторы Fl9 F2, ...., Fm> Ult U2> ..., Un независимы и распределены по нормальному закону с нулевым средним и единичной дисперсией. Следствием этого предположения является многомерное нормальное распределение Xj. Вопрос об ортогональности или косоугольности системы факторов здесь несуществен. Проблема статистического оценивания касается только предсказания факторных нагрузок для ортогональных факторов; математические трудности, связанные с выяснением правомерности подобного подхода, при этом игнорируются. После того как методом максимального правдоподобия найдено пространство общих факторов, систему факторов можно преобразовать при желании в косоугольное решение и в любую другую систему факторов. Ввиду сложности предмета и в целях компактности изложения нам понадобится матричное обозначение. В табл. 10.1 приведены некоторые основные обозначения. Таблица 10.1 Обозначение матриц при статистическом оценивании факторных весов Матрица генеральная совокупность Р = (Р^) А-(а,,) оценка t Р А D2 выборка S = (sjk) R=(Oft) Порядок п-п п-п п-пг п-п Определение Ковариационная матрица Корреляционная матрица (с единицами на диагонали) Матрица коэффициентов при общих факторах Диагональная матрица значений характерностей 233
Потребность в теории выборочных распределений многомерных объектов привела к появлению специальной ветви статистики — многомерной математической статистики. Здесь все слишком сложно, и, прежде чем подступиться к решению нашей проблемы, нужно ввести некоторые разумные предположения. Так, например, уже определение дисперсии выборочной ковариационной матрицы представляет неимоверные трудности, если распределение полагать произвольным. Но если принять, что выборка взята из совокупности с многомерным нормальным распределением, то можно будет найти функцию распределения элементов матрицы ковариации. Этот замечательный результат был получен Уишартом [526] в 1928 г. Он выражается следующим образом: dF^ISI-^^-^Sf^^—''exp-^fi S °N* П ds,k. j,k=\ j<k=\ A0.10) где К — константа, зависящая только от N и п\ |2| и \S\ — детерминанты истинной и выборочной ковариационной матриц; olk — элементы обратной матрицы 2-1 (см. 3.2, п. 22). Если посмотреть на A0.10) как на функцию от о& и отделить от нее произведение дифференциалов, то получим функцию правдоподобия L выборки. Теперь остается найти такие оценки А и D2, соответствующие соотношению 2=AA'+D2, A0.11) которые максимизировали бы L. Для этой цели вычислим логарифм (по основанию ё) функции правдоподобия для распределения Уишар- та: N 1 / i ^ i ^i \ некоторая функция, logL = ——(log 2 + 2 <*lksJk]+ ъ A0.12) ь 2 \ ' ' \fkL\ 3k) 'независящая от 2- Максимум L (или ее логарифма) совпадает с минимумом функции logL = log |2 I + 2 GiksJk + некоторая функция, неза- висящая от 2» A0.13) более удобной с точки зрения программирования. Далее нужно найти частные производные от A0.13) по каждому из коэффициентов ajp и dj (всего таких производных будет пт + п), приравнять их нулю и решить полученную систему уравнений. В процессе работы появляется много длинных выкладок, поэтому ниже приведен лишь конечный результат. Здесь нужно заметить следующее: Лоули [320] и другие исследователи показали, что оценочные уравнения не зависят от единиц измерения параметров Х; в том смысле, что оценки факторных нагрузок данного параметра пропорциональны стандартно- 234
му отклонению этого параметра. В свою очередь, это означает, что оценочные уравнения для ajp можно выразить не через коэффициенты ко- вариации, а через корреляции. В компактном матричном обозначении этот результат, впервые полученный Лоули [320], можно записать так: P=AA'+D2; A0.14) A^PR-^A; A0.15) D2 = I—diagAA'; A0.16) A R A—диагональная матрица. A0.17) где Р — корреляционная матрица генеральной совокупности (т. е. истинная матрица), Р — ее оценка, R — выборочная корреляционная матрица (с единицами на главной диагонали). Заметим, что коэффициенты ajp в A0.11) отличаются от коэффициентов ajp в A0.14): если в первом случае речь идет о естественных единицах измерения параметров, то во втором параметры представлены в стандартном виде. Применение одних символов для обоих случаев продиктовано лишь соображениями простоты изложения. Нужно сказать также, что условие A0.17) призвано исключить пресловутую неопределенность матрицы А и, следовательно, произвол во вращении системы факторов. В некотором смысле это условие аналогично свойству ортогональности (8.23) системы главных факторов и канонической форме решения, описанной в 8.8 и примененной для фиксации решения в минимальных остатках 9.6 (вообще говоря, условие A0.17) можно заменить канонической формой). Уравнения A0.14), A0.15) совместно с условиями A0.16) и A0.17) дают процедуру для нахождения максимально правдоподобных оценок факторных нагрузок; реализация этой процедуры сопряжена с большими вычислениями, особенно при обращении корреляционной матрицы. Процедуру можно упростить, если предположить, что оценка Р равна выборочной корреляционной матрице R, т. е. свести A0.14) к виду AA' + D2 = R, A0.18) где для простоты символы пишутся без «крышки». Умножим обе стороны A0.18) слева1 на A'D~2: (A'D-2A + I)A/ = A'D-2R. A0.19) Обозначив J = A'D~2A, A0.20) имеем (I + J)A' = A/D~2R. A0.21 или JA'=AD-2R — A'. A0.22) 1 Тем самым предполагается, что значения всех характерностей отличны от нуля. 235
С помощью последнего выражения можно организовать итеративную процедуру. Уравнение A0.22) применяется совместно с A0.14) и A0.16); для выполнения условия, аналогичного A0.17), матрица J должна быть диагональной. Важное достоинство упрощенной процедуры состоит в том, что в ней операция обращения матрицы порядка п заменяется обращением матрицы порядка /л, что намного проще, так как число общих факторов обычно существенно меньше числа параметров. Опишем теперь итеративную процедуру решения уравнения A0.22) относительно факторных нагрузок [321]; в 10.5 эта процедура иллюстрируется численным примером. Поскольку факторные нагрузки вычисляются последовательно, фактор за фактором, и значения последующих нагрузок зависят от значений предыдущих, то нам будет удобно ввести обозначения для отдельных векторов матрицы факторного отображения А A = (a1aa...aJf A0.23) где каждый из вектор-столбцов есть ap = {alpa2p...anp} (р=1,2, ..., т). A0.24) Обозначим векторы, полученные из итеративного процесса, через Ьр; соответственно В обозначает матрицу факторного отображения, а Е2 — новую матрицу значений характерностей. Для случая трех факторов уравнения итеративного процесса имеют вид (легко обобщаемый на любое число факторов). b1= (RD~2a1-a1)//a1D-2(RD-2a1-a1); 2 a2 —a2—bx b/ D~2 a2)/ ~2a2—a2—b1b1/Da2); A0.25) E2 = I —diagBB'. Чтобы избежать усложнения обозначений, будем считать, что после каждой итерации векторам Ьр и матрице В присваиваются обозначения ар и D. Решение уравнений, подобных A0.25), продолжается вплоть до момента, когда процесс сойдется с требуемой точностью. Элементы финальной матрицы А представляют собой максимально правдоподобные оценки факторных нагрузок для заданного числа общих факторов. В последние годы появилась модификация описанного метода и соответственно была разработана машинная программа [204]. В этом методе, также основанном на предположении A0.18), внедиагональные элементы в J не просто отбрасываются при замене A0.17) дополнительным условием A0.20), но происходит фактическая диагонализа- 236
ция этой матрицы. Суть машинной программы вкратце сводится к следующему. 1. Вначале берется произвольная] факторная матрица А\ (обычно 2~ это первые т главных компонент). Смысл индекса -у станет ясен из дальнейшего. 2. D? = diag (i— A i А' {), где /= 1, 2, 3 ... — номер итерации. 3. J 1 =А. 1 Dr2 A. 1 из определения A0.20). 4. Jt = Q/ J ! Qt согласно (8.21). A0.26) 1 2 5. Аг- = А. i Qj — вращение матрицы A. i, для которой it — диагональная матрица. 6. А. 1 -(RDr2—ОА^Г1 из A0.22). 7. Проверка сходимости: А , —А В этом алгоритме индекс -у соответствует промежуточным матрицам, возникающим в процессе /-й итерации; в индексы матриц, являющихся результатом итераций, индекс-^- не входит. Фактически работа начинается с диагонализации матрицы J на шаге 4. Это делается с помощью спектральной теоремы (8.21), которая гласит, что симметрическая матрица J. { может быть диагонализирована с помощью орто- тональной матрицы преобразования Q^ (т. е. Q*Q/ = I); при этом новая матрица J* есть диагональная матрица собственных значений матрицы 3 \_, а столбцы Qt — нормализованные собственные векторы матрицы J 1 . После получения новой матрицы факторных нагрузок 2" включается тест для проверки сходимости. Цикл, включающий шаги 2 — 7, повторяется до тех пор, пока максимальное изменение разности факторных нагрузок не станет ниже заданного значения (обычно е = 0,001). Поскольку в настоящее время нет доказательства сходимости метода максимального правдоподобия (а в случае когда процедура сходится, речь может идти лишь о локальном максимуме), рекомендуется пользоваться дополнительной процедурой. Понятно, что от итерации к итерации значение функции правдоподобия должно увеличиваться; иначе говоря, должно уменьшаться значение ее отрицательной части в A0.13). Следует анализировать изменение этой функции от итерации к итерации; в случае когда функция правдоподобия имеет тенденцию к уменьшению, это, очевидно, означает, что мы «проскочили» мимо точки максимума и нужно искать способ выйти на «холм». Для этого можно 237
вернуться назад и провести предыдущую итерацию с другой матрицей А либо продолжить работу с новой матрицей (при которой функция правдоподобия ведет себя надлежащим образом) вплоть до момента сходимости к локальному максимуму (не нужно только смешивать тест для проверки поведения функции правдоподобия с тестом для проверки факта сходимости, шаг 7 A0.26)). Еще один подобный алгоритм с соответствующей машинной программой был разработан Хеммерлем [223]. Автор, в частности, указывает, что в задаче выделения восьми факторов для матрицы 15-го порядка его метод оказался почти в пять раз эффективнее обычной итеративной схемы Лоули. По-видимому, наиболее важная из недавних работ, посвященных методу максимального правдоподобия, принадлежит Жореско [288]. Он предложил весьма эффективную быстро сходящуюся вычислительную процедуру, не зависящую от начальных условий. Более того, Жореско предложил процедуру для работы с вариантом Хейвуда. Если при максимизации функции правдоподобия значения характерностей у некоторых параметров оказывается равными нулю, то следует поступить следующим образом: 1) только для этих «плохих» параметров вычисляются главные компоненты; 2) параметры, оставшиеся после удаления «плохих» параметров, анализируются методом максимального правдоподобия; 3) результаты обоих предыдущих пунктов объединяются в одно максимально правдоподобное решение для всего набора параметров (подобное решение обсуждается в 10.6). Прежде чем закончить с теоретическими вопросами получения максимально правдоподобных оценок факторных нагрузок, упомянем еще об одной работе, в которой те же результаты были получены исходя из совершенно другой процедуры. Речь идет о каноническом факторном анализе Рао 1394], предложенном как альтернатива метода главных факторов (гл. 8). Вместо учета максимально возможной доли суммарной дисперсии от каждого фактора Рао требуется максимальная связь с параметрами. Задача решается на базе основной факторной модели B.9); при этом анализируются канонические коэффициенты корреляции гипотетических факторов с выборочными параметрами. Формально решение отлично от описанного выше, но фактически получаются те же максимально правдоподобные оценки факторных нагрузок. В методе канонического факторного анализа также имеется итеративная процедура, которая была реализована Голубом [160] для машины Illiac. Впрочем, даже на этой машине процесс сходится медленно (в 10.6 обсуждается численный пример, решенный с помощью этой процедуры). 10.4. Проверка значимости при оценке числа факторов Статистический тест, являющийся предметом этого параграфа, предназначен для выяснения числа значащих общих факторов. Необходимость в подобном тесте вызвана введенным в 10.3 предположением о числе факторов. К счастью, задача проверки гипотезы о числе фак- 238
торов решена для случая максимально правдоподобных оценок факторных нагрузок, основанных на больших выборках. Идея теста основана на теореме (см. [369]), вытекающей из работы Уилкса [523], которая утверждает, что при большом N распределение произведения числа 2 на логарифм отношения правдоподобия1 близко к распределению %2. Согласно Андерсону и Рубину [14], соответствующее выражение можно записать в виде = JVlogj|| A0.27) (с основанием логарифма ё). Заметим, что отношение правдоподобия к зависит только от выборки, а именно от выборочной корреляционной матрицы и оценки истинной корреляционной матрицы при гипотезе Яо об т общих факторах. Отношение правдоподобия меняется от 0 до 1; по мере уменьшения А, значение Um в A0.27) возрастает, и при стремлении X к нулю значение Um стремится к бесконечности. Идея теста состоит в следующем: гипотеза Но об т общих факторах отклоняется, если Um превышает значение %2, соответствующее заданному уровню значимости; в противном случае гипотеза принимается. В случае отклонения данной гипотезы выдвигается альтернативная гипотеза о новом, большем числе факторов, объясняющих выборочные коэффициенты корреляции. Для работы с этим тестом необходимо знать число степеней свободы, отвечающих %2-распределению. Это число равно разности между размерностями двух подпространств (соответствующих параметрам распределения), фигурирующих в отношении правдоподобия. Для гипотезы Но об т общих факторах число степеней свободы равно: v = — [(п—тJ—п—т]. A0.28) В целях упрощения вычислений формулу A0.28) можно улучшить. Приближенная оценка отношения двух детерминантов приводит к выражению [320]. m S %)dl A0.29) f<k— i где, по данному ранее определению, остатки равны: rjk = rJk—rib и вычисленные коэффициенты корреляции r'jk есть элементы матрицы Р. 1 Отношение правдоподобия определяется [369] как частное от деления максимума функции правдоподобия в данном подпространстве по ее параметрам (в данном случае в пространстве т общих факторов, где число параметров функции правдоподобия равно пт — т(т — 1)/2) на максимум функции правдоподобия по ее параметрам по всей области (в данном случае в полном пространстве л параметров, где число параметров функции правдоподобия равно п(п — 1)/2). 239
Бартлетт [28] установил, что для выборок среднего размера вместо N в A0.27) удобнее брать множитель yV_JL_^_ii. (Ю.ЗО) 3 3 6 Ту же замену можно произвести и в A0.29). Не следует забывать, что выражение для Vт получено в предположении большой выборки; поэтому, если при средних по своим размерам выборках некоторая коррекция множителя в A0.27) помогает исправить положение, при малых N коэффициент A0.30) оказывается бесполезным. Основное предположение этого параграфа состоит в большом размере выборки. Приведенный выше тест позволяет проверять гипотезу о т общих факторах при данном доверительном уровне. Если т* есть истинное число факторов, то естественно ожидать, что, отобрав т > т* факторов, мы получим хорошее описание материала, в то время как при т <; т* описание будет хуже. Это означает, что в первом случае значение Um будет меньше, чем во втором. Разумно, по-видимому, поступить следующим образом: выбрать некоторый доверительный уровень, скажем 5%, и в качестве оценки числа общих факторов взять то наименьшее значение т, которому соответствует Um, незначимое по сравнению со значением %2, соответствующим выбранному уровню. Обычно берут ряд значений т и, начав с наименьшего числа факторов, проверяют тест, увеличивая каждый раз значение т на 1 до тех пор, пока при некотором т значение Um не станет незначимым. Следует отметить, что при такой процедуре вероятность истинности заключения, что m>m*, остается неизвестной. Однако эта совместная вероятность отклонения нескольких гипотез т = 1,2, ...., т* не превышает вероятности отклонения одной гипотезы т = т* при выбранном уровне значимости. Процедуры, описанные в этой главе, покоятся на прочном научном фундаменте и являются достаточно мощными. С точки зрения вычислительных работ они относительно дороги. Спрашивается: вносят ли они в факторный анализ некое новое, более общее направление? Понятно, что тест для проверки значимости числа общих факторов применим в случаях работы не только с методом максимального правдоподобия. Следовательно, если по %2-критерию значение функции Um оказывается незначимым, то можно сделать вывод, что данное факторное решение включает «правильное» число факторов и соответствующая матрица факторных нагрузок также является «правильной». С другой стороны, если Um значимо, то нельзя делать никакого вывода. Вполне может оказаться, что факторизация того же материала при том же числе факторов методом максимального правдоподобия приведет к приемлемому решению. Иначе говоря, тест дает значение верхней оценки числа общих факторов для случая, когда вычисление факторных нагрузок производится каким-либо другим методом. Прежде чем перейти к следующему параграфу, сравним описанный тест с тестом 9.5. Вспомним, что выражение (9.31) получено вне связи с эффективными оценками факторных нагрузок (в отличие от метода 240
максимального правдоподобия). Следствием этого является то, что число степеней свободы, определяемое по (9.32) и равное п, оказывается больше числа степеней свободы A0.28). Следовательно, тест 9.5 является менее мощным1 по сравнению с тестом этого параграфа. Кроме теоретических работ Лоули и других исследователей следует упомянуть о работе Генриссона [255], демонстрирующей эффективность описанного теста. Работая с таблицей случайных чисел, взятых из нормального распределения, Генриссон построил 12 выборок, включающих по 200 точек по 9 параметрам. После вычисления матриц коэффициентов корреляции и ковариации для каждой выборки в предположении т = 1 методом максимального правдоподобия были получены оценки факторных нагрузок и по A0.29) вычислено значение Uv При 27 степенях свободы 12 значений Ux меняются в интервале от 15,5 до 38,6, а соответствующие ^-вероятности — от 0,96 до 0,07. В предположении равномерного распределения Р эмпирические результаты очень хорошо согласуются с ожидаемым значением 0,85. Более того, при факторном анализе одной выборки, полученной при объединении прежних двенадцати, был выделен, как и предполагалось, лишь один фактор, адекватно описывающий этот материал. 10.5. Алгоритмы При отсутствии мощных вычислительных средств получить максимально правдоподобные оценки факторных нагрузок нельзя. Тем не менее, мы дадим детальное описание соответствующей процедуры, которое может, во-первых, оказаться полезным с точки зрения понимания, а во-вторых, помочь при написании машинных программ для решения больших задач, построенных согласно A0.25). Следующее ниже описание иллюстрируется примером восьми морфологических параметров, введенных впервые-в 5.4. 1. Организация материала. В качестве исходного материала для анализа берется полная корреляционная матрица (с единицами на главной диагонали). В данном случае мы будем работать с корреляционной матрицей R (табл. 10.2), взятой из табл. 5.3. Таблица 10.2 Корреляционная матрица для восьми морфологических параметров: R 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8 1,000 0,846 0,805 0,859 0,473 0,398 0,301 0,382 0,846 1,000 0,881 0,826 0,376 0,326 0,277 0,415 0,805 0,881 1,000 0,801 0,380 0,319 0,237 0,345 0,859 0,826 0,801 1,000 0,436 0,329 0,327 0,365 0,473 0,376 0,380 0,436 1,000 0,762 0,730 0,629 0,398 0,326 0,319 0,329 0,762 1,000 0,583 0,577 0,301 0,277 0,237 0,327 0,730 0,583 1,000 0,539 0,382 0,415 0,345 0,365 0,629 0,577 0,539 1,000 г. Под мощностью теста для проверки статистической гипотезы понимают вероятность отклонения альтернативной гипотезы в случае, когда эта гипотеза неверна. Мощность теста тем больше, чем меньше вероятность ошибки второго рода (т. е. принятия неверной гипотезы). 241
2. Гипотеза о числе общих факторов т. Прежде чем приступить к работе, нужно сделать предположение о числе общих факторов. Гипотеза о числе факторов делается на основе всей имеющейся к моменту ¦анализа информации, включая все предшествующие исследования данного набора параметров. В данном случае набор из восьми морфологических параметров анализировался многими методами и многими исследователями всегда в предположении двух общих факторов. Естественно поэтому принять т = 2. При этом предположении были получены максимально правдоподобные оценки факторных нагрузок; но проверка гипотезы о числе факторов с помощью статистического теста показала, что статистически значимыми являются по крайней мере три фактора (см. упр. 10 и 11). Поэтому во всех вычислениях фигурируют три фактора (как мы увидим позже, и этого числа факторов оказывается недостаточно). Все детали вычислительных процедур поясняются на примере т = 3, от которого достаточно легко перейти к большему числу факторов. 3. Начальные условия. Итеративная процедура получения максимально правдоподобных факторных нагрузок начинает работу с некоторого первого приближения, в качестве которого можно взять, вообще говоря, любой набор чисел, но для лучшей сходимости процесса следует брать «хорошие» приближения к действительным значениям. Обычно в качестве начального набора берут значения нагрузок, полученные с помощью одного из методов, описанных в предыдущих главах1. Как отмечалось выше, для т = 2 было получено максимально правдоподобное решение (где в качестве начальных условий была взята система главных факторов). Для целей настоящего параграфа начальные условия для первых двух факторов были заданы ранее вычисленными максимально правдоподобными факторными нагрузками, а для задания начальных нагрузок для третьего фактора был вычислен третий собственный вектор системы главных факторов. Эти начальные приближения факторных нагрузок представлены в первых трех строках табл. 10.3 (расположение по строкам вместо столбцов диктуется только удобством записи). Значения характерностей, вычисленные на основании этих нагрузок, приведены в четвертой строке. Таким образом, начальные приближения даны в первых четырех строках табл. 10.3. 4. Деление факторных весов на значения характерностей. В этом и следующих четырех пунктах описывается порядок выполнения итерации A0.25), при этом почти все выражения даны в матричном обозначении. Отметим, что при получении второго приближения каждого из векторов факторных нагрузок исходный вектор а1э а2 или а3 умножается на матрицу D~2, обратную к матрице значений характерностей. Эта операция эквивалентна делению факторных нагрузок параметра на значение его характерности (соответствующие результаты приведены в строках 5, 6, 7 табл. 10.3). 1 В данном случае для ускорения сходимости было вычислено решение в минимальных остатках. 242
5. Определение следующего приближения весов при первом факторе. В строках 8, 9,10 выписаны результаты вычисления отдельных членов первого уравнения A0.25), для удобства записи результат вычисления в каждой строке обозначается буквой L с индексом номера строки. Так, в строке*8 вычисляется член который, в свою очередь, есть L8. Следует только твердо помнить, что элементы вектор-столбцов в целях упрощения печати располагаются в табл. 10.3 по строкам (без специального упоминания о транспонировании). Величина L9 есть значение числителя в выражении для второго приближения весов при первом факторе. Рассматривая Lb и L9 в знаменателе как векторы, можно понимать выражение под знаком радикала как скалярное произведение этих векторов (см. 3.2, п. 19). Квадратный корень из этого выражения есть константа, деление на которую каждого из элементов строки 9 дает, согласно A0.25), значение следующего приближения bjx. Для простоты обозначения эти факторные нагрузки вновь обозначены через я71. 6. Определение следующего приближения весов при втором факте* ре. Обработка второго уравнения A0.25) дает следующее приближение весов при втором факторе. В строках 11—14 показано пошаговое вычисление этих весов. Эта работа подобна обработке первого уравнения, отличие заключается в дополнительном члене, учитывающем влияние весов при первом факторе. Согласно A0.25),*этот член есть b1b1/D~2a2. В терминах табл. 10.3 он имеет вид L10L10'L6 или L6'L10Z10' (транспонированный). Обратите особенное внимание на обозначение элементов вектор-столб* цов (без штриха) и вектор-строк (со штрихами). В более простом виде этот член выписан в 13 строке табл. 10.3. В остальном вычисление 67-2 (обозначенного как я7-2) в точности совпадает с вычислением нагрузок при первом факторе. 7. Определение последующего приближения весов при третьем факторе. Обработка третьего итеративного уравнения A0.25) дает приближение нагрузок при третьем факторе (строки 15—19 табл. 10.3). Вычисления производятся таким же образом, как и при первых двух факторах. Здесь появляются дополнительные члены, учитывающие эффект влияния нагрузок при первом и втором факторах (строки 17 и 18). В случае большего числа факторов такие дополнительные члены появлялись бы в выражении для каждого последующего фактора. 8. Определение следующего приближения характерностей. После того как все три набора максимально правдоподобных оценок факторных нагрузок вычислены (строки 10, 14 и 19), подсчитываются новые значения характерностей (строка 20). 243
? Е О •ч о 2 во о п. о ев •-ч -я X С Е О I Ъ 00 MOO СО СО 00 Ю CD ТГ о" о" о" 5582 оо I I СО -« —« СО О>^ 00 CSI О о ^f CM О CDOON эд—«О о" о" о" I I 8 о 00 о" 8 СО о" coco со OOXN о—«сч о^сгс jCOCO Г-Го" 00 <N О LC — О I I оо см ю t^t*-* о" со со СО 00 СО t*- 00 00W N со аз со СО Г- 00 со о со <м со ю rf LO 00 *-^Ю 00 COCO 00 00 COC >1Л О 1СЧ со < СО (М со СО "^ сою о см см СОЮЮ О юсо о со fe22§; 00 00 Tt< СЧ ^н (N О I I I I «¦ч CJ5 Оз С7Ч -Г о*-Г о" I I I I -и-и ОО О оооо о I I I I I 00 СО t— о" о* о" о" о" ОООО II I I —ч <M СО т*« CO CO 00 CTi оооо осп со t^ со см со сэ оооо Ю 00Ю rf о" о" о" о" h- ^ ^ 00 о ^ — ^ ооо о I I cd •со о 1- 244 и я п *^» •<*» ••-» а « q II II оо аэ о *-h(N CO ^f< WCDNOO О
: 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 Для экономии три итерации здесь опущены WJ-68 ^62/^68 ^67/^68 RL69 L72—Lb8 Я/1=?7з/]/ЛЬб9 '^73 R^70 Ць— ^62 L76—(L70-L74) ^74 ^•2 = ^77/^70-^77 LLnL L79—^-67 ^80 — (?71*^74) ^74 ^81 — (^71*^78) ^78 «J3 = ^82//^71'^82 d/=l-L742_L782-L832 5,503 9,338 4,994 4,446 8,099 1,635 1,274 3,068 — 1,604 —3,906 —2,111 —1,459 7,171 1,464 1,307 2,155 —0,642 0,875 —0,077 —0,481 —1,661 —0,077 —0,084 2,461 27,279 27,270 26,172 26,492 22,155 18,610 16,674 19,115 26,404 26,395 25,332 25,642 21,448 18,016 16,142 18,503 0,874 0,874 0,838 0,849 0,710 0,596 0,534 0,612 —2,670 —3,898 —3,767 —2,932 6,931 5,869 6,015 4,720 —2,415 —3,532 —3,412 —2,653 6,305 5,337 5,469 4,290 —2,553 —3,670 —3,544 —2,787 6,193 5,243 5,385 4,193 —0,258 —0,370 —0,358 —0,281 0,625 0,529 0,544 0,423 —0,278 0,215 —0,035 —0,250 —0,447 —0,125 —0,141 1,242 —0,176 1,133 —0,022 —0,158 —0,302 —0,097 —0,106 0,751 —0,147 0,162 0,006 —0,130 —0,279 —0,077 —0,088 0,771 —0,167 0,133 —0,022 —0,152 —0,230 —0,035 —0,045 0,804 —0,102 0,081 —0,013 —0,093 —0,141 -0,021 —0,028 0,493 0,1592 0,0927 0,1694 0,1916 0,0854 0,3645 0,4181 0,2035
9. Сходимость факторных весов. Операции пп. 4 — 8 повторяются до тех пор, пока в последующих итерациях факторные нагрузки не перестанут изменяться (с требуемой точностью). В нашем примере после 5 итераций соответствующие факторные нагрузки совпадают с точностью до 0,007. Это еще недостаточная точность, но ввиду условности материала мы такое решение примем. Финальные факторные нагрузки приведены в строках 74, 78, 83, а соответствующее им значение характерности — в строке 84 табл. 10.3. 10, Матрица остаточных коэффициентов корреляции. Поскольку факторы ортогональны, подсчет вычисленных коэффициентов корреляции Г//, необходимых для вычисления остатков, производится по B.50); см. табл. 10.4, над диагональю. Вычтя полученные значения из соответствующих выборочных коэффициентов корреляции (табл. 10.2), приходим к значениям остаточных коэффициентов корреляции (табл. 10.4, нижняя часть). Т-а б л и ца Параметр 1 2 3 4 5 6 7 8 10.4 —0 —0 0 —0 0 —0 0 Вычисленные 1 ,005 ,021 ,035 ,001 ,011 ,028 ,007 2 0 0 —0 —0 0 0 —0 ,851 ,017 ,012 ,002 ,003 ,014 ,003 и остаточные коэффициенты корреляции1 3 0 0 —0 0 0 —0 —0 ,826 ,864 ,012 ,007 ,009 ,016 ,010 4 0 0 0 —0 —0 0 0 ,824 ,838 ,813 ,004 ,030 ,024 ,010 5 0,474 0,378 0,373 0,440 0,005 0,007 0,000 б 0,387 0,323 0,310 0,359 0,757 —0,024 —0,001 7 0,329 0,263 0,253 0,303 0,723 0,607 —0,004 8 0,375 0,418 0,355 0,355 0,629 0,578 0,543 1 Над диагональю расположены вычисленные коэффициенты корреляции, под диагональю—остаточные коэффициенты корреляции. 11. Проверка гипотезы о числе факторов. Проведем для данного примера проверку гипотезы т = 3. Все величины, необходимые, согласно A0.29), для вычисления значения Um> приведены в табл. 10.5. Сумма 28 элементов, расположенных под главной диагональю табл. 10.5, равна 0,15098; умножив ее на число точек N = 305, полу- чим Um = 46,0. Согласно A0.28), число степеней свободы равно v = = 7. Из табл. Г приложения имеем, что при 7 степенях свободы значению 5С2 = 18,5 соответствует вероятность Р = 0,01. Следовательно, если гипотеза о трех факторах верна, то шанс получить значение %2 > > 18,5 составляет 1 из 100. Поскольку действительное значение 46,0 значительно превышает 18,5, приходится отказаться от выдвинутой гипотезы и предположить, что наблюденная информация адекватно описывается больше чем тремя факторами. Этот вывод покоится на прочном математико-статистическом фундаменте, но он вполне может показаться сомнительным исследователю, анализирующему значения третьих остатков (нижняя часть табл. 10.4). 246
Таблица Параметр 1 2 3 4 5 6 7 S 10.5 Про I 6,2854 0,00136 1 0,01633 0,04000 0,00000 0,00207 0,01173 0,00154 ерка гипотезы 2 0,00002 0,7875 0,01847 0,00788 0,00000 0,00030 0,00516 0,00053 3 0,00044 0,00029 5,9032 0,00431 0,00346 0,00130 0,00367 0,00290 о числе 4 0,00122 0,00014 0,00014 5,2192 0,00122 0,01289 0,00724 0,00256 факторов1 0, 0, 0, о, 11 0, о, о, 5 00000 00000 00005 00002 ,7096 00064 00140 00000 0, 0, 0, 0, о, 2, 0, 0, 6 00012 00001 00008 00090 00002 7435 00381 00000 7 0,00078 0,00020 0,00026 0,00058 0,00005 0,00058 2,3918 0,00024 8 0,00005 0,00001 0,00010 0,00010 0,00000 0,00000 0,00002 4,9140 1 В таблицу вынесены следующие величины: 1) выше главной диагонали —значения _ 2 квадратов остаточных коэффициентов корреляции г,•? , 2) на1 главной диагонали —величины, 2 — 2 2 2 обратные значениям характерностей, l/dt , 3) под диагональю—элементы гjk/d; dfc суммы A0.29). 10.6. Примеры Из 10.5, по-видимому, ясно, что для получения оценок факторных нагрузок методом максимального правдоподобия нужно много вычислять. Непреодолимые вычислительные трудности привели к тому, что в течение двух десятилетий метод был предан забвению. Появление современных ЭВМ сделало возможным его практическое применение (в частности, имеются публикации, посвященные решению практических задач). В этом параграфе будут рассмотрены некоторые вспомогательные вопросы, но прежде еще несколько слов о примере с восемью морфологическими параметрами. После множества исследований, указывающих на две ясно различимые группы параметров, для нас было удивительным узнать, что для адекватного описания выборочных корреляций двух факторов недостаточно. Еще более удивительно то, что даже лри т = 3 значение Um оказывается достаточно большим, что указывает на необходимость включения четвертого фактора. В связи с этим может возникнуть естественное сомнение в точности наших процедур и в их теоретическом обосновании. Одним из сомнительных мест является переход от формулы A0.27) к более простой в вычислительном отношении формуле A0.29). В связи с этим были вычислены детерминанты матриц выборочных и вычисленных коэффициентов корреляции (для случаев двух и трех факторов). Эти значения, подставленные в формулу A0.27) привели к U2 = 69,9 и U3 = 51,0 соответственно для случаев двух и трех факторов. Подсчет тех же величин по A0.29) дает соответственно 80,2 и 46,0. Разумеется, отличие есть, но из результатов обеих формул следуют одни и те же выводы, а именно: в первом случае отклоняется гипотеза о двух факторах, а во втором случае — гипотеза о трех факторах. Эти результаты несколько подкрепляют нашу веру в упрощенную формулу A0.29). 247
Пример с восемью морфологическими параметрами неоднократно использовался в работах, посвященных исследованию различных процедур метода максимального правдоподобия. Среди работ такого рода следует упомянуть о двух программах Д. Моррисона (разработанных в пору его сотрудничества с Национальным институтом здоровья); о процедуре1 Баргмана [23], основанной на модели, развитой Хау [268], и о программе, вытекающей из блок-схемы A0.26). Два наиболее интересных результата представлены в табл. 10.6. Первое из этих решений получено с помощью программы, составленной в Национальном институте здоровья; в качестве начальных условий взяты первые три главные компоненты, в конце итеративного процесса максимальная разница между оценками факторных нагрузок на двух последующих итерациях составляла 0,0005. Второе решение получено с помощью программы [204], основанной на блок-схеме A0.26); в качестве начального приближения факторных нагрузок взято решение в минимальных остатках, табл. 9.3 (при т = 3). Работа производилась на машине Phil- со-2000, итеративная процедура за одну минуту сошлась с точностью до 0,005. Следует отметить, что, несмотря на каноническую форму, оба решения отличаются друг от друга. Кроме того, они отличаются от предварительных результатов табл. 10.3. Особенно ясно различимый характер обоих решений виден,, если сравнить значения факторных нагрузок и общностей у параметра 8. Несмотря на сходство других чисел, различие уже у одного параметра указывает на разницу полных решений. Частично причиной различия двух максимально правдоподобных решений для одного и того же материала является разница в точности сходимости; в одном случае вручную делалось пять итераций, тогда как при работе на ЭВМ в одном эксперименте производятся сотни итераций; но, кроме того, различие в начальных условиях и тонкости алгоритма могут привести к выходу на разные локальные максимумы функции правдоподобия. На основании изучения полученных решений можно сделать некоторые интересные выводы. Решение табл. 10.3 получено на основании пяти итераций, выполненных на настольном арифмометре; это приближение, конечно, достаточно грубо. Проверка гипотезы о числе факторов в 10.5, п. 11, приводит к заключению, что для описания эмпирического материала трех факторов недостаточно. Вычислив значение величины A0.27) для решения 1 табл. 10.6, получим t/3 = 305 loge @,00113253)/@,00096740) = 48,1, так как это больше значения 46,0, полученного в предыдущем случае, то вывод о числе факторов будет тем же. Иная ситуация складывается в случае второго решения табл. 10.6. Здесь значение детерминанта матрицы вычисленных коэффициентов корреляции уменьшается до 0,00104685, что дает ?/3 = 24,1. Это больше, чем %2 = 18,5 при 1 В этой процедуре факторы оцениваются методом максимального правдоподобия, но последовательно, по одному фактору на каждом шаге. Получающийся в результате набор факторов отличается от максимально правдоподобного решения с заданным числом факторов. 248
вероятности Р = 0,01 и числе степеней свободы v = 7, но меньше, чем х2 = 24,3 при Р = 0,001. Следовательно, решение 2 можно принять на уровне значимости 0,1%. Задача о восьми морфологических параметрах исследовалась с по- мощью процедуры максимального правдоподобия, предложенной Жо реско [288]. Брались четыре разных набора значений характерностей (в том числе значения, полученные в обоих решениях табл. 10.6); bq всех случаях результаты совпадали. Независимо от начальных условий искомый максимум соответствовал нулевому значению характерности параметра 2. Тогда этот параметр был удален из набора и по корреляционной матрице для оставшихся семи параметров были получены два максимально правдоподобных фактора. Это решение соединили с главной компонентой для параметра 2 и получили, таким образом, три фактора максимально правдоподобного решения для восьми параметров. Результаты даны не в канонической форме, поэтому их нельзя сравнивать с решением табл. 10.6. Интересно, однако, отметить, что общности, вычисленные при этом: 0,873 1,000 0,806 0,844 0,910 0,641 0,589 0,509 почти совпадают со значениями общностей решения 2. Проверка гипотезы о числе факторов приводит к тому же заключению, что и в решении 2. Работа Жореско позволяет предположить, что второе решение есть истинное максимально правдоподобное решение данной задачи, тогда как в случае решения 1 процедура не сошлась. Таблица 10.6. Максимально правдоподобные решения для восьми морфологических параметров (три общих фактора) Параметр / 1 2 3 4 5 6 7 8 Решение 1 0,845 0,841 0,806 0,819 0,764 0,629 0,568 0,678 4,503 '. 0,340 0,434 0,428 0,360 —0,560 ^0,452 —0,471 —0,461 1,569 0,065 —0,084 0,006 0,047 0,272 0,106 0,116 —0,542 0,405 V 0,834 0,902 0,833 0,802 0,971 0,610 0,558 0,966 6,477 Решение 2 0,862 0,867 0,808 0,833 0,748 0,625 0,569 0,603 4,481 0,320 0,432 0,388 0,343 —0,584 —0,499 —0,515 —0,344 1,532 0,164 —0,243 —0,051 0,180 0,090 0,007 —0,020 —0,164 0,156 V 0,873 0,998 0,807 0,843 0,910 0,640 0,589 0,509 6,169 Этот пример иллюстрирует некий общий принцип: имеется общая тенденция к недооценке числа статистически значимых факторов. На протяжении 20 лет считалось, что в рассмотренной задаче достаточно двух факторов, но с точки зрения статистики для описания выборочных коэффициентов корреляции (выборка из совокупности 305 девушек) 249
нужно больше двух факторов. С другой стороны, третий фактор, вклад которого в суммарную дисперсию колеблется для разных решений от 2 до 5%, является «практически мало значимым», то же самое можно сказать о четвертом факторе. В качестве следующего примера рассмотрим набор из пяти социально-экономических параметров, описанных в 2.2. Что касается числа общих факторов, то здесь кажутся достаточно разумными гипотезы об одном, двух и трех факторах, однако значение т = 2 более согласуется с предыдущим анализом этого материала. Материал исследовался на машине Philco-2000 с помощью двух разных программ и стремя порогами сходимости (требовалось, чтобы максимальное изменение факторных нагрузок на последующих итерациях не превышало 0,0005,' 0,00001 и 0,000005). Все результаты совпали с точностью до трех десятичных знаков. В табл. 10.7 решение представлено в том виде, в каком оно было получено с помощью программы максимального правдоподобия и в каноническом виде 8.8. Таблица 10.7. Максимально правдоподобное решение для пяти социально-экономических параметров (два общих фактора) Параметр / 1 2 3 4 5 Решение 0,999 0,019 0,974 0,446 0,030 2,147 —0,008 0,899 0,109 0,785 0,960 2,360 Каноническая 0,621 0,711 0,697 0,891 0,766 2,759 форма решения л 0,783 —0,550 0,689 —0,147 —0,580 1,748 Общность V 0,998 0,809 0,961 0,815 0,923 4,507 Обратим внимание на замечательное сходство этого решения и решения в минимальных остатках (табл. 9.2). Кроме того, в данном примере максимально правдоподобное решение почти совпадает с системой главных факторов (табл. 8.13). Общность максимально правдоподобного решения составляет 90% суммарной дисперсии пяти параметров. Подобная ситуация возможна крайне редко. Но, конечно, даже такая большая доля меньше той доли суммарной дисперсии, которая учитывается первыми двумя главными компонентами (см. табл. 8.1). Одна из главных целей обоих методов: минимальных остатков и максимального правдоподобия — увеличение вкладов факторов. Следует, однако, помнить, что суть этих методов не состоит в максимизации учитываемой факторами дисперсии, что является единственной целью метода главных факторов. В табл. 10.8 приведен пример максимально правдоподобного решения для задачи среднего размера. Задача включает тринадцать психо- 250
логических тестов; ранее для этого материала с помощью разных мето* дов получали системы трех факторов. Результаты табл. 10.8 получены на машине ННас с помощью программы канонического факторного анализа. Этот метод, как указывалось в 10.3, дает максимально правдоподобные оценки факторных нагрузок. Тест для выяснения числа факторов показывает, что уровню значимости 5% соответствуют пять факторов, а уровню значимости 1% — три фактора. Последнее согласуется с субъективными мнениями, высказанными ранее и отражающими точку зрения практической целесообразности. Таблица 10.8. Максимально правдоподобное решение для 13 психологических тестов E общих факторов) Тест / 1 2 3 4 5 6 7 8 9 10 11 12 13 V Коэффициенты факторного отображения Ft 0,492 0,305 0,347 0,425 0,817 0,795 0,812 0,716 0,799 0,419 0,488 0,367 0,550 4,597 Ft 0,171 0,042 —0,024 0,010 —0,122 —0,241 —0,217 —0,008 —0,283 0,622 0,474 0,663 0,476 1,510 F9 0,512 0,292 0,544 0,392 —0,140 —0,029 —0,082 0,085 —0,089 —0,359 —0,057 0,015 0,266 1,042 F* —0,058 —0,228 —0,034 0,198 —0,251 0,068 0,239 0,149 -0,083 0,086 —0,173 0,063 0,003 0,291 F6 0,056 —0,049 —0,150 —0,020 —0,171 0,233 —0,032 —0,186 0,053 —0,055 0,311 —0,132 0,075 0,273 Характерность 0,460 0,766 0,559 0,626 0,206 0,250 0,229 0,423 0,264 0,298 0,407 0,404 0,395 — Общность V 0,540 0,234 0,441 0,374 0,794 0,750 0,771 0,577 0,736 0,702 0,593 0,596 0,605 7,713 В 1956 г. Ф. М. Лорд [342], анализируя успеваемость учащихся высших учебных заведений по набору из 33 параметров, воспользовался методом максимального правдоподобия. Работа проводилась на одной из старых машин, Whirlwind-I, выделялось 10 факторов. Вначале Лорд выдвинул гипотезу о девяти факторах, но оказалось, что получить соответствующее решение непосредственно нельзя, так как для нагрузок получались мнимые числа. Было обнаружено, что если при достаточно большом т начальные условия ощутимо отличаются от искомого решения, то метод оказывается бесполезным. Поэтому работа была разбита на несколько этапов: вначале при произвольных начальных приближениях и в предположении т = 4 были получены максимально правдоподобные оценки факторных нагрузок; на следующем этапе гипотеза сменилась на т = 5, а в качестве первого приближения брались вычисленные на первом этапе факторные веса (для первых четырех факторов) и некоторые субъективные оценки на основании содержательного анализа остаточных коэффициентов корреляции 251
(для пятого фактора). Двигаясь подобным образом, ученый без особого труда получил десять факторов. Проверка гипотезы о числе общих факторов выявила, что величины %2 являются значимыми на уровне много ниже 1 % для всех случаев от т = 4 до т = 9. Далее, однако, значение %2 резко упало, так что десять факторов оказались значимыми на уровне 7%. В качестве примера рассмотрим задачу о 24 психологических тестах (матрицу коэффициентов корреляции см. в табл. 7.4). Вместо непосредственного получения максимально правдоподобного решения по кор,- реляционной матрице (с главными компонентами, взятыми в качестве начального приближения) вначале было получено решение в минимальных остатках. Взяв это решение как начальное приближение (табл. 9.6) и приняв т = 5, мы всего за десять итераций получили максимально правдоподобное решение (на машине Philco-2000 это заняла менее 5 мин.). Это решение, однако, представляло собой вариант Хей- вуда: общность параметра 19 превышала единицу. Не имея простой процедуры для выхода из подобной ситуации, мы решили, воспользовавшись результатами решения этой задачи в 9.7, вернуться несколько Таблица 10.9. Максимально правдоподобное решение для 24 психологических тестов D общих фактора) Тест / 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Дисперсия 0,601 0,372 0,413 0,457 0,691 0,690 0,677 0,674 0,697 0,476 0,558 0,472 0,602 0,423 0,394 0,510 0,466 0,515 0,443 0,614 0,589 0,608 0,687 0,651 7,643 F* 0,019 —0,025 -0,117 -0,100 -0,304 —0,409 —0,409 —0,189 —0,454 0,534 0,332 0,508 0,244 0,058 0,089 0,095 0,197 0,312 0,089 —0,118 0,227 -0,107 —0,044 0,177 1,681 F9 0,388 0,252 0,388 0,254 —0,279 —0,200 —0,292 —0,099 —0,212 -0,486 -0,142 —0,139 0,028 0,015 0,097 0,347 —0,004 0,152 0,109 0,126 0,057 0,127 0,138 —0,212 1,229 0,221 0,132 0,144 0,192 0,035 —0,076 0,084 0,122 —0,080 0,092 —0,090 0,256 0,295 —0,415 —0,362 —0,249 —0,381 —0,147 —0,150 —0,038 0,123 —0,038 0,098 —0,017 0,911 V 0,561 0,220 0,356 0,349 0,648 0,689 0,718 0,515 0,743 0,757 0,45а 0,566 0,510 0,354 0,304 0,451 0,402 0,407 0,238 0,408 0,417 0,399 0,503 0,501 11,464 252
назад и начать с решения в минимальных остатках при т = 4. Снова за десять итераций (и менее чем за 5 мин.) было получено максимально правдоподобное решение (в канонической форме это решение представлено в табл. 10.9). Максимально правдоподобное решение почти совпадает с решением в минимальных остатках: значения общностей равны с точностью до единицы во втором десятичном знаке (только для теста 11 разность составляет 0,020); разности вкладов факторов равны соответственно 0,003; 0,009; 0,011 и 0,005; за несколькими исключениями значения 96 факторных нагрузок для обоих решений различаются в третьем десятичном знаке.
ГЛАВА 11. ГРУППОВОЙ МЕТОД 11.1. Введение В трех предшествующих главах мы рассмотрели методы прямого получения факторного решения из корреляционной матрицы. Общим для этих методов является взаимная ортогональность факторов. В настоящей главе развивается другой прямой метод факторизации корреляционной матрицы, приводящий обычно к косоугольной системе факторов. По общему духу этот метод схож с простыми методами, рассмотренными в гл. 7; решение, полученное в результате его применения, может либо использоваться как окончательное, либо служить промежуточным этапом по пути построения многофакторного решения (см. часть III). Основные понятия группового метода изложены в 11.2. Далее следует изложение теоретических аспектов косоугольного решения 11.3 и в 11.4 — ортогонального решения. Приведенные в этих параграфах выкладки совершенно необходимы для понимания метода, но недостаточны для его практической реализации. Вычислительная процедура с подробным описанием порядка действий приведена в 11.5. Наконец, в 11.6 эта процедура иллюстрируется на примере девяти психологических параметров (факторное решение включает три общих фактора). 11.2. Основные понятия и обозначения Не следует смешивать понятие о групповых факторах в факторном анализе с методом групповых факторов, предназначенным для сведения корреляционной матрицы к факторной матрице, удовлетворяющей фундаментальной теореме B.46). В 30-е годы, в пору расцвета и быстрого развития факторного анализа, идею о групповых факторах рассматривали многие исследователи. Среди них следует отметить С. Барта, работавшего с «методом групповых факторов», Р. Трайона, предложившего «классификационный анализ», и К. Холзингера, развившего «бифакторный» метод. Во всех этих методах фигурируют 254
групповые факторы, но идея многих факторов не является внутренне присущей им. Идею группового метода факторного анализа высказал П. Хорст [250] еще в 1937 г., но его теоретическая работа не была доведена до той стадии, когда ее можно было бы применить на практике. Точно так же Гуттман [173] предложил в 1944 г. теоретические основания метода, но не дал вычислительных процедур. Нет поэтому ничего удивительного в том, что в том же году Холзингер [237] и годом позднее Тэрстоун [474], не распознав связи между своими работами и предшествующими теоретическими исследованиями, предложили простые вычислительные процедуры «группового факторного анализа». Независимо от них Харман [198] предложил несколько «групповых методов» факторного анализа. Основная отличительная особенность группового метода состоит в том, что в нем одновременно получается сразу несколько общих факторов. Для того чтобы сила метода выявилась особенно отчетливо, необходимо каждый раз выделять линейно независимые группы параметров, число которых приблизительно равно рангу редуцированной корреляционной матрицы. В этом смысле групповой метод перекликается с группировкой параметров в бифакторном методе. За редкими исключениями общие факторы, получаемые на одном шаге, не ортогональны друг другу. В связи с этим возникает фундаментальное понятие матрицы коэффициентов корреляции между факторами. Следствием наличия корреляции между факторами является необходимость вычисления двух матриц: факторного отображения и факторной структуры; первая из них включает коэффициенты при факторах в линейных описаниях параметров, а вторая — коэффициенты корреляции между параметрами и факторами. Эти результаты метода позволяют подсчитать матрицу вычисленных коэффициентов корреляции и далее матрицу остатков. Если матрица остатков недостаточно близка к нулевой матрице, то групповой метод применяется снова, на этот раз к матрице остатков. После того как групповое решение считается адекватным выборочным корреляциям, можно, приняв его за промежуточное решение, решить для него задачу «вращения». Если промежуточное решение было ортогональным, то задача упрощается, сводясь к преобразованию системы координат к некоторой «простой структуре» (см. 6.2). В связи с этим возникают два новых понятия: ортогональной факторной матрицы и матрицы преобразования от косоугольного к этому ортогональному решению. В табл. 11.1 приведены эти понятия, применяемые в групповом методе, параллельно даются соответствующие обозначения. Одна из основных трудностей, возникающих при разработке группового метода, связана не с самим методом, не с процедурой, а с формулировкой основной научной гипотезы. Гуттман и Холзингер исходят из предпосылки, что применение группового метода неразрывно связано с некоторой априорной психологической теорией. Гуттман особенно подчеркивает тот факт, что процедура группового метода может быть 255
Т а б л й ц а 11 •1 • Основные понятия и обозначения Понятие Исходи ^е коэффициенты корреляции /реду^ированная корреляционная ^а) матри Группа параметров Сумма коэффициентов корреляции между параметром и группой пара- Сумш коэффициентов корреляции между параметрами групп Косоуго^ьная Факторная структура Коэффи1***енты корреляции между факторами Kocovro^bHoe ФактоРное отображение Вычисле**ные коэффициенты корреляции Матрица остат^ков (т Факторов) б ( Матрица остат^ков (т Фа Матрица преобразования (к ортогональной факторному отображению) Ортогон*льная Факторная матрица Обозначение Gp (p=l, 2,..., т) wjp (/=1,2,..., п) (р, <7 = 1, 2,..., т) rf> безусло#но использована в любой задаче, но содержательный смысл ее результ#тов может быть выявлен только при проверке положенной в основУ Работы гипотезы на эмпирическом материале. Эта гипотеза находит отражение в способе предварительной группировки параметров и в результирующей системе общих факторов (обычно косоуголь- q другой стороны, Тэрстоун указывает, что групповой метод факторизации никак не связан со способом группировки параметров; в своем примере он умышленно группирует параметры произвольным образом, почти н^ считаясь с их корреляциями. Эта мысль Тэрстоуна становится особенно выпуклой, когда он обращает внимание на те «излишние» ограничения, которые Холзингер накладывает на корреляционную матрицу, чтобы воспользоваться своим «простым методом факторн0го анализа». Когда задача состоит в простом сведении кор- реляцИО#ной матрицы к факторной с помощью подходящего группового метода»эти ограничения действительно не нужны. Если же групповой метод пр*шеняется для пР°веРки некоторой определенной гипотезы, то эти оГРаничения становятся необходимыми. ТакиМ образом, если Холзингер считает групповой метод применимым тол^ко в случаях, когда корреляционная матрица разделима на отдельнЫе подматрицы ранга 1, а Гуттман предлагает группировать параметра таким образом, чтобы избежать или свести к минимиму проблему вращения осей, то Тэрстоун понимает групповой метод в первую очередь как эффективное средство для получения ортогональной факторной матрицы, «которая явилась бы начальным условием для решения заДачи вращения» [477]. 256
Групповой метод эффективен при ручных вычислениях. Здесь не нужно после каждого фактора, получаемого на данном шаге, вычислять матрицу остаточных коэффициентов корреляции. Основная теорема группового метода гласит, что на каждом шаге можно вычислить несколько факторов, после чего достаточно подсчитать лишь одну матрицу остатков. Если число выбранных линейно независимых групп равно размерности пространства общих факторов, то достаточно только одной матрицы остатков. Если же оценка числа групп занижена, то процесс повторяется. Если эта оценка завышена, то в матрице коэффициентов корреляции между групповыми факторами выявится линейная зависимость (и не будет существовать обратная матрица). В случае если на одном шаге процедуры группового метода выделены не все общие факторы, к остаточной матрице, подсчитанной после первого шага, вновь применяется та же процедура. Таким образом, процесс продолжается до тех пор, пока остатки не станут практически нулевыми. Факторы, полученные на одном шаге, не ортогональны друг другу, но факторы, полученные на разных шагах, взаимно ортогональны. Вследствие этого, если в априорно принятой гипотезе фигурирует косоугольная система факторов, все общие факторы нужно извлекать за один шаг или же проводить последующее вращение, 11.3. Косоугольное решение Как указывалось в 11.2, конечной целью группового метода может быть косоугольное факторное решение или при желании ортогональное решение, предназначенное для последующего вращения. В этом параграфе излагается процедура получения косоугольного решения. Дальнейшее обсуждение геометрических и некоторых других аспектов косоугольного решения будет продолжено в гл. 13; существенно, что косоугольное решение будет при этом получено с помощью преобразования некоторого предварительно вычисленного ортогонального решения. В этом же параграфе решение получается на основании прямого анализа корреляционной матрицы. В групповом методе факторы представляются осями координат, проходящими через центры тяжести отдельных групп параметров. Обычно такие группы не ортогональны одна другой; поэтому факторы, выделяемые на одном шаге процедуры, также взаимно не ортогональны. Исходным материалом для группового метода служит редуцированная корреляционная матрица со значениями общностей на главной диагонали, оцененными с помощью одного из методов гл. 5. Работа начинается с группировки п параметров по т группам Gp(/?=1,2, ..., т) либо на основании априорных сведений, либо с помощью метода В-коэффициентов, либо любым другим способом. В групповом методе большую роль играют суммы векторов параметров (центроиды). Будет полезно поэтому рассмотреть некоторые основные свойства таких составных параметров. Каждый из параметров Zj представляется в стандартном виде; для составных параметров дело может обстоять иначе. Формула для вычисления дисперсии и 9 Зак. 656 257
коэффициентов корреляции между составными параметрами известны достаточно давно [439]. Запишем выражение для составного параметра Тр, соответствующего группе Gp из п параметров: гР = 2(**; ke°P) (p=i.2 т). (ил) Система таких составных параметров и есть система косоугольных факторов; дисперсия каждого из них, вообще говоря, не равна единице. Для вычисления дисперсий факторов и коэффициента ковариации между ними удобно подсчитать сначала некоторые суммы коэффициентов корреляции, в первую очередь суммы коэффициентов корреляции каждого параметра г7- со всеми параметрами каждой из групп Gp, т. е. = 2@* keGp) (/=1,2, ...,л; р=1,2,...,т), A1.2) где суммирование ведется по индексу &, который пробегает все номера параметров из группы Gp. Вместо коэффициента корреляции с «самим собой» при k = } берется значение соответствующей общности, т. е. rjj = АД Другой полезный в процедуре группового метода ряд чисел — сумм коэффициентов корреляции между всеми параметрами группы Gp и всеми параметрами группыGq (включая случай /?=<?), т. е ^ = 2К; 1 eGp) (p9q=l,2,...,m). A1.3) Число WPq можно также выразить через отдельные коэффициенты корреляции между параметрами Первая наша цель состоит в определении коэффициентов корреляции между косоугольными факторами и коэффициентов корреляции между параметрами и этими факторами (элементы факторной структуры). Эти величины можно выразить через выписанные суммы; но вначале получим формулу для дисперсии косоугольных факторов. Обычно дисперсией составного параметра Тр называют величину ! (П.5) где член пр получен за счет коэффициентов корреляции «с собой», равных единице. Если заменить коэффициенты корреляции «с собой» значениями общностей, получим р ; /.*€<?р), (п.6) где ги = hj2. С учетом A1.4) последнее выражение упрощается: Srp^Wpp. A1.7) Теперь определим коэффициент корреляции между составными параметрами Тр и Т как ' rTpTq=^TpiTqiINsTpSrq, (Ц.8) где индекс /, по которому ведется суммирование, меняется от 1 до N. Величины sTf} и sT в знаменателе, согласно A1.7), выражаются через 258
суммы исходных коэффициентов корреляции. Распишем подробно и упростим правую часть A1.8): p keGq)=wpq. (П.9) Подставив A1.7) и A1.9) в A1.8), получим формулу для коэффициента корреляции между двумя косоугольными факторами: гтртд= r Wpq ¦ (НЛО) р ч fww Выразим теперь через суммы исходных коэффициентов корреляции значения коэффициентов корреляции между параметрами и факторами, т. е. элементы косоугольной факторной структуры. Элемент структуры SjP есть коэффициент корреляции rz.T параметра, представленного в стандартном виде, с составным параметром, дисперсия которого измеряется согласно A1.7). Легко показать, что этот коэффициент корреляции равен: Vwpp Чтобы закончить решение, необходимо получить линейные описания параметров через факторы и матрицу коэффициентов корреляции параметров с факторами. Коэффициенты в этих линейных уравнениях, т. е. элементы отображения, есть координаты точек, представляющих параметры, на соответствующих факторных осях косоугольной системы. Зная факторное отображение S и матрицу коэффициентов корреляции между факторами Ф, можно теперь определить, согласно B.44), факторное отображение: Р^БФ-1. A1.12) Основное здесь — обратить матрицу Ф. Для этого (и для выполнения умножения матриц) можно воспользоваться методом квадратного корня (см. 3.5). В настоящее время имеется и другая процедура для решения той же задачи (процедура излагается в 11.5 и иллюстрируется примером в 11.6). Кроме косоугольного решения необходимо получить матрицы вычисленных коэффициентов корреляции и остатков. Приведем несколько формул для получения вычисленных коэффициентов корреляции непосредственно из косоугольного решения. Прежде всего это формула B.46), впрочем, не самая эффективная: A1.13) 259
Зная соотношение между факторным отображением и факторной структурой, можно переписать эту формулу в следующих двух удобных для вычислений видах: R* = PS' или R*=:SP'. A1.14) В обоих случаях вычисление здесь ведется в точности так же, как и для ортогонального решения; см. B.50). Матрица остаточных коэффициентов корреляции после учета т факторов есть Rm = R-R* A1.15) (вычисленные коэффициенты корреляции соответствуют здесь т факторам, полученным с помощью группового метода). Прежде чем перейти к методам преобразования косоугольного решения в ортогональное, приведем один аргумент Гуттмана [1751 в пользу косоугольного группового решения: «Несчастье состоит в том, что если вращение действительно необходимо, то исходная гипотеза о природе общих факторов при этом теряется. Апостериорная гипотеза, выдвинутая после обработки материала, может стать причиной неуверенности и разночтений, к которым приводит любая апостериорная теория. Результаты факторного анализа будут казаться более правдоподобными, если ... [группировка параметров] проводится в соответствии с некоторой априорной психологической теорией, которая проверяется на эмпирическом материале. Подобного рода процедура имеет большую научную ценность, чем процедура , в которой уже известные факты объясняются апостериорной теорией. А последняя ситуация и возникает при вращении осей (даже при «слепом» вращении)». 11.4. Ортогональное решение В этом параграфе излагаются процедуры для получения ортогонального решения. Последнее может понадобиться либо в качестве завершающего этапа задачи группового анализа (при этом получается некоторая экономия в объеме работ), либо в качестве заготовки для решения задачи вращения. После того как получено косоугольное решение (см. 11.3), оно с помощью некоторого преобразования переводится в ортогональное решение. При этом в факторные веса ajp ортогональной системы переводятся либо элементы факторного отображения bjpy либо элементы факторной структуры Sjp. Из всех возможных преобразований от косоугольной к прямоугольной системе координат в групповом методе применяется преобразование, обладающее следующим свойством: первая ось новой системы совпадает с первой осью (фактором) косоугольной системы, вторая ось лежит в плоскости первых двух косоугольных осей и ортогональна первой и т. д.1. На рис. 11.1 показано такое преобразование для слу- 1 В математике такое преобразование к ортогональной матрице известно под названием процедуры Грама-Шмидта [385], [552]. 260
чая двух факторов. Для простоты исследуемую точку будем обозначать Р вместо Pjy ее координаты в косоугольной системе — через (Ьъ Ь2) вместо (bjU bj2) и ее координаты в прямоугольной системе — через (а19 а2) вместо (аЛ, aj2). В зависимости от системы координат точка Р (или вектор, идущий от начала координат к точке Р) в пространстве общих факторов есть Z =D1 11 + 02 1 2 A1.16) ИЛИ Эк Wi В косоугольной системе координат (ортогональные) проекции на координатные оси не равны значениям координат, а представляют собой значения структуры: Si=/"z7'i и S2=rzr2. A1.18) Для преобразования со свойствами, о которых выше шла речь, связь между двумя наборами координат имеет вид [20Ц а __? I ? COS0 • П.1. Преобразование косоугольной 1 1Т 2 12» A1.19) системы координат в прямоугольную. а2— fe2sin012, тде 012 есть угол между осями 7\ и Т2 косоугольной системы координат. Как указывалось в 4.9, косинус угла между двумя векторами равен коэффициенту корреляции между двумя параметрами, представленными этими векторами. Таким образом, cos012 = г (для простоты вместо гтхт% пишем г). Тогда A1.19) можно переписать в виде = b1+ b2r\ A1.20) Эти соотношения отвечают только двум параметрам, их можно переписать в виде "[г /Т=?[ A1.21) В общем случае, зная матрицу коэффициентов корреляций между факторами, можно найти матрицу преобразования, переводящего координаты косоугольной системы в координаты прямоугольной системы, применив к матрице факторных коэффициентов корреляций Ф процедуру квадратного корня (см. 3.4); полученная в итоге матрица Т' и будет искомой матрицей преобразования. В случае двух параметров основная операция метода квадратного корня = Т'Т A1.22) 261
сводится к следующей простой операции1: 1 г] Г1 0 1 Г 1 J|| Выражение A1.21) можно обобщить на случай п параметров и т факторов: А = РТ', A1.24) где А = (ctjp) и Р = (bjP) — матрицы размером п • т\ Т — квадратная матрица m-го порядка, являющаяся результатом применения к матрице Ф процедуры квадратного корня. Выражение A1.24) задает преобразование косоугольных координат в некоторые ортогональные координаты. Было бы удобно выразить преобразование в терминах элементов косоугольной факторной структуры (так, как они определяются в самом начале анализа). Для этого подставим выражение для косоугольного факторного отображения A1.12) в A1.24) A = SO>-iT'. A1.25) Применив далее операцию квадратного корня A1.22) к матрице Ф, получим или A = ST~1, A1.26) а это и есть в точности искомое преобразование от косоугольной факторной структуры к ортогональному факторному отображению. Действуя иначе, можно записать преобразование A1.26) к ортогональной системе через проекции sjp на оси косоугольной системы (вместо координат bjP в исходной косоугольной системе координат). 11.5. Алгоритм группового метода В табл. 11.2 схематично представлены методы, описанные в двух предыдущих параграфах. В первой колонке таблицы перечислены все параметры, составные и исходные, а в следующих трех колонках — 1 Действительно, пусть F — т • Af-матрица, т строк которой являются ортогональной системой нормированных векторов в Af-мерном пространстве, a F — т - N-матрица, т строк которой являются произвольной системой векторов в этом пространстве; пусть также Ф = F' F, а V — т • п - матрица, переводящая матрицу F в матрицу F: F = T'F. Поскольку строки матрицы F — ортогональные нормированные векторы, то FF' = 1; поэтому ф = FF/=T/FF'T = T'T, а это соотношение совпадает с A1.22). — Прим. перев. 262
краткий перечень требуемых операций и элементов, участвующих в этих операциях. В конце таблицы даны контрольные операции для проверки правильности вычислений. Таблица Параметр Ti т2 Тт Ti Т2 тт 1 2 3 п Итого Контроль 11.2. Алгоритм группового метода Операции Исходные матрицы (т столбцов) Матрица факторных коэффициентов корреляции Ф (Ф = Т'Т) Единичная матрица 1 Косоугольная факторная структура S Результат применения метода квадратного корня (Т) (т столбцов) Матрица «квадратного корня» Г (ФТ-1!^') Матрица преобразования т-1 (IT-1)-!-1 Ортогональная факторная матрица А (ST-^A) Умножение результата предыдущего блока на Т~ 1 (строка на строку), т. е. умножение слева на (Т') 1(т столбцов) (С точностью до ошибок округления результат равен I, либо не вычисляется вовсе, либо используется для проверки) Обращение исходной матрицы ф—1 (т-'сг'г^ф-1) (в явном виде не делается) Косоугольное факторное отображение Р (АСГ'Г^Р) ' Сумма всех B m + л) элементов каждого столбца В этом блоке контроль не производится К значению «Итого» предыдущего блока применяется процедура квадратного корня Значение «Итого» предыдущего блока умножается на Т (строка на строку) Исходным материалом для процедуры, включающей перечисленные операции, является матрица коэффициентов корреляции между факторами и матрица косоугольной факторной структуры, а целью — определение косоугольного факторного отображения и ортогонального факторного решения. В первой из колонок под заглавием «Операции», выписаны три известные матрицы: 1) т • т — матрица 263
коэффициентов корреляции между факторами, 2) единичная матрица того же порядка, 3) п • т —матрица косоугольной факторной структуры. Далее к этой колонке применяется метод квадратного корня (см. 3.4), получаемые при этом промежуточные результаты приведены в трех блоках следующей, второй колонки «Операций». Применение метода квадратного корня к матрице факторных коэффициентов корреляции дает матрицу «квадратного корня» (первый блок), к единичной матрице —матрицу преобразования Т (второй блок) и, наконец, к косоугольной факторной структуре — ортогональную факторную матрицу (третий блок второй колонки). Из уравнения A1.26) можно видеть, что применение метода квадратного корня к матрице S действительно позволяет получить матрицу А. Следует отметить, что, согласно табл. 11.2, работа выполняется несколько иначе, чем по табл. 3.2. При изложении метода квадратного корня мы помещали матрицу «квадратного корня» под исходной матрицей; здесь же она помещена справа от исходной матрицы. В связи с этой транспозицией блоков приходится транспонировать и формулы, приведенные в 3.4. Например, основные формулы для значений первых трех столбцов среднего блока табл. 11.2 приобретают вид S22(I) rV*' (/>3) A1.29) S33B) вместо формул (шаги 3, 5, 7) для элементов строк в 3.4. Наконец, результаты в третьей колонке «Операции» получаются с помощью обычного умножения матриц. Соответствующая матрица каждого блока второго столбца умножается (строка на строку) на матрицу преобразования Т, в результате^чего^получается блок третьей колонки. Вычисления в первом блоке можно не производить или производить только для'проверки правильности вычислений. Результат второго блока появляется как побочный продукт действия процедуры квадратного корня. И наконец, умножение'слева ортогональной факторной матрицы на транспонированную матрицу преобразования1 дает искомое косоугольное факторное отображение Р=А(Т)~1. A1.30) Умножив слева обе части уравнения A1.24) на (Т')~\ увидим, что умножение матрицы А на матрицу Т (строка на столбец) действительно дает матрицу Р. 1 Как указывалось в 3.2, п. 18, умножение матрицы А на матрицу В способом строка на строку эквивалентно обычному умножению способом строка на столбец матрицы А на матрицу В'. 264
После получения всех результатов табл. 11.2 несложные вычисле* ния позволяют получить матрицу вычисленных коэффициентов корреляции и матрицу остатков. Согласно B.50), умножение матрицы А на нее же дает матрицу R* вычисленных коэффициентов корреляции. Согласно A1.14), тот же результат получится при умножении S на Р (строка на строку). Описанная вычислительная процедура — получение косоугольного решения 11.3 и обработка его с помощью метода квадратного корня (табл. 11.2) — оказывается очень эффективной в случае отсутствия вычислительной машины. В некоторых случаях групповое решение получают и при наличии машины (например, при изучении некоторой гипотезы о группировке параметров). В таких случаях удобно пользоваться машинной программой треугольной декомпозиции [353]. Однако обычно при наличии ЭВМ пользуются методами главных факторов, минимальных остатков или максимального правдоподобия. 11.6. Примеры Ниже процедура группового метода иллюстрируется на примере анализа набора из девяти параметров. В табл. 11.3 приведена соответствующая редуцированная корреляционная матрица; значения общностей оценивались с помощью уравнения триад E.33). На первом шаге анализа девять параметров распределяются по трем группам: G± : A, 2, 3)—вербальные параметры; G2 : D, 5, 6)—арифметические способности; G3: G, 8, 9)—пространственные взаимосвязи. Таблица 11.3. Матрица коэффициентов корреляции для девяти психологических параметров1 Параметр 1. Значение слов 2. Составление предложения 3. «Лишнее» слово 4. Арифметические задачи 5. Вычитание чисел 6. «Недостающее» число 7. Перчатки 8. Ботинки 9. Топорики 1 0,81 0,75 0,78 0,44 0,45 0,51 0,21 0,30 0,31 2 0,69 0,72 0,52 0,53 0,58 0,23 0,32 0,30 3 0,75 0,47 0,48 0,54 0,28 0,37 0,37 4 0,91 0,82 0,82 0,33 0,33 0,31 5 0,74 0,74 0,37 0,36 0,36 6 0,74 0,35 0,38 0,38 7 0,35 0,45 0,52 8 0,58 0,67 9 0,77 1 Взято из неопубликованных материалов обследования школьников, выполненного К. Холзингером; обследование проводилось на 696 школьниках по 12 тестам (анализировалось 4 фактора). 265
Такой способ группировки определяется природой параметров и подтверждается значениями 5-коэффициентов: 5A, 2, 3) = 187; 5D, 5, 6) = 186; 5G, 8, 9) •¦= 168. В табл. 11.4 приведены суммы A1.2) коэффициентов корреляции каждого из параметров с параметрами группы, к которой он принадлежит, в табл. 11.5—суммы A1.3) этих сумм по группам. Из обоих этих таблиц легко вычислить матрицу коэффициентов корреляции между факторами и матрицу коэффициентов корреляции между факторами и параметрами. В частности, формула A1.10) дает такую матрицу факторных коэффициентов корреляции: ,0000 0,6511 0,4640" 0,6511 1,0000 0,5324 0,4640 0,5324 1,0000 В табл. 11.6 представлены коэффициенты корреляции параметров с факторами, полученные с помощью формулы A1.11) Таблица 11.4. Суммы коэффициентов корреляции параметров: параметров с группами °р G2 Сз / 1 2 3 4 5 6 7 8 9 Wjl 2,34 2,16 2,25 1,43 1,46 1,63 0,72 0,99 0,98 1,40 1,63 1,49 2,55 2,30 2,30 1,05 1,07 1,05 0,82 0,85 1,02 0,97 1,09 1,11 1,32 1,70 1,96 В дальнейшем анализе применяется алгоритм, описанный в 11.5. Соответствующая блок-схема операций для набора из девяти параметров дана в табл. 11.7. Исходным материалом для применения процедуры квадратного корня и последующего умножения матриц служат мат- Таблица 11.5. Суммы коэффициентов корреляции между ров: Wpq I 2 3 1 6,75 4,52 2,69 2,60 2 4,52 7,15 3,17 2,67 группами парамет- 3 2,69 3,17 4,98 2,23 266
Таблица 11.6. Косоугольная факторная структура: S Параметр / 1 2 3 4 5 6 7 8 9 0,90 0,83 0,87 0,55 0,56 0,63 0,28 0,38 0,38 0,52 0,61 0,56 0,96 0,86 0,86 0,39 0,40 0,39 0,37 0,38 0,46 0,43 0,49 0,50 0,59 0,76 0,88 Таблица 11.7. Вычисление ортогональной факторной матрицы А и косоугольного факторного отображения Р (алгоритм группового метода табл. 11.2) Параметр Tt Тг Тг Ti Тг Тг 1 2 3 4 5 6 7 8 9 Итого Контроль * однако Исходные матрицы 1,0000 0,6511 0,4640 '1,0000 0 0 * 1,0000 0,5324 0 1,0000 0 Косоугольная торная 0,90 0,83 0,87 0,55 0,56 0,63 0,28 0,38 0,38 8,50 * * 1,0000 0 0 1,0000 фак- структура 0,52 0,61 0,56 0,96 0,86 0,86 0,39 0,40 0,39 8,73 0 0 0 0 0 0 0 0 0 7 : S 37 ,38 ,46 ,43 ,49 ,50 ,59 ,76 ,88 ,86 Процедура квадратного корня Т 1,0000 0,6511 0,4640 1,0000 0 0 0,7590 0,3034 —0,8578 1,3175 0 Ортогональная 0, 0, 0, 0, 0, 0, 0, 0, 0, 8, 8, 0,8323 -0, -о, 1, 2448 4803 2015 фактор- ная матрица: А 90 83 87 55 56 63 28 38 38 50 50 —0,09 0,09 —0,01 0,79 0,65 0,60 0,27 0,20 0,19 4,21 4,21 -0 —0 0 —0 0 0 0 0 0 3 3 i ,03 ,04 ,07 ,07 ,04 ,03 ,45 ,63 ,77 ,16 ,17 Умножение на Т—* (строка на строку) 1,0000 0,0000 —0,0000 1,7957 —1,0126 —0,2941 0 1,0000 —0,0000 * 1,9665 —0,5771 0 0 1,0000 * * 1,4436 Косоугольное факторное отображение: 0,98 0,76 0,86 -0,11 —0,01 0,11 —0,06 0,05 0,03 4,10 4,12 —0,09 0,14 —0,04 1,07 0,84 0,77 0,14 —0,04 —0,12 4,05 4,03 Р —0,04 -0,05 0,08 —0,08 0,04 0,04 0,55 0,76 0,93 3,80 3,80 Для простоты элементы выше диагонали в симметрической матрице отброшены. Они, учитываются в строке «Итого» (для выполнения контрольных просчетов). 267
рица Ф коэффициентов корреляции между факторами и косоугольная факторная структура S (табл. 11.6). В результате всей обработки получаются ортогональная факторная матрица А и косоугольное факторное отображение Р. Сравнив матрицу вычисленных коэффициентов корреляции с редуцированной'матрицей коэффициентов корреляции, можно судить об адекватности решения эмпирическому материалу. При умножении матрицы А на себя (строка на строку) получаются вычисленные коэффициенты корреляции, а для проверки можно умножить матрицу S на матрицу Р (строка на строку). Сравнение вычисленных коэффициентов корреляции с исходными показывает, что только один остаточный коэффициент корреляции достигает значения 0,02. Можно, таким образом, заключить, что групповой метод позволил весьма точно описать материал табл. 11.3. Понятно, что подобная адекватность результатов не связана с тем, ищется ли решение в ортогональном или в косоугольном виде.
ЧАСТЬ III ПРЕОБРАЗОВАННЫЕ ФАКТОРНЫЕ РЕШЕНИЯ ГЛАВА 12. ВЗАИМОСВЯЗИ МЕЖДУ РАЗЛИЧНЫМИ РЕШЕНИЯМИ В ПРОСТРАНСТВЕ ОБЩИХ ФАКТОРОВ 12.1. Введение В последних пяти главах мы рассмотрели различные методы, применение которых позволяет перейти от корреляционной матрицы к факторной, которая в некотором смысле приближает матрицу выборочных коэффициентов корреляции. Эти факторные решения можно рассматривать либо как окончательный результат анализа, либо как некоторое промежуточное решение, удовлетворяющее основной факторной теореме приближения корреляционной матрицы; ряд преобразований этого решения приводит к окончательному факторному решению. Вопросы преобразования предварительного решения в финальное многофакторное решение обсуждались в 6.1 и 6.5. При этом выяснилось, что коль скоро пространство общих факторов найдено, то с помощью вращения системы координат можно получить бесконечное количество решений, одинаково адекватно описывающих материал. Многофакторный метод не имеет точной математической постановки и опирается на интуитивные представления. Этот предпочитаемый обычно метод основывается на принципах «простой структуры» (см. 6.2). В гл. 14 и 15 будут сделаны попытки формализовать принципы «простой структуры»; при этом появляется возможность привлечения аналитических методов для получения многофакторных решений. Подобные методы требуют чрезвычайно большого объема вычислительных работ и поэтому немыслимы без быстродействующих ЭВМ. Прежде чем перейти к этим методам, в целях лучшего понимания материала будут рассмотрены более простые методы получения многофакторного решения, основанные на графических преобразованиях некоторого исходного решения. Подобные процедуры для получения ортогонального многофакторного решения излагаются в этой главе, а методы получения косоугольного решения — в следующей. Материал, непосредственно касающийся многофакторного решения, предваряется в 12.2 общей теорией, связанной с соотношениями меж- 269
ду различными решениями в пространстве общих факторов. Затем, в 12.3, описываются графические методы вращения исходного решения к многофакторному решению; в 12.4 даны численные примеры. Наконец, в 12.5 рассматриваются некоторые вопросы сравнения факторных решений, построенных на пересекающихся наборах параметров или выборках. 12.2. Взаимосвязи между факторными решениями Как с методологической точки зрения, так и с точки зрения выявления фундаментальных факторов в данной области (например, в психологии)" большой интерес представляет сравнительное исследование различных факторных решений. По-видимому, наиболее естественно провести сравнение двух решений, построенных по одной и той же корреляционной матрице [240]. Возникающие при этом вопросы и будут здесь рассмотрены (рассмотрение продолжено в 12.5). В математике система координат сама по себе не играет большой роли; наибольшее внимание уделяется взаимному расположению исследуемых точек. Так, например, если нужно описать эллипс, т. е. записать для эллипса алгебраическое уравнение, то не очень важно, берется ли при этом прямоугольная декартова система координат, или косоугольная декартова система координат, или полярные координаты. Более того, не представляет интереса ориентация самих осей координат. Разумеется, при любом изменении системы координат уравнение эллипса изменится, но неизменными остается тот факт, что уравнение в каждом случае описывает один и тот же эллипс в данной системе координат. В отличие от этого цель факторного анализа состоит в подборе подходящей системы координат; взаимное расположение точек-параметров играет при этом меньшую роль. Здесь и выявляется пресловутая неопределенность факторной проблемы. Поскольку факторы искомого решения совпадают по направлению с осями системы координат и поскольку в пространстве общих факторов система координат может быть повернута вокруг начала координат бесконечным числом способов, отсюда проистекает бесконечное число факторных решений, одинаковым образом описывающих данный эмпирический материал. Будем всегда сводить любое факторное решение к некоторой стандартной форме, например к канонической форме 8.8. При этом появляется возможность выяснения того, действительно ли совпадают или схожи два решения (см. 10.6). Исследование взаимосвязей между двумя разными факторными решениями можно свести к поиску матрицы преобразования, переводящего одну систему координат в другую. Если обозначить факторное отображение первого решения через А, а второго—через В, то задача состоит в нахождении такой матрицы Т, чтобы АТ = В. A2.1) 270
рим одну точку Р с координатами (аъ а2) в одной системе координат и с координатами (blt b2) в другой системе координат. Пусть исходная система координат повернута на угол 0; нужно теперь выразить новые координаты Ъ точки через старые координаты а. Для построения требуемого преобразования воспользуемся следующим свойством проекций: сумма проекций отрезков ломаной линии, соединяющей две точки, на прямую равна сумме проекций отрезков любой другой ломаной, соединяющей те же точки. На рис. 12.1 начало координат О и точка Р связаны двумя ломаными ORP и OSP. Согласно приведенному свойству, проекции этих ломаных на любое направление должны быть равны, т. е. = np@S)+npEP). A2.11) Если за первое направление возьмем положительное направление оси Мг, а за второе — положительное направление оси М2, то получим выражения OR cos 0 + RP sin d = OS + О; —ORsinQ+RPcosQ =O + SP. A2.12) Но проектируемые отрезки прямых равны значениям координат: Следовательно, при вращении системы координат на угол 0 значения координат к новой системе выражаются через значения координат в старой системе следующим образом: A2.13) 12.1. Вращение на плоскости. Заметим, что тригонометрические функции здесь соответствуют направляющим косинусам новых осей относительно старых осей; поэтому A2.13) можно переписать в виде 7з; A2.14) Набору из п точек будет соответствовать п пар уравнений A2.14), где каждая пара (аЛ, aj2) переходит в соответствующую пару (b^, bj2). В матричной форме это преобразование есть A2.15) 275
или в более компактном виде В=АТ. A2.16) Это выражение в точности совпадает с A2.1), но здесь матрица В получается из А с помощью найденного преобразования Т. В случае вращения на плоскости порядок матриц А и В равен п • 2, а порядок матрицы Т — 2x2. Элементы Т очевидным образом удовлетворяют условиям так что в смысле 4.6 преобразование является ортогональным. Если факторное решение включает три фактора, то преобразование от исходного отображения к финальному имеет вид Ьп = %п ап Этому преобразованию также отвечает выражение A2.16), если считать, что порядок факторных матриц равен я-3, а порядок матрицы преобразования — 3x3. В этом случае элементы матрицы Т удовлетворяют шести независимым условиям: A218) ^li ^12 ~Ь ^21 ^22 Н~ ^31 ^32 = О» ^11 ^13 "Ь Ki ^23 "Ь ^31 ^33 = О» ^12 ^13 "Ь ^22 ^23 Н~ ^32 ^33 == 0. Таким образом, девять коэффициентов A2.17) удовлетворяют шести условиям и обеспечивают системе три степени свободы — вращение, в трехмерном пространстве. Для bjp и ajp можно выписать уравнения, включающие три независимых параметра1; в приложениях такие уравнения применения не находят. Укажем теперь на преобразование, полезное в приложениях и легко обобщаемое на любое число факторов. Основная его идея состоит в том, что результат ряда последовательных ортогональных преобразований есть ортогональное преобразование (называемое произведением ряда последовательных вращений). Поскольку простейшее вращение есть вращение в плоскости, будем строить преобразование в трехмерном пространстве из таких простейших вращений. Такое отдельное преоб- 1 Эти уравнения известны под названием формул Эйлера. Типичное уравнение такого рода: ai — Ьг (cos ф cos ф — sin ф sin tycos 9) — 62(cos ф sin я|) + sin ф cos i|) cos 6) + + bB sin ф sin 6); индекс / здесь опущен; в, ф, г|э — углы вращения [430]. 276
разование в трехмерном пространстве представляет собой поворот любых двух осей вокруг третьей, т. е. вращение в плоскости. Произведе- тие таких вращений и даст искомое преобразование. Упорядочим вращения таким образом, чтобы каждая ось вращалась одновременно с любой другой осью лишь однажды. Тогда в трехмерном пространстве имеем следующие три вращения пар осей: старые оси угол вращения новые оси е13 М2М3 Индекс при угле вращения указывает на номера осей, участвующих в данном вращении. Первое вращение производится в плоскости осей Z7! и F2i ось F3 остается при этом неизменной. Новые оси, получившиеся в этой плоскости после вращения, обозначены через Y± и Y2. Так как ось F3 перпендикулярна плоскости осей F± и F2i то она перпендикулярна и любой прямой, лежащей в этой плоскости, в частности новой оси Yx. Следующее вращение производится в плоскости осей Yx и F3\ ось Y2 остается неизменной. Новую первую ось (она обозначена М^ можно считать конечной, так как она есть результат вращений старой оси поочередно с обеими оставшимися осями. Наконец, последнее вращение переводит оси Y2 и Y3 в конечные оси координат М2 и М3. Таким образом, оси Yp являются промежуточными и сами по себе не отвечают свойствам ортогональности A2.18). С другой стороны, любой из наборов осей Yl9 Y2, F3 и Ml7 Y2i Y3 обладает этими свойствами и может, вообще говоря, быть взят в качестве конечной системы координат. Обычно, однако, ищут преобразование, переводящее исходную систему осей Fx, F2, F3 в конечную систему М19 М2> М3. Выпишем матрицу преобразования в плоскости Ft и F2 при неизменном направлении F3: "cos012—sin012 0' sin912 cos012 0 О О 1 Тогда первому вращению отвечает соотношение C=ATllf A2.19) A2.20) где С есть промежуточная матрица координат в системе Yl9 Y2, F3. Соответственно второму и третьему вращениям отвечают соотношения = CT 13 и B = *23» где D — вторая промежуточная матрица, а "cos013 0 —sin013 О 1 О sin 913 0 cos013 j 10 О О cos023 —sin023 О sin023 COS 09 A2.21) A2.22) 277
Три проделанных вращения можно объединить в одно полное преобразование. Подставим выражение для D из первого соотношения A2.21) во второе: В — С Т13 Т23 и запишем в полученное соотношение выражение для С из A2.20): B=ATl2Ti3T23. A2.23) Если обозначить произведение трех последовательных вращений через Т = Т12Т13Т23, A2.24) то A2.23) переходит в A2.16). На практике матрицу Т можно определить не ранее, чем будет получено финальное факторное отображение в результате всех последовательных вращений. Приведенные выкладки можно обобщить на случай пространства общих факторов т измерений. Воспользовавшись обозначениями A2.10) для общего случая, выпишем элементы матрицы преобразования: Л21 Л22 ... В преобразовании A2.16) исходная и конечная факторные матрицы имеют порядок п • т. Столбцы значений Xtj представляют собой направляющие косинусы финальных осей координат М1у М2, ..., Мш относительно исходных осей Fly F2, ..., Fm. Условия ортогональности матрицы Т (см. 4.6) приводят к тому, что направляющие косинусы удовлетворяют следующей системе независимых условий: т A2.25) где 6pq — символ Кронекера (равный нулю при р Ф q и единице при р = q). Поскольку р < q и эти индексы пробегают значения от 1 до /п, общее число подобных условий равно т(т + 1)/2. Число элементов в матрице Т равно /п2, так что с учетом этих т(т + 1)/2 ограничений остается 2 т(т-\-\) т(т—1) / т \ /ю ол\ 2 2^2; V ; степеней свободы (для вращения в /n-мерном пространстве). Число независимых параметров, определяемых A2.26), равно числу допустимых вращений отдельных плоскостей координат, образованных всеми возможными парами осей координат. Ввиду того что углы вращения задаются субъективно, нет причин полагать, что для получения наилучшего преобразования необходимо произвести все 278
(™) допустимые вращения в плоскостях. При желании можно произвести дополнительные вращения любых плоскостей, тогда финальное преобразование будет произведением всех выполненных вращений. Так же как и при трех факторах, в случае любого другого числа факторов все вращения могут быть упорядочены. Например, в табл. 12.2 представлена последовательность вращений для случая, когда решение включает четыре фактора. После выполнения всех частных преобразований определяется полная матрица преобразования Т, она представляет собой промежуточный результат факторного анализа. С помощью подобных промежуточных результатов любой читатель сможет проследить весь ход получения финального решения из исходного. Не следует забывать о проверке условий ортогональности матрицы Т в смысле A2.25) и о проверке с ее помощью правильности вычисления финальных факторных коэффициентов. Таблица 12.2. Последовательность Старые оси Йй Z2F4 Z3Z4 Угол вращения е12 013 014 023 024 034 вращении в четырехмерном пространстве Новые оси YiY2 Z±YZ Yz M2Z4 м3м4 Каким осям ортогональны У2 Ft YMiY\ MtZa На практике построение матрицы преобразования Т графическим методом сводится к построению ряда вращений отдельных плоскостей и к получению их произведения. Эта работа требует построения (™) графиков и выполнения операции умножения матриц (при вычислении промежуточных координат). Разумеется, это весьма трудоемкий процесс, но за многие годы работы с этим методом он доказал свою эффективность и до сих пор удовлетворяет многих исследователей, работающих в факторном анализе. В течение последних двух десятилетий многие исследователи пытались формализовать задачу вращения и создать некоторые объективные принципы построения многофакторных решений. Некоторые из этих принципов (принципы простой структуры) излагались в 6.2. В гл. 14 и 15 мы расскажем о некоторых успехах в построении аналитических методов нахождения многофакторного решения. Однако, прежде чем перейти к этим более сложным процедурам, стоит рассказать о ряде других графических методов. В этих методах для получения из исходного решения нового многофакторного решения также нужно выполнить графически ряд вращений. Связь между принципами простой структуры и графическими построениями заставила Тэрстоуна положить много усилий на упрощение процедур графического анализа. Он писал [477]: «Результаты гра- 279
фической обработки материала полностью определяют конечное решение и, следовательно, факт его принятия или отклонения». Тэрстоун первым предложил графический метод для решения двумерных задач, отличный от описанного выше. В 1938 г. он изложил новый метод вращения для обработки трехмерных задач; графические работы в этом методе выполняются на листе бумаги (т. е. на плоскости). При построении трехмерных преобразований на плоскости векторы параметров располагаются таким образом, чтобы проекция каждого из них на первую ось исходного решения была равна единице. Кроме этой процедуры Тэрстоун предложил еще ряд альтернативных методов графического вращения; почти четверть его книги посвящена специфической задаче нахождения решения с простой структурой графическими методами. Пытаясь уменьшить объем вычислительных.работ при поиске решения с простой структурой, Циммерман [549] предложил прием, применение которого позволяет избавиться от вычисления промежуточных координат. Идея его процедуры состоит в проектировании точки с одного графика на другой. Значения координат после каждого поворота пары факторов получаются графически и используются в следующем вращении. После выполнения всех необходимых вращений (продиктованных требованием простой структуры) с графика считываются координаты точек относительно финальной системы координат. Разумеется, в связи с ограниченной точностью графического метода результат произведения факторной матрицы на свою транспонированную B.50) после выполнения всех вращений может оказаться неравным тому же произведению до вращения. Еще один подход связан с применением механических и электрических устройств. Одно такое устройство, названное «Ротатором факторной матрицы», было предложено Гейлордом и описано Харманом и Харпером; в настоящее время оно находится в Вашингтоне, округ Колумбия (Центр исследования армейского личного состава). Это устройство аналогового типа, искомые величины в нем пропорциональны перемещениям некоторых элементов и определяются, следовательно, с некоторой погрешностью. Исходные факторные веса вводятся в прибор с помощью установочных шкал; точки, представляющие векторы, имеют вид светящихся точек на экране электроннолучевой трубки. Элементам матрицы преобразования соответствуют свои шкалы, которые в начале работы устанавливаются в положения, отвечающие единичной матрице; тем самым взаимному расположению точек на экране придается вид, соответствующий исходному факторному решению. Вращение осей осуществляется простой манипуляцией со шкалами; после получения нужного положения системы осей со шкал матрицы преобразования можно снять значения, определяющие новую систему координат. Конечно, в каждый момент времени вид точек на экране соответствует их проекции на одну из плоскостей координат. Естественное преимущество «Ротатора» по сравнению с ручными вычислениями состоит в том, что при принятии решения о том, следует ли подвергать враще- 280
нию данную пару осей, он позволяет проанализировать ситуацию, последовательно просматривая проекции в плоскостях одной из рассматриваемой пары осей и каждой из оставшихся осей. Обычно, работая с прибором, исследователь просматривает на экране проекции точек на все возможные плоскости координат и отбирает для вращения те оси, которые обеспечивают минимальное число вращений. После того как финальное положений осей, обеспечивающих решение с простой структурой, получено, скорость поиска значений элементов матрицы преобразования и финальной факторной матрицы определяется только скоростью вращения шкал исследователем; необходимые вычисления производятся при этом автоматически. «Ротатор» предназначен для выполнения ортогональных вращений в задачах размером до 50 параметров и 12 факторов. Тем не менее с прибором решались задачи, включавшие до 130 параметров и 24 факторов. Более того, он применялся для выполнения косоугольных преобразований; однако применение прибора в подобных иссключитель- ных случаях сопровождалось большими вычислениями, производимыми вручную. Прежде чем покончить с вариациями на тему графических методов поиска многофакторного решения, напомним, что все эти процедуры вырастают из общей концепции простой структуры и обусловлены отсутствием каких-либо объективных критериев. П. Хорст [251] одним из первых занялся поиском объективных оснований для перехода от произвольного факторного решения к решению с простой структурой. В качестве критерия он принял максимизацию отношения суммы квадратов «значимых» факторных нагрузок к сумме квадратов всех фак* торных нагрузок. Вариант этого подхода описан Такером [489]; сна чала графическими методами набор параметров разбивается на подгруппы, а далее одновременно для всех факторов находится решение. В гл. 14 и 15 будут детально изложены аналитические методы прибли жения решения с простой структурой. 12.4. Примеры нахождения ортогонального многофакторного решения Система координат ортогонального многофакторного решения определяется с учетом соображений, высказанных в 6.2. Во-первых, необходимо, чтобы исходное решение описывалось линейной факторной моделью B.9), обладало ортогональной системой координат и отвеча ло принципу экономии. Тогда при ортогональном вращении такого исходного факторного отображения все перечисленные свойства сохраняются. Цель преобразования решения состоит в получении такого факторного отображения, которое удовлетворяло бы принципам малой сложности, упорядочивания вкладов факторов и описания гиперплоскостями, или, иначе говоря, удовлетворяло бы принципам простой структуры 6.2. Хотя для преобразования в многофакторное решение в качестве исходного можно брать любое решение с некоррелированными факто- 281
рами, обычно в прошлом для этой цели пользовались центроидным решением. Процедура преобразования состояла в следующем. Сначала в плоскости двух первых факторов (/^ и F2) строилась картина взаимного расположения точек, представляющих параметры. Так как нагрузки на второй фактор в исходном центроидном решении имеют как положительные, так и отрицательные значения, то точки-параметры располагаются в первом и четвертом квадрантах. Первое вращение на угол 612 производится таким образом, чтобы проекции всех параметров на новые оси Yl9 Y2 были положительными. Обычно угол 012 равен примерно —45°. Далее из уравнений вида A2.13) вычисляются координаты точек относительно осей Ух и Y2. В соответствии со схемой табл. 12.2 следующее вращение производится в плоскости факторов Ух и Fs; угол Э13 получается из анализа следующей системы. При этом новая ось 1Х должна проходить вблизи одной из групп точек и одновременно другая ось должна по возможности проходить вблизи какой- либо другой группы точек. Тогда параметры первой группы точек будут иметь большие веса при факторе Zlf а параметры второй группы будут иметь при этом факторе относительно малые веса. Остальные вращения производились также в соответствии со схемой табл. 12.2. Из приведенных ниже примеров будет видно, что подобная процедура порождает финальное решение, удовлетворяющее принципу простой структуры. 1. Восемь морфологических параметров. Первый пример многофакторного решения будет построен на основе двух факторов решения в минимальных остатках, представленного в табл. 9.3. Коэффициенты отображения табл. 9.3 есть не что иное, как координаты восьми точек- параметров в системе двух факторов решения в минимальных остатках. Из рис. 12.2 видно, что эти точки образуют две отдельные группы. Видно также, что материал описывался бы наилучшим образом факторами-осями Кх и К2, проходящими через эти группы. Эти оси, однако, не ортогональны друг другу и поэтому остаются за рамками рассматриваемого метода. Если одна ось проходит через группу точек, а другая ось перпен- 282 12.2. Вращение для восьми морфологических параметров.
дикулярна ей, то мы имеем некоррелированные факторы, но решение не будет удовлетворять остальным перечисленным принципам; действительно, если ось Mi проходит через группу, включающую первые четыре точки, то ось М2' окажется слишком удаленной от остальных четырех точек. Коэффициенты при таких новых факторах обладают следующими свойствами: Параметры Коэффициенты при М[ Коэффициенты при М2' 1, 2, 3, 4 очень большие близкие к нулю 5, 6, 7, 8 достаточно большие большие Сложность первых четырех параметров равна при этом единице, а сложность остальных четырех — двум. Таким образом, в примере, включающем только два фактора, параметры 5 — 8 не отвечают принципу малой сложности. Для того чтобы многофакторное отображение как-то удовлетворяло всем перечисленным выше принципам, нужно провести оси так, чтобы они проходили примерно на одинаковом расстоянии от обеих групп точек. Выбранный из таких соображений угол вращения равен 912 = = —42° (разумеется, угол, выбранный другим исследователем, мог бы несколько отличаться от этого). Ниже нам понадобятся значения cos ( — 42°) = 0,7431, sin (—42°) = —0,6691. Подстановка этих значений в уравнения A2.13) дает Ьп = 0,7431% — 0,6691о/2; A2.27) Эквивалентная матричная запись преобразования A2.27) имеет вид Г 0,7431 0,66911 L — 0,6691 0,7431 J где А — факторное отображение табл. 9.3, а В — финальное факторное отображение, представленное в табл. 12.3. Из табл. 12.3 видно, что данный материал действительно в достаточной степени отвечает упомянутым принципам. В процедуре многофакторного анализа ошибка измерения не рассматривается и поэтому исследователю приходится задаться некоторым уровнем значимости. Данный материал получен на достаточно большой выборке Лг = 305, и поэтому здесь могут оказаться значимыми даже сравнительно маленькие коэффициенты. Из табл. Б приложения находим, что N =¦ 305 и среднему коэффициенту корреляции 0,355 соответствует стандартная ошибка, приблизительно равная 0,066. Сточки зрения этого значения ошибки даже наименьшие коэффициенты в табл. 12.3 могут считаться значимыми. И хотя в данном случае применение этого теста не совсем правомерно, его результаты позволяют усомниться в незначимости] малых величин. По-видимому, этот пример является не совсем типичным с точки зрения демонстрации многофакторного метода. 283
Таблица 12.3. Многофакторное решение для восьми морфологических параметров (в качестве исходного решения бралось решение в минимальных остатках, табл. 9.3) Параметр / 1. Рост 2. Размах рук 3. Длина предплечья 4. Длина ноги 5. Вес б. Окружность бедер 7. Окружность груди 8. Ширина груди Вклад фактора (Vp) Мх 0,853 0,906 0,874 0,846 0,175 0,140 0,082 0,216 3,132 м 0,332 0,261 0,237 0,302 0,926 0,788 0,760 0,667 2,827 0,838 0,889 0,820 0,807 0,888 0,641 0,584 0,492 5,959 2. Тринадцать психологических параметров. В этом примере в качестве исходного также взято центроидное решение, включающее три фактора. Преобразование исходного решения в многофакторное выполняется в соответствии со схемой 12.3; вращения производятся в трехмерном пространстве. На рис. 12.3 изображены 13 точек в плоскости первых двух центроидных осей. Настоящая процедура несколько отличается от процедуры, примененной в предыдущем примере. Целью первого вращения является упорядоче- ние вкладов первых двух факторов. 02 аз ot4 о}5 as ор влд ct для этого угол Q^ берется равным 50°. Поскольку оказывается, что после вращения все точки имеют на ось У2' отрицательные проекции, производится отражение этой оси: s.0.1 /J -Ofi 12.3. Первое вращение для 13 пси хологических тестов. * 2 — * 2 > после чего значения координат становятся положительными. Хотя нагрузки многих точек на оси Ylf Y2 достаточно велики, следует проделать еще два вращения. Матрица преобразования, соответствующая первому вращению (с учетом выполненного отражения второй оси), имеет вид 0,6428 0,7660] 0,7660 — 0,6428 J' 284
Умножив первые справа два столбца табл. 8.30^наТ12, получим первые два столбца табл. 12.4. На этом этапе можно произвести контроль вычислений; новые факторы Yl9 Y2 и фактор С3 взаимно ортогональны, и их суммарный вклад должен быть тем же, что и в системе С1У С2, С3г т. е. 2,981 + 3,031 + 0,954 = 4,620 + 1,392 + 0,954 = 6,966. Следующее вращение делается в плоскости Yl9 С3. Соответствующая картина изображена на рис. 12.4; координаты точек взяты из первого столбца табл. 12.4 и третьего столбца табл. 8.30. Целью этого пре- Mi 13 -0,6- 12.4. —12.5. Второе и последнее вращения для 13 психологических тестов. образования является поиск первой многофакторной оси. Важно, чтобы эта ось проходила вблизи группы точек и была по возможности ортогональна другим скоплениям точек. Этому требованию удовлетворяет угол вращения 813 = 27°. Для получения положительных значений координат здесь также приходится производить отражение одной из осей. В этой плоскости матрица преобразования имеет вид 0,8829 Tl3=l 0,4695 0,46951 —0,8829J Соответствующие значения для Мг и Ys заносятся в столбцы табл. 12.4 и 12.5. И наконец, последнее вращение делается в плоскости У2, У3. Это преобразование выбирается таким образом, чтобы две оставшиеся оси многофакторного решения проходили как можно ближе к группам точек. Так, фактор М2 проходит вблизи точек 10, 11, 12 и 13, а фактор 285
Таблица 12.4. Значения промежуточных координат Параметр 1 2 3 4 5 6 7 8 9 10 '11 12 13 Yt 0,344 0,257 0,382 0,371 0,665 0,726 0,745 0,604 0,762 —0,077 0,046 -0,111 0,151 2,981 Y2 0,504 0,248 0,225 0,313 0,393 0,314 0,316 0,413 0,272 0,658 0,662 0,729 0,753 3,031 0,553 0,356 0,558 0,428 0,097 0,193 0,123 0,229 0,135 —0,388 —0,106 —0,081 0,190 1,264 М3 — вблизи точек 1, 2, 3 и 4; такому расположению осей соответствует угол вращения 023 — —23°. Элементы матрицы третьего преобразования равны: ¦23 | 0,! "L-0. ,9205 3907 0,39071 0,9205j В табл. 12.5 выписаны коэффициенты при факторах М2 иМ3.Полная матрица преобразования, переводящего исходные факторные веса в финальные, согласно A2.24), равна: Т — Т12 Т13Т23 = ,5675 0,5872 0,5771 0,6763 —0,7322 0,0799 0,4695 0,3499 —0,8127 A2.29) Кроме контроля вычислений после каждого вращения, можно провес ти проверку результатов всей работы. Так, сумма элементов последней строки табл. 12.5, равная 6,967, в точности совпадает с суммарным вкладом исходных центроидных факторов. Многофакторное решение табл. 12.5 удовлетворяет всем перечисленным выше принципам. По сравнению с другими типами решений вклады факторов здесь примерно уравнены. Набор факторов обеспечивает хорошее геометрическое описание материала и малую сложность параметров. При данной выборке (N = 145) коэффициенты порядка 0,2 можно считать незначимыми. Вообще говоря, полученное решение удовлетворяет принципам простой структуры. Таким образом, рассмотренный пример является хорошей иллюстрацией многофакторного метода. 286
Таблица 12.5. Многофакторкое решение для 13 психологических параметров (в качестве исходного взято центроидное решение, табл. 8.30) Параметр / 1. Зрительное восприятие 2. Кубики 3. Форма плоской фигуры 4. Флажки 5. Общее восприятие информации 6. Понимание смысла прочитанного 7. Составление предложения 8. Классификация слов 9. Понимание смысла слов 10. Сложение 11. Декодирование 12. Подсчет числа точек 13. Анализ геометрии букв Вклад фактора (Vp) Вербальный фактор Mt 0,096 0,102 0,136 0,193 0,702 0,719 0,778 0,562 0,791 0,119 0,109 —0,083 0,070 2,670 Скорость вычислений м2 0,248 0,089 —0,011 0,121 0,324 0,214 0,243 0,291 0,198 0,757 0,651 0,703 0,619 2,292 Пространственные связи м3 0,706 0,425 0,602 0,516 0,243 0,300 0,237 0,372 0,231 —0,100 0,161 0,210 0,469 2,005 Общность Л? 1 0,569 0,199 0,381 0,318 0,657 0,653 0,721 0,539 0,718 0,597 0,462 0,545 0,608 6,967 При интерпретации и присвоении наименований полученным факторам следует учитывать каждый раз лишь параметры, имеющие относительно большие веса, допустим веса, превышающие 0,4 (в табл. 12.5 они напечатаны жирным шрифтом). В данном случае названия факторам дают те же подгруппы параметров, которые обусловили названия первых трех групповых факторов в бифакторном решении табл. 7.6. Эти наименования новых факторов указаны в табл. 12.5. Любопытно заметить, что каждый из параметров «тяготеет» только к одному из факторов, за исключением параметра 13, который в связи с полученными результатами может быть интерпретирован как параметр, измеряющий скорость восприятия простых геометрических форм. 12.5. Некоторые вопросы взаимосвязи между различными факторными решениями Нужно ясно понимать, что любой набор параметров (любая данная выборка) может быть описана многими совершенно разными факторными решениями. Это явствует не столько из наличия разных методов факторизации корреляционной матрицы, описанных ранее вэтом тексте, сколько из возможности преобразования одного вида решения, описывающего данный эмпирический материал, в другое (чему посвящены эта и следующие три главы). В 12.2 были рассмотрены взаимосвязи между двумя решениями, описывающими один и тот же материал. 287
Процедуру, предложенную Такером [496] и предназначенную для факторного анализа вариантов матрицы, полученных в разное время <но на одних и тех же объектах и параметрах), можно рассматривать как процедуру сравнения обычных факторных решений (для данной выборки и данного набора параметров), полученных также в разное время. Но существуют, по-видимому, две проблемы, очень важные с позиций содержательных теорий, базирующихся на результатах факторного анализа. Предположим, что один и тот же набор параметров (или два набора, в которых часть параметров совпадает) измерен на двух разных группах объектов (в психологии — на двух группах испытуемых). Что можно сказать о факторах, вошедших в описание одних и тех же параметров в обоих решениях? Другая проблема связана с двумя разными наборами параметров (определяющих, вообще говоря, одни и те же черты, свойства испытуемых), измеренных на одной выборке и подвергнутых раздельному факторному анализу. В каждом из этих случаев имеется два набора факторов и задача состоит в выяснении того, насколько они схожи или, наоборот, различны. При этом под сходством понимается, конечно, степень сходства, а не полное совпадение. Если целью психологии является формулирование некоторых теорий, основанных на инвариантных факторах, то задача, поставленная нами, ограничена желанием продемонстрировать несколько способов измерения степени совпадения факторов, берущих начало из разных факторных решений. Прежде чем рассмотреть способы измерения степени сходства систем факторов, обратим внимание на то главное, что характеризует проблему «инвариантности». Вероятно, одной из первых теоретических работ в этой области была работа И. Ахмаваары [3] об инвариантности факторного решения относительно разных выборок из генеральной совокупности, обладающих некоторыми свойствами. Вклад в решение этого вопроса внесли и некоторые другие исследователи (см., например, [24, 73, 79, 255]). Среди них нужно особенно отметить В. Мередита [365, 366]. В первой из двух своих статей оц показал, что для данного набора параметров существует факторное отображение, инвариантное относительно выборок из генеральной совокупности. Во второй статье предлагается процедура для преобразования факторных решений, полученных на основе разных выборок, к некоторому «наилучшему» факторному отображению; процедура иллюстрируется на примере четырех выборок, полученных на четырех группах испытуемых. 1. Фиксированный набор параметров, разные выборки. В деле развития психологических теорий факторный анализ всегда был средством исследования интеллекта, уровня образования, темперамента и т. д. Кроме этого, значительный интерес уделялся «идентификации» (сравнению) факторов, полученных из разных экспериментов. Как отмечают и Ш. Мозье [372], и Г. Янг и А. С. Хаусхолдер [546], идеальным решением этой проблемы было бы введение неких стандартных мер, подобных весу и массе в физике. Тогда, например, при изучении способностей «... пусть набор г независимых тестов определяется раз и на- 288
всегда заданной г-r-матрицей факторных нагрузок и во всех последующих экспериментах каждый новый тест связывается со стандартным набором г независимых тестов (или испытуемых)...» [546]. Маловероятно, чтобы психологи восприняли всерьез подобный подход. Естественнее ожидать, что степень совпадения или согласованности систем факторов, полученных в- разных исследованиях, будет анализироваться на основе статистических подходов. Попытки выяснения взаимосвязей между системами факторов, полученными в разных исследованиях, восходят к временам первых работ в области факторного анализа. Первые методы сравнения факторов были достаточно грубыми и субъективными. Хорошим примером такого подхода может служить отчет В. Захерта и Г. Фридмана [548], в котором авторы изучают устойчивость факторного отображения для выборок, полученных в разные годы; при этом основанием для заключения о связи данного фактора с данным параметром является лишь тот факт, превышает или нет соответствующая факторная нагрузка значение 0,30. Д. А. Барлоу, С. Барт [24] и Г. Лейден [341] обращают внимание на многообразие способов измерения степени совпадения факторов, которые предложены за годы изучения этой проблемы, и на различие результатов, к которым приводит применение разных методов. Пусть имеются результаты двух исследований, в которых участвовал один и тот-же набор параметров. Тогда в качестве меры совпадения двух систем факторов можно принять значение среднеквадратичного отклонения соответствующих факторных весов. Сравнение фактора р из исследования 1 с фактором q из исследования 2 сводится, следовательно, к вычислению величины где индексы «1» и «2» разделяют соответствующие элементы двух исследований. Конечно, это слишком простой критерий для сравнения. Понятно, что если выражение A2.30) равно нулю, то факторы совпадают; но определить, что значит «хорошее совпадение» в терминах этого критерия, достаточно трудно. Для сравнения весов одного и того же набора параметров при двух факторах ( о которых высказано предположение, что они либо совпадают, либо сильно связаны) многие исследователи использовали коэффициент, напоминающий коэффициент корреляции. Барт [58] назвал этот коэффициент коэффициентом «несовпадения»1 (unadjusted correlation). Независимо Такер [491] предложил тот же коэффициент под названием коэффициента конгруэнтности. И наконец, Рили и Ней- гауз [541] той же формулой характеризовали степень подобия факто- 1 В своей работе Барт сравнивал набор факторных коэффициентов фактора «общей эмоциональности», построенного на основании двенадцати психологических тестов, с набором оценок, которыми ту же «общую эмоциональность» учеников характеризовал школьный учитель. 10 Зак. 656 289
ров. С использованием обозначений, принятых в этом тексте, коэффициент конгруэнтности можно записать в виде Эта формула сильно походит на выражение B.7), но это не есть выражение для коэффициента корреляции: коэффициенты а не есть отклонения от соответствующих средних и суммирование ведется по п параметрам, а не по значениям параметров у N испытуемых, т. е. не по испытуемым. Если все параметры в обоих исследованиях совпадают, то суммирование в A2.31) ведется по всем элементам факторных отображений, соответствующим факторам р и q. Если же в обоих исследованиях совпадают лишь несколько факторов, то, очевидно, суммирование в A2.31) нужно вести только по совпадающим параметрам. Обычно в подобных исследованиях совпадает небольшое число параметров; так что.если алгебраические знаки соответствующих факторных весов совпадают, то значение коэффициента будет достаточно высоким. Значение коэффициента конгруэнтности меняется от +1 при полном совпадении (или —1 при полном обратном совпадении) до нуля при полном отсутствии связи. Чтобы иллюстрировать применение формулы A2.31), воспользуемся результатами табл. 12.1. Для этих целей удобно использовать уже имеющийся материал; нужно лишь понять: если разные факторные решения проистекают из эмпирического материала, измеренного на одних и тех же испытуемых, то значения коэффициента конгруэнтности не представляют интереса. Рассматривая решения А и В как результаты двух исследований, вычислим значения знаменателей в A2.31) и получим девять коэффициентов конгруэнтности (значениями числителей являются при этом элементы матрицы В'А табл. 12.1). Анализ полученных коэффициентов подтверждает выводы о взаимосвязях между факторами, сделанные в 12.2. Можно ожидать, что если факторы из двух исследований схожи (уже при визуальном анализе) и два набора параметров имеют мало совпадений, то коэффициент A2.31) будет очень велик. Такер подверг подобному анализу результаты двух исследований [491]. В одном изучалась выборка из 18 параметров, измеренных на рядовом составе флота; во втором изучалась выборка из 44 параметров, измеренных на летчиках и солдатах. Десять параметров в обоих исследованиях совпадали. Такер сравнил шесть факторов, полученных в первом исследовании, с шестью факторами (из двенадцати), полученными во втором исследовании. Он принял, что конгруэнтным факторам отвечают значения коэффициентов от 0,999984 до 0,939811, и заключил, что значение 0,459717 не может считаться достаточным для определения соответствующего фактора как конгруэнтного. 290
В общем случае рекомендуется сравнивать каждый фактор из одного исследования со всеми факторами из другого исследования и определять степень совпадения по наибольшему коэффициенту конгруэнтности. Такая процедура требует больших вычислительных работ и, следовательно, применения ЭВМ. Хотя выяснение статистических взаимосвязей между факторами, полученными в разных исследованиях, имеет самостоятельную ценность, многие ученые (например, Кеттелл, Такер, Рили) концентрировали свои усилия на выяснении психологического содержания в предложенных критериях. Они воспользовались коэффициентами подобия факторов как объективными критериями для сравнения факторов и вращения факторных решений, полученных в разных исследованиях, к некоторым единым факторным осям. Например, Такер ввел определение пространства, конгруэнтного двум решениям, как пространства, выделяемого соответствующими конгруэнтными факторами; при этом две матрицы факторных нагрузок, отвечающих конгруэнтным факторам, «считаются конгруэнтными, если они в общем схожи, а различия между ними малы и случайны». [491]. Далее Такер обсуждает вопрос о доверии, с которым психолог может относиться к результатам, полученным при представлении какого-либо свойства конгруэнтными факторами из разных исследований. С. Р. Пинно и А. Нейгауз [391] предложили другой коэффициент для сравнения факторов, соответствующих фиксированному набору параметров и одной и той же или разным выборкам. Для вычисления их «коэффициента инвариантности» или «коэффициента подобия факторов» нужно знать коэффициент корреляции между значениями факторов (см. гл. 16), измеренных на всех испытуемых. Эта процедура базируется на работе П. Хорста [254, 255]. Может показаться, что вопрос о сходстве факторов, соответствующих одному набору параметров и разным выборкам, есть классическая задача теории выборок. Однако в той задаче факторного анализа, которая является нашим предметом1, получены весьма слабые результаты. Поэтому в настоящее время можно, по-видимому, принять эмпирический подход для сравнения степени сходства факторов из разных исследований, основанный на коэффициентах подобия факторов. 2. Разные параметры, фиксированная выборка. Большой интерес представляет другой случай сравнения факторов, полученных в разных исследованиях, а именно случай, когда оба исследования проводились на фиксированной выборке, но измерялись при этом разные параметры. Возможно, в ближайшее время появятся работы, развивающие теоретико-статистический подход к задаче определения устойчивости факторов относительно вариации измеряемых параметров. Здесь мы изложим эмпирический подход к этой проблеме. Одним из наиболее важных вопросов, встающих перед психологом при выборе одного из нескольких решений, является вопрос об «инвариантности» данного решения. В применении к задаче вращения от некоторого предвари- 1 В 9.5 и 10.4 мы рассмотрели ряд вопросов теории выборок, связанных с оценкой числа общих факторов. 10* 291
тельного решения к многофакторному решению под инвариантностью понимают неизменность описания параметров в терминах факторов независимо от того, в какой набор входит данный параметр (важно лишь, чтобы обоим наборам соответствовали одни и те же общие факторы). Занимаясь исследованием этого вопроса применительно к психологии, Такер выдвинул дополнительное условие инвариантности: «... если на испытуемых измеряются разные наборы тестов, характеризующие один и тот же фактор, то значения фактора у испытуемых должны быть инвариантны относительно наборов тестов» [495]. Если метод «варимакс» (см. 14.4), предложенный Г. Ф. Кайзером [293], позволяет получить решение, инвариантное относительно факторов, то в этом параграфе нас интересует устойчивость факторов относительно изменения параметров. Рйли и Нейгауз [541] предложили, по-видимому, наиболее естественный метод для сравнения факторов, полученных на одной выборке и разных наборах параметров. В каждом исследовании с помощью методов гл. 16 для каждого из испытуемых можно вычислить значения всех факторов. Теперь, точно так же как это делалось для факторных коэффициентов, можно сравнить между собой значения фактора /?, подсчитанные для одного набора параметров, со значениями фактора, q, подсчитанными для второго набора параметров (по одной и той же группе испытуемых). Определим коэффициент конгруэнтности, измеряющий степень подобия факторов выражением N где xFpi—значение фактора р у испытуемого i в исследовании 1, а 2Fgi — соответствующее значение фактора q в исследовании 2. Подобно коэффициенту A2.31), значение коэффициента конгруэнтности A2.33) меняется в пределах от —1 до +1. Если тх и т2 — числа факторов в двух исследованиях, то можно вычислить тх-т2 коэффициентов конгруэнтности, характеризующих степень подобия двух систем факторов. Будем говорить, что данный фактор из одного исследования конгруэнтен некоторому фактору из другого исследования, если им соответствует достаточно большое значение коэффициента A2.33). В частности, там, где это не вызовет недоразумений, Рили и Нейгауз [541] предлагают объединять факторы в пары таким образом, чтобы значение коэффициента A2.33) для каждой пары было максимально возможным. Коэффициент A2.33) позволяет сравнить факторы, полученные на разных наборах параметров. Большой интерес для психологов представляет задача объединения двух таких систем факторов в одну систему. Работы такого рода, являющиеся предметом публикаций Рили и Нейгауза [541], Такера [495] и Мередита [366], выходят за рамки этой книги. 292
ГЛАВА 13. КОСОУГОЛЬНОЕ МНОГОФАКТОРНОЕ РЕШЕНИЕ 13.1. Введение В пору зарождения факторного анализа и в .первые годы его развития все исследования факторных решений велись в терминах некоррелированных факторов. Но уже в 40-х годах решения с коррелированными факторами становятся не только допустимыми, но зачастую и предпочтительными. Касаясь лишь концепции о факторах в психологической науке, Тэрстоун писал [477]: «Накладывая на систему координат требование ортогональности, мы тем самым предполагаем, что система факторов в экспериментальном материале или даже в генеральной совокупности также некоррелирована. По-видимому, требование о некоррелированности факторов, характеризующих свойства интеллекта, столь же неразумно, как и требование о некоррелированности роста и веса испытуемых в генеральной совокупности. Идея косоугольной системы осей еще дебатируется и до сих пор не принята большинством исследователей». В этой книге мы даем систематическое изложение различных типов факторных решений как ортогональных, так и косоугольных. В гл. 6 были перечислены эти типы факторных решений и приведены их основные свойства; изложению вычислительных процедур для получения разных видов решений посвящены последующие главы. Первое косоугольное решение*мы ввели в гл. 11;>там же приводился способ получения соответствующего ортогонального решения (применяемого либо как финальное решение, либо в качестве промежуточного решения для последующего вращения). В этой главе мы отбросим предположение о некоррелированности факторов и рассмотрим процедуры, приводящие к косоугольному решению. Понятно, что, переходя к косоугольному решению, мы в каком- то смысле жертвуем простотой интерпретации, свойственной ортогональному решению. Впрочем, ейли, допустив корреляции между факторами, можно упростить описание параметров по сравнению с ортогональным решением, то тем самым возникающий недостаток будет устранен. Вообще говоря, подобное упрощение возможно. Бо- 293
лее того, косоугольное многофакторное решение может не только удовлетворять критерию простой структуры, но оно может быть сведено к однофакторному решению1. Косоугольное решение указанного вида можно получить непосредственно с помощью операции группировки параметров гл. 11. Цель настоящей главы — предложить метод анализа, эффективный в случаях, когда прямой метод гл. 11 неприменим (когда полученное при этом решение оказывается недостаточно адекватным материалу). Этот метод связан с преобразованием некоторого исходного ортогонального решения в косоугольное решение. При этом преобразовании значения общностей параметров, определенные в пространстве общих факторов в исходном решении, остаются неизменными. Поэтому все изложение можно ввести в терминах пространства общих факторов. В 13.2 будут изложены геометрические предпосылки метода для получения косоугольного решения. Далее, в 13.3, дается подробное изложение процедуры получения косоугольного «первичного факторного решения». В 13.4 развивается альтернативный подход к получению «вторичного факторного решения». Обсуждению различий между обоими типами косоугольных решений посвящен 13.5; здесь же рассматриваются вопросы о неопределенности, имеющей место в литературе по косоугольным факторным решениям. 13.2. Геометрические основания косоугольного решения В 2.5 были даны определения факторного отображения и факторной структуры. В случае некоррелированных факторов эти понятия совпадают; поэтому везде выше (за исключением гл. 11) нам не пришлось указывать на различия между ними и термин «отображение» применялся как синоним термина «решение». Однако при коррелированных факторах решение предполагает наличие как факторного отображения, так и факторной структуры. Различие между ними удобно пояснить в геометрических терминах. Отображение (только с учетом общих факторов) можно записать в виде V = *л Тг 4Л-2 Т2 + ..9 + Ьы Tm(j= 1,2,..., /i)f] A3.1) где bjk есть коэффициенты при факторах в косоугольной системе. Как указывалось в 4.10, обозначение г" соответствует параметру, спроектированному на пространство общих факторов. Поскольку весь материал этой главы относится к пространству общих факторов, то запись A3.1) можно упростить: m (/ = 1, 2, ... , п). A3.2) 1 Напомним, что однофакторное решение — это такое решение, когда каждый параметр описывается одним из нескольких возможных общих факторов. — Прим. перев. 294
Коэффициенты при факторах можно рассматривать как координаты точки Pj в системе факторных осей (такая интерпретация возможна как при ортогональном, так и при косоугольном решениях). На рис. 13.1 изображена ситуация в случае двух факторов. Если коэффициент корреляции гтхтш между факторами Тг и Т2 известен, то угол между единичными векторами, представляющими факторы, равен 012 = arc cos гтхт2- Таким образом, мы определили косоугольную систему координат. В этой системе любой параметр Zj представляется вектором ОР, длина и направление которого определяются его координатами (снова, как и прежде, будем обозначать точку, представляющую параметр zjf через Р вместо Pj, а ее координаты — парой bly Ь2 вместо bjlt bj2). Из определения обобщенной декартовой 13.1. Различие между координатой и коэффициентом корреляции в косоугольной вторичной систем координат. системы координат, данного в 4.8, следует, что координаты Ьъ Ь2 определяются отрезками 0Q и OR соответственно. В частности, первая координата параметра Zj на рис. 13.1 положительна и превышает единицу, а вторая отрицательна и меньше единицы. Длину вектора, представляющего параметр z;-, можно определить из формулы D.39), которая для рассматриваемого случая примет вид: 2 2 D2 (ОР) = У J bjp bjq cos QpQ = bh bn cos 0n + bn bj2 cos 012 + 21 +bj2 bj2 cos e 22. A3.3) Здесь каждый из углов 01Х и 022 равен нулю, а 012 есть угол между осями координат. Следовательно, cos0n=cos022=l, a cos012=rr1r2, и выражение A3.3) можно переписать так: D2 (ОР) = 6Л bH rTlT2. A3.4) В правой части A3.4) стоит значение общности параметра Z/. Таким образом, длина вектора равна квадратному корню из значения общности: D(OP)=hj. A3.5) Теперь дадим геометрическую интерпретацию коэффициента корреляции параметра с фактором. Обозначим угол между вектором, представляющим Z/, и осью координат Тг через ф, и пусть проекции точки Р на оси Тг и Т2 равны соответственно М и N (рис. 13.1). Из прямоугольного треугольника ОМР имеем 295
D(OM) COS ф = — L , Y D(OP) или, иначе, воспользовавшись A3.5), D {ОМ) =hj cos ф. A3.6) Формула A3.6) еще более упрощается с помощью соотношения D.56) для вычисленных коэффициентов корреляции. В нашем примере одним параметром является Z/, другим — 7\; так что их скалярное произведение, согласно D.56), равно: A3.7) Ввиду того что длина, или «общность», любого фактора равна единице, выражение A3.7) можно переписать так: rjTt =hj cos q> A3.8) (для простоты в этой формуле и во всех других соотношениях для коэффициентов корреляции параметра с факторами знак штриха при rjrt не ставится). Подстановка A3.8) в A3.6) приводит к окончательному выражению для проекции вектора на ось координат в косоугольной системе: D(OM)=rITl. A3.9) Точно так же можно показать, что проекция D(ON) вектора zj на ось Га равна значению коэффициента корреляции между параметром и вторым фактором. Понятно, что коэффициент корреляции между факторами равен проекции одного из векторов осей координат (безразлично какого) на второй. Из рис. 13.1 ясно различие между понятиями координаты и коэффициента корреляции. Координаты могут быть и положительными, и отрицательными, их значения могут превышать единицу. Коэффициент корреляции также может быть как положительным, так и отрицательным, однако его значение никогда не превышает единицу. Ясно, что в случае ортогональной системы координат значения координат и коэффициентов корреляции совпадают. В случае коррелированных факторов полное решение включает факторное отображение и факторную структуру. Факторное отображение задается системой уравнений A3.1) или более компактно таблицей коэффициентов при факторах. Структура представляется обычно в табличном или матричном виде. Кроме отображения и структуры в косоугольное решение входит матрица коэффициентов корреляции между факторами. 13.3. Алгоритм для получения первичного косоугольного решения Тэрстоун, занимавшийся применением факторного анализа в психологии, назвал вид решения, рассматриваемый в этом параграфе, «первичным» [477]. Не имея в виду конкретное приложение этого мето- 296
да и только в целях его отличия от другого вида косоугольного многофакторного решения, который обсуждается в следующем параграфе, мы также будем называть данный вид решения «первичным». Процедуры, рассматриваемые ниже, позволяют преобразовать некоторое исходное ортогональное решение в такое косоугольное первичное решение, которое в той или иной степени удовлетворяет принципу простой структуры. Эти процедуры предназначены в основном для ручных вычислений и пригодны поэтому лишь в небольших задачах Впрочем, их ценность определяется не только возможностью их практического применения. 1. Исходное ортогональное отображение. В качестве такового можно воспользоваться любым ранее полученным ортогональным решением (например, системой главных факторов, решением в минимальных остатках, максимально правдоподобным решением). В данном случае при поиске косоугольного первичного решения мы примем за исходное решение два фактора с минимальными остатками, вы- -О/т 13.2. Оси косоугольной системы, ходящие через группы точек. про- численными по набору из восьми морфологических параметров и приведенными в табл. 9.3. 2. Редуцированное отображение. Оси координат, представляющие косоугольные факторы, можно проводить таким образом, чтобы они проходили через центры тяжести некоторых тесно связанных групп параметров. Будем обозначать такие группы через Gp (р = 1,2, ..., т). Эти группы могут быть получены из проведенных ранее исследований (имевших целью, например, получение ортогонального решения); они могут быть специально получены с помощью метода В-коэффи- циента (см. 7.4); наконец, такие группы появляются в результате содержательного анализа факторного отображения или рисунков проекций «облаков» точек-параметров на оси координат. Например, анализ табл. 9.3 и, в частности, алгебраических знаков при коэффициентах, показывает, что в плоскости двух осей первые четыре из восьми точек образуют тесную группу в четвертом квадранте, а остальные четыре — в первом квадранте. На рис. 13.2 показано действительное расположение этих точек. Через каждую группу Gp, состоящую из пр параметров, проходит составной параметр vp. В 11.3 составной параметр обозначался через 297
TPi но здесь мы сохраним обозначение Тр для стандартного вида косо- уголыного фактора. В нашем примере два составных параметра: v1 = Zl + z2 + z3 + zi и v2 = zb+z9+z7 + z8. A3.10) Дисперсия составного параметра равна: s2vp=J(rJk\l\keGp), A3.11) где коэффициенты корреляции параметров «с собой» принимаются рав- ыми единице. Вычислим стандартное отклонение двух составных па- аметров A3.10); воспользовавшись коэффициентами корреляции табл. 5.3, из формулы A3.11) получаем sVl = 3,7465 и s,-, =3,4117. A3.12) Выразим теперь составные параметры через факторы исходного решения. Коэффициенты в таком линейном описании представляют собой коэффициенты корреляции составных параметров с факторами (в исходном решении факторы не коррелированы). Поскольку предполагается, что факторы заданы в стандартном виде, коэффициент корреляции составного параметра vp с фактором F равен: rvpF=^(rjF\ ieGp)/sVpy A3.13) где коэффициенты корреляции отдельных параметров с факторами есть те что иное, как коэффициенты параметров, входящих в груп- ПУ Gp,, в исходном ортогональном отображении. В примере коэффициент* корреляции первого составного параметра с первым фактором равен: 0,856 + 0,848 + 0,808 + 0,831 п ft™ rVlFi = — = 0,8923 (элементы в числителе взяты из табл. 9.3). Точно так же можно вычислить корреляции каждого из составных параметров с каждым из исходных факторов. Получаем редуцированное факторное отображение: их = -^ = 0,8923^ — 0,3969^; v A3.14) и2 = -^- = 0,7495^ + 0,5639F2 S02 (чере$ и обозначена стандартная форма1 составного параметра v). Редуцированное отображение A3.14) обладает теми же свойствами, что и отображение для обычных параметров. 3. Матрица преобразования. Поскольку направление осей косоугольной первичной системы совпадает с направлением соответствующих Составных параметров ир> матрицу преобразования можно определить с помощью редуцированного факторного отображения. Коэффициенты редуцированного отображения есть координаты концов век- 1 Дисперсия и=1, так как при вычислении^ F в качестве коэффициента корреляции «с собой» параметра Zj бгрутся значения общностей, а при вычислении sp—единицы.—Прим. ред. 298
торов составных параметров; разделив их на расстояния от этих концов до начала координат, получим значения направляющих косинусов искомых осей. Последние есть в точности факторы Тр косоугольного решения, и, следовательно, их направляющие косинусы в исходной системе координат есть элементы матрицы преобразования. В примере (рис. 13.2) указанное расстояние для первого составного параметра равно — см. D.12) ]/@,8923J + ( — 0,3969J = 0,9766. Соответственно направляющие косинусы фактора Тг относительно F± и F2 равны: 0,8923 _0^969 = _0,4064. 0,9766 0,9766 Подобным же образом определяются направляющие косинусы оси Т2 относительно ортогональных осей Fx и F2. В итоге получаем матрицу преобразования: •т Г'и'и! [ °>9137 °>79911 A3 15) Ui t22] "L-0,4064 0,6012 J Хотя здесь приведена конкретная матрица конкретного преобразования, но способ ее вычисления и обозначение можно обобщить на любое число факторов. 4. Корреляция между факторами. После вычисления направляющих косинусов осей косоугольной системы можно подсчитать коэффициенты корреляции между новыми факторами. Согласно D.47), косинус угла между двумя векторами равен сумме парных произведений их направляющих косинусов; согласно D.48), этот косинус равен также коэффициентам корреляции между параметрами, представленными этими векторами. Так, в рассматриваемом примере коэффициент корреляции между факторами Тг и Т2 равен: rTlTz= 0,9137 х 0,7991 — 0,4064 х 0,6012 =0,4858. Точно так же находятся значения дисперсии факторов (их коэффициенты корреляции «с собой»). Тот факт, что сумма квадратов элементов каждого из столбцов матрицы преобразования должна быть равна единице, позволяет организовать проверку правильности вычисления элементов корреляционной матрицы. Говоря в общих терминах, скалярное произведение между векторами Тр и Tq равно, согласно D.56) и D.54), коэффициенту корреляции между ними. Для многих пар векторов эти скалярные произведения можно записать в матричном виде: Ф = Т'Т. A3.16) 299
Зная коэффициент корреляции между факторами, можно при желании вычислить значение угла между осями координат. В данном примере этот угол равен: 612 = агс cos 0,4858 =61°. 5. Факторная структура. Мы можем теперь определить проекции вектор-параметров на оси косоугольной первичной системы. Из A3.9) видно, что величины их равны коэффициентам корреляции соответствующих параметров с факторами, т. е. элементам факторной структуры. Чтобы вывести формулы для получения элементов структуры, воспользуемся рис. 13.3. Расположение осей косоугольной системы 7\ и Т2 в первом квадранте системы координат взято только для простоты изложения: все результаты будут верны для любого квадранта. Обозначим углы между осью Fx и осями Тг и Т2 соответственно через аир. Любой параметр представляется на рисунке точкой Р, координаты которой (ап> ajz) B системе осей исходного решения в минимальных остатках равны коэффициентам исходного факторного отображения. Кроме того, параметр можно изобразить в виде вектора, идущего из начала координат в точку Р. Обозначим угол между этим вектором и осью F± через ср. Тогда проекция вектора на ось 7\ равна: 13.3. Поиск элементов факторной структуры в первичной системе факторов. D (ОМ) = D (OP) cos (ф—а). A3.17) Согласно A3.9), величина проекции D@M) равна коэффициенту корреляции r/Tl, а согласно A3.5), длина вектора D(OP) равна hj. Учтя это в A3.17) и раскрыв выражение для косинуса разности между двумя углами, получим rJTi = hj (cos ф cos a + sin ф sin a) = (hj cos ф) cos а+(ft/ sin ф) sin a. Здесь hfiosq и hj sin ф есть проекции ад и aj2 вектор-параметр a Zj соответственно на оси Fx и F2- Окончательно имеем rjTl = ап cos a + а7-2 sin а. A3.18) Таким же образом можно показать, что проекция D@N) вектор-параметра Zj на ось Т2 равна: г. = «л cos p + ai2 sin p. A3.19) 1300
Эти результаты можно объединить в следующую матрицу: [<u=cosa *12 где элементы первого столбца есть направляющие косинусы фактора Тг относительно Fx и F2, а элементы второго столбца — направляющие косинусы фактора Г2. Как уже отмечалось, хотя соотношение A3.20) получено при помощи рис. 13.3, оно справедливо и для любых других положений осей Тх и Т2 и, в частности, для положения, изображенного на рис. 13.2. Процедуру вычисления элементов структуры вида A3.20) можно обобщить на решения, включающие более двух факторов. Так, формула для преобразования исходного ортогонального факторного отображения А в косоугольную факторную структуру S имеет вид S=AT, A3.21) где элементы столбцов матрицы преобразования Т есть направляющие косинусы осей косоугольной системы относительно ортогональной системы координат. Например, в табл. 13.1 представлена факторная структура, полученная умножением матрицы факторного отображения решениям минимальных остатках табл. 9.3 на матрицу преобразования A3.15). Умножение редуцированной матрицы отображения A3.14) на ту же матрицу преобразования дает значения коэффициентов корреляции составных параметров с косоугольными факторами (эти значения также приведены в табл. 13). Таблица 13.1. Косоугольное первичное факторное решение для восьми морфологических параметров (в качестве исходного взято решение в минимальных остатках, табл. 9.3) Параметр / 1 2 3 4 5 6 7 8 «i Структура коэффициентов 0,914 0.942 0,904 0,898 0,453 0,377 0,313 0,412 0,489 0,430 0,400 0,458 0,943 0,800 0,761 0,696 Редуцированная структура 0,977 0,456 0,474 0,938 Отображение Р стройность 0,885 0,960 0,929 0,884 —0,007 —0,015 —0,074 0,097 полнота т2 0,059 —0,036 —0,053 0,028 0,946 0,807 0,797 0,649 Редуцированное отображение 0,977 0,000 -0,001 0,938 301
6. Факторное отображение. Как уже говорилось, для получения полного факторного косоугольного решения кроме коэффициентов корреляции параметров с факторами нужно знать линейные описания параметров в терминах факторов. Коэффициенты отображения есть не что иное, как координаты концов вектор-параметров в косоугольной системе координат; их значения можно определить непосредственно из исходного факторного отображения1. Более удобно, однако, вычислять эти значения уже после получения косоугольной факторной структуры: тогда можно воспользоваться связями между отображением и структурой, о которых шла речь в 2.8. Запишем факторное отображение для нашего примера: гл = ЬпТг + ЬнТ2 (/=1,2,...,8). A3.22) Задача состоит в определении коэффициентов bJly bj2. Умножим A3.22) на Тх (а затем на Т2), просуммируем по всем ./V значениям и разделим на N; получаем уравнение Ьп + Ььы Эта система уравнений позволяет для каждого параметра Zj вычислить неизвестные коэффициенты 6Л, bj2. Левые части A3.23) содержат известные элементы факторной структуры. Из п. 4 этого параграфа мы знаем также значения коэффициентов корреляции между факторами. В данном примере матрица коэффициентов системы уравнений для определения b имеет вид 1 0,48581 0,4858 1 J' и она остается одной и той же для всех параметров. В этом простом случае факторные коэффициенты можно определить методом детерминантов; в общем же случае (при большом числе факторов) приходится привлекать более эффективные процедуры. Такие процедуры описывались в 3.4; ниже они используются при формировании табл. 13.2. Теперь обобщим полученные результаты на любое число параметров и факторов. Чтобы построить соотношение, подобное выражению A3.22) для двух косоугольных факторов, обратимся к обсуждавшимся в 2.8 взаимосвязям между элементами факторного отображения и факторной структуры, соответствующими пространству общих факторов. В обозначениях этой главы уравнение B.43) приобретает вид A3.24) 1 Вообще говоря, координаты точек в косоугольной системе координат можно получить непосредственно, преобразуя исходные координаты. Однако, поскольку в факторном анализе приходится искать и координаты, и проекции (т. е. и коэффициенты, и корреляции), то излагаемый подход представляется наиболее простым и удобным. Сначала ищутся величины проекций, а на следующем этапе анализа вычисляются значения координат. 302
Таблица 13. структуре исходные матрицы Матрица факторных коэффициентов корреляции-* Ф в предположении1 Ф = Q'Q Единичная матрица I Факторная структура с 2. Вычисление факторного от i Блок-схема вычисленные матрицы Матрица «квадратного корня» Q' (операция квадратного корня Q" над Ф) Q-i (операция квадратного корня Q над I) <b-l = Q-l(Q')-1 (умножение Q" на себя, строка на строку) Факторное отображение Р Р = БФ-1 (умножение S на Ф") лия по факторной Численный пример исходные матрицы 1,0000 0,4858 1,0000 0 0,914 0,942 0,904 0,898 0,453 0,377 0,313 0,412 0,977 0,456 1,0000 0 1,0000 0,489 0,430 0,400 0,458 0,943 0,800 0,761 0,696 0,474 0,938 вычисленные матрицы 1,0000 0,4858 1,0000 0 1,3089 —0,6358 0,885 0,960 0,929 0,884 —0,007 —0,015 —0,074 0,097 0,977 0,000 0,8741 —0,5558 1,1440 —0,6358 —1,3087 0,059 —0,036 —0,053 0,028 0,946 0,807 0,797 0,649 _0,001 0,938 * Переход ф в Q'Q не нужно смешивать с A3.16), где матрица коэффициентов корреляции между факторами получается умножением матрицы преобразования Т на свою транспонированную. Следовательно, для получения факторной структуры S необходимо матрицу факторного отображения Р умножить справа на матрицу Ф коэффициентов корреляции между факторами. Решив это уравнение относительно матрицы факторного отображения, получим P=S<D-1. A3.25) Зная значения элементов факторной структуры и коэффициенты корреляции между факторами, с помощью этого соотношения можно вычислить элементы факторного отображения. Однако без ЭВМ и при большом числе факторов задача обращения матрицы Ф чрезвычайно осложняется. В задачах с малым числом факторов элементы отображения лучше всего вычислять с помощью метода квадратного корня. Простой пример подобного рода приведен в табл. 13.2 (здесь повторе- зоз
ны значения факторных коэффициентов для исходных и составных параметров, взятые из табл. 13.1). Для косоугольного факторного отображения можно выписать другую формулу, в которую вместо факторной структуры входит факторное отображение исходного решения. Воспользуемся соотношениями A3.21) и A3.16), связывающими факторную структуру с исходным отображением и факторную корреляционную матрицу с матрицей преобразования. Тогда формула A3.25) приобретает вид Р = А(Т')-!. A3.26) При работе с этой формулой приходится обращать матрицу, порядок которой равен числу факторов, т. е. возникают те же проблемы, что и при работе с соотношением A3.25). Различие состоит в том, что при определении Р вместо S можно взять А, т. е. воспользоваться блок- схемой табл. 11.2. 7. Вклады косоугольных факторов в суммарную общность. После получения косоугольного факторного отображения можно определить раздельные и смешанные вклады каждого из факторов в суммарную дисперсию параметров. Согласно A3.2), общность параметра Zj равна: A3.27) Каждое из слагаемых в правой части этого уравнения характеризует долю общности, приходящуюся на соответствующие факторы, причем первые т слагаемых определяют раздельные вклады факторов, а остальные слагаемые — смешанные вклады факторов. В 2.4 мы определили полный вклад фактора в дисперсию всех параметров для случая некоррелированных факторов. При наличии корреляции между факторами их вклад в дисперсию параметров определяется не только их «личными» вкладами, но и взаимодействием между факторами. Следовательно, полный вклад всех факторов можно получить, просуммировав отдельные вклады A3.27) по всем параметрам. Выделим отдельно суммарный раздельный вклад Vp=i V (P=l,2,...,m) A3.28) и суммарный смешанный вклад VPq = 2rrpTqtbjpbjq (р,</=1,2,..., m; p<q). A3.29) Оба эти выражения можно свести в треугольную матрицу, диагональные элементы которой соответствуют раздельным вкладам факторов, а недиагональные — смешанным вкладам. В рассматриваемом примере суммарные раздельные вклады двух факторов равны: Vx = 3,365 nV2 = 2,611, а их суммарный смешанный вклад V12 = —0,021. Вообще говоря, полный вклад системы косоугольных факторов должен быть равен суммарной общности исходно- 304
го решения. В примере эта величина E,995) с точностью до нескольких единиц в последнем десятичном разряде совпадает с соответствующей величиной из табл. 9.3. Отметим, что здесь на полный смешанный вклад приходится лишь малая доля суммарной дисперсии общих факторов. Обратим внимание на замечательное сходство между процедурами этого параграфа и процедурами, о которых шла речь в 11.3. Собственно, методы совпадают полностью, различие связано с материалами, к которым методы прилагаются. В данном случае исходной информацией является матрица коэффициентов предварительного ортогонального факторного отображения, тогда как в гл. 11 — сама корреляционная матрица между параметрами. 13.4. Косоугольное вторичное решение В этом параграфе рассматривается другой тип косоугольного решения. Пытаясь удовлетворить интуитивным принципам простой структуры, Тэрстоун [477] придумал эвристический алгоритм, гарантирующий некоторое число нулей в факторном решении. Для этой цели он ввел новую систему координат, оси которой ортогональны координатным гиперплоскостям первичного факторного решения, развитого в предыдущем параграфе. Хотя алгоритм и дает необходимое число нулей, он сильно усложняет ситуацию введением новой системы координат. В этом параграфе подробно излагается суть этой новой «косоугольной вторичной системы»; различия и взаимосвязи между этой системой и «первичной факторной системой» рассматриваются в 13.5. Согласно определениям (см. 4.3), в пространстве общих факторов т измерений имеется т осей координат Ар(р = 1, 2, ..., /п), каждая из которых перпендикулярна соответствующей координатной гиперплоскости пр, размерность которой равна (т — 1). В обычном трехмерном пространстве эти гиперплоскости переходят в двумерные плоскости и, таким образом, три вторичные оси координат перпендикулярны трем координатным плоскостям. В случае когда число измерений пространства общих факторов равно двум, гиперплоскость переходит в прямую, перпендикуляр к которой есть вторичная ось координат. Что касается примера из предыдущего параграфа, то в плоскости Т1у Т2 «гиперплоскость» пг есть пространство, не включающее ось Т19 т. е. это попросту ось 72; точно так же «гиперплоскость» я2 есть ось 7\. Следовательно, ось координат Лх перпендикулярна пх (т. е. Г2), а ось Л2 перпендикулярна я2 (т. е. Тг; см. рис. 13.4). Из рисунка видно, что проекции четырех точек, близких к Т19 на ось Я2 почти равны нулю и соответственно проекции параметров, примыкающих к Г2, на ось А± также близки к нулю. Три плоскости координат косоугольной системы можно описать без соответствующего рисунка. Перпендикуляры к этим плоскостям п19 я2, jx3 есть оси координат А1у Л2, Л3. Точка, лежащая в плоско- ти, к которой данная ось перпендикулярна, имеет на эту ось нулевую проекцию. Это свойство справедливо независимо от того, лежат ли 305
точки вблизи пересечения координатных плоскостей или они располагаются в координатных плоскостях далеко от осей. Изложенное легко обобщить на пространство любого числа измерений /тг. Все точки, лежащие в гиперплоскости пр (или расположенные ©близи нее), имеют нулевые проекции^ (или близкие к нулевым) на ось Ару которая перпендикулярна к этой гиперплоскости. По-видимому, именно это свойство, гарантирующее выполнение первого требования простой структуры (см. 6.2), принудило Тэрстоуна заняться поиском подходящей системы координат. Кроме того, если потребовать от каждой гиперплоскости, чтобы она была «переопределена», т. е. включала по меньшей мере т точек, то тем самым будет удовлетворено второе требование простой структуры. Теперь понятно, почему Тэрстоун строил свое косоугольное решение на основе системы осей, ортогональных к подпространствам: любая точка, лежащая в каждом из таких ' подпространств, имеет нулевую проекцию на ось, перпендикулярную к подпространству. Акцент на нулевых проекциях позволил Тэрстоуну получить факторное отображение, тесно связанное с системой координат. Ниже подробно описывается процесс получения полного косоугольного решения в терми- включающего факторное отобра- 13.4. Различие между первичными и вторичными (Л) осями. (Т) нах описанной системы координат, жение и факторную структуру. Так же как и в предыдущем параграфе, новое косоугольное решение получается вращением некоторого исходного ортогонального решения. Будем обозначать матрицу преобразования через Л, а факторную структуру окончательного решения — через V. Вместо обозначения F для матрицы коэффициентов при исходных ортогональных факторах примем обозначение А (чтобы не путать F с самими факторами). Тогда вместо A3.21) получаем уравнение V-AA. A3.30) Так же как и в матрице преобразования в A3.21), колонки матрицы Л включают направляющие косинусы осей косоугольной системы Ар относительно ортогональной системы координат. 306
Зная предыдущую матрицу преобразования Т, можно определить искомую матрицу Л, не прибегая к графическим методам. Элементы Л матрицы Т есть направляющие косинусы Т-осей (проходящих через группы точек-параметров или определяемых пересечением координатных гиперплоскостей, содержащих группы параметров). Эти оси можно рассматривать как дополнительные векторы (такие же, как и векторы параметров) в исходной ортогональной системе координат. В этом смысле их систему можно понимать как расширение понятия факторного отображения А (подобно редуцированному факторному отображению предыдущего параграфа). Поскольку направляющие косинусы расположены в матрице Т по столбцам, при умножении ее придется транспонировать. Воспользовавшись преобразованием A3.30), получим TA = D, A3.31) где D—матрица скалярных произведений или коэффициентов корреляции между векторами Тр и Ар(р = 1, 2,..., /л). Ввиду того что ось Ар ортогональна к гиперплоскости пР = ОТгТ2... Гр_1 Тр+Х... Тт9 ее коэффициенты корреляции со всеми осями Tjf кроме Тр равны нулю. Следовательно, диагональные элементы матрицы D есть значения коэффициентов корреляции между соответствующими факторами Л и Т, а все элементы вне главной диагонали равны нулю, т. е. —D диагональная матрица. Из A3.31) следует формула для матрицы преобразования Л: A = (T/)D. A3.32) Поскольку матрица Т уже известна, можно обратить ее транспонированную матрицу. Ввиду несимметричности матрицы Т эта операция не столь проста. Зная же обратную матрицу симметрической матрицы Ф, из соотношения A3.16) можно определить матрицу, обратную Т. Обращение обеих частей A3.16) дает Ф-1=Т-1(Т/)- A3.33) Умножив слева обе стороны на Т, получаем искомый результат: (Т)-1 =Тф-1. A3.34) Нормализовав столбцы этой матрицы, т. е. разделив элемент каждого столбца на значение квадратного корня из суммы квадратов элементов этого столбца, получим матрицу Л. После определения матрицы преобразования Л можно, согласно A3.30), получить новую факторную структуру; для этого нужно матрицу исходного ортогонального отображения умножить справа на Л: Л'Л-^F. A3.35) Чтобы отличить результат от матрицы коэффициентов корреляции между факторами Ф, он обозначен через Т. Для завершения факторно- 307
го решения нужно выразить факторное отображение W через оси координат Лр. Это можно сделать с помощью одной из формул: W=V4r-1, A3.36) которая соответствует A3.25), или W=A(AV, A3.37) которая соответствует A3.26). Чтобы иллюстрировать сказанное, воспользуемся вновь набором из восьми морфологических параметров. Во-первых, требуемая матрица преобразования Л получается на основании формулы A3.32). Член (Т')-1 в этой формуле вычисляется по A3.34); элементы матриц Т и Ф-1 ^берутся из предыдущего параграфа. Тогда имеем 3,6879 0,46491 . — 0,9142 1,0452 J ' Нормализовав столбцы, получим Г 0,6012 0,40641 А== [—0,7991 0,9137J ' т. е. матрицу преобразования для новой системы координат. Для получения новой факторной структуры V выполняется умножение отображения исходного решения в минимальных остатках {табл. 9.3) и редуцированного отображения A3.14) на матрицу преобразования; результаты приведены в табл. 13.3. Новое факторное отображение W получается из A3.36) с использованием алгоритма табл. 13.2; при этом вместо Ф берется Чг, а вместо S берется V. Матрица отображения W дана в табл. 13.3. Коэффициент корреляции между Аг и Л2, вычисленный из общего выражения A3.35), равен лопросту сумме двух соответствующих произведений направляющих косинусов из Л, а именно в данном случае он равен1 — 0,4858. Некоторый интерес представляет диагональная матрица D; теперь ее можно вычислить: ),8741 0 I 3 0,8741 Г В рассматриваемом простом случае коэффициент корреляции между •соответствующими парами факторов Г и Л равен 0,8741. 1 Заметим, что этот коэффициент корреляции равен коэффициенту корреляции между факторами Тг и Т2 с обратным знаком. Из рис. 13.4 видно, что косинус угла между Ах и Л2 равен cos A80° — 012) = —eos 612; так что коэффициенты корреляции одного набора осей равны коэффициентам корреляции другого набора осей с обратным знаком. 308
Таблица 13.3. Косоугольное вторичное решение для восьми морфологических параметров (в качестве исходного принято решение в минимальных остатках, табл. 9.3) Параметр i 1 2 3 4 5 6 7 S «!  Структура: V 0,774 0,839 0,813 0,773 —0,005 •—0,014 —0,065 0,084 0,052 —0,032 —0,045 0,025 0,827 0,706 0,697 0,567 Редуцированная структура 0,854 —0,000 —0,000 0,820 Отображение: W 1,046 1,078 1,034 1,027 0,518 0,431 0,358 0,471 At 0,559 0,492 0,458 0,524 1,079 0,915 0,871 0,796 Редуцированное отображение 1,118 0,522 0,542 1,073 13.5. Взаимосвязь между двумя типами косоугольных решений В 13.3 и 13.4 обсуждались способы получения косоугольных многофакторных решений; были построены наборы осей Т и осей Л. Следуя Тэрстоуну, назовем факторы Т из 13.3 первичными факторами; факторы Лиз 13.4будем называть просто вторичными осями. Структуру системы 13.4 Тэрстоун применил для суждения об отображении 13.3, т. е. о первичных факторах. Вторичные оси лежат в пространстве общих факторов; можно сказать, что они биортогональны первичным факторам. В некотором смысле вторичные факторы 13.4 кажутся более абстрактными математическими образованиями, чем первичные факторы 13.3. Причина пристального интереса школы Тэрстоуна к простой вторичной структуре V коренится в сходстве этой структуры с факторным отображением первичной структуры; эта связь будет видна из соотношения A3.43). Би- ортогональная система осей координат привлекала внимание в 30-х годах, сейчас она не представляет интереса. Первичная и вторичная системы имеют сегодня лишь историческую ценность (имеются в виду процедуры 13.3 и 13.4), для получения первичных решений рекомендуется действовать непосредственно (соответствующие ручные методы изложены в гл. 11 и разделе 13.3, а машинные — в 15.5). Материал предыдущих параграфов в достаточной степени прояснил суть обеих систем косоугольных осей. Выяснилось, что косоугольное решение зависит от исходного ортогонального отображения, на основании которого можно судить о группировке параметров. Для ло- 309
кализации новых осей можно привлекать также графические приемы. После идентификации групп параметров через них проводятся оси косоугольной системы и вычисляются коэффициенты корреляции между факторами. Мы показали, что анализ параметров в терминах косоугольных факторов может вестись как через коэффициенты корреляции параметров с факторами (структура Б),таки через коэффициенты линейного описания параметров в терминах факторов (факторное отображение Р). Точно так же, если анализ ведется в терминах осей координат, в обсуждении фигурируют структура V и отображение W. Вообще говоря, вполне достаточно иметь одно косоугольное решение, состоящее из структуры S и отображения Р. Однако ввиду популярности структуры V нам представляется важным, чтобы исследователи знали * об эффективности и альтернативных косоугольных решений. В табл. 13.4 представлены обозначения, которые понадобятся в дальнейшем обсуждении. Таблица 13.4. Обозначения, используемые в биортогональных косоугольных решениях Тип решения Раздел 13.3 Раздел 13.4 Факторы Тр (первичные) Л^ (вторичные) Исходное ортогональное отображение А А Матрица преобразования Т=(*дР) Матрица факторных корреляций Ф Косоугольное решение структура S V отображение Р W К сожалению, для обозначения элементов структуры и отображения в косоугольных решениях нет общепринятых символов; это породило всяческие недоразумения. Исследователи школы Тэрстоуна часто обращаются к «факторной матрице V», разумея под ней полное факторное решение. Это становится очень неудобным в случае коррелированных факторов, здесь нет одной-единственной факторной матрицы! Неясно, идет ли речь о матрице факторных коэффициентов или о матрице коэффициентов корреляции параметров с факторами. В косоугольных решениях для обозначения обеих матриц применяют один и тот же термин «факторная матрица». Тэрстоун [477] определил «факторную матрицу V» как матрицу проекций векторов параметров на косоугольную систему осей Лр; далее мы будем придерживаться этого значения указанного термина. Помимо недоразумений, связанных с употреблением одной матрицы для обозначения двух различных компонент косоугольного решения, имеется еще одно недоразумение, проистекающее от неточного употребления термина «факторная нагрузка». Совершенно однозначное в случае ортогонального решения, это понятие теряет определенность в случае косоугольного решения. Термин «факторная нагрузка» 310
не есть эквивалент терминов «корреляция» или «коэффициент», и поэтому его употребление в обоих этих смыслах не оправдано. Впрочем, даже если этому термину придается точное значение в косоугольном решении, он не может заменять таких точных математических понятий, как «корреляция» и «коэффициент». Б. Фрюхтер [137] понимает под нагрузкой параметра как его коэффициент корреляции с осью координату так и его коэффициент при первичном факторе; причиной тому, вероятно, связь между структурой одного решения и отображением другого, хорошо видимая из A3.43). Упомянутое недоразумение не так просто и имеет своей причиной следующее весьма тонкое обстоятельство. Как уже говорилось, имеется тесная формальная связь между структурой V и отображением Р (так же как и между S и W). Следовательно, в некотором смысле нет необходимости в том, чтобы вводить матрицу Р, поскольку ее свойства отражены в V. При этом, однако, усложняется интерпретация отображения первичного факторного решения, поскольку о нем нужно судить по структуре вторичного решения, т. е. приходится, глядя на структуру табл. 13.3, делать заключения об отображении табл. 13.1. Перейдем теперь к точным математическим соотношениям, характеризующим эту связь. Согласно A3.26), исходное ортогональное факторное отображение можно выразить через отображение первичного решения, А = РГ, A3.38) а согласно A3.30), его можно выразить через факторную структуру вторичного решения, A^VA-1, A3.39) Приравняем оба эти выражения: PT'-VA-1. A3.40) Однако, согласно A3.32), Л-1 =D-i Г, A3,41) так что A3.40) переходит в Pr = VDr-ir. A3.42) Окончательно взаимосвязь между Р и V имэет вид: P^VD-1 или V=PD. A3.43) Таким образом, матрица первичного отображения определяется матри" цей вторичной структуры и коэффициентами корреляции между соответствующими первичными и вторичными факторами. Действуя так же, можно с помощью A3.21) выразить исходное ортогональное факторное отображение через первичную факторную структуру и с помощью A3.37) выразить то же отображение через отображение вторичного решения. А именно соответствующие выкладки и при- 311
менение соотношения A3.32) между двумя матрицами преобразования приводят к выражениям. S = WD или W = SD-i. A3.44) Выражения A3.43) и A3.44) устанавливают точные соотношения между двумя типами косоугольных решений. Остается, однако, необходимость в выяснении различий между структурой и отображением в каждом из типов косоугольного решения. Разумеется, структура и отображение определяют точные понятия; они необходимы для разных целей в том смысле, что, дополняя друг друга, они дают полное представление о косоугольном решении. Для набора первичных факторов, коэффициенты корреляции между которыми положительны, все элементы факторной структуры будут положительными, в то время как в факторном отображении наряду с положительными элементами встретится много элементов, близких к нулю и, возможно, отрицательных (табл. 13.1). Факторная структура первичного решения полезна при оценке значений факторов (гл. 16). С другой стороны, она мало что дает при выяснении корреляций параметров с факторами. Эти последние сведения полностью дает факторное отображение первичного решения, и поэтому с точки зрения идентификации факторов оно более полезно. Чтобы проиллюстрировать сказанное, рассмотрим параметр 1 (вес) в примере табл. 13.1. Из первой строки факторной структуры находим, что корреляции этого параметра с фактором 7\ (стройность) и с фактором Т2 (полнота) равны соответственно 0,914 и 0,489. Однако связь параметра 1 с указанными факторами лучше всего видна из линейного уравнения коэффициенты которого взяты из первой строки факторного отображения. Раздельные вклады факторов Тг и Тг в дисперсию параметра 1 равны @,885J = 0,783 и @,059)а = 0,003 соответственно. Смешанному влиянию обоих факторов соответствует величина 2 X 0,885X 0,059 X X 0,4858 = 0,051. Иначе говоря, 78,3% дисперсии параметра «Вес» приходится на фактор «Стройность», всего 0,3% — на фактор «Полнота» и 5,1%—на совместное влияние обоих факторов (остальные 15,3% дисперсии параметра 1 не учитываются общими факторами). Примерно таким же образом можно интерпретировать результаты табл. 13.3. В школе Тэрстоуна «факторная матрица V» применяется для идентификации факторов. В этом плане она столь же эффективна, как и матрица отображения Р, хотя из A3.43) видно, что, поскольку каждый из коэффициентов корреляции в диагональной матрице D меньше единицы, значения элементов в матрице Р больше соответствующих значений элементов в матрице V. Тем не менее для получения полной ясности и понимания рекомендуется применить полное первичное решение, описанное в 13.3.
ГЛАВА 14. АНАЛИТИЧЕСКИЕ МЕТОДЫ ПОЛУЧЕНИЯ МНОГОФАКТОРНОГО ОРТОГОНАЛЬНОГО РЕШЕНИЯ 14.1. Введение В гл. 12 и 13 мы говорили о методах проеобразования некоторого исходного решения в другое, в каком-то смысле предпочтительное факторное решение. Развитые в этих главах методы получения многофакторных решений в большой мере зависят от элемента субъективизма, поскольку соответствующие преобразования нельзя получить из качественных формулировок и требований принципа простой структуры. Многие попытки ученых были посвящены объективизации принципа простой структуры и последующему построению процедуры для поиска многофакторного решения, удовлетворяющего принципу простой структуры. Первые подобные попытки восходят к 30-м годам, но первые реальные результаты были получены лишь в 1953 г. Д. Б. Кэрроллом [69]. Читателя может удивить такой настойчивый поиск объективных процедур, некоторые из решений гл. 13 (а также гл. 11) кажутся достаточно элегантными, несмотря на субъективизм приводящих к ним алгоритмов. Однако высокое качество этих решений имеет своей причиной очень четкое распределение параметров по группам. К сожалению, обычно параметры группируются не столь явно и это не связано с тем, насколько хорошо или плохо организован эксперимент. Кроме того, научная методика не должна зависеть от субъективизма процедур. В настоящее время разработаны объективные эффективные алгоритмы, позволяющие для любого эмпирического материала получить многофакторное решение. Ниже описываются аналитические методы преобразования исходного решения в решение с простой структурой, случаю ортогональных факторов посвящена эта глава, а случаю косоугольной системы факторов — гл. 15. В 14.2 кратко описываются методы, которые можно было бы назвать «полуобъективными» и которые предваряют изложение аналитических методов. Тем самым показывается историческая перспектива, 313
приведшая к искомым методам. В этом же параграфе рассматриваются основные идеи, лежащие в основе аналитических методов. В 14.3 и 14.4 подробно излагаются алгоритмы получения ортогонального решения с простой структурой. Интересно отметить, что один и тот же метод «квартимакс» был независимо предложен четырьмя учеными (в 14.3 даны теория этого метода и численные примеры). В 14.4 рассматривается другой подход к получению ортогонального решения с простой структурой, основанный на методе Кайзера «варимакс». Этот метод дает возможность не только наилучшим образом приблизиться к решению, декларируемому классическим принципом простой структуры, но его решение оказывается также инвариантным относительно факторов. Как и в 14.3, изложение теории здесь сопровождается численными примерами. Новые аналитические методы вращения, появившиеся еще в 1953 г.„ не могли в то время найти практического применения: слишком велики объемы требуемых вычислительных работ. Однако уже в 1958 г. были разработаны программы для ЭВМ, и с этого времени стало возможным применить методы в приложениях. Приступая к изложению аналитических методов, автор предполагал вначале отделить теорию от вычислительных процедур. Это решение было, однако, изменено, поскольку практическое применение методов (за исключением случаев двух и трех факторов) возможно только при наличии быстродействующих вычислительных машин. 14.2. Основные идеи аналитических методов В гл. 12 рассказывалось о многих графических и других интуитивно обоснованных процедурах преобразования произвольной факторной матрицы в «содержательную» факторную матрицу, удовлетворяющую принципу простой структуры 6.2. Было понятно, что, пока принцип простой структуры будет формулироваться лишь в качественных терминах и пока нет его точной формулировки, любые алгоритмы построения решения с простой структурой не могут дать объективные результаты. Для получения результатов, независимых от субъективного опыта исследователя, необходимо было описать принцип простой структуры в точных терминах. Подобные попытки велись постоянна со времени провозглашения принципа, хотя зачастую они не были явным образом связаны с принципом простой структуры. Как только в практических работах стали использовать принцип простой структуры, стало понятно, что соответствующие процедуры являются скорее искусством, чем наукой. Первые работы, в которых авторы старались подвести научную базу под операцию вращения факторов, были направлены на отказ от графических приемов. Понятно, что даже в случае удачи решение оставалось в достаточной степени субъективным; нужно было выделять «важные» факторные нагрузки, определять, какие из нагрузок являются «большими» и какие — «маленькими», нужно было разбивать параметры на «подгруппы» и т. д. Одной из первых работ о «полуаналитических» методах подобного рода 314
была работа Хорста [251]. Последний следовал принципу простой структуры Тэрстоуна и считал, что в каждом столбце факторной матрицы должно быть минимальное число отрицательных элементов и максимальное число элементов, близки* к нулю. Аналитически Хорст выразил это условие следующим образом: «Для данного фактора отношение суммы квадратов значимых факторных нагрузок к сумме квадратов всех нагрузок должно быть максимальным». [251]. Поскольку в процедуре приходилось отбирать подгруппу параметров со «значимыми» нагрузками и это нельзя было делать с помощью статистических методов, в алгоритм вносился определенный произвол. Используя идею Хорста как отправную точку, Такер [489] предложил алгоритм, включивший и аналитический, и графический подходы. В его методе положения промежуточных осей, соответствующих подгруппам параметров, определялись аналитически, а сами подгруппы отбирались субъективно, с помощью графических приемов. Десятью годами позже Тэрстоун [478] предложил другой «полуобъективный» алгоритм, основанный на минимизации взвешенной суммы проекций векторов параметров на ось координат. Выбор весов проводился произвольно и таким образом, чтобы уменьшить проекции. В вычислительном плане метод был очень прост и давал результаты, весьма близкие к результатам более интуитивных графических методов. Как отмечалось выше, первый действительно аналитический подход к определению интерпретируемых факторов (в психологии) был осуществлен Кэрроллом [69]. Основываясь на пяти пунктах принципа простой структуры Тэрстоуна (см. 6.2), Кэрролл вывел одно математическое соотношение, отвечавшее всем этим пунктам. Этот первый результат был квалифицирован Кайзером [293] как «... первая попытка отойти от твердой веры в произвольные и математически противоречивые правила Тэрстоуна, вытекающие из его интуитивного определения простой структуры». Такер [493], также занимавшийся объективизацией определения простой структуры, предложил список из десяти условий, которым должно удовлетворять такое определение. Хотя его список отличался от количественных правил простой структуры Тэрстоуна, он также включал некоторые субъективные моменты. Основываясь на предложенном им объективном определении простой структуры, Такер развил метод выделения т «линейных плеяд», размерность каждой из которых равна т—1 (если размерность пространства общих факторов равна /п). Процедура Такера дает удовлетворительные результаты «в первую очередь в тех задачах, где векторы параметров концентрируются вблизи гиперплоскостей» [493]. Поскольку эта глава посвящена аналитическим методам, совершенно свободным от субъективного начала и применимым для любых исходных решений, мы не будем более возвращаться к методу вращения Такера. Ряд исследователей1, работавших над объективизацией проблемы вращения в факторном анализе, почти одновременно и совершенно 1 Кэрролл [69], Саундерс [416], Нейгауз и Рили [379], Фергюсон [126]. 315
независимо пришли к весьма сходным результатам. В то время, как первые три исследователя базировались на традиционных правилах Тэрстоуна, четвертый (Фергюсон) попытался «... построить логическую конструкцию, которая с необходимостью приводила бы к объективному аналитическому решению и позволяла бы выяснить точный смысл этого решения» [126]. Центральными в его исследовании были понятие экономии в факторном анализе и все философские аспекты, связанные с этим понятием. Понятие экономии, широко примененное к разным сторонам факторного анализа, позволяет дать прочный фундамент предмету факторного анализа — от простого определения предмета до всех тонкостей проблемы вращения факторов. Экономия является одним из наиболее важных понятий, определяющих выбор из бесконечного многообразия возможных решений некоторого предпочтительного решения, и дает основание для объективизации принципа простой структуры. Хотя понятие экономии фигурирует во многих работах по факторному анализу, лишь в редких из них этому понятию придается точный смысл. Понятно, что имеется в виду под экономией при обсуждении вопроса о числе факторов. Но при решении задачи вращения этот точный смысл определить трудно. Это обстоятельство вызвало следующее замечание Фергюсона: «Исследователи, работающие в области факторного анализа, встречаясь с проблемой вращения, пользуются интуитивным понятием экономии. В связи с этим возникает вопрос: насколько это понятие позволяет поставить точную задачу вращения и возникает ли при этом возможность получения однозначного объективного решения? Для решения этого вопроса необходимо понять, каким образом можно придать туманному, неопределенному и в высшей степени интуитивному понятию точный формальный смысл ...» [126]. Принцип простой структуры Тэрстоуна был придуман как реализация идеи экономии в факторном анализе, но он не был сформулирован в точных терминах. Фергюсон указал на три его недостатка: 1) условия простой структуры нельзя представить членами какого-либо математического соотношения, и поэтому они не могут участвовать в разного рода формальных преобразованиях, 2) эти условия дискретны, а не непрерывны, 3) ввиду дискретности понятие простой структуры является недостаточно общим. Фергюсон предложил определить понятие экономии таким образом, чтобы оно позволяло получить однозначное решение задачи вращения. Разумеется, степень совпадения между таким решением и решениями, полученными на основе интуитивных графических методов, зависит от принятого определения. Меру экономии в задаче вращения можно определить как степень того, насколько упорядочено множество векторов параметров, т. е. взаимное расположение векторов параметров рассматривается как одно из гипотетического континуума возможных взаимных расположений от совершенно хаотического до идеального, при котором сложность каждого из параметров равна единице. Как указывалось в 6.2, взаимное расположение векторов дает информацию для построения си- 316
стемы координат. В факторном анализе структурные свойства множества векторов определяются системой координат. Существует много вариантов того, каким образом определять понятие экономии. Фергюсон предложил следующее простое и эффективное определение. Рассмотрим один параметр как точку. Какое наиболее экономное его (параметра) описание можно получить, вращая пару ортогональных осей? Интуитивно кажется очевидным, что наиболее экономное описание соответствует положению, когда одна из осей проходит через точку. Будем всегда стремиться к этому идеалу. Ясно, что если при вращении одна из осей приближается к точке, то произведение двух координат начинает уменьшаться. Рассуждая таким образом, Фергюсон пришел к выводу, что в качестве меры экономии следует принять некоторую функцию от суммы произведений координат множества коллинеарных точек. Для обычно встречающегося случая положительных и отрицательных координат он предложил вместо простой суммы брать сумму квадратов произведений координат. Если число параметров равно я, а число факторов равно т, то эта мера имеет вид п т Т 2 {ajpa f A4.1> и включает т^т~~ * сумм, составленных из п пар координат. Выражение A4.1) тесно примыкает к нескольким аналитическим7 результатам, полученным независимо другими авторами. Для решения общей задачи вращения (в случае ортогональных факторов) нам удобно будет ввести следующие обозначения: A = (cijp) — исходная факторная матрица; B=(bjP)—финальная факторная матрица; A4.2) Т = (^р)—ортогональная матрица преобразования. Следовательно, В = АТ. A4.3) Если при ортогональном преобразовании Т матрица А переходит в матрицу В, то значение общности любого из параметров остается неизменным, т. е. SV=?V = V (/=1'2 и). Очевидно, квадрат общности также остается постоянным: т 2 Vf= S V + 22 VV=const- <14-5> p=l / p»l p<q=\ 317
Просуммируем это выражение по всем п параметрам: п т п т 2 2 bjP+2 Y 2 b%b% = const. A4.6) /=1 p=\ /=l p<q=l To, что сумма двух членов в A4.6) всегда остается постоянной, означает, что при увеличении одного из членов другой должен уменьшаться. Следовательно, преобразование матрицы А, максимизирующее один из членов в A4.6), ведет одновременно к минимизации второго члена. Ниже станет ясно, что формула A4.6) выявляет взаимосвязь между двумя разными подходами к задаче вращения. В качестве меры экономии можно принять любой из членов в A4.6) или некоторую функцию от них. В частности, максимизация экономии с помощью второго члена соответствует определению A4.1). С другой стороны, для максимизации экономии Фергюсон предлагает максимизировать величину Величина Q зависит от значений факторных нагрузок, на которые, в свою очередь, влияет конкретное расположение осей координат. Для получения наиболее экономного в смысле наименьших квадратов решения нужно вращать систему координат таким образом, чтобы для данного эмпирического материала величина Q приняла максимальное значение. Теоретическим верхним пределом этой величины является ее значение при сложности каждого параметра, равной единице, т. е. когда сложность каждого параметра станет минимально возможной. При этом множество параметров организовано, можно сказать, идеальным образом. 14.3.. Метод «квартимакс» Вне зависимости от идеи «экономии» и двигаясь собственными путями, Кэрролл [69], Нейгауз и Рили [379] и Саундерс [416] пришли к методам получения объективного аналитического решения, весьма близким к идее максимизации функции A4.7). Так или иначе, каждый из них для уменьшения сложности описания параметров в терминах факторов применил вращение факторов и переход к простым структурам. Конечной целью этих работ было получение однофакторного решения, сложность каждого из параметров в котором равнялась бы единице, т. е. каждый из параметров представлялся одним общим фактором. Вообще говоря, маловероятно, чтобы ортогональное однофак- торное решение оказалось адекватным эмпирическому материалу, за исключением вырожденных случаев, таких, например, когда всему набору параметров соответствует только генеральный фактор или когда матрица коэффициентов корреляции между параметрами имеет вид, изображенный на рис. 6.1 (и, значит, ей соответствуют несколько взаимно не коррелированных групповых факторов). 318
Если бы в общем случае однофакторное решение было возможным, то дисперсия каждого из параметров определялась бы только одной факторной нагрузкой. В таком идеальном случае естественно было бы идти по пути максимизации различия в распределении дисперсии каждого из параметров по факторам в факторном отображении. Иными словами, нужно искать такое преобразование, которое для каждого параметра увеличивало бы в исходном факторном отображении большие факторные нагрузки и уменьшало маленькие. Увеличивая различие между факторными нагрузками, не нужно обращать внимания на их алгебраические знаки. Поэтому, поскольку при работе с абсолютными величинами возникают некоторые математические трудности, Нейгауз и Ри- ли [379] предложили максимизировать различие между квадратами факторных нагрузок. Говоря точнее, необходимо найти такое ортогональное преобразование, которое максимизировало бы дисперсию распределения квадратов факторных нагрузок. Ввиду того что подобный подход включает максимизацию четвертых степеней факторных нагрузок, С. Барт [379] предложил для него название «квартимакс». В этой книге термин «метод квартимакс» объединяет несколько независимых вариантов аналитических процедур, связанных с максимизацией функции A4.7). В терминах определения A4.2) цель метода «квартимакс» состоит в нахождении такого ортогонального преобразования Т, которое переводило бы исходную матрицу А в новую факторную матрицу В с максимальной дисперсией квадратов факторных нагрузок. Согласно основному определению B.4), дисперсия вкладов (имеются в виду квадраты факторных нагрузок) всех т факторов по п параметрам есть где среднее значение квадрата факторных нагрузок равно: Раскрыв скобки в A4.8) и упростив, получим Ар—(Ь2J. A4.10) Это выражение и максимизировали Нейгауз и Рил и [379]. Величина Ь2, согласно A4.4), не зависит от ортогонального преобразования; поэтому, поскольку константы не влияют на результат максимизации,, критерий A4.10) эквивалентен мере экономии A4.7), т. е. процедуре максимизации суммы четвертых степеней факторных нагрузок. В работе Кэрролла [69] центральными становятся пп. 3, 4 и 5 принципа простой структуры (см. 6.2). Такой подход приводит исследователя к минимизации некоторой функции от скалярных произведений 319
столбцов финальной матрицы факторной структуры. В частности, Кэрролл предлагает минимизировать величину т п N= 2 ЪЬ%Ь%. A4.11) Заметим, что в случае ортогональной системы выражение A4.11) совпадает с мерой экономии A4.1), предложенной Фергюсоном. Кроме того, в том же случае, согласно A4.6), минимизация A4.11) эквивалентна максимизации A4.10). Другими словами, если вращаемая система факторов ортогональна, то реализация критерия N = min приведет к тому же результату, что и реализация критерия Q = max. Однако критерий A4.11) Кэрролла не ограничен случаем ортогональной системы* поэтому с его помощью можно получать и косоугольные решения (см. 15.3). Пытаясь объективизировать процедуру вращения системы факторов к простой структуре и исходя совершенно из других предпосылок, Саундерс [416] также пришел к идее максимизации доли больших и маленьких факторных нагрузок. Он заметил, что направление измерения данного параметра никак не связано с простой структурой; так что алгебраические знаки элементов в любом столбце факторной матрицы можно изменить на противоположные и это не отразится на значении критерия. Чтобы воспользоваться этим обстоятельством и в то же время сохранить соотношение знаков нагрузок для каждого параметра. Саундерс предложил, анализируя плотность распределения факторных нагрузок, рассматривать каждый параметр дважды: в его первоначальном направлении и в отраженном. Возникающее при этом «удвоенное» распределение симметрично, и его среднее значение всегда равно нулю. Согласно Саундерсу, решению с простой структурой соответствует максимальное значение эксцесса1 функции «удвоенной» плотности рас* лределения нагрузок повернутой системы факторов. При нулевом среднем значении четвертый и второй моменты определяются легко; значение эксцесса, подлежащее максимизации, равно2: п т \ 2 2 2&/р • A4-12) 1 Напомним, что эксцессом некоторого набора чисел xt, x2i ..., x-ly ..., хп „2 (« - /— 1 называется выражение —3, где х — среднеарифметическое этого набора. — Прим. перев. 2 Поскольку единственной целью этого выражения является его максимизация, то здесь опущены константы, связанные с числом объектов и с «удвоением» функции плотности. Понятие «удвоенной» плотности нужно лишь для пояснения сути метода; в действительности никакого отражения факторных нагрузок производить не нужно. .320
Вспомним, что для одномодального распределения эксцесс характеризует степень пологости функции плотности распределения. В данном случае смысл использования эксцесса состоит в том, что по мере роста значения эксцесса в распределении возрастает относительная доля значений, близких к средним (т. е. почти нулевых нагрузок), а также доля «хвостов распределения» (т. е. больших нагрузок) и все это за счет промежуточных значений нагрузок. Согласно A4.4), знаменатель в A4.12) при ортогональном преобразовании не изменяется, так что в ортогональном случае этот критерий эквивалентен всем предыдущим. Таким образом, в случае ортогонального решения все четыре критерия Q, Mt N, К дают одни и те же результата™. Поэтому, следуя процедуре Нейгауза и Рили [379], мы рассмотрим только вопрос о максимизации суммы четвертых степеней факторных нагрузок Q. Пользуясь A4.2), будем обозначать через bjp элементы финальной факторной матрицы, полученные из элементов ajp исходной матрицы при вращении. При ортогональном преобразовании в плоскости факторов р nq исходные координаты aip параметра Zj переходят в новые координаты bjp согласно основным уравнениям для преобразования на плоскости A2.13): bjp=ajpcosq> + ajqsmq>; (и 13) bjq = — ajp sin ф + aJq cos ф, где ф — угол поворота системы. Чтобы определить эффект действия такого преобразования TPq в смысле критерия Q, вычислим сумму четвертых степеней новых нагрузок после поворота двух факторов; эта сумма является функцией от ф и равна: Наша цель состоит в нахождении такого угла вращения для любой пары факторов р и q (обозначим его yPq), который доставлял бы максимальное значение сумме QPg. Тогда финальная факторная матрица будет равна произведению исходной факторной матрицы на преобразования для всех комбинаций пар векторов: B = AT12T13...Tpq...Tim-i)m, A4.15) где р = 1, 2, ... , (т — 1) и соответственно q = p+ 1, /7 + 2, ..., /п. Н азовем циклом выполнение всех v2~~ ' поворотов для всех р и q. На каждом цикле значение Q становится большим, чем его значение на предыдущем цикле. Поскольку теоретически сумма четвертых степеней факторных нагрузок не может превысить п (даже если предположить, что суммарная дисперсия каждого параметра равна единице), за достаточное число циклов процедура должна сойтись. Для любого вращения TPq значение угла ф, доставляющего максимальное значение величине QPg, можно определить так: а) выраже- 11 Зка. 656 321
ние для bjP A4.13) подставляется в A4.14), б) полученное выражение дифференцируется по ф; в) производная приравнивается нулю и г) решается относительно ф. Результат можно записать в виде [379]: п '' \ jp jq) V JP jQ/ tg4ф= „/ = 1 = —• A4.16) / = i 1P lq JP 3q Если подробно выписать и сгруппировать слагаемые в A4.14), то окажется, что сюда входят члены sin 4ф и 5Ш22ф. Поскольку период этих членов равен |, то для A4.16) можно рассматривать только решение в интервале от 0° до 90°. Опыт показывает, что удобнее рассматривать отражения факторов и рассматривать значения угла ф в интервале от —45° до + 45°. Любое решение A4.16) может соответствовать не только максимальному, но и минимальному значению QPq, а также области, в которой значение QPqne меняется. Достаточным условием максимума является отрицательное значение второй производной функции при подстановке в нее найденного значения. Таким образом, имеем два условия максимума — v cos 4ф—б sin 4ф = 0; d(p pq = бсо8 4ф—vsin4ф<0. Отсюда следует, что A4.18) Поскольку на практике угол, доставляющий максимум QPq, можно определить по знакам числителя и знаменателя в A4.16), фактически вторую производную можно не вычислять. Числитель в A4.18) всегда положителен, так что знак всего выражения определяется престо из — sin4q>>0. A4.19) Следовательно, для выполнения условия A4.19) необходимо, чтобы числитель в A4.16) и sin 4ф имели одинаковые знаки. Любому знаку числителя может соответствовать положительное либо отрицательное значение знаменателя. Таким образом, здесь появляются четыре возможности и каждой из них отвечает сбой угол вращения (см. табл. 14.1). 322
Таблица 14.1. Угол вращения Знаки в A4.16) числитель V (и sin 4ф) + ! знаменатель 6 — — + tg 4ф + -|- Знак cos 4ф + — — + I: II: III: IV: Квадра 0° 90° — 180° — 90° нт угла <4ф< <4ф< 90° 180° <4ф<— 90° <4ф< 0° Интервал ф От 0° » 22, » —45° » -22, 5° 5* до 22 » 45 »—22 » 0° ,5° о ,5° Изложенная теория показывает, каким образом в методе «кварти- макс» строится вычислительная процедура. Вначале из A4.16) определяется tg 4ф, затем по знакам v и б из табл. 14.1 находится угол вращения ф. Далее производится умножение справа матрицы исходных (или вычисленных перед этим) пар столбцов р и q на матрицу преобразования: —ЭШф СОБф A4.20) где под ф понимается угол вращения урд в плоскости факторов р и q. В результате получается максимальное значение суммы Qpq четвертых степеней нагрузок для повернутых факторов р и q. После выполнения вращений для всех комбинаций факторов находится окончательное преобразование для факторной матрицы, символически показанное в A4.15). Указанный выше цикл обработки всех пар факторов повторяется до тех^пор, пока значение Q для полной матрицы не перестанет увеличиваться (с заданной точностью). Для иллюстрации описанного метода ^приведем решение, полученное *на примере набора из восьми морфологических параметров. В качестве исходного решения в табл. 14.2 приводится центроидное решение, взятое из первого издания этой книги. Сначала по формуле A4.16) подсчитывается угол вращения ф. В этой формуле есть два вида членов: удвоенные произведения соответствующих факторных нагрузок 2апап и разности квадратов факторных нагрузок (a2fl — aj22)\ их значения для каждого параметра также приведены в табл. 14.2. Числитель A4.16) есть удвоенная сумма произведений соответствующих восьми значений: [v = 2.(—0,6260) = —1,2520. Для получения знаменателя A4.16) берем суммы квадратов «произведений» и «разностей квадратов» из последней строки табл. 14.2: 6 = 1,1706—3,4247 = —2,2541. 11* 323
Подставив эти значения в A4.16), получим — 1,2520 tg4q>== — 2,2541 ^ = 0,5554. Ввиду того что и числитель, и знаменатель отрицательны, угол 4ср попадает, согласно третьей строке в табл. 14.1, в третий квадрант. Из таблицы тригонометрических функций находим, что 4ср = —150°57 и, следовательно, угол вращения ф = —37°44. Элементы матрицы преобразования равны соответственно: sincp= —0,6120, cos <p = 0,7909, так что A4.20) можно переписать так: т Г 0,7909 0,61201 L— 0,6120 0,7909j' A4.21) Выражение A4.15) сводится в данном случае к простому умножению справа исходной факторной матрицы табл. 14.2 на матрицу преобразования A4.21). В двух последних столбцах табл. 14.2 приведено финальное квартимакс-решение. Значение критерия для этого решения равно: 1 = 4,091, A4.22) тогда как для исходного решения соответствующее значение составляет лишь 2,883. В простом случае т = 2 для сходимости достаточно выполнить один цикл, включающий одно вращение. Таблица 14.2. Квартимакс-решение для восьми морфологических параметров (в качестве исходного.принято центроидное решение) Параметр / 1 2 3 4 5 6 7 8 Сумма квадратов Исходное решение ап 0,830 0,818 0,777 0,798 0,786 0,672 0,594 0,647 4,4394 -0,396 —0,469 -0,470 -0,401 0,500 0,458 0,444 0,333 1,5263 Квадраты 2 0,6889 0,6691 0,6037 0,6368 0,6178 0,4516 0,3528 0,4186 2,5776 2 а/2 ¦ 0,1568 0,2200 0,2209 0,1608 0,2500 0,2098 0,1971 0,1109 0,3053 Произведения 2aJiaJ* —0,6574 —0,7673 —0,7304 -0,6400 0,7860 0,6156 0,5275 0,4309 3,4247 Разности квадратов 2 ап- 2 -я/2 0,5321 0,4491 0,3828 0,4760 0,3678 0,2418 0,1557 0,3077 1,1706 Финальное решение 0,899 0,934 0,902 0,876 0,315 0,250 0,197 0,307 3,5563 0,196 0,131 0,105 0,172 0,877 0,774 0,715 0,660 2,4112 Разумеется, приведенный выше пример с двумя факторами слишком прост: он иллюстрирует основное свойства квартимакс-решения 324
и не отражает различные тонкости метода. Полученное решение хорошо приближает решение с простой структурой, хотя маленькие факторные нагрузки не столь близки к нулю, как, казалось, могли бы быть. Несомненно, косоугольное решение приблизило бы решение с простой структурой намного лучше (см. гл. 15), но если целью работы является получение именно ортогонального решения, то результат табл. 14.2 есть наилучший из всех возможных (в том смысле, как это понимается в данном параграфе). Интересно отметить, что решение табл. 12.3, полученное с помощью графических приемов, весьма близко к решению аналитического метода, хотя и не удовлетворяет квартимакс-критерию (см. упр. 1, гл. 14). Изложенная процедура вполне может быть выполнена на настольном арифмометре, но требует большого объема расчетов и, следовательно, много времени. Гораздо лучше реализовать ее на быстродействующих ЭВМ. Были написаны соответствующие программы для IBM 701, Illiac и для нескольких других машин [542]. Эти программы включали последовательную обработку пар факторов p<i q = 1> 2, ...,ти выполнение на каждом цикле всех т^т~~ * преобразований. После того как машина находила угол вращения, доставляющий максимум сумме четвертых степеней нагрузок вращаемых факторов, соответствующее преобразование выполнялось, только если найденный угол превышал некоторое заданное значение (например, один градус или одну минуту, если машина обладает достаточным быстродействием и объемом памяти). Процедура продолжается до тех пор, пока сумма четвертых степеней нагрузок для всей матрицы не перестанет увеличиваться. Обычно в течение нескольких первых циклов процесс сходится быстро, а далее сходимость замедляется. Приведем теперь один пример применения метода «квартимакс» для решения большой задачи (с использованием ЭВМ). Нейгауз и Ри- ли [379], работая на машине Illiac, выполнили вращение центроидного решения для 24 психологических тестов, уже рассмотренных ранее (это центроидное решение приводилось в первом издании этой книги). Полная обработка потребовала около минуты машинного времени,, результаты приведены в табл. 14.3. Процесс вычислений продолжался до тех пор, пока не была достигнута сходимость Q с точностью до восьми десятичных знаков. Для этого понадобилось пять циклов; впрочем, для практики уже достаточно было решения, полученного после первых двух циклов. В общем результаты квартимакс-решения близки к результатам графических методов, подробно рассмотренных в первом издании книги и приведенных в табл. 14.7. За некоторыми исключениями большим нагрузкам одного решения соответствуют большие нагрузки другого решения. Следует отметить, что в квартимакс-решении большие нагрузки несколько превышают, а маленькие, наоборот, не превышают свои аналоги графического решения. Исключения составляют несколько больших нагрузок при третьем факторе квартимакс-решения; кроме того, маленькие нагрузки при первом (вербальном) факторе кварти- 325
Таблица 14.3. Квартимакс-решение для 24 психологических параметров (в качестве исходного принято центроидное решение) Параметр / 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 vP Вербальный фактор Мх 0,369 0,245 0,313 0,359 0,806 0,812 0,854 0,660 0,857 0,234 0,310 0,164 0,350 0,324 0,251 0,289 0,285 0,215 0,276 0,518 0,347 0,526 0,546 0,487 5,587 Скорость вычислений М2 0,190 0,066 0,010 0,070 0,135 0,030 0,072 0,202 —0,058 0,700 0,616 0,688 0,569 0,190 0,114 0,134 0,239 0,324 0,180 0,090 0,385 0,041 0,187 0,432 2,422 Дедукция М3 0,599 0,384 0,475 0,463 —0,016 0,000 —0,044 0,197 —0,020 —0,124 0,011 0,191 0,323 —0,026 0,101 0,372 0,022 0,302 0,189 0,354 0,347 0,295 0,441 0,101 1,958 Память М4 0,068 0,039 0,013 —0,012 —0,039 0,055 —0,095 —0,034 0,098 0,112 0,231 —0,012 —0,082 0,424 0,448 0,368 0,569 0,467 0,323 0,142 0,144 0,255 0,087 0,196 1,418 макс-решения относительно увеличены. Последнее обстоятельство — тенденция движения к генеральному фактору — является одним из основных недостатков квартимакс-решения (с точки зрения простой структуры). 14.4. Метод «варимакс» Из предыдущего параграфа мы увидели, что цель квартимакс-метода состоит в упрощении описания каждой строки (т. е. параметра) факторной матрицы. В отличие от такого подхода Кайзер [293], пытаясь удовлетворить требованиям простой структуры, сделал упор на упрощение столбцов (т. е. факторов) факторной матрицы. Это понятно: если упрощение описания каждого из параметров может привести к большим нагрузкам при одном и том же факторе, то при «упрощении» факторов появление генерального фактора становится, вообще говоря, невозможным. Метод «варимакс», предложенный Кайзером [291], является модификацией квартимакс-метода, лучше приближающей решение с простой 326
структурой. Согласно Кайзеру [293], простота фактора р определяется дисперсией квадратов его нагрузок, т. е. sD = - 1.23) Если эта дисперсия максимальна, то фактор наилучшим образом интерпретируем, поскольку при этом его нагрузки близки в основном к единице или к нулю. Критерий максимизации простоты полной факторной матрицы сводится, следовательно, к максимизации суммы величин A4.23) по всем факторам: m (In , m / n \2 1 V V A4 M V / V A2 1 = — 2j 2a bip—-^ 2л \.2л bip) • <;2— У с2 В отличие от улучшенного варианта метода, описанного ниже, Кайзер назвал процесс максимизации выражения A4.24) «строчным» ва- римакс-методом. Работая с практическими материалами, ученый обнаружил, что «строчные» варимакс- и квартимакс-методы, в'отличие от эвристических графических процедур, обладают тенденцией к увеличению различий между вкладами отдельных факторов. Кроме этого стремления аналитических решений к увеличению дисперсии вкладов факторов замечено, что в процессе обработки более «важные» факторы увеличивают свои как большие, так и маленькие нагрузки (по сравнению с соответствующими нагрузками менее «важных» факторов). В графических процедурах подобный сдвиг, вообще говоря, отсутствует, благодаря чему вклады получаемых там факторов имеют более близкие распределения больших и маленьких факторных нагрузок. Кайзер относил упомянутый сдвиг за счет разных весов, неявным образом придаваемых параметрам и пропорциональных квадратному корню из их общностей. Вклад каждого параметра в функцию A4.24) равен квадрату его общности. Следовательно, если общность одного параметра вдвое превышает общность другого параметра, то первый будет влиять на значение угла вращения в четыре раза сильнее, чем второй. Например, параметр с общностью 0,90 при определении финального решения будет иметь вчетверо больший вес, чем параметр с общностью 0,45. По-видимому, в графических процедурах это соотношение весов оказывается совсем другим. Кайзер модифицировал подход Саундерса таким образом, чтобы при решении задачи вращения все параметры имели равные веса. В его процедуре все векторы параметров сначала нормируются в пространстве общих факторов к длине, равной единице, затем выполняется вращение, после чего векторам возвращаются их первоначальные длины. 327
В отличие от «строчного» варимакс-критерия в улучшенном варианте критерия требуется, чтобы финальные факторные нагрузки отвечали максимуму функции1: ? -212^ ¦ J J \ Л / Кайзер назвал этот критерий «нормальным», однако, поскольку нигде ниже критерий A4.24) не применяется, мы просто будем называть выражение A4.25) варимакс-критерием. Отметим, что, поскольку длина каждого вектор-фактор а равна единице, коэффициентам корреляции г" D.55) соответствуют величины -^, а коэффициентам корреляции г' D.51) соответствуют коэффициенты brp. Процедура получения варимакс-рещения похожа на процедуру поиска квартимакс-решения; различие состоит в максимизируемом критерии: вместо A4.7) берется A4.25). Точно так же, как и в A4.15), одновременно обрабатываются два фактора, в цикле участвуют все m ^~ ' пары факторов и циклы повторяются до тех пор, пока величина V не перестанет увеличиваться (с точностью до заданного числа десятичных знаков). В целях компактности следующих далее выкладок будет удобно ввести некоторые дополнительные обозначения. Обозначим «нормализованные» факторные нагрузки параметра Zj при данной паре факторов ряд через A4.26) и факторные нагрузки при повернутых факторах—через Xjf Yjy так что соответствующее A4.13) преобразование примет вид 1 ф cos cpj 1 Поскольку постоянный множитель не влияет на результаты процесса максимизации, для простоты выражение A4.24) умножено на я2. 328
где ф есть угол вращения в плоскости факторов р и q. Кроме того, нам понадобятся квадраты и смешанные произведения нормализованных нагрузок; введем обозначения: A4.28) [С = 2 («*,-»•,); где суммирование везде ведется по / от 1 до п. Кайзером показано, что искомый угол вращения1 равен [294]: A4-29) ,. Как и ранее, нужно рассматривать только те из решений A4.29), до ставляющих максимум выражению A4.25), для которых ф находится в интервале —45° Ь45°; угол вращения, отвечающий достаточным условиям максимума, находится из табл. 14.1. Для лучшего понимания вычислительных процедур рассмотрим простой пример. Обратимся к тому же материалу, на котором демонстрировался в предыдущем параграфе квартимакс-метод. В табл. 14.4 приведены все промежуточные величины, вычисляемые в процессе выполнения вращения системы факторов с помощью настольного арифмометра. Значения 2ujVj для каждого из параметров не приводится, потому что в дальнейшем нужна только их сумма D, которая автоматически накапливается в арифмометре. В данном случае D = —0,6930. С другой стороны, на обычном арифмометре нельзя накапливать сумму разностей квадратов щ2 — иД поэтому в таблице приведены их значения для каждого параметра. В последней строке табл. 14.4 приведены суммы Л, В и С, необходимые для вычисления угла вращения <р. Подставив в A4.29) числа, получаем -0,6930^-4"х3>8490х0'2809 n Qfioo tg4ф= * = —О19б33 =0 162з. S Y I —5,9341 —4,0921 —— C,84902 — 0,28092) 8 При вычислении тангенса числитель и знаменатель нужно определять отдельно, чтобы знать их знаки. В этом примере и числитель, и знаменатель отрицательны, так что, согласно табл. 14.1, угол 4ф должен находиться в третьем квадранте. Из таблицы тригонометрических функ- 1 Можно видеть, что в терминах обозначений A4.28) выражение A4.16) квартимакс-метода приобретает простой вид: tg 4<р =-р- . 329
Таблица 14.4. Получение варимакс-решения для восьми морфологических параметров раметр / 1 2 3 4 5 6 7 8 Сумма Исходное решение 0,830 0,818 0,777 0,798 0,786 0,672 0*,594 0,647 —0,396 —0,469 —0,470 —0,401 0,500 0,458 0,444 0,333 Квадратный корень из общности 0,9196 0,9429 0,9081 0,8931 0,9316 0,8132 0,7416 0,7277 Нормализованные нагрузки XJ 0,9026 0,8675 0,8556 0,8935 0,8437 0,8264 0,8010 0,8891 —0,4306 —0,4974 —0,5176 —0,4490 0,5367 0,5632 0,5987 0,4576 Промежуточные величины UJ 0,6293 0,5051 0,4641 0,5967 0,4238 0,3657 0,2832 0,5811 3,8490 VJ —0,7773 —0,8630 —0,8857 —0,8024 0,9056 0,9309 0,9591 0,8137 0,2809 2 2 Uj-Vj —0,2082 —0,4896 —0,5691 —0,2878 —0,6405 —0,7328 -0,8397 —0,3244 —4,0921 ций 4ф = —170°47' и, следовательно, ф = —42°42/. При этом sin ф = = —0,6782 и cos ф = 0,7349 и матрица преобразования есть 0,7349 — 0,6782 0,6782 0,7349 Теперь, умножив справа, согласно A4.27), исходные нормализованные нагрузки на матрицу преобразования, определяем нормализованные нагрузки при повернутых факторах. Результаты приведены в первых двух столбцах табл. 14.5. Наконец, умножив каждую нагрузку на соответствующее значение hj, «денормализуем» ее. В двух последних столбцах табл. 14.5 дано финальное варимакс-решение. Значение критерия A4.25) при этом равно: К = 8C,5331 +3,5049) — D,01422 + 3,98602) = 24,3012 (необходимые для его вычисления суммы квадратов и четвертых степеней нормализованных нагрузок повернутых факторов даны в двух средних столбцах табл. 14.5). Интересные результаты дает сравнение варимакс-решения с предыдущими решениями. Естественно, с точки зрения простой структуры центроидное решение очень плохое; ему соответствует значение всего лишь 0,4078 варимакс-критерия. Многофакторное решение графического метода близко к наилучшему: значение варимакс-решения для него равно 24, 27. Варимакс-решение табл. 14.5 наиболее близко к ортогональному решению с простой структурой, полученному с помощью эвристического приема (табл. 12.3). Квартимакс-решение табл. 14.2 также приближается к этим решениям, и ему соответствует свое значение варимакс-критерия (см. упр. 3, гл. 14). Как и в случае метода «квартимакс», получение решения методом «варимакс» требует при достаточно больших задачах применения быст- 330
Таблица 14.5. Варимакс-решение для восьми морфологических параметров (в качестве исходного принято центроидное решение) Параметр / 1 2 3 4 5 6 7 8 Сумма Сумма квадратов Нормализованные нагрузки XJ 0,9554 0,9749 0,9798 0,9611 0,2560 0,2254 0,1826 0,3431 YJ 0,2957 0,2228 0,1999 0,2760 0,9666 0,9744 0,9832 0,9393 Квадраты А 0,9128 0,9504 0,9600 0,9237 0,0655 0,0508 0,0333 0,1177 4,0142 3,5331 0,0874 0,0496 0,0400 0,0762 0,9343 0,9495 0,9667 0,8823 3,9860 * 3,5049 Финальное решение 0,879 0,919 0,890 0,858 0,238 0,183 0,135 0,250 3,316 0,272 0,210 0,182 0,246 0,900 0,792 0,729 0,684 2,648 родействующих ЭВМ. В настоящее время имеются машинные программы для вращения факторов варимакс-методом (для многих современных машин). Варимакс-метод стал ныне одним из наиболее популярных методов получения ортогонального многофакторного решения. Во многих вычислительных центрах, имеющих математическое обеспечение для факторного анализа, последнее включает варимакс-про- грамму, в качестве исходного решения берется обычно система главных факторов. С помощью подобного математического обеспечения было получено варимакс-решение для набора из пяти социально-экономических параметров. Сначала по корреляционной матрице табл. 2.2 была найдена система главных компонент табл. 8.1, после чего были найдены два фактора варимакс-решения табл. 14.6. Конечно, в результате вращения отдельные коэффициенты при факторах изменились, так же как и вклады каждого из двух факторов. Однако дисперсия каждого параметра и суммарный вклад обоих факторов остались неизменными. Иначе говоря, доля суммарной дисперсии параметров, учитываемая системой факторов, не зависит от вращения. Как отмечалось выше, коль скоро'прост- ранство, определяемое системой главных компонент, определено*любое вращение и переход к новой системе координат в том же пространстве не меняют длины вектор-параметров. А согласно D.52), квадрат длины вектора есть его дисперсия (см. последний столбец табл. 14.6). Многофакторное решение, полученное варимакс-методом, удовлетворяет принципу простой структуры 6.2. Конечно, при столь малом числе параметров трудно говорить о точном выполнении требований простой структуры. Будем считать нулями факторные нагрузки, в'первом десятичном разряде которых стоит 0 или 1. Тогда факторная^мат- рица табл. 14.6 включает по одному нулю в каждой строке, за исключением строки параметра 4, и по два нуля в каждом столбце; несколько 331
Таблица 14.6. В ар и макс-решение для пяти социально-экономических параметров* (в качестве исходного решения взяты две первые главные компоненты, табл. 8.1) Параметр 1 2 3 4 5 Вклад фактора Процент суммарной дисперсии мх 0,01602 0,94079 0,13702 0,82479 0,96821 2,52182 50,4 0,99377 —0,00883 0,98006 0,44714 -0,00604 2,14815 43,0 Дисперсия 0,98783 0,88515 0,97930 0,88022 0,93747 4,66997 93,4 * Пять десятичных знаков (полученных с ЭВМ) даны только для возможности контроля вычислений. параметров имеют нулевые коэффициенты в одном столбце, но ненулевые в другом. Впрочем, даже параметр 4 не противоречит набору условий простой структуры (см. п. 5 принципа простой структуры 6.2). Здесь опять видно, насколько интуитивно понятие простой структуры, насколько недостает ему формальной определенности. С другой стороны, варимакс-метод дает точное решение, удовлетворяющее условиям ортогонального решения с простой структурой. Рассмотрим пример применения варимакс-метода к решению задачи факторного анализа для большого набора из 24 психологических параметров и результаты сравнения с решениями, полученными ранее. В табл. 14.7 приведено варимакс-решение, квартимакс-решение (взято из табл. 14.3) и субъективное графическое решение (взято из первого издания этой книги). Для удобства сравнения даны только первые два десятичных знака коэффициентов. Уже поверхностный анализ приводит к интуитивному выводу, что варимакс-решение больше отвечает туманным условиям простой структуры, чем оба других решения. Рассмотрев каждое из пяти условий простой структуры (см. 6.2), мы обнаружим, что им удовлетворяют варимакс-решение и субъективное решение (с той степенью строгости, с какой можно говорить о неформальном критерии). Впрочем, совершенно очевидно, что квартимакс-решение также отвечало бы условиям простой структуры (в каждом столбце есть не менее четырех нулей), если бы, как указывалось в 14.3, первый фактор не стремился перейти в генеральный фактор. Зная природу психологических тестов, факторные веса которых велики, дадим названия факторам: Мг — вербальный фактор; М2 — скорость вычислений; М3 — дедукция; М4 — память. 332
Таблица 14.7. Сравнение решений квартимакс, варим а кс и субъективного ортогонального многофакторного решения для 24 психологических параметров (в качестве исходного взято центроидное решение) раметр 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 vP Субъективное решение Mi 0,10 0,07 0,10 0,15 0,75 0,72 0,81 0,54 0,76 0,28 0,27 0,13 0,24 0,23 0,11 0,05 0,15 0,01 0,12 0,31 0,17 0,31 0,31 0,39 3,43 м2 0 0 0 0 0 0 0 0 —0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 ( ,32 ,15 ,12 ,18 ,15 ,05 ,08 ,26 ,04 ,66 ,61 ,72 ,63 ,19 ,14 ,22 ,24 ,39 ,22 ,18 ,46 ,12 ,29 ,46 32 л 0 0 0 0 0 0 0 0 0 —0 —0 0 0 —0 0 0 — 0 0 0 0 0 0 0 0 2,1 и ,62 ,41 ,53 ,53 ,26 ,28 ,27 ,38 ,29 ,19 ,04 ,09 ,31 ,02 ,08 ,34 ,03 ,20 ,18 ,46 ,33 ,40 ,54 ,14 38 Л14 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 о, о, о, о, о, 2 ,20 ,13 ,13 ,12 ,15 ,25 ,11 ,14 ,30 ,14 ,29 03 02 48 50 45 62 52 39 29 24 40 25 31 36 I 0,37 0,24 0,31 0,36 0,81 0,81 0,85 0,66 0,86 0,23 0,31 0,16 0,35 0,32 0,25 0,29 0,28 0,22 0,28 0,52 0,35 0,53 0,55 0,49 5,59 <вартимакс-решение 0,19 0,07 0,01 0,07 0,14 0,03 0,07 0,20 -0,06 0,70 0,62 0,69 0,57 0,19 0,11 0,13 0,24 0,32 0,18 0,09 0,38 0,04 0,19 0,43 2,42 А 0 0 0 0 —0 0 —0 0 —0 —0 0 0 0 —0 0 0 0 0 0 0 0 0 0 0 1,< ,60 ,38 ,48 ,46 ,02 ,00 ,04 ,20 ,02 ,12 ,01 ,19 ,32 ,03 ,ю ,37 ,02 ,30 ,19 ,35 ,35 ,30 ,44 ,10 Э6 л 0 0 0 -0 —0 0 —0 —0 0 0 0 —0 Q 0 0 0 0 0 0 0 0 0 0 0 и ,07 ,04 ,01 ,01 ,04 ,06 ,10 ,04 ,10 ,11 ,23 ,01 ,08 ,42 ,45 ,37 ,57 ,47 ,32 ,14 ,14 ,26 ,09 20 12 I 0,14 0,10 0,15 0,20 0,75 0,75 0,82 0,54 0,80 0,15 0,17 0,02 0,18 0,22 0,12 0,08 0,14 0,00 0,13 0,35 0,15 0,36 0,35 0,34 3,50 Заримакс-решение 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 м2 ,19 ,07 ,02 ,09 ,21 ,10 ,16 ,26 ,01 ,70 ,60 ,69 ,59 ,16 ,07 ,10 ,18 ,26 ,15 ,11 ,38 ,04 ,21 44 ,44 м 0 0 0 0 0 0 0 0 0 —0 0 0 0 0 0 0 0 0 0 0 0 0 0, 0, г. ,67 ,43 ,54 ,54 ,22 ,23 ,21 ,38 ,22 ,06 ,08 ,23 ,41 ,04 14 ,41 06 32 24 47 42 41 57 22 3,08 М 0 0 0 0 0 0 0 0 0 0 0 0 -0 0 0 0 0 о, о, 0, 0, о, о, о, 2, 4 ,17 ,10 ,08 ,07 ,13 ,21 ,08 12 25 24 36 И 06 50 50 43 64 54 39 25 26 36 22 34 36 Два слова о названии третьего фактора. Первые четыре теста, определяющие этот фактор, трактовались выше как характеризующие «пространственные связи», т. е. способности к дедуктивному анализу взаимосвязей между геометрическими объектами. Все другие тесты с большими факторными весами характеризуют логические и математические способности. Поэтому фактор был назван по общей для этих тестов способности к дедукции (и независимо от конкретного содержания тестов). По-видимому, варимакс-решение является наиболее экономным аналитическим решением, поскольку, как показывает графическое решение, оно наиболее отвечает интуитивному пониманию термина «экономия». Это можно продемонстрировать, сравнивая между собой рассмотренные решения. Целью каждого из этих решений было получить для данного набора параметров и данного пространства общих факторов решение, близкое к некоторому идеальному решению с простой структурой. Поэтому выводы о качестве решений можно делать на основе непосредственного сравнения соответствующих факторных нагрузок. Вероятно, лучше всего для этого подсчитать среднее квадра- 333
тическое отклонение (см. 12.5). При сравнении варимакс-решения V и субъективного решения S это отклонение определяется формулой J> A4.30) где сумма берется по всем тп факторным нагрузкам bjp F-решения и нагрузкам bjp S-решения. Взяв необходимые данные из табл. 14.7, получим (V-S)cp. KB = 0,062; (K-Q)cp..kb = 0,116; A4.31) (Q-S)cp.:kb = 0,127. Полному совпадению решений соответствовало бы нулевое значение в A4.31); сравнивая полученные значения, можно судить о соотношении решений. В частности, более всего согласуются варимакс-ре- шение и субъективное решение; наименьшее совпадение — у кварти- макс- и субъективного решений; примерно так же велико различие между варимакс- и квартимакс-решениями. Таким образом, варимакс-метод позволяет формализовать интуитивное понятие простой структуры. Но кроме этого, Кайзер [2931 указал еще на одно свойство варимакс-решения, имеющее, по-видимому, большое значение. Введение в варимакс-методе системы взвешивания дает возможность получить решение, близкое к решению с простой структурой. Но то же самое, вообще говоря, можно сказать об интуитивном графическом методе. Не означает ли это, что для разных задач следует выбирать свои системы весов? Для обоснования вари- макс-критерия A4.25) необходимо показать его формальную универсальность в задаче вращения. И Кайзер предложил такое обоснование [293], показав для специального случая, что «... варимакс-решение инвариантно относительно изменений в наборе параметров»1. Принцип инвариантности факторов, установленный Тэрстоуном [477], гласит: «... основное условие успеха применения факторного метода состоит в том, что описание параметра в терминах факторов не должно меняться при переходе параметра из одного набора в другой, описываемый теми же общими факторами». По-видимому, варимакс- метод обладает этим свойством; это означает, что по варимакс-реше- нию, полученному на наборе из п параметров, можно делать содержательные выводы о бесконечном множестве параметров, возможных в данной науке (например, в психологии). Из сказанного вовседю следует, что варимакс-факторы несут больший «психологический"смысл» (если речь идет о психологии), чем факторы, полученные другими мето-" дами. Инвариантность означает лишь, что варимакс-факторы, полу- 1 Показано, что в предельном случае, когда все параметры распадаются на две коллинеарные группы, угол вращения, доставляющий максимум критерию A4.25), не зависит от числа параметров. Кайзер отмечает, что попытка обобщения этого результата на т факторов наталкивается на непреодолимые математические трудности. 334
ченные на ограниченной выборке, в большой степени характеризуют варимакс-факторы генеральной совокупности. Если считать, что конечной целью вращения является получение решения с простой структурой, то, по замечанию Кайзера, «... конечным критерием является инвариантность факторов». Из того, что варимакс-решение удовлетворяет критерию простой структуры и в то же время обладает упомянутым свойством инвариантности, Кайзер заключает, что «... интуиция привела Тэрстоуна к факторной инвариантности». Поэтому критерий инвариантности можно считать эквивалентом или, возможно, дальнейшим развитием принципа простой структуры. В подтверждение тенденции варимакс-критерия давать инвариантные относительно факторов решения Кайзер привел следующий пример [293]. Взяв за исходное центроидное решение для 24 психологических тестов, он выполнил вращение сначала первых пяти тестов, затем шести и т. д., добавляя каждый раз по одному тесту, до тех пор, пока не было выполнено вращение всех 24 тестов. Затем ученый рассмотрел, какое влияние на факторные нагрузки оказывали изменения в наборе параметров (тестов). Оказалось, что в данном примере первый и третий факторы практически не зависели от набора; второй и четвертый факторы сначала несколько колебались, затем установились и далее уже не менялись. 335
ГЛАВА 15. АНАЛИТИЧЕСКИЕ МЕТОДЫ ПОЛУЧЕНИЯ КОСОУГОЛЬНОГО РЕШЕНИЯ 15.1. Введение В гл. 14 была изложена основная идея и частично дана теория аналитических методов. Были описаны два метода (оба требуют для своей реализации быстродействующих ЭВМ), позволяющие получать многофакторные решения с простой структурой, в предположении некоррелированности факторов. В настоящей главе требование взаимной ортогональности факторов будет снято. Реализация косоугольного решения требует более сложных выкладок и более сложных вычислительных процедур, но по сравнению с ортогональным косоугольное решение обладает большей гибкостью. Понятно, что ортогональное решение является частным случаем косоугольного и в конкретной задаче искомые косоугольные факторы могут оказаться взаимно ортогональными. Просто на косоугольное решение не накладывается ограничение, обусловливающее, что корреляции между факторами должны равняться нулю. Теория и процедуры, необходимые для получения косоугольного решения с простой структурой, основываются на тех же объективных критериях, что и ортогональные решения гл. 14. Сняв ограничение ортогональности, некоторые критерии гл. 14 можно приспособить для случая косоугольного решения. В 15.2 обобщение одного из видов квар- тимакс-критерия на косоугольный случай приводит к методу «обли- макс», основанному на максимизации четвертых степеней элементов косоугольной структуры. В 15.3 развивается теория метода «кварти- мин», предложенного Кэрроллом. Дальнейшее развитие и обобщение этого метода, приводящие к методу «облимин», даны в 15.4. Всем этим косоугольным методам сопутствуют весьма сложные процедуры, в которых условия простой структуры искомого первичного факторного решения вводятся косвенно. В 15.5 дана процедура непосредственного получения косоугольного решения. Во всех параграфах теория сопровождается численными примерами. В табл. 15.1 перечислены основные понятия и соответствующие им обозначения, возникающие в теории методов вращения исходного. 336
решения к финальному многофакторному решению, ортогональному или косоугольному. На эту таблицу мы будем ссылаться при изложении последующего материала; кроме того, приведенные в ней понятия помогают различать методы этой и предыдущей глав. Обозначения, специфичные именно для излагаемых ниже методов, будут вводиться по мере того, как в них возникнет необходимость. Таблица 15.1. Понятия и обозначения Понятие Исходные факторы Исходные факторные нагрузки Матрица преобразования Финальное решение Финальные факторы Реализуемые критерии: квартимакс варимакс облимакс квартимин коваримин (косоугольный варимакс) облимин бинормамин прямой облимин ортогональный Fp (P=l,2, А=(а/Р) (/=1, J=(tqp) (р, q= В=АТ=(*/Р) Мр Эквивалентные ния: A4.7) A4.10) A4.11) A4.12) A4.25) Обозначение случай уП1) 2,.'..','л) 1,2,..., т) выраже- Q=max 7И=тах jV=min /С=тах У=тах косоугольный случай Fp (ортогональные) А=(а/р) А = (%др) V=AA=(u/p)—матрица вторичной факторной структуры p=(bjp) — матрица первичного факторного отображения Тр—для первичных факторов др—для осей координат A5.2) /С=тах A5.15) iV=min A5.32) C=min A5.39) B=min A5.40) D=min A5.45) F=min 15.2. Метод «облимакс» Вспомним, что в случае ортогональных факторов введенные в гл. 14 четыре критерия оказываются эквивалентными. Если же в решении допускается коррелированность факторов, то эти критерии перестают быть эквивалентными; вследствие этого каждый из описанных выше методов получения ортогонального решения не может быть немедленно обобщен на случай косоугольной системы. Если, например, в ортогональном случае критерий К = max эквивалентен критерию Q = max (так как знаменатель К инвариантен относительно ортогонального преобразования), то в случае косоугольного решения для К нужно выписывать полное выражение. 337
Сейчас наша задача состоит в нахождении такой матрицы преобразования Л, которая переводила бы исходную факторную матрицу А в матрицу финального решения V, т. е. аналогично A3.30) V = AA, A5.1) где элементы финальной матрицы факторной структуры V удовлетворяют критерию К = max: п т I ( п т \2 /с =2 24 2 2 4 • <15-2) /=i p=i I \i={p=i I Такая запись выражений A4.3) и A4.12) в других обозначениях делается для того, чтобы лучше оттенить различие между ортогональным и косоугольным решениями. Следует также отметить, что в случае косоугольной системы термин «нагрузка» соответствует элементу факторной структуры, т. е. коэффициенту корреляции между параметром и вектором — осью координат: vjp = rZsAp. A5.3) Косоугольное решение, максимизирующее значение критерия A5.2), будем называть облимакс-решением1. Теория облимакс-метода была ра?вита в работе С. Пинцка и Д. Р. Саундерса [392]. Ортогональные проекции vjp на оси Ар косоугольной системы определяются таким образом, чтобы при вращении в плоскости значение достигало максимума. На каждой последующей итерации элементы структуры Vjp изменяются, и постепенно значение функции A5.2) достигает максимума. Выражение A5.4) показывает влияние максимизации Vjp на изменение одной оси координат, а A5.2) — суммарный эффект всех последовательных операций максимизации на финальное решение V. Значение облимакс-критерия можно выразить через факторные нагрузки исходного решения и элементы (направляющие косинусы) матрицы преобразования; из этого выражения можно будет определить элементы матрицы преобразования. В целях упрощения изложения координаты произвольной точки в плоскости первых двух факторов исходной ортогональной системы будем обозначать вместо (ад, aj2) просто как (а,6). Тогда, согласно преобразованию A5.1) и A3.20), элемент vjp можно выразить в виде (p=l,2, ...,m). A5.5) 1 Этот термин был введен Саундерсом. 338
Так как направляющие косинусы удовлетворяют ограничению т 2 Я1„=1 (p=l,2, ...,m), A5.6) k= 1 то в случае всего двух косинусов A5.5) их отношение достаточно рассматривать как одну неизвестную величину х = ¦*— и, следовательно, можно переписать выражение A5.5) как1 A5.7) Подставив A5.7) в A5.4) и отбросив индекс номера фактора /7, получим выражение для критерия, подлежащего максимизации: + W A5*8) где суммирование ведется по всем п значениям координат а и b (т. е. я/1 и ^/2 Для Г= Ь 2, ..., п). Для упрощения дальнейших выкладок введем обозначения для числителя и знаменателя A5.9) D = 2 (a+ **)•• словие максимума К = -ш — равенство его производной по х: Запишем необходимое условие максимума К = -ш — равенство нулю K Oj A5Ш) или проще f(x)=DN'—2ND'=0, A5.11) где обозначение f(x) показывает, что полученная функция зависит от х. Подставив величины A5.9) и их производные в A5.11), получим окончательное уравнение. Вообще говоря, его порядок равен пяти, но в данном случае коэффициент при хь равен нулю. Запишем уравнение четвертого порядка в виде а4*4 + а3*3 + а2*2 + сб1Л:+а0==(). A5.12) Коэффициенты этого уравнения равны: аз = 2 а2 2 b* + 22 ab 2abs—3j? &2 2 a2 fe2; a2 = 32a22^3 — 32&22a36; A5.13) аг = 32 a2 2 a2 b2—2 2 afr 2a3^—2 62 2 «4; 1 Здесь предполагается, что Я1р =^ 0, в противном случае отношение не определено. Впрочем, если Х1р = 0, т. е. К2р = 1, то ось после вращения совпадает со второй осью исходной системы координат. 339
При первом взгляде коэффициенты кажутся слишком сложными, но при более внимательном рассмотрении выявляется некоторая их симметричность. Если любой из корней уравнения A5.12) действителен, то он соответствует максимуму или минимуму критерия /(. В случае когда все А, корни х = ^ действительные и разные, им отвечают два максимума и два минимума /С. Известно, что максимальным значениям К соответствуют те корни A5.12), для которых вторая производная К" отрицательна. Продифференцировав Kf = -X§, получаем (последнее равенство здесь следует из того, что, согласно A5.11), / = = 0). Поскольку D как сумма квадратов положительно, то К" имеет тот же знак, что и /'. Подстановка корня A5.12) в производную этой же функции позволяет дать ответ, удовлетворено ли достаточное условие максимума. В действительности производную функции A5.12) не нужно вычислять явным образом, поскольку ее поведение в окрестности корня можно выяснить из самого полинома. Если вблизи корня по мере удаления от него значение полинома растет, то мы, очевидно, находимся вблизи минимума /С; если же уменьшается, то К находится в максимуме. При неограниченном росте х знак коэффициента а4 определяет знак всего полинома. Следовательно, если коэффициент а4 отрицателен, то при подстановке наибольшего корня получим максимальное значение /С, и, наоборот, если коэффициент а4 положителен, то подстановка наибольшего корня даст минимальное значение /О После того как стало ясно, соответствует ли наибольший корень максимуму или минимуму, не представляет труда выяснить это и для остальных корней; ведь в этом смысле корни чередуются. На основании двух корней A5.12), соответствующих максимальным значениям /С, определяются направляющие косинусы новых осей координат и выполняется вращение. Процесс повторяется для всех пар факторов р = 1, 2, ..., т— 1и? = /?+1, р + 2, ..., т до тех пор, пока К не примет максимальное значение (с точностью до заданного числа десятичных знаков). Облимакс-метод, как и все другие аналитические методы, требует большого объема вычислительных работ и без быстродействующих ЭВМ практически нереализуем. Пинцка и Саундерс [392] дали алгоритм и блок-схему машинной программы для обобщенной вычислительной машины. К. В. Дикманом была написана программа алгоритма облимакс-метода для ЭВМ ППас. В табл. 15.2 представлено решение, полученное на этой машине для набора из 24 психологических параметров (тестов). В этой таблице матрица V структуры косоугольной системы и соответствующая ей матрица Р первичного факторного отображения даны в том виде, как они получаются на выходе ЭВМ (за исклю- 340
Таблица 15.2. Облимакс-решение для 24 психологических параметров <в качестве исходного взято центроидное решение) Параметр 1 2 3 4 5 6 7 8 9 10 И 12 13 14 15 16 17 18 19 20 21 22 23 24 Фактор Вторичная структура: V Л! —0,095 —0,040 —0,015 0,020 0,607 0,601 0,689 0,365 0,655 0,050 0,023 —0,132 —0,011 0,099 —0,013 —0,109 —0,008 —0,201 —0,020 0,151 —0,046 0,168 0,119 0,165 Л2 0,014 —0,042 —0,110 —0,048 0,077 —0,052 0,037 0,110 —0,146 0,625 0,481 0,596 0,466 0,032 —0,065 —0,077 0,029 0,090 0,015 —0,065 0,223 —0,134 0,022 0,289 0,537 0,353 0,454 0,440 -0,025 —0,015 —0,031 0,170 —0,031 -0,243 —0,127 0,090 0,250 —0,144 —0,016 0,261 —0,136 0,145 0,087 0,298 0,250 0,224 0,381 —0,006 л4 —0,034 —0,023 —0,060 —0,087 —0,060 0,036 —0,109 —0,086 0,085 0,085 0,187 —0,079 —0,165 0,405 0,417 0,298 0,541 0,397 -' 0,278,, 0,076 0,066 0,198 0,003 0,146 Первичное отображение: Р вербальный фактор Тх —0,131 —0,056 —0,021 0,027 0,839 0,831 0,952 0,505 0,905 0,069 0,032 -0,182 —0,016 0,137 —0,018 —0,150 —0,011 —0,277 —0,028 0,208 —0,064 0,232 0,165 0,228 скорость 0,018 —0,056 —0,146 —0,063 0,103 —0,068 0,049 0,146 —0,193 0,828 0,636 0,789 0,618 0,043 —0,086 —0,101 0,039 0,120 0,020 —0,087 0,296 —0,177 0,029 0,382 дедукция 0,832 0,547 0,704 0,682 —0,038 —0,023 -0,048 0,263 —0,048 —0,376 -0,196 0,139 0,387 —0,223 —0,024 0,404 —0,211 0,224. 0,135 0,462 0,387 0,347 0,590 —0,009 память т< —0,050 —0,034 —0,087 —0,127 —0,087 0,052 —0,159 -0,125 0,124 0,124 0,271 —0,115 —0,239 0,589 0,607 0,434 0,786 0,577 0,404 0,110 0,095 0,287 0,004 0,212 Коэффициенты корреляции между факторами 1 2 3 4 1,000 —0 1 ,094 ,000 —0 —0 1 ,413 ,253 ,000 —0,207 —0,315 —0,342 1,000 1,000 0 1 ,494 ,000 0 0 1 ,661 ,590 ,000 0,579 0,598 0,663 1,000 чением отражения двух факторов и округления результатов до трех десятичных знаков). Для исходных факторных нагрузок центроидного решения значение критерия К было равно К = 0,02364; элементам структуры V облимакс-решения отвечает уже значение К = 0,04168. Программа выдала также коэффициенты корреляции между факторами для исходной и финальной систем (см. табл. 15.2). Основная цель приведенного примера — доказать возможность получения облимакс-решения с помощью ЭВМ. Интересно отметить, что это объективное решение весьма походит на решение, полученное с помощью субъективной графической процедуры. 341
15.3. Метод «квартимин» Описанный ниже аналитический метод получения косоугольного решения впервые был предложен Кэрроллом [69]. Критерий берется тот же, что и A4.11), т. е. N = min; здесь, однако, факторы после вращения могут не быть взаимно ортогональными. Кэрролл дал методу название «квартимин», поскольку он основан на минимизации четвертой степени некоторых элементов, а именно на минимизации суммы смешанных произведений квадратов факторных нагрузок1. Если элементы матрицы V факторной структуры выбрать так, чтобы они удовлетворяли критерию N = min, где n N= 2 2 v%v%, A5.15) p<q=l /i=l то преобразование вида A5.1) даст квартимин-решение. Значение этого критерия можно выразить через исходные факторные нагрузки и элементы матрицы преобразования (направляющие косинусы). Для любой строки / матрицы А и любого столбца р матрицы Л соответствующий элемент матрицы V найдется, согласно A5.1), как пг vJp= 2аЛЛм; A5.16) к — 1 так что A5.15) можно переписать в виде n i m \2/m ?m n i m \2/m ^ S .2 2аЛО И 1 / 1 k\ I k И.лО A5-17) Вообще говоря, поиск элементов матрицы преобразования, доставляющих минимум выражению A5.17), можно вести обычными методами вычислительной математики. Однако Кэрролл показал [69], что при таком подходе возникают сложные, трудноразрешимые уравнения. Поэтому он предложил искать решение с помощью итеративных процедур: значения Xqp последовательно меняются в нужную сторону до тех пор, пока с учетом пг ограничений A5.6) значение ./V не достигнет минимума2. Основной в этой итеративной процедуре является некоторая манипуляция с одним столбцом матрицы А при фиксированных остальных ее столбцах. Обозначим вектор-столбец, с которым в данный момент ведется работа, через 1 Конечно, косоугольному случаю соответствует свое определение термина «нагрузка», согласно A5.3); в данном случае имеется в виду элемент факторной структуры (см. раздел 13.5). 2 Эти ограничения попросту означают, что длина каждого вектора координат равна единице. 342
Значение критерия есть при этом функция от изменяющегося столбца, и его естественно обозначить Nx9 причем Сумма квадратов элементов факторной структуры для любого параметра не зависит от х\ обозначим ее т Щ= 2, v% (РФ*)- A5.19) Теперь A5.18) принимает вид Nx= 2 w,v%. A5.20) Изложение упростится, если воспользоваться обозначениями матричной алгебры. Согласно A5.1), вектор-столбец Vx матрицы структуры V, полученный в результате изменения Ах, равен: УЯ=АЛЖ. A5.21) Соответствующая сумма квадратов элементов факторной структуры есть VX'VX=AX'\'AAX9 A5.22) что дает возможность записать A5.20) в виде NX=AX'A'WAAX, A5.23) где W — диагональная матрица, по диагонали которой стоят п скалярных величин wj. Обозначим C=A'WA A5.24) и перепишем A5.23): NX=AX'CAX. A5.25) Теперь задача сводится к минимизации A5.25) при условии A^'A^l, A5.26) которое для вектор-столбца Ах соответствует A5.6). Для решения воспользуемся методом множителей Лагранжа. Составим характеристическое уравнение для С: с1т = 0. A5.27) Каждый из корней этого уравнения т-го порядка обращает определитель A5.27) в нуль. Для минимизации Nx нужно взять наименьший 343
из корней. Компоненты собственного вектора, соответствующего этому корню, и будут искомым решением Хрх. Определив из A5.27) наименьшее значение Nx, подставим его в систему однородных линейных уравнений, на основании которых и построено уравнение A5.27): с12 A5.28) cml ••• +(Стт— Nx)kmx=0. Решение Хрх определено с точностью до постоянного множителя; воспользовавшись условием A5.26), получим значения направляющих косинусов новой оси, соответствующей минимальному значению критерий Nx. Изложенная выше теория квартимин-метода красноречиво свидетельствует о гигантском объеме требуемых вычислительных работ. Предварительная подготовка итераций, вычисление матрицы С, большое число самих итераций — все это, несомненно, невозможно без быстродействующей вычислительной техники. Исключение составляет, пожалуй, только простой случай двух общих факторов. В 15.4 будет говориться о машинных программах, реализующих квартимин-метод. В качестве иллюстрации изложенной теории рассмотрим пока простой численный пример; для возможности взаимного сравнения методов в качестве такого примера взят снова набор из восьми морфологических параметров. В табл. 15.3 приведены результаты и исходное (центроидное) решение. Таблица 15.3. Квартимин-решение для восьми морфологических параметров (в качестве исходного принято центроидное решение) Параметр у 1 2 3 4 5 6 7 8 Исходное решение: А ал 0,830 0,818 0,777 0,798 0,786 0,672 0,594 0,647 —0,396 —0,469 -0,470 —0,401 0,500 0,458 0,444 0,333 Элементы матрицы W после первых двух итераций 2 х= 1 w .=qj2 0,1568 0,2200 0,2209 0,1608 0,2500 0,2098 0,1971 0,1109 '2 0,6889 0,6691 0,6037 0,6368 0,6178 0,4516 0,3528 0,4186 Структура: V 0,783 0,838 0,817 0,770 0,007 —0,020 —0,050 0,072 0,046 -0,024 —0,044 0,027 0,814 0,723 0,673 0,601 Цель итеративного процесса состоит в таком изменении элементов матрицы преобразования A5.29) 344
чтобы значение A5.17) величины N сходилось к минимуму. Вначале в качестве вектора \х9 в соответствии с которым и изменяются элементы Лш Х21, принимаем произвольный набор чисел. Взяв х = 1, определяем элементы A5.19). Из этих элементов составляется диагональная матрица W. Выполнив по A5.24) матричное умножение, имеем С=Г 0,8561 —0,02941 ~~[—0,0294 0,3053] Далее составляется характеристическое уравнение @,8561 — Nx) —0,0294 — 0,0294 @,3053— Nx) ~~ ' или наименьший корень которого равен Nx = 0,3038. При таком значении Nx уравнения A5.28) приобретают вид Из а с первого учетом 0,5523 Я13 — 0,0294 Хи из этих уравнений Кг- условия A5.6) L —0,0294 Л21 = 0; + 0,0015Я21=0. 0,5523 . — ^и> 0,305035 ,2 л , Л >Ч1 1 ^2] - 1, , 0,000864 откуда получаем кп2 = 0,002824 и Я212 = 0,997176. Соответственно значения направляющих косинусов новой первой оси координат равны: Хп = 0,0531 и Я21 = 0,9986; положение второй оси остается пока неизменным. В итоге этого первого преобразования величина N от 0,8561 (в исходном решении) уменьшилась до 0,3038. Во второй итерации в качестве вектора Лх берется второй столбец A5.29), а новые значения первого столбца фиксируются. Для новой матрицы С получается характеристическое уравнение '@,8245—Лд 0,0605 _Q 0,0605 @,3037—ЛУ " Наименьший корень этого уравнения Nx = 0,2968, т. е. несколько меньше наименьшего корня в первой итерации 0,3038. Выполнив те же выкладки, что и в предыдущем случае, и учтя условие A5.6), получаем новые направляющие косинусы второй оси координат: ^12 = —0,1139 и Я22 = 0,9935. 345
После семи итераций значение N сходится к N = 0,0065, чему соответствует следующая матрица преобразования: г 0,4756 —0,54321 [ 0,8797 0,8396J' Для приведения результатов к прежнему порядку производится отражение элементов второго столбца и оба столбца меняются местами. Окончательно матрица преобразования имеет вид Г 0,5432 0,47561 L—0,8396 0,8797J v Умножив справа исходное решение А на эту матрицу, получаем факторную структуру квартимин-решения (см. табл. 15.3). Квартимин-структура V очень похожа как на решение табл. 13.3> полученное с помощью графической процедуры, так и на облимакс- решение (приведенное в первом издании этой книги); различия соответствующих элементов в каждом случае не превышают 0,003. Несмотря на такое сходство методов, различия между ними имеют фундаментальное значение, так как причина этих различий кроется в исходных предпосылках, лежащих в основании методов. Интересно отметить, что значение облимакс-критерия для квартимин-решения табл. 15.3 равно К = 0,12890. Конечно, это несколько меньше максимального значения этого критерия для облимакс-решения (К = 0,12891). Хотя эти числа различаются только в пятом десятичном знаке, теоретически кварти- мин-решение следует считать хуже облимакс-решения. С другой стороны, значение квартимин-критерия для решения табл. 15.3 равно N = = 0,0065, тогда как для облимакс-решения оно равно N = 0,0068. Иначе говоря, теперь оказывается, что, согласно квартимин-критерию, квартимин-решение лучше облимакс-решения. Полученные различия имеют скорее академический интерес; они, однако, могут быть весьма существенными в ситуациях, когда набор параметров не разбивается на такие четкие группы, как в рассмотренном примере с восемью морфологическими параметрами. 15.4. Метод «облимин» В предыдущем параграфе система с простой структурой была получена на основании минимизации выражения A5.15), включающего четвертые степени элементов. Кэрролл обобщил свой критерий [71 ] и предложил целый класс методов преобразования исходного решения к косоугольной системе с простой структурой, связанных с минимизацией некоторых выражений. Исходя из своего квартимин-критерия и косоугольного варианта варимакс-критерия Кайзера [291], Кэрролл пришел к классу методов, получивших общее название «облимин». 346
В своем варимакс-методе Кайзер [293] снимал ограничение ортогональности факторов обычным образом, а именно минимизируя функцию1 с т ( п = 2 n2 p«7=l\ /= т. е. минимизируя ковариации между квадратами элементов факторной структуры V. В ортогональном случае критерий A4.24) эквивалентен A5.31). Точно так же как A4.24) можно заменить на A4.25), Кайзер предложил [293] заменить A5.31) на выражение, включающее «нормализованные нагрузки»: ^2#. №32) Здесь исходная факторная матрица нормируется по строкам, т. е. производится преобразование вектор-параметров; после получения новой матрицы V этим векторам возвращается их первоначальная длина, для чего элементы строк матрицы V умножаются на значения квадратного корня из соответствующей общности. Опыт решения практических задач привели Кайзера и Кэрролла к выводу, что как квартимин, так и коваримин-метод работают недостаточно хорошо. Несчастье состоит в том, что коваримин-метод дает обычно систему осей, близкую к ортогональной; наоборот, квартимин- метод дает сильно коррелированные факторы. Такая «противоположность тенденций» обоих методов позволила Кэрроллу [70] предложить в качестве компромисса следующий биквартимин-критерий: B*=N + — = min, A5.33) п где N определяется из A5.15), а С* — из A5.31). Заметим, что при минимизации выражения A5.31) нет нужды делить его на п, в то время как во втором члене в A5.33) такое деление необходимо. Смысл критерия A5.33) состоит в одновременной минимизации двух величин, минимизация каждой из которых содержательно оправдана. Впоследствии Кэрролл [71] обобщил эту простую сумму двух разных критериев, введя веса для квартимин- и коваримин-компонентов. Для этого он ввел новые параметры аир: — = min. A5.34) п Кэрролл [70] дал этому критерию название ксваримин. 347
Подставим сюда выражения для N и С* A5.15), A5.31): в*= 2 («2 44 + \ \ /1 + p|* i 44~2 4 2 v%]ln]. A5.35) Умножив A5.35) на п (это не повлияет на результат минимизации) и произведя некоторые перестановки, получим т Г I n \ ля"] в* = 2_ («!+ Р) [п 2 4 ^/^) - Р .2 ^/р .2 ^ • A5.36) Наконец, разделив это выражение на сумму весов и положив 7=—?—, A5.37) а + Р получим общее выражение для облимин-критерия: т / п п п \ 5* = 2 (л 2 4 4—v 2 4 2 ^j- (is.38) Если анализ проводится с «нормализованными нагрузками», то обли- мин-критерий приобретает вид ( 2 \ / 2 \ 2 21 1?[ / 1 V л/ / V л/ / 1 л/ / 1 л/ J Заметим, что коваримин-критерий A5.31) представляет собой особый случай A5.38), когда1у = 1. Соответственно квартимин-критерий A5.15) есть другой особый случай A5.38), когда у = 0. Если а = |3 = = 1 или, согласно A5.37), у = 0,5, то получаем биквартимин-критерий. Суммируем эти специальные случаи общего облимин-критерия: квартимин: у = 0; «наиболее» косоугольная система; биквартимин: у = 0,5; «менее» косоугольная система; коваримин: у = 1; «наименее» косоугольная система. Конечно, для у можно выбрать любое значение из диапазона между нулем и единицей; при этом получится соответствующий вариант облимин-критерия A5.39). Из общих соображений Кэрролл предположил [71], что «... в среднем наилучшие результаты должны получаться при у = 0,5». Дикман и Кайзер [303] предложили другую процедуру поиска косоугольной системы, также связанную с некоторым критерием; Дикман назвал этот метод «бинормамин» [97]. Не принадлежа к классу 1 Если говорить о нормализованных элементах, то A5.32) есть специальный случай A5.39). 348
облимин-методов, бинормамин-метод и его критерий формально весьма близки к нему: Этот критерий явился результатом попытки Кайзера отказаться от произвола облимин-решений, вызванного выбором значения у. Решение, соответствующее критерию A5.40), хорошо учитывает «косоугольные» тенденции квартимин-критерия и «ортогональные» тенденции коваримин-критерия, несмотря на то что в нем отсутствует значение 7=0,5, необходимое в биквартимин-решении. Сравнивая свой критерий с биквартимин-кршерием, Кайзер и Дикман отмечали [303], что предпочтительность того или другого из них связана с природой исследуемого материала в очень простых задачах и, наоборот, в очень сложных задачах лучше пользоваться критерием A5.40); в задачах умеренной сложности лучше работает критерий A5.39). Сейчас еще нет достаточного опыта, чтобы с уверенностью судить об эффективности и преимуществах того или иного метода и отдать предпочтение одному из них. Кайзер и Дикман ограничились тем, что дали два крайних примера решений: наихудший результат, полученный в задаче Тэрстоуна о ящиках [477], и наилучший, полученный в задаче о 24 психологических тестах. В первом случае вместо ожидаемых нулей были получены небольшие отрицательные нагрузки к> кроме того, корреляции между первичными факторами оказались несколько больше корреляций между тремя измерениями ящиков. Однако в задаче о 24 тестах наблюдалось поразительное соответствие между аналитическим и интуитивным графическим решениями. Отсюда Кайзер и Дикман заключили, что степень адекватности решения тесно связана с природой изучаемого материала. Ниже будет дан один пример бинормамин-ре- шения; подробного математического анализа критерия A5.40) мы проводить не будем. Теперь вернемся к классу облимин-решений, определяемых критерием A5.39), и заметим, что в вычислительном плане получение обли- мин-решения чрезвычайно затруднено. Вследствие этого применение облимин-методов при решении задач с помощью настольных арифмометров не имеет смысла, и потому мы не будем давать подробную процедуру вычислений. Соответствующая машинная программа была написана Кэрроллом [71] на ФОРТРАНедля IBM 704, а позднее для IBM 7094, IBM System 360 и других машин; ниже дано укрупненное описание этих программ. Подобно процедуре, описанной в 15.3, Кэрролл построил весьма удобную (даже для больших матриц) процедуру, в которой производится последовательная модификация матрицы преобразования Л и матрицы вторичной структуры V, до тех пор, пока не будет выполнено условие A5.39). Вначале выбирают один из столбцов матрицы V, скажем столбец \х, и его элементы меняются определенным образом (эле- 349
менты остальных столбцов остаются при этом без изменения), пока не примет минимальное значение следующее выражение: V2 -if . A5.41) hi . Такую операцию над отдельным столбцом будем называть малым циклом итерации. Последовательность из т малых циклов (по одному для каждого из столбцов матрицы V) составляет большой цикл итерации. В каждом малом цикле решается характеристическое уравнение и находится наименьшее по абсолютному значению собственное значение и соответствующий ему собственный вектор несимметрической матрицы [71]. Далее по собственному вектору строится столбец матрицы преобразования и искомый столбец V^ матрицы структуры; при этом собственное значение и есть требуемое минимальное значение A5.41). Процесс продолжается при всех значениях х вплоть до завершения большого цикла. Затем выполняется следующий большой цикл, и так до тех пор, пока процесс не сойдется с требуемой точностью. Степень сходимости измеряется величиной изменения последующих значений критерия A5.39), представляющего собой сумму т значений {15.41), полученных в больших циклах; говоря точнее, степень сходимости определяется по изменениям отдельных значений A5.41). |В качестве первого примера для иллюстрации облимин-методов рассмотрим набор из восьми морфологических параметров. За исходную матрицу А было взято решение в минимальных остатках, затем на машине IBM 7094 были получены матрицы факторной структуры при трех значениях параметра у (табл. 15.4). Сравним это решение с квар- тимин-решением для того же примера, вычисленное с помощью настольного арифмометра и приведенное в предыдущем параграфе (матрицу факторной структуры см. в табл. 15.3). Небольшие различия между соответствующими значениями элементов структуры обусловлены не только разными исходными матрицами (для квартимин-реше- ния в качестве исходного бралось центроидное решение), но и тем, что одно из них связано с критерием A5.15), а второе — с нормализованным вариантом A5.39) при у = 0. Видно, что из трех решений табл. 15.4 принципам простой структуры менее всего отвечает коваримин-реше- ние. С другой стороны, это решение можно считать самым простым, поскольку коваримин-факторы в этом примере не коррелируют между собой. Преимуществом квартимин-решения является наличие близких к нулю элементов; но зато в биквартимин-решении первичные факторы слабо коррелируют между собой. Все же за «наилучшее» следует принять, по-видимому, биквартимин-решение. Более близко к реальным задачам облимин-решение, полученное в примере с 24 психологическими параметрами. Решение подобной задачи возможно только при наличии ЭВМ. В качестве исходного бралось центроидное решение, значение критерия для него было равно 350
Таблица 15.4. Три облимин-решения для восьми морфологических параметров (в качестве исходного принято решение в минимальных остатках, табл. 9.3) Параметр / 1 2 3 4 5 6 7 8 Критерий A5.39): исходное значение конечное значение Коэффициент корреляции между первичными факторами Квартимин-структура V 0 0 0 0 —0 —0 —0 0 (V-0) ft ,775 ,840 ,814 ,774 ,003 ,012 ,064 ,086 11, 0, 0, v 0 -0 —0 0 0 0 0 0 621 068 485 Н ,051 ,033 ,046 ,024 ,826 ,706 ,697 ,567 Биквартимин-струк- 0 0 0 0 0 0 0 0 тура G=-0, °л ,825 ,884 ,354 ,Й21 ,105 ,080 ,024 ,165 ь, -2, 0, 0 0 0 0 0 0 0 0 414 848 275 5) °Jt ,154 ,074 ,056 ,126 ,872 ,744 ,728 ,610 Коваримин-структура 0 0 0 0 0 0 0 0 (V vn ,872 ,921 ,887 ,864 ,233 ,189 ,129 ,258 -0, -6, 0, = D 0 0 0 0 0 0 0 0 793 601 000 vn ,278 ,204 ,181 ,248 ,913 ,778 ,753 ,652 В = 9,33. Процедура решения заняла несколько минут и включала семь больших циклов и 610 итераций; в итоге была получена вторичная биквартимин-структура табл. 15.5 со значением критерия В = —4,17. Эта матрица структуры дана в терминах первоначальных длин вектор- параметров (вначале эти векторы нормализовались, а после выполнения вращения им были возвращены их исходные длины). Результатом работы программы были: 1) матрица преобразования Л, переводящая исходную матрицу А в матрицу V, 2) матрица *Р = = А'Л коэффициентов корреляции между вторичными факторами Арг 3) матрица Ф = Т'Т коэффициентов корреляции между первичными факторами Тр и 4) матрица чисел, которые легко преобразуются в значения факторов (см. 16.7). На основании первых трех из перечисленных матриц можно получить первичное факторное отображение, что и завершает поиск косоугольного решения. Воспользовавшись соотношением A3.43), можно найти первичное факторное отображение Р по структуре V. Для этого нужна, во-первых, диагональная матрица D коэффициентов корреляции между соответствующими факторами Л и Т. Эта матрица определяется из соотношения A3.31), куда входит матрица Т преобразования от исходного решения к первичной факторной структуре. Но, согласно A3.31), T'^DA-1, A5.42) т. е. Т можно получить из А, если нормализовать эту матрицу по строкам. Обращение несимметрической матрицы преобразования А связано со значительными вычислительными трудностями. Чтобы 351
Таблица 15.5. Биквартимин-решение для 24 психологических параметров {в качестве исходного взято центроидное решение) Параметр / 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Фактор 1 2 3 4 Вторичная структура: V Л» 0,014 0,028 0,067 0,106 0,675 0,670 0,755 0,449 0,722 0,080 0,074 —0,072 0,074 0,135 0,029 —0,032 0,034 —0,130 0,035 0,240 0,038 0,250 0,223 0,234 Л2 0,094 0,007 —0,052 0,011 0,110 —0,016 0,063 0,159 —0,111 0,650 0,525 0,641 0,524 0,070 —0,019 —0,007 0,079 0,161 0,066 —0,002 0,289 —0,071 0,095 0,341 Л8 0,598 0,392 0,498 0,490 0,075 0,089 0,068 0,256 0,079 —0,186 —0,054 0,132 0,307 —0,069 0,052 0,330 —0,053 0,217 0,151 0,378 0,318 0,311 0,464 0,082 л4 0,051 0,029 0,000 —0,022 —0,008 0,084 —0,061 —0,019 0,130 0,132 0,245 —0,011 —0,082 0,437 0,452 0,359 0,579 0,460 0,324 0,143 0,141 0,258 0,085 0,211 Первичное отображение: Р вербальный фактор Тх 0,015 0,031 0,074 0,117 0,748 0,742 0,836 0,497 0,800 0,089 0,082 —0,080 0,082 0,149 0,032 —0,035 0,038 —0,144 0,039 0,265 0,042 0,277 0,247 0,260 скорость 0,103 0,008 —0,057 0,012 0,120 —0,018 0,069 0,174 —0,122 0,711 0,574 0,701 0,573 0,077 —0,021 —0,008 0,086 0,176 0,072 —0,002 0,316 —0,078 0,104 0,373 дедукция Т3 0,666 0,436 0,555 0,545 0,083 0,099 0,076 0,285 0,087 —0,208 —0,060 0,146 0,341 —0,076 0,058 0,368 —0,059 0,242 0,168 0,421 0,353 0,346 0,516 0,091 память т4 0,058 0,033 0,000 —0,025 —0,009 0,095 —0,069 —0,021 0,146 0,149 0,276 —0,012 —0,092 0,492 0,508 0,404 0,652 0,518 0,365 0,161 0,159 0,291 0,095 0,237 Коэффициент корреляции между факторами 1,000 —0,120 1,000 —0,233 —0,172 1,000 —0,216 —0,233 —0,192 1,000 1,000 0,262 1,000 0,341 0,295 1,000 0,337 0,338 0,329 1,000 упростить вычисления, воспользуемся симметрической матрицей *F коэффициентов корреляции между вторичными факторами Лр: У = А'А, A5.43) которую можно обратить с помощью метода квадратного корня 3.5. Тогда матрица, обратная Л, находится просто как произведение матриц: А-4 = ЧГ-1А/. A5.44) И наконец, для нормализации Л матрицы D. 352 берутся диагональные элементы
Матрицы А и D для примера с 24 психологическими параметрами получены в упр. 9 (к гл. 15). Коэффициенты пропорциональности, необходимые для вычисления первичного отображения, входят в матрицу 1,1075 0 0 0 1 0 ,0939 0 0 0 0 1,1128 0 0 0 0 1,1251 Первичное отображение табл. 15.5 получено по формуле A3.43). Сравним объективное решение табл. 15.5 с субъективным графическим решением и с облимакс-решением табл. 15.2. Видно большое сходство между биквартимин-решением и остальными двумя решениями. Биквартимин-факторы меньше коррелируют между собой, чем факторы, полученные с помощью графического метода и облимакс-методов. Несколько различаются относительные вклады факторов в суммарную общность, равную 11,383. В табл. 15.6 показаны вклады биквартимин- факторов. Эти полученные аналитически факторы сильнее различаются по своим непосредственным вкладам, чем факторы, найденные из субъективной процедуры, когда первичный фактор проводится через точку, соответствующую составному параметру. Иначе говоря, в графических методах больше выражена тенденция к уравниванию вкладов факторов. Таблица 15.6. Вклады первичных биквартимин-факторов Фактор т2 т\ т* Тг 3,070 0,172 0,581 0,267 Тг 2,039 0,251 0,340 Ts 2,465 0,364 т4 1,839 Всего 11,388 Поскольку получение косоугольного решения для 24 психологических тестов при наличии ЭВМ не представляет трудности (на это уходят минуты), для этого материала были проделаны некоторые дополнительные просчеты. Не вдаваясь в подробности, скажем о результатах. Для проверки сходимости были получены два биквартимин-ре- шения: исходя из центроидного решения и исходя из варимакс-реше- ния (табл. 14.6). Результаты почти совпали, максимальная разница между соответствующими элементами финальной матрицы структуры V не превышала 0,01. Исходя из одного и того же центроидного решения были вычислены два облимин-решения (для у = 0 и у = 1). Конечно, эти решения 12 Зак. 656 353
отличаются от биквартимин-решения табл. 15.5: сказывается различие критериев. Если одно важное различие состоит в том, что матрица квар- тимин-решения (у = 0) содержит 41 отрицательный элемент (абсолютные значения этих элементов невелики), тогда как в коваримин-ре- шении (у=1) нет ни одного отрицательного элемента. Из соображений экономии места в табл. 15.7 приведены лишь некоторые показатели этих решений. Применив к центроидному решению одно из двух преобразований, матрицы которых даны в этой таблице, и воспользовавшись соотношением A5.1), можно получить соответствующую вторичную облимин-структуру. Из матрицы коэффициентов корреляции между факторами видно, что наиболее коррелируют между собой факторы квартимин-решения, а наименее — коваримин-факторы; в этом смысле биквартимин-факторы находятся между эти^и двумя системами факторов. Именно такого рода эмпирические факты привели Кэрролла к идее биквартимин-критерия. Таблица 15.7. Некоторые характеристики квартимин- и коваримин- решений для 24 психологических параметров Фактор Ai Л2 Лз Л« т2 Число итераций Значение критерия: исходное конечное Квартимин-решение (Y=0) 1 2 3 4 Коваримин-решение (v= П 1 2 3 4 Матрица преобразования 0,234 —0,588 —0,714 0,301 0,201 —0,376 0,737 —0,525 0,170 0,499 —0,530 —0,665 0,160 0,434 0,425 0,778 0,671 —0,378 0,514 —0,378 0,545 0,625 —0,386 —0,405 0,631 —0,576 —0,458 0,246 0,599 0,536 0,246 0,542 Коэффициенты корреляции между первичными факторами 1,000 0,680 1,000 0,564 0,604 1,000 0,653 0,655 0,724 1,000 1218 132,22 4,03 1,000 —0,037 1,000 —0,304 —0,020 1,000 —0,080 —0,339 —0,044 1,000 121 —12,69 —21,92 Рассмотрим, наконец, вопрос о применении облимин-методов к задаче о восьми политических параметрах, на которой потерпел неудачу метод 15.2 (облимакс). В этой трудной задаче облимин-методы дают хорошие результаты. В частности, при обработке материала с помощью квартимин-метода 15.3 на настольном арифмометре значение критерия после шести итераций установилось на минимальном уровне N = = 0,1819 (для исходного решения — системы главных факторов — оно было равно N = 0,4344). Полученная структура дана в двух левых 354
ft I столбцах табл. 15.8. Справа от нее представлено решение, при получении которого пользовались нормализованными нагрузками (это решение вычислено на IBM 704). Для тех же восьми параметров на IBM 704 были получены два облимин-решения: коваримин (у = 1) и биквартимин (у = 0,5); «см. табл. 15.8. Как и в предыдущем примере, здесь квартимин-факто- ры более, чем другие, коррелируют между собой; коваримин-факторы проявляют тенденцию к большей взаимной ортогональности (в данном случае они в точности ортогональны); промежуточное положение между этими двумя системами факторов занимают биквартимин- факторы. Любое из этих решений лучше приближает решение с простой структурой, чем графическое решение (приведенное в первом издании этой книги). Полученное биквартимин-реше- ние приведено на рис. 15.1. Конечно, после того как получены аналитические решения, легко видеть, в какую сторону должны корректрироваться первоначальные интуитивные предположения о факторах, но это верно лишь в случае, когда формальное определение простой структуры достаточно хорошо отвечает ее интуитивному пониманию. Для сложной задачи с восемью политическими параметрами было вычислено косоугольное решение, основанное на бинормамин-крите- рии A5.40). Это решение приведено в правой части табл. 15.8; оно отвечает принципам простой структуры примерно так же, как и другие косоугольные решения, близкие к биквартимин-решению. Что же касается взаимной коррелированности факторов, то первичные факторы этого решения коррелируют между собой несколько более, чем факторы биквартимин-решения, но несколько менее, чем факторы кварти- мин-решения. Вообще говоря, класс облимин-решений включает бесконечное число решений, каждое из них определяется значением параметра у; однако из этого класса естественно выделяются квартимин-решение (у = 0), коваримин-решение (у = 1) и биквартимин-решение (у = 0,5). Кроме того, есть еще бинормамин-решение, основанное на критерии A5.40), и пятое важное решение — облимакс-решение. Эти решения можно ранжировать по степени взаимной коррелированности их первичных факторов. Все пять методов исследовались на трех задачах: с восемью морфологическими параметрами, с восемью политическими параметрами и с 24 психологическими параметрами. На материале 15.1. Биквартимин — факторы для восьми политических параметров. 12* 355
§? Таблица 15.8. Три облимин-решения и бинормамин-решение для восьми политических параметров (в качестве исходного решения взята система главных факторов^ табл. 8.18) Параметр / 1 2 3 4 5 6 7 8 на Квартимин-решения настольном арифмометре структура Л 0 0 0 —0 —0 0 0 —0 ,63 ,90 ,64 ,44 ,37 ,51 ,08 ,43 —0 Л 0, 0 —0 0 —0 —0 0 0 ,63 2 V 2 09 23 07 32 70 25 72 40 I (у на 1 =0) ЭВМ структура V Л о, 0, о, —о, —о, 0 —о, —0 1 71 98 78 62 20 68 15 64 —0 Л о, 0, -0, 0, 0, —0, о, о, ,47 г 14 30 01 26 69 19 68 34 Коваримин-реше- 7 0 1 0 —0 —0 0 —0 —0 ние - 1 ,74 ,00 ,86 ,76 ,03 ,80 ,36 ,80 —С 7 —0 0 —0 0 —0 —0 0 0 ,00 ,04 ,05 ,22 ,46 ,71 ,39 ,79 ,55 Бик в а рти мин - решение структура V Л 0 1 0 -0 —0 0 —0 0 1 ,74 ,00 ,84 ,71 ,09 ,76 ,29 ,75 Л 0, 0, -0, 0, -0 -о, 0 0 2 09 23 06 32 70 24 71 39 (V=0,5) отображение Т 0, 1, 0, —о, о, —о, -о, —0,26 77 04 87 74 09 79 30 78 т 0, 0, -0, о, —о, -о, о, о, р 09 24 06 33 73 25 74 40 Бинормамин-решение структура V / 0 1 0 —0 —0 0 —0 —0 Li ,73 ,00 ,82 ,68 ,13 ,74 ,24 ,72 Л 0, 0, —0, о, —о, -о, о, о, 2 12 27 03 29 70 21 70 36 отображение Т 0, 1, 0, -о, 0, -о, -0 —0,35 79 07 87 73 13 79 26 77 0 0 —0 0 —0 —0 0 0 р ,12 ,28 ,03 ,31 ,74 ,23 ,74 ,39 1 Для экономии места приведены только вторичные структуры. Первичное факторное отображение для первого решения определяется как р=г= 1,291 V, а для второго решения—как Р= 1 , 134V. 2 Эго решение единственное, не связанное с нормализованными нагрузками. 8 Здесь оси Л и Г совпадают, поскольку этому косоугольному варимакс-решению соответствует ортогональная система координат; остальные четыре матрицы: вторичная структура, вторичное отображение, первичная структура и первичное отображение—переходят в одну матрицу, отвечающую ортогональным факторам.
этого исследования с точки зрения корреляции между факторами методы располагаются в следующий ряд: коваримин («наиболее» ортогональные факторы), биквартимин, бинормамин и квартимин («наиболее» коррелированные факторы). Облимакс-метод дает столь же сильно коррелированные факторы, что и квартимин-метод. Если нужен некий «средний» с этой точки зрения метод, то следует пользоваться методами бинормамин или биквартимин. Выше уже говорилось о том, что суждение о предпочтительности того или иного из этих методов перед остальными нужно выносить не на основании теоретических различий между ними, а на основании особенностей природы изучаемого материала. Нужно сказать, что в ортогональном случае задачу аналитического вращения можно считать решенной. В гл. 14 описывались весьма эффективные методы; маловероятно, что они могут быть значительно улучшены. Существенная разница появляется при переходе к вращению косоугольных систем; здесь методы только еще разрабатываются. В 15.5 будет рассмотрен еще один важный метод. Хотя основное направление в факторном анализе связано с косоугольными простыми структурами, Д. Шмид и Д. М. Лейман [420] обратили внимание на трудности, возникающие при попытках интерпретации психологического материала в терминах косоугольных факторов. Они предложили свой метод преобразования косоугольного решения в ортогональное; при этом сохраняется простота решения, но появляются дополнительные ортогональные факторы. Их модель иерархического факторного решения представляет собой естественное расширение бифакторного решения, включающее подгруппы групповых факторов. В отличие от бифакторного метода или метода групповых факторов С. Барта, который включает последовательную группировку параметров на основании алгебраических знаков элементов цент- роидного решения, иерархический метод, предложенный^ Шмидом и Лейманом, основан на последовательно получаемых факторных решениях высшего порядка. Эти решения высшего порядка есть результаты факторизации матриц коэффициентов корреляции между косоугольными факторами. Если на каждом уровне можно получить косоугольное решение с простой структурой, то тогда с помощью процедуры Шмида и Леймана возможно перевести некоторые факторы высшего порядка в ортогональное иерархическое факторное отображение. 15.5. Прямой метод «облимин» В 13.5 отмечалось, что биортогональная система осей координат (первичная и вторичная) играет важную роль при построении косоугольных первичных факторных решений. В настоящее время есть более изящные методы, позволяющие отказаться от этого устаревшего подхода. Важный вклад в их создание сделали Р. И. Дженрих и П. Ф. Сэмпсон [279], предложившие аналитический метод для непосредственного перехода от исходного к первичному факторному отображению. Подобно облимин-методу, их процедура включает некий 357
параметр, изменение значений которого позволяет получить целый класс решений. Ввиду того что первичное факторное отображение получается в этом методе непосредственно, без промежуточной вторичной структуры, и, кроме того, поскольку метод связан с косоугольной системой факторов и минимизацией некоторого критерия, по аналогии с названиями предыдущих методов будем называть его «прямой облимин» (Дженрих и Сэмпсон пользовались термином «простые нагрузки»). Основная идея перехода к решению с простой структурой состоит в максимизации, как в A5.2), или минимизации, как в A5.15) или A5.39), некоторой функции от элементов вторичной структуры. Главная цель — получить первичное факторное отображение, удовлетворяющее принципам простой структуры. Поскольку вторичная факторная структура и первичное факторное отображение связаны простым соотношением A3.43), то из простого вида одного из них следует простой вид второго. В связи с этим для получения искомого первичного факторного решения можно воспользоваться такой косвенной процедурой упрощения вторичной структуры. Дженрих и Сэмпсон исходили из того, что решение с простой структурой необходимо получить непосредственно, минимизируя функцию от элементов первичного факторного отображения. Таким образом, вместо критерия A5.38), куда входят элементы структуры, соответствующая функция для прямого облимин-метода имеет вид f(P)= 2 B&/PU--J-2U2&U A5.45) где Р = (bjP) — матрица первичного факторного отображения. Чтобы не было опасности смешения с косвенными облимин-методами, описанными в предыдущем параграфе, вместо использованного там обо значения у для свободного параметра, будет обозначать его б. Понятно, что, разделив исходные факторные нагрузки ajp наЯ7-, можно нормализовать их по строкам и выполнять преобразование к финальной матрице Р с помощью нормализованных векторов. В конце процесса векторам возвращаются их первоначальные длины; для этого финальные значения bjP умножаются на hj. В любом случае для получения прямого облимин-решения минимизируется F(P) в A5.45). Вспомним, что, согласно A3.26), 1; A5.46) так что задача сводится к нахождению такой матрицы преобразования Т, которая минимизировала бы F(A(T/)"'1) при условии, что diag(T/T)=I. A5.47) В статье Дженриха и Сэмпсона [279] подробно рассмотрен простейший случай (его можно назвать «прямым квартимином»), когда в A5.45) б = 0; на двух задачах проводится сравнение этого варианта решения с биквартимин-решением. Мы опишем подробно одно элементарное 358
вращение (включающее только два первичных фактора); отсюда достаточно легко сделать соответствующее обобщение. Такие вращения выполняются над всеми возможными парами факторов до тех пор, пока не будет зафиксирован факт сходимости F(P). Дженрихом и Сэмпсоном была написана на языке ФОРТРАН-IV подпрограмма, реализующая процедуру прямого облимин-метода; автором этой книги она была переписана на ФОРТРАН-II для Phil- со-2000 и на ФОРТРАН-IV для IBM 7044. В этой программе критерий сходимости был (Ft-x-FdlF^B, A5.48) где i — номер итерации, а е равно обычно 0,00001. Поскольку при минимизации суммирование ведется по всем факторам при ограничении р Ф q и поскольку суммируемые члены сццметричны относительно индексов р и qy фактически минимизируется удвоенная функция A5.45). Результатом работы программы является косоугольное факторное решение, более или менее удовлетворяющее принципу простой структуры. Это решение (понятно, что речь идет о первичном факторном решении) включает факторное отображение, матрицу коэффициентов корреляции между факторами и факторную структуру. Если, работая с прямым облимин-критерием A5.45), брать положительные значения б, то минимальное значение ^(Р) может достигать —оо. В частности, Дженрих показал (и сообщил автору этих строк), что F(P) достигает —оо, если и только если б > н. В практи- о ческих задачах рекомендуется брать б либо равное нулю, либо отрицательное (вспомним, что в косвенных облимин-методах значение у могло меняться только в интервале от нуля до единицы). Если 6 = 0, то система факторов получается «более » косоугольной (еще большие корреляции между факторами можно получить при положительных дробных значениях б). При отрицательных б по мере их падения система факторов становится все «более» ортогональной. Это свойство хорошо видно на трех примерах прямых облимин- решений, приведенных в табл. 15.9; при уменьшении значения б корреляция между двумя факторами падает. Анализируя табл. 15.9 и другие результаты решения этой задачи при изменении б от —100 до + 1, можно выявить и другие свойства прямого решения. Прежде всего, большой интерес представляет] сравнение разных прямых решений с облимин-решениями, описанными в предыдущем параграфе. Решение, полученное при 6 = 0, очень похоже на кварти- мин-решение, вторичная структура которого дана в табл. 15.4 (а первичное факторное отображение— в ответе к упр. 8, гл. 15). Соответствующие факторные коэффициенты здесь различаются только в третьем десятичном знаке. При изменении б от —1 до —4 прямые облимин- решения несколько походят на биквартимин-решение, коэффициенты корреляции между первичными факторами располагаются в интервале от 0,337 до 0,285, а все факторные коэффициенты положительны и образуют две резко различающиеся группы. 359
Таблица 15.9. Три прямых факторных облимин-отображения для восьми морфологических параметров (в качестве исходного взято решение в минимальных остатках, табл. 9.3) Параметр / 1 2 3 4 5 6 7 8 Критерий A5.45): исходное зничение финальное значение Коэффициент корреляции между первичными факторами 6=0 Г, 0,883 0,956 0,926 0,882 0,005 —0,006 —0,065 0,104 0,065 —0,029 —0,045 0,035 0,940 0,803 0,793 0,646 1,453 0,036 0,471 6=-0,5 0,866 0,933 0,902 0,863 0,061 0,042 —0,017 0,140 Т2 0,115 0,027 0,010 0,085 0,918 0,784 0,770 0,637 „ 2,228 0,968 0,373 6=-70 0,819 0,802 0,762 0,792 0,804 0,678 0,618 0,640 т2 —0,411 —0,498 —0,491 —0,427 0,490 0,424 0,448 0,286 110,071 108,597 0,002 Подобная работа была также проведена для набора из восьми морфологических параметров (при разных значениях б). При уменьшении б до —6,5 финальное факторное отображение «возвращалось» к исходному решению в минимальных остатках (коэффициенты при первом факторе совпадали с точностью до 0,001, а коэффициенты при втором факторе различались не более чем на три единицы во втором десятичном знаке). Коэффициент корреляции между первичными факторами равнялся 0,044 (в решении в минимальных остатках он равнялся нулю). Даже при уменьшении этого коэффициента корреляции до 0,002 (при изменении б от —70 до — 100) факторное отображение почти не отличалось от отображения, соответствующего б = —6,5. Первая ось в этих решениях проходит вблизи центра тяжести всех точек, а вторая ось — почти перпендикулярно к ней (как и при решении в минимальных остатках). Не нашлось такого значения б, при котором решение было бы похоже на коваримин-решение (его вторичную структуру см. в табл. 15.4), т. е. имело бы некоррелированные первичные факторы и все положительные факторные коэффициенты. При больших отрицательных значениях б факторы прямого облимин-решения почти не коррелируют между собой, а при б = —4 все факторные коэффициенты становятся положительными; но нет такого одного значения б, при котором были бы получены все свойства коваримин-решения. Рассматривались также и положительные значения б. При б = 0,5 коэффициент корреляции между факторами достигает 0,748, а факторные коэффициенты удовлетворяют принципу простой структуры существенно менее, чем в решении при 6 = 0 (табл. 15.9). Наконец, было обнаружено, что при б =1 значение функции A5.45) неограниченно уменьшается и это продолжается вплоть до момента остановки вычислений. 360
Прямой облимин-метод исследовался также на задаче с 24 психологическими параметрами. В качестве исходного рассматривались два решения: в минимальных остатках и центроидное. Следующие ниже выводы основаны на всех экспериментах, но из соображений экономии места полностью приводится только одно решение (табл. 15.10). В целом это прямее облимин-решение весьма схоже с биквартимин-решеии- ем (табл. 15.5), несмотря на то что оба решения получены разными методами и исходя из разных начальных матриц. Корреляции между факторами в прямом облимин-решении несколько сильнее соответствующих корреляций между факторами биквартимин-решения (табл. 15.5), но они меньше корреляций между квартимин-факторами (табл. 15.7). Таблица 15.10. Прямое облимин-решение для 24 психологических параметров F=0) (в качестве исходного взято решение в минимальных остатках т=4) Параметр / 1 2 3 4 5 6 7 8 9 10 И 12 13 14 15 16 17 18 19 20 21 22 23 24 Первичная структура: S 0,353 0,234 0,283 0,364 0,793 0,816 0,849 0,674 0,857 0,289 0,336 0,190 0,359 0,318 0,244 0,265 0,284 0,220 0,282 0,523 0,361 0,511 0,545 0,511 0,331 0,170 0,104 0,202 0,345 0,225 0,283 0,361 0,208 0,829 0,617 0,734 0,621 0,199 0,186 0,205 0,333 0,449 0,279 0,252 0,528 0,274 0,377 0,588 0,731 0,478 0,574 0,577 0,365 0,383 0,361 0,481 0,376 0,048 0,251 0,294 0,515 0,177 0,220 0,501 0,198 0,406 0,335 0,529 0,503 0,516 0,627 0,346 rjT< 0,344 0,198 0,244 0,232 0,347 0,412 0,284 0,345 0,404 0,308 0,503 0,259 0,292 0,591 0,554 0,596 0,631 0,554 0,438 0,449 0,386 0,445 0,425 0,465 Первичное отображение: вербальный фактор т% 0,008 0,029 0,053 0,149 0,760 0,785 0,872 0,547 0,850 0,118 0,074 —0,084 0,069 0,126 0,022 —0,083 0,031 —0,136 0,049 0,304 0,061 0,290 0,279 0,294 скорость т2 0,113 0,026 —0,095 0,014 0,107 —0,069 0,041 0,131 —0,094 0,856 0,493 0,734 0,519 —0,032 —0,029 —0,069 0,122 0,267 0,096 —0,016 0,376 0,017 0,125 0,421 дедукция Та 0,680 0,458 0,564 0,523 0,009 0,024 0,009 0,211 0,004 —0,273 —0,045 0,124 0,359 —0,095 0,005 0,357 0,086 0,221 0,162 0,323 0,329 0,308 0,433 0,026 р память 7-4 0,035 -0,001 0,039 —0,037 —0,011 0,103 —0,096 —0,012 0,085 0,045 0,305 —0,029 —0,070 0,588 0,554 0,518 0,606 0,425 0,319 0,204 0,092 0,199 0,096 0,175 Фактор Коэффициенты корреляции между факторами т2 т* т* 1,000 0 1 ,316 ,000 0 0 1 ,432 ,296 ,000 0,414 0,374 0,387 1,000 Критерий исходное финальное A5.45): значение значение 5 1 ,221 ,740 361
Если б отрицательно и уменьшается, то финальное факторное отображение имеет тенденцию «возвращаться» к исходному решению, а коэффициент корреляции между факторами стремится к нулю. В экспериментах значение 6 уменьшалось до —95. Не было найдено такого отрицательного значения б, при котором в решении получились бы столь большие коэффициенты корреляции между факторами, как в косвенном квартимин-решении. При исследовании положительных значений б (в экспериментах б менялось от 0,1 до 0,5 через 0,1) выяснилось, что решение, наиболее близкое к квартимин-решению, соответствует б = 0,4. Коэффициенты корреляции между факторами в этих двух решениях приведены в нижней части табл. 15.11* Таблица 15.11. Коэффициенты корреляции между факторами в прямом и косвенном облимин-решениях (т=4) в задаче с 24 психологическими параметрами (в качестве исходного бралось центроидное решение) Прямой облимин-метод Фактор Тг Т2 Т3 6=0,4 т4 Косвенный облимин-метод Фактор Тг Т2 Т3 Т4 Квартимин G=0) г' 1,000 0 1 ,646 ,000 0 0 1 ,712 ,633 ,000 0,717 0,701 0,673 1,000 Тг т\ 1 ,000 0 1 ,680 ,00 0 0 1 ,564 ,604 ,000 0,656 0,655 0,724 1,000 6=0 Биквартимин (у=0,5) т2 т* 1,000 0 1 ,313 ,000 0 0 1 ,434 ,313 ,000 0,405 0,412 0,376 1,000 Тг т2 Тг т, 1,000 0 1 ,262 ,000 0 0 1 ,341 ,295 ,000 0,337 0,338 0,329 1,000 6=-0,5 Коваримин (y=1) Тг т2 т, 1,000 0 1 ,270 ,000 0 0 1 ,379 ,280 ,000 0,335 0,364 0,329 1,000 Тг т2 т3 т, 1,000 —0 1 ,037 ,000 —0 —0 1 ,304 ,020 ,000 —0,080 —0,339 —0,044 1,000 Средний коэффициент корреляции г 0 0 0 б ,5 ,4 ,3 0 0 0 г ,841 ,680 ,524 0 0 0 б Л л 0 0 0 г ,443 ,400 ,375 б -0,5 —10 —95 0 0 0 г ,326 ,283 ,031 0 0,5 1 г 0 0 —0 647 317 137 Тип решения Квартимин Биквартимин Коваримин 362
В отличие от предыдущего примера в задаче о 24 параметрах при 6 = 0 прямое облимин-решение ближе не к квартимин-, а к биквар- тимин-решению. Еще большее сходство с биквартимин-решением получается при б = —0,5. В табл. 15.11 даны значения коэффициентов корреляции между факторами для каждого из этих решений и для би- квартимин-решения. При б = —0,5 и б = 0 среднее значение разности между соответствующими факторными коэффициентами биквартимин- решения и каждого из прямых облимин-решений составляет соответственно 0,0114 и 0,0155; для наиболее значимых коэффициентов p > 0,300) эти средние равны соответственно 0,0109 и 0,0147. В следующих экспериментах с этой задачей значения б менялись от —10 до —95 через —5. Отметим, во-первых, что при этих значениях б процесс сходится только примерно за 100 итераций (при 6 = 0 для сходимости нужно было около десятка итераций) и что значение критерия A5.45) здесь очень велико и мало меняется от итерации к итерации. При уменьшении (отрицательных) значений б корреляции между факторами падают. Уже при б — —25 все коэффициенты корреляции между факторами с точностью до первого десятичного знака равны нулю. В смысле взаимной коррелированности факторов это решение похоже на коваримин-решение, но, с другой стороны, как и в случае с восемью параметрами (см. выше), оно кажется более сходным с исходным центроидным решением, чем с коваримин-решением, с его положительными факторными коэффициентами и очень маленькими корреляциями между факторами. Прямой облимин-метод исследовался также на задачах с пятью социально-экономическими и с восемью политическими параметрами (при одном значении 6 = 0). Никакого сравнения с косвенными решениями здесь не проводилось (оба решения приведены в табл. 15.12 и 15.13). Основываясь на теоретических результатах и материалах экспериментов, сделаем теперь некоторые выводы относительно прямых обли- мин-методов. Во-первых, достаточно очевидно, что прямые и косвен- Та блица 15.12. Прямое облимин-решение F=0) для пяти социально- экономических параметров (в качестве исходного взято решение в минимальных остатках, табл. 9.2) Параметр / 1 2 3 4 5 Фактор т2 Первичная структура: S г1Тх 0,120 0,870 0,242 0,826 0,982 0,997 0,089 0,978 0,490 0,082 , Коэффициенты корреляции между факторами 1,000 0,191 1,000 Первичное отображение: Р - Тг —0,073 0,886 0,057 0,761 1,003 тг 1,011 —0,080 0,967 0,344 —0,110 Критерий A5.45): исходное значение 0,976 финальное значение 0,138 363
Таблица 15.13. Прямое облимин-решение F=0) для восьми политических параметров (в качестве исходного решения взята система главных факторов, табл. 8.18) Параметр / 1 2 3 4 5 6 7 8 Фактор 1 2 Первичная структура: s 0,735 0,964 0,886 —0,839 0,130 0,266 —0,521 —0,904 rjT2 —0,102 —0,024 —0,288 0,518 —0,703 —0,454 0,815 0,610 Коэффициенты корреляции между факторами 1,000 —0,297 1,000 Первичное отображение: Р Тг 0,772 1,050 0,878 —0,751 —0,086 0,802 —0,305 —0,792 тг 0,127 0,288 —0,027 0,295 —0,729 —0,215 0,724 0,374 Критерий A5.45): исходное значение 0,743 финальное значение 0,452 ные методы соотносятся не совсем просто. Сказанное означает не отсутствие связи между решениями, полученными с помощью обоих подходов, а лишь то, что нельзя утверждать, будто некоторое значение б в прямом методе приведет к тому же результату, что и данное значение у в косвенном методе. Во-вторых, нет видимых причин предпочитать прямым облимин-решениям варианты косвенных облимин-методов: квартимин (у = 0), биквартимин (у = 0,5) и коваримин (у = 1). В некотором смысле прямое решение даже лучше не только ввиду его большей простоты, но также и из-за широкого спектра возможных здесь косоугольных решений. Впрочем, этой чрезвычайно большой гибкости может и не быть; вследствие накопления опыта может оказаться, что некоторое значение б следует предпочитать остальным, ибо в зависимости от числа параметров, числа факторов и т. д. оно обеспечивает решение с какими-либо специальными свойствами.
ЧАСТЬ IV. ИЗМЕРЕНИЕ ФАКТОРОВ ГЛАВА 16. ИЗМЕРЕНИЕ ФАКТОРОВ 16.1. Введение Можно сказать, что факторный анализ занимается решением двух основных задач. Первая из них связана с методами выражения набора параметров через линейные комбинации некоторых гипотетических факторов. В основном весь предыдущий материал был посвящен решению этой задачи; на этом пути были получены различные методы для построения ортогональных и косоугольных решений. Вторая задача связана с описанием факторов в терминах наблюденных параметров. Эта задача будет рассмотрена в настоящей главе. В то время как первой задаче — задаче определения для параметров совокупности факторных весов — посвящено множество исследований, задача о выражении факторов в терминах параметров исследована относительно слабо. Работы в этом направлении, имевшие место с начала 40-х годов, легко перечислить: теоретические статьи Г. Ке- стельмана [314] и Э. Гирмана [221], краткая заметка Г. Томсона [464], работа А. Баггили и Р. Кеттелла [19] о сравнении приближенных методов, решение практических задач в работах М. Венгера, К. Холзингера и А. Хармана [508] и X. Селвина [426] и несколько машинных программ. В этой главе рассматриваются методы выражения гипотетических конструкций (факторов) в терминах наблюденных параметров. Сначала в 16.2 обсуждается вопрос о том, что вместо непосредственного определения значений факторов достаточно строить оценки этих значений. Следующий параграф A6.3) посвящен измерению значений главных компонент. Далее излагаются различные способы оценки значений факторов для случаев, когда применяется классическая модель факторного анализа. Показывается, что наилучшая (в смысле наименьших квадратов) оценка получается с помощью обычных методов регрессии. В 16.4 обычным образом для произвольного фактора строится линейная регрессия как функция от п наблюденных параметров. Далее рассматривается приближенный метод, позволяющий уменьшить вычислительные трудности, связанные с построением пол* 365
ной регрессии; этот метод основан на обработке составных параметров. В 16.7 предлагается иной подход, который ввиду его простоты и того, что он дает те же результаты, что и метод полной регрессии, следует, по-видимому, предпочесть предыдущему методу. В этом «ускоренном методе» выборочные коэффициенты корреляции заменяются коэффициентами корреляции, вычисленными по факторному решению. Затем описываются два метода, по-видимому, не имеющие сегодня такой практической ценности, как предыдущие. В 16.8 изложен вариант регрессионного метода, в котором минимизируется сумма квадратов характерных факторов. Оценки факторов, полученные этим методом, совершенно отличны от оценок, полученных с помощью любого другого метода. И наконец, последний из описываемых методов выражения факторов через параметры основан не на статистической оценке с помощью регрессионного анализа, а на решении некоторой системы уравнений. Поэтому здесь вместо оценок факторов получаются сами значения факторов. К сожалению, однако, этот метод связан с «идеальными» (а не наблюденными) параметрами и поэтому в практических задачах пользоваться им нельзя. 16.2. Непосредственное определение факторов или их оценка?. Чтобы облегчить изложение теории и методов этой главы и свести воедино понятия и обозначения, применяемые повсюду в тексте, в табл. 16.1 приведены основные из необходимых матричных обозначений. Практически невозможно придумать для каждого нового понятия новое обозначение; поэтому целью таблицы является обратить внимание на специфику употребления некоторых обозначений и обеспечить удобный источник для справок. Кроме основных понятий, отраженных в этой таблице, по мере необходимости в тексте будут вводиться и поясняться менее общие понятия. Набор из п параметров можно анализировать либо в терминах только общих факторов (и тогда по главной диагонали матрицы R стоят единицы), либо в терминах совокупности общих и характерных факторов (и тогда по диагонали R стоят значения общностей). Согласно 2.3, оба эти подхода приводят соответственно к моделям компонентного или классического факторного анализа. В первом случае R есть матрица Грама, в общем случае ранга л, а факторное решение z = Af A6.1) дается в терминах п общих факторов. Поскольку здесь А есть квадратная невырожденная матрица, она имеет обратную матрицу. Поэтому искомые факторы определяются просто: f=A-!z. A6.2) Это решение является точным и однозначным и не связано ни с какими «оценками». 366
Таблица 16.1. Обозначение часто встречающихся матриц Матрица Порядок Определение и применение R R* R*+D2 z={z M = (A/D) А О S Ф р S V w П'П п-п n-N пЛ m-N тЛ пЛ п-т-\-п п-т n-m т-т т-т n-m n-m n-m n-m Матрица выборочных коэффициентов корреляции между п параметрами Матрица коэффициентов корреляции, вычисленных из факторной матрицы, на главной диагонали которой стоят значения общностей. Если нет опасности перепутать, звездочку можно опустить Матрица вычисленных коэффициентов корреляции (с единицами на главной диагонали) Матрица N значений каждого из п параметров Вектор-столбец п параметров Матрица N значений факторов для каждого из т общих факторов Вектор-столбец т общих факторов Вектор-столбец п характерных факторов Матрица полного отображения Общая матрица коэффициентов при общих факторах; тогда, когда речь идет о преобразовании к косоугольному решению, матрица исходного ортогонального решения Матрица коэффициентов при характерных факторах, или часть факторной структуры, относящаяся к характерным факторам Матрица факторной структуры. Обычно интересуются только ее частью, соответствующей общим факторам. Если речь идет и об общей, и о характерной части, пишут (S/D) Общая матрица коэффициентов корреляции между общими факторами косоугольной системы Матрица коэффициентов корреляции между общими факторами, когда они представляют собой вторичные оси координат и их нужно отличать от первичных факторов Матрица первичного факторного отображения (при работе с косоугольными системами исходное факторное решение обозначают А, а не Р) Матрица первичной факторной структуры (при работе с косоугольными системами не смешивать с общей матрицей факторной структуры) Матрица вторичной факторной структуры Матрица вторичного факторного отображения Если, однако, наряду с общими факторами факторная модель включает и характерные факторы, то решение уже нельзя получить столь просто. В этом случае число факторов (общих и характерных) превышает число параметров и для факторной матрицы М не существует обратной матрицы. В такой ситуации общим подходом является построение «наилучшего» в смысле наименьших квадратов описания; подобные методы излагаются в следующих параграфах. Г. Кестельман [314] показал, что даже в случае, когда число факторов превышает число параметров, можно найти для факторов такие 367
точные (но не единственные значения), что FF' = I, т. е. факторы будут даны в стандартном виде и не коррелированы. Ке- стельман указывал также, что эти теоретические факторы со статистической точки зрения вовсе не являются предпочтительнее коррелированных оценок факторов, полученных с помощью регрессионных методов. Гирман [221] обратил внимание на тот факт, что регрессионные методы приводят к коррелированным оценкам факторов. Он предложил две процедуры для преобразования оценок ортогональных факторов (наилучших в смысле наименьших квадратов) в некоррелированные факторы. Эти последние он назвал «ортогональными приближениями». Гирман разработал также «раздельные оценки», характерным свойством которых является то, что каждая из них не коррелирует ни с одним из факторов, за исключением фактора, который она оценивает. Конечно, подобные преобразования непременно связаны с ухудшением качества оценок: оценки, полученные регрессионными методами, с точки зрения критерия наименьших квадратов являются лучшими. Рассматривая преимущества некоррелированных факторов и изучая свои факторы, которые не коррелируют с другими факторами, Гирман указывает, что «по-видимому, ортогональные оценки являют собой компромисс' между оптимальными оценками, полученными из критерия наименьших квадратов, и раздельными оценками» [221]. 16.3. Измерение главных компонент Если факторный анализ ведется в терминах главных компонент, то значения факторов могут быть вычислены непосредственно. Дело не только в том, что при наличии п компонент факторная матрица имеет обратную матрицу и поэтому факторы определяются из A6.2). В действительности вовсе не нужно вычислять матрицу, обратную факторной. Более того, при решении практических задач, когда нужны не все, а лишь несколько компонент, процедуру поиска значений факторов можно еще упростить. В факторной модели A6.1) нет предположения о том, что А — квадратная матрица, так что ее порядок можно считать равным п-т. Умножив обе стороны A6.1) на А', и решив это выражение относительно /, получим^ f = (A' A)""l A'zj = Л^[ A' z, A6.3) где, согласно (8.22), Лт — диагональная матрица т собственных значений. Из этого выражения, алгебраический вид которого есть п Fp==^i~irzJ (P = l, 2, ..., m), A6.4) 368
ясно, что главные компоненты описываются линейными комбинациями параметров. Вопрос о статистической оценке здесь не возникает. Коэффициенты в выражении для любой из компонент получаются простым делением ее «факторных нагрузок» на ее собственное значение. Впервые это свойство было выяснено Хотеллингом [259] и позже обобщено Кайзером [298]. Чтобы проиллюстрировать сказанное, рассмотрим систему главных компонент для набора из пяти социально-экономических параметров (табл. 8.1). Искомые собственные значения равны здесь значениям квадратного корня из общностей, приведенных во второй от конца строке таблицы. Разделив числа в каждом столбце на соответствующее собственное значение, получаем требуемые коэффициенты. В частности, для второй компоненты в нашем примере получается выражение F2 = 1,0809 Zx—0,7302 z2 + 0,9731 z3—0,1398 z4—0,7482 z5. Другое важное свойство системы главных компонент состоит в том, что значения компонент после вращения также можно получить намного проще, чем в случае классического факторного анализа. Рассмотрим задачу вращения системы главных компонент (скажем* к варимакс-решению) с помощью преобразования В=АТ, A6.5) где А — исходная матрица коэффициентов при главных компонентах,. В — такая же матрица для повернутой системы, Т — матрица преобразования. Новое решение можно представить в виде z=Bg, A6.6) где символ g взят для того, чтобы различить новый вектор-столбец и исходный f. Умножив обе части A6.6) на В' и решив относительно g, получим g = (B'B)~1B'z. .A6.7) В табл. 14.6 приведена матрица повернутого варимакс-решения для тех же пяти социально-экономических параметров. Выпишем из нее матрицу В (для удобства возьмем транспонированную матрицу): /0,0160 0,9408 0,1370 0,8248 0,9682\ \0,993& —0,0088 0,9801 0,4471 —0,0060/ =/ \0 Простые вычисления дают Р218 (В'В)=Р ^ и (BB)( \0,5048 2,1481/ \—0,0978 0,4885 Теперь с помощью A6.7) можно найти выражения для каждой из повернутых компонент: Gt = —0,0905 гг + 0,3923 z2—0,0388 z3 + 0,2995 z4 + 0,4035 z6; G2 = 0,4839 z1—0,0963 z2 + 0,4654 z3 -f- 0,1378 z4—0,0976 z5. 369
На машине Philco-2000 были вычислены значения этих варимакс- компонент для выборки N = 12 (табл. 16.2). Повернутые компоненты обозначены М вместо G, поскольку в гл. 14 встречалось то же обозначение. Для ручной проверки правильности вычисления любого из этих значений нужно привести к стандартному виду значения параметров в табл. 2.1 и подставить их в приведенные выше уравнения. Можно поступить и иначе: преобразовать уравнения, нормировав их по строкам, и воспользоваться значениями табл. 2.1 непосредственно. Кроме относительно простой процедуры, приводящей к соотношению A6.7), возможен и другой подход для получения значений повернутых компонент. Из A6.1) и A6.6) имеем f=Tg. A6.8) Это соотношение между двумя наборами компонент соответствует A2.7). Умножив его слева на Т' и помня, что для ортогонального преобразования Т'Т = I, получим g = T'f; A6.9) или, подставив A6.3) вместо f, g = T'A^A'z. A6.10) Теперь можно записать выражение для матрицы преобразования Т=Л^1А'В, A6.11) которое соответствует A2.4) и может быть получено непосредственно из A6.5). Наконец, подставив A6.11) в A6.10), получим формулу для повернутых компонент: g = B'AA^2A'z. A6.12) Оба эти выражения — A6.7) и A6.12) —дают уравнения для повернутых компонент. Разница между ними состоит в том, что в первое из них входят собственные значения матрицы В'В, а во второе входит исходная факторная матрица. Следовательно, если т достаточно велико, то работа с выражением A6.7) потребует большего объема вычислений, так как в отличие от A6.12) обратная матрица здесь не будет диагональной. В результате решения задачи с пятью социально-экономическими параметрами при помощи формулы A6.12) получаются те же значения, что и приведенные выше; выполнение этих вычислений предоставляем в качестве упражнений читателю. 16.4. Метод полной оценки Во всей остальной части этой главы речь пойдет в основном о модели B.9) классического факторного анализа. В 16.4, 16.5 и 16.6 для получения оценок значений факторов мы воспользуемся обычным 370
методом регрессии. Уравнение регрессии, связывающее любой фактор Fp и п параметров, можно записать в виде РР =PpiZi + Pp2Z2+ .- +hn*n (P = l> 2, ..., m). A6.13) Из теории многомерного регрессионного анализа известно, что коэффициенты р определяются системой уравнений Ppl Н~ Г12 Рр2 + • • • Н~ '"in Ppn == Slp r2lPpl+ Pp2 + • • • + ГЪп Ррп = S2p Гп1 A6.14) где sjp = rzjFp. Коэффициенты при неизвестных Р являются элемен- тами симметрической матрицы выборочных коэффициентов корреляции. Таким образом, зная коэффициенты корреляции параметров с факторами и коэффициенты корреляции между параметрами, можно оценить значения любого фактора. Имея в виду решение системы A6.14), рассмотрим матрицу Slp 1 snp S2p A6.15) состоящую из матрицы R выборочных коэффициентов корреляции и окаймляющих ее коэффициентов корреляции параметров с одним из факторов. Тогда неизвестные в A6.14) можно определить так: pp/ = -|A,p|/|R|, A=1,2 п) A6.16) где константа в знаменателе есть детерминант матрицы выборочных коэффициентов корреляции, а | А7-р | — алгебраическое дополнение элемента Sjp матрицы А. Следует отметить, что детерминанты lA^I также можно выразить через алгебраические дополнения элементов исходной корреляционной матрицы R. Тогда вместо A6.16) для Рр/ можно записать выражение где \Rkj\ — алгебраическое .дополнение элемента rhj матрицы R» Подставив A6.17) в A6.13) и воспользовавшись компактной матричной записью, получим выражение для оценки произвольного фактора Fp: Fp = s;Rz (p = l,2, ...9m)9 A6.18) где sp — вектор-столбец {slps2p ... snp}, взятый из столбца р факторной структуры S. Объединив все т факторов и все N значений для каждого из параметров, получаем общую матричную формулу F=S/R""IZ. A6.19) 371
Ранее везде фигурировала факторная структура, но оценку для фактора можно записать и через факторное отображение. Воспользуемся соотношением B.43), связывающим структуру с отображением; тогда A6.19) переходит в F=<DA'R~1Z> A6.20) где Ф — матрица коэффициентов корреляции между факторами. Если факторы не коррелированы, то Ф — единичная матрица и уравнение для оценки факторов принимает вид F = A/R-1Z. A6.21) Это выражение немедленно следует также и из A6.19), так как в этом случае отображение совпадает со структурой. Но если факторы кор- рел'ированы, то различие между отображением и структурой приобретает, конечно, большое значение. Мерой качества оценки фактора Fp с помощью уравнения A6.13) может служить коэффициент множественной корреляции Rp. Ниже дается несколько важных и полезных формул для Rp. Уравнения 06.14) можно переписать в более компактном виде: S(^pt-?p«)^i = O (/ = 1,2...., л). A6.22) Здесь суммирование ведется по N наблюдениям каждого параметра. Везде ниже, где индекс i опущен, предполагается, что суммирование ведется по i от 1 до N. Поскольку совокупность невязок (Fp — Fp) ортогональна к каждому из п наборов чисел Z/, то она ортогональна и к любой линейной комбинации этих zj. Такой линейной комбинацией является, в частности, набор Fp; так что или, разделив на N, SFrFF=4> О6'23) где предполагается, что Fp задан в стандартном виде. Коэффициент множественной корреляции Fp с zu z2, ..., zn равен обычному коэффициенту корреляции Fpvi Fp. Окончательно A6.23) можно переписать в виде RP=rF F =s? . A6.24) Из этой формулы видно, что стандартное отклонение факторных оценок равно коэффициенту множественной корреляции. Умножив обе стороны A6.13) на Fpy просуммировав по N объектам и разделив на N, получим простую формулу для вычисления Rp: SF TF F ==PplSlp + Pp2S2p+ ••• + $pnSnp 372
(не нужно смешивать обозначение выборочного стандартного отклонения sfp с обозначением элемента факторной структуры S/p). Таблица 16.2. Значения варимакс-компонент в задаче о пяти социал ьно-экономических параметрах (факторное решение см. в табл. 14.6) Номер объекта 1 2 3 4 5 6 7 8 9 10 11 12 1,20 —0,66 —1,26 1,11 0,94 — 1,23 —0,17 —0,44 0,32 1,58 —0,95 —0,45 -0,03 -1,38 —0,77 —0,80 -0,76 0,55 —1,55 0,73 0,91 1,03 0,96 1,11 Согласно A6.24), имеем snp. A6.25) Выражение A6.25) представляет собой простейшую формулу для вычисления коэффициента множественной корреляции; можно, однако, вывести и другую формулу, обладающую рядом полезных свойств. Умножим первое из уравнений A6.14) на рр1, второе — на Рр2 и т. д.: A6.26) A6.27) Хотя эта формула не столь проста, как A6.25), но она обладает одним важным свойством. Любой из членов ppJ- s,p(b 16.25) измеряет сум- марный непосредственный и опосредствованный вклад соответствующего параметра X/ в Щ\ здесь как бы видна степень важности параметра в определении Fp. В A6.26) полный вклад параметра Xj разбит на части, соответствующие непосредственному и опосредствованному вкладам. Действительно, из правой части первого уравнения A6.26) видно, что суммарный вклад параметра Х± состоит из непосредственного вклада $2р1 и опосредствованного вклада Рр1 $pkrlk, определяемого корреляциями параметра ХА с остальными параметрами Xk(k = 2, 373 Сложив эти уравнения, с учетом A6.25) имеем п п Jt\p = ^j Ppj -j- Z ^j
3, ..., /г). Можно заметить, что опосредствованный вклад любых двух параметров распределен между ними поровну. ' В предыдущем параграфе, занимаясь моделью компонентного анализа, мы увидели, что главные компоненты (или их повернутые ортогональные эквиваленты) являются линейными комбинациями исходных параметров и вопрос об оценке факторов здесь не возникает. Отсюда немедленно следует, что коэффициент множественной корреляции для любой главной компоненты в точности равен единице. Точно так же он будет равен единице для повернутой главной компоненты. Но если обратиться к классическому факторному анализу, то мы увидим, что для каждого фактора коэффициент множественной корреляции оказывается меньше единицы. Причины этого факта будут выяснены позднее. Предположим, что факторные коэффициенты оценены методом главных факторов 8.2; иначе говоря, столбцы факторных нагрузок представляют собой соответствующим образом нормализованные собственные векторы матрицы R—D2, где R — полная корреляционная матрица, a D2 — диагональная матрица значений характерностей. Обозначив собственные значения через Хр и соответствующие собственные векторы единичной длины через ар, согласно (8.15), можем записать: (R-Di)ap = ^op (p=l,2,...,m) A6.28) и a/ap = l. A6.29) Пронормируем, согласно (8.14), вектор-столбец ар факторных коэффициентов: ар=у%ар. A6.30) Пусть рр есть вектор-столбец коэффициентов регрессии в выражении для оценки Fp по ги ..., zn и пусть sp есть вектор-столбец коэффициентов корреляции параметров с фактором Fp. Тогда выражение A6.17) для коэффициентов регрессии приобретает в матричном виде следующий вид: ft, = R-isp = R-4f A6.31) где последнее равенство следует из того факта, что в случае ортогонального факторного решения элементы структуры совпадают с коэффициентами отображения. Точно так же можно переписать в матричном виде выражение A6.25) для коэффициента множественной корреляции: V = 8p'Pp- <16-32> Подставив в последнее выражение значение Рр из A6.31), V=»/*-%• о6-33) 374
и учтя A6.30), получим R/ = УТР о/ R-« ap Y%p = a'p R-i (Яр ар), A6.34) где последнее равенство имеет место, поскольку Хр есть скалярная величина. Теперь, согласно основному соотношению A6.28), последнее равенство можно переписать так: и окончательно, с учетом A6.29), Rl=l — ap'KrlWap. A6.35) Здесь видно, что если в факторном решении учитывается характерность, то коэффициент множественной корреляции действительно становится меньше единицы. С другой стороны, если факторизации подвергается корреляционная матрица с единицами на главной диагонали, то D2 = 0 и коэффициент множественной корреляции для каждой из главных компонент в точности равен единице. 16.5. Примеры применения метода полной оценки Оценка факторов методом полной оценки представляет значительные вычислительные трудности. При работе с формулой A6.19) приходится обращать матрицу порядка п, что весьма непросто при большом п. Ввиду этого метод полной оценки реализуем только при наличии ЭВМ. Мы приведем результаты решения задач на ЭВМ и подробное описание порядка действий при работе на арифмометре (для сравнительно небольшой задачи). Чтобы лучше понять тонкости метода, выполним сначала некоторые вычисления вручную. Хотя выше для получения коэффициентов регрессии была дана формула A6.16), на практике чаще применяют более эффективные методы решения систем линейных уравнений (гл. 3). Поскольку каждая из систем уравнений A6.14), соответствующая одному из общих факторов, включает одну и ту же матрицу коэффициентов, на практике все факторы можно оценивать одновременно. Более того, одновременно можно вычислять оценки для наборов факторов, полученных разными методами. В первом примере ищутся оценки двух главных компонент и двух косоугольных факторов, отвечающих набору из восьми морфологических параметров. Задача решается методом квадратного корня (см. табл. 16.3). Значения выборочных коэффициентов корреляции взяты из табл. 5.3, коэффициенты корреляции параметров с главными факторами РА и Р2—из табл. 8.12 и коэффициенты корреляции параметров с косоугольными факторами 7\ и Т2 — из факторной структуры, построенной по 375
центроидному решению и весьма близкой к факторной структуре табл. 13.1, основанной на решении в минимальных остатках. Порядок действий табл. 16.3 подобен схеме табл. 3.2 с той разницей, что вместо одной зависимой переменной здесь оцениваются четыре фактора. После выполнения процедуры квадратного корня (ее результаты даны под матрицей коэффициентов корреляции между параметрами), согласно формуле вида C.27), вычисляются коэффициенты регрессии. Так, коэффициенты регрессии для каждого из факторов по последнему параметру равны: о 0,052 ft 0,П6 о 0,002 о _ 0,117 по йредпоследнему параметру— ft 0,033—0,088x0,072 ft 0,071—0,088x0,160 —0,002—0,088 (—0,003) а 0,066 — 0,088x0,162 Рг'7== 5^5 • Рг-7= м^ и т. д. вплоть до первого параметра. Кроме коэффициентов регрессии для каждой из оценок факторов по формуле A6.25) вычисляется квадрат коэффициента множественной корреляции. Все эти результаты даны в нижнем правом углу табл. 16.3. Вычислив коэффициенты регрессии, выпишем в явном виде выражения для оценки косоугольных факторов 7\ (стройность) иГ2 (полнота), табл. 16.3: Тг ,= 0,275 ги + 0,388 ггх + 0,206 zsi + 0,158 ги + ,042 z6,—0,008z6i — 0,003z7i—0,00328f; 3 + 0,609 zbi + 0,199 zei+ 0,078 zn + 0.162 zBi. Для получения значений факторов у конкретных объектов необходимо подставить в уравнения A6.36) величины параметров у соответствующих объектов. Индекс i в этих уравнениях указывает номер объекта, для которого определяются значения факторов. Обычно для простоты индекс i опускают. Проиллюстрируем процедуру поиска значений факторов на примере двух объектов, для которых значения всех восьми параметров даны в табл. 16.4. По формуле B.5) значения наблюденных параметров Xjt переводятся в стандартную форму Zjt. Необходимые для этого средние значения и стандартные отклонения также приведены в табл. 16.4. Подставив значения zn в уравнения A6.36), получаем значения факторов у первого объекта: Гц = — 0,26; Т21 = 1,78; значения факторов у второго объекта: ~Т1я = 1,21; Т22 = 0,53. Уже по значениям восьми параметров табл. 16.4 видно, что первая девушка принадлежит к типу худых и стройных, а вторая — скорее к типу полных. Еще проще это можно определить из значений факторов, 376
I I! I Ю^СМ^СОСО oooooooot>-comco 00 —' Tf< CD CM t^ С CO Tf CO COCDlOl -•NNNOCCO ONCO(NCOOOO CO CM CM CO 1>-Ю О 4 оооооо-н" 05 05(NO ОСМ —<(N CD О aocococot^o* * 434 00 O5 CD CO ^* CO t4*1 o"o"o о о о о о ооо .ШООСО COCN'—'О00'—« °( ОО'-ч—«СО-^ОСОСМ юсог^ооо^^сою 00СМООС0ООО С4^ С4! C7S ^^ '~н 00 00 СО OOt^lOCNCMCOOOCM 00 *—^ С5 ^^^ 1О ^^ С —« <М СО 00 СО <N CO о "Ф "^f со со ю со СО О О ^СОО СО 00 СО СО 0s) Ю »~^ О) СМ -ч CN Ю rj< d^ C^ ^^ cQ CO оооооо S о о о" о" о о см о |>, СО Я  со см О СО о о о о о S со оо о" о ^5 8 S о о '~ц 00 О^ S о 2 о о COCD OCD О NN00C0O ^COCO^O о о о о о 1С СМ О О оо оо оо о * # * * 5 CDC ) ООС 00 СО Tf ©о — coo* * # * * * о о" о" t 2 g 2 о о" CM Tf1 О СО о" о о о" СО о" оо со СО "^ о о о 8, t СО Г ^ <N (N ооо о, о, ^ 0О. ОО. CQ. 377
для обеих девушек. Хотя оценки факторов не приведены к стандартному виду, они сравнимы, поскольку их стандартные отклонения @,980 и 0,961) достаточно близки. Из значений факторов для первой девушки легко видеть, что по фактору «Стройность» она почти на две величины стандартного отклонения превышает среднее значение; по фактору «Полнота» она почти соответствует среднему значению. Показатели второй девушки более близки к средним: она менее стройна, чем первая девушка, а по фактору «Полнота» также близка к среднему значению. Таблица 16.4 Средние значения и стандартные отклонения восьми морфологических параметров1 и значения параметров для двух девушек Параметр / 1. Рост 2. Размах рук 3. Длина предплечья 4. Длина ноги 5. Вес 6. Окружность бедра 7. Окружность груди 8. Ширина груди Сред значение 162 163 43,3 49,8 54,1 31,1 79,2 25,2 см » » » кг см » » Станлапт- ное отклонение s. 5,3 см 6,3 » 1,7 » 2,2 » 6,9 кг 1,7 см 4,8 » 1,7 » 1-я 162,5 161 43 48,5 67,8 33,4 87,1 27,6 девушка СМ » » » кг см » 0,01 —0,42 —0,31 -0,62 1,98 1,33 1,65 1,42 2-я 169 170 45 52 57 31 82 26 ,7 ,5 ,0 ,6 ,5 ,8 девушка СМ » » » кг см » 1,14 1,06 1,33 1,27 0,41 0,26 0,69 0,94 1 Вычислено на материале обследования 305 15-летних девушек. В рассмотренном примере в уравнения A6.36) подставлялись значения параметров, приведенных к стандартному виду. При многих параметрах и большом числе объектов приведение к стандартному виду становится достаточно трудоемкой операцией. Ее можно существенно упростить, если, воспользовавшись формулой B.5), выразить оценочные уравнения через выборочные значения параметров. В общем виде уравнение A6.13) можно переписать: где1 +— Хп- A6.37) A6.38) Заметим, что оценка фактора дается не в стандартном виде. Его среднее значение равно единице, а стандартное отклонение, как следует из A6.24), равно коэффициенту множественной корреляции. 1 Не следует путать обозначение для среднего значения с обозначениями оценок, полученных регрессионными методами. 378
Значения факторов, полученные из уравнения A6.13) или A6.37), могут оказаться как положительными, так и отрицательными. Если нужно, чтобы фактор был только положительным, то необходимо выполнить некоторое преобразование. Для этого фактор приводят к стандартному виду и вводят поправку, соответствующую требуемым характеристикам фактора. Например, если фактор Y должен иметь среднее значение 50 и стандартное отклонение 10, то искомое преобразование будет иметь вид A6.39) где, согласно A6.24), вместо стандартного отклонения фактора представлен коэффициент множественной корреляции. Такие преобразования оказываются особенно полезными в психологических исследованиях, имеющих дело с оценкой факторов [245, 508]. Теперь вернемся к оценке одного из факторов в задаче с восемью морфологическими параметрами и подробно рассмотрим вклады каждого из параметров в этот фактор. В табл. 16.5 представлены раздельные и смешанные вклады всех параметров в фактор 7\ (стройность). Каждый из внутренних элементов таблицы соответствует смешанному вкладу 2р1у- pift rjk параметров Xj и Хк. Суммарный смешанный вклад любого из параметров равен полусумме соответствующих ему элементов таблицы (эти вклады даны в последней строке таблицы). Раздельные вклады р^.вынесены в предпоследнюю строку табл. 16.5. Таблица 16. Параметр 1 2 3 4 5 6 7 8 дельный вклад шанный вклад 1 0,182 0,090 0,075 0,011 —0,002 —0,001 —0,000 0,076 0,177 5 Вклады параметров 2 — 0,140 0,102 0,013 —0,002 —0,001 —0,001 0,153 0,216 3 — 0,051 0,007 —0,001 —0,000 —0,000 0,041 0,143 4 — 0,006 —0,001 —0,001 —0,000 0,025 0,116 в фактор 7\ 5 — -0,001 —0,000 —0,000 0,002 0,018 6 0,000 —0,000 0,000 —0,003 7 0,000 0,000 —0,002 8 — 0,000 —0,001 Суммарный вклад 0,253 0,369 0,184 0,141 0,020 —0,003 —0,002 —0,001 =0,961 379
Суммарные вклады каждого параметра приведены в последнем столбце таблицы. Понятно, что сумма раздельного и смешанного вкладов каждого параметра должна равняться его суммарному вкладу. И наконец» сумма элементов последнего столбца таблицы (или двух ее последних строк) равна квадрату коэффициента множественной корреляции. Хорошо известно, что при добавлении в уравнение регрессии новых параметров значение коэффициента множественной корреляции может только возрастать. Поэтому читателя могут удивить отрицательные числа в последнем столбце табл. 16.5. Несомненно, эти числа не совсем верны, что вызвано погрешностью вычислений. Поскольку в процессе вычислений каждый раз оставлялось определенное число десятичных знаков, после обращения матрицы третий десятичный знак следовало, по-видимому, отбросить. Значения вкладов параметров в дисперсию фактора оказываются полезными при определении относительной важности параметров в оценке фактора. Например, при создании нового психологического теста обычно методами факторного анализа изучают различные варианты теста и при этом возникает вопрос об их важности. Простой мерой этой «важности» является значение коэффициента корреляции варианта теста с фактором. Однако намного больше об этом говорит значение суммарного вклада варианта теста в дисперсию исследуемого фактора. Дело в том, что в коэффициенте корреляции теста с фактором недостаточно отражено влияние смешанного вклада теста, обусловленного корреляциями между тестами. Теперь вернемся к задаче с восемью морфологическими параметрами и сравним по важности параметр 1 (рост) с параметром 5 (вес), имея в виду их отношение к фактору Тг (стройность). Коэффициенты корреляции этих параметров с фактором равны соответственно 0,92 и 0,46; их полные вклады в оценку фактора равны соответственно 0,25 и 0,02. В обеих парах чисел первое число больше; тем не менее, оценивая относительную важность каждого из параметров, следует отдать предпочтение второй паре, соотношение чисел в которой сильно отличается от соотношения чисел в первой паре. Выше отмечалось, что метод полной оценки эффективен только при реализации его на ЭВМ (если не считать совсем маленьких задач). В качестве иллюстрации на IBM 7094 были вычислены оценки двух косоугольных факторов для пяти социально-экономических параметров. Рассматривались факторы, полученные прямым облимин-методом (табл. 15.12). В табл. 16.6 приведены коэффициенты оценочных уравнений для двух вариантов: когда параметры заданы в стандартном виде и в исходном виде. Полученные значения двух факторов косоугольной системы для двенадцати объектов представлены в табл. 16.7. Следует помнить, что в отличие от значений факторов табл. 16.2, соответствующих точным значениям повернутых главных компонент, оценки табл. 16.7 получены исходя из критерия наименьших квадратов. 380
Таблица 16.6 Коэффициенты уравнений регрессии для оценки прямых облимин-факторов F = 0) в задаче с пятью социально-экономическими параметрами (факторное решение см. в табл. 15.12) Фактор й п т2 —0 1 —0 0 1 ,5874 ,1214 ,0002 ,0003 Коэффициенты параметров 2 .-0,0666 0,1407 —0,0373 0,0787 3 Стандартный 0,6742 —0,1369 4 вид 0,0730 0,0201 Исходный вид 0,0005 —0,0001 0,0006 0,0002 1 • 0,9136 —0,0639 0,0001 —0,0000 Константы —2,2912 —2,5289 Таблица 16.7 Оценки прямых облимин-факторов E = 0) в задаче с пятью социально-экономическими параметрами (факторное решение см. в табл. 15.12) Объект 1 2 3 4 5 6 7 8 9 10 11 12 1,38 -1,10 -1,36 1,15 1,09 —0,83 —0,40 —0,43 0,10 1,35 —0,72 —0,22 —0,14 -1,51 —0,93 —0,63 —0,62 0,40 —1,44 0,85 1,16 1,10 0,89 0,88 16.6. Приближенный метод Имеется ряд методов [194], целью которых является уменьшение порядка матрицы, которую необходимо обращать при поиске оценок факторов. Суть этих методов состоит в объединении исходных параметров в составные параметры. Простейшая из этих процедур связана со следующими операциями: сначала образуются группы параметров таким образом, чтобы в группу попали параметры, наиболее важные с точки зрения определения одного из факторов, а затем к составным параметрам применяется формула A6.19), в которой все символы относятся к редуцированной матрице. Эта процедура особенно хороша в задачах с большим числом параметров, когда они разбиваются на малое число групп. Если, например, набор параметров раз- 381
бит на т групп, то при оценке факторов вместо матрицы R обработке подвергается матрица коэффициентов корреляции между составными параметрами порядка т-т. Понятно, что при этом существенно сокращается объем вычислений. Заметим, что при такой процедуре всем параметрам подгруппы как бы придается равный вес. Если же нужно, чтобы веса некоторых из параметров различались, то описанная процедура должна быть несколько модифицирована. Если, например, для оценки первого общего фактора наиболее важны первые четыре параметра набора, то они не объединяются, а участвуют в процедуре отдельно, в то-время как остальные параметры образуют составные параметры (при оценке данного фактора). Тогда подлежащая обращению матрица включает коэффициенты корреляции между первыми четырьмя исходными и всеми составными параметрами. При оценке второго и последующих факторов оставляются соответствующие им наиболее важные параметры, а остальные параметры объединяются в группы (составные параметры). В качестве примера рассмотрим задачу о морфологических параметрах. Сгруппировав параметры согласно A3.10) и воспользовавшись значениями стандартного отклонения A3.12), напишем выражения для составных параметров: и = 1 sVl 3,7465 и == °« = 2 s 3,4117 Зная корреляции между исходными параметрами (табл. 5.3), вычислим по формуле A1.10) значение коэффициента корреляции между составными параметрами: Значение оценки первого фактора Т± можно, например, получить из уравнения регрессии При этом уравнения A6.14) приобретают вид Рп + 0,4448 р12 = 0,977; 0,4448 (Зи+|312 = 0,455, где коэффициенты корреляции составных параметров с Ti взяты из редуцированной структуры. Решив эти уравнения относительно р и подставив полученные значения в уравнение регрессии, имеем 7\ = 0,965 иг + 0,0255 и2. 382
Поскольку значения составных параметров еще не вычислены, из этого уравнения определить конкретные значения фактора нельзя. Подставим в него выражения для и^ и и2: Тг = 0,258 (гг + z2 + z3+ zj + 0,007 (гь + z6 + z7 + zs). Здесь хорошо видно, что параметры, попадающие в одну группу, действительно приобретают один вес. Значения первого фактора для двух девушек, о которых выше шла речь, равны: Тц = —0,30 и Ti2 = 1,25. Такая разница между значениями, полученными здесь и ранее, связана именно с группировкой параметров. Хотя полученные результаты и можно сравнить с результатами метода полной оценки, мы этого делать не будем, поскольку обычно в задачах, включающих так мало параметров (в данном случае восемь), приближенный метод не применяют. 16.7. Ускоренный метод Метод, рассмотренный в предыдущем параграфе, дает большую экономию в вычислениях, но, к сожалению, приводит к очень грубому приближению. Пытаясь лучше приблизить результаты полного регрессионного метода и в то же время упростить процедуру, В. Ле- дерман [337] предложил «ускоренный метод» оценки значений факторов с помощью уравнения регрессии; Харман [197] обобщил этот метод на случай косоугольных факторов. Результаты, даваемые ускоренным методом, тем более близки к результатам метода полной оценки, чем более адекватно факторное решение анализируемому материалу (т.е. чем меньше остаточные коэффициенты корреляции). Фактически ускоренный метод, которому посвящен этот параграф, представляет собой обычный метод регрессии, примененный не к выборочным, а к вычисленным коэффициентам корреляции. Если предположить, что вычисленные коэффициенты корреляции равны выборочным, то появляется возможность заменить корреляционную матрицу п-то порядка матрицей пг-го порядка (где m — число общих факторов). А так как число факторов обычно существенно меньше числа параметров, то работа по обращению матрицы намного упрощается. В матричной форме указанное предположение имеет вид R* + D2 = R. A6.40) Для простоты будем здесь обозначать матрицу вычисленных коэффициентов корреляции через R. Тогда, согласно B.47), A6.41) Этим соотношением можно воспользоваться для упрощения формулы A6.20) оценки значений m общих факторов (для большей общности 383
будем считать, что система факторов может быть и косоугольной). Умножим1 слева обе стороны A6.41) на A'D~2: A' D-2 R = A' D-2 (АФА' + D2) = (A' D~2 АФ +1) А' A6.42) и, введя обозначение для т*т — матрицы, К = А'О-2АФ, A6.43) перепишем A6.42) в виде (I+K)A'=A'D-2R. A6.44) Теперь умножим слева обе стороны этого выражения на (I + К) и •справа на R~3: A' R-1 = (I + К)-1 A' D-2. A6.45) Подставив A'R-* в A6.20), окончательно имеем A6.46) где вместо полных матриц для N объектов фигурируют только вектор- столбцы факторов и параметров. Хотя эта формула кажется более сложной, нежели A6.20), работать с ней намного проще. Кроме обращения матрицы квадратов коэффициентов при характерных факторах единственная матрица, которую здесь необходимо обратить, имеет лор я док т. При оценке общих факторов ускоренным методом формулу A6.46) удобно записывать в иной форме. Умножим слева обе стороны этого уравнения на [Ф (I + К) х Н: A6.47) Видно, что выполнение действий A6.47) даст с каждой стороны матрицу порядка /я «1. Это матричное уравнение представляет собой систему т алгебраических уравнений, полученных при приравнивании друг другу соответствующих элементов. В правой части A6.47) стоят достаточно простые матрицы, в левой части — более сложные. Левую часть можно упростить, подставив A6.43): A + К)Ф-|=A+А'О-2АФ)ф-» = (ф-1+А/О-2А). A6.48) Окончательно система т уравнений для оценки общих факторов имеет вид f = L-*A'D-2z, A6.49) где и J=A'D-2A. A6.50) 1 В этом и следующем параграфах предполагается, что все значения характерностей не равны нулю. Случай, когда характерности могут равняться нулю, рассмотрен в великолепной работе Л. Гуттмана [172]. 384
В случае некоррелированных факторов Ф есть единичная матрица и A6.49) упрощается: f = (I+J)-JA'D-2z. A6.51) При решении практических задач с помощью формулы A6.51) рекомендуется придерживаться следующего порядка действий. Сначала каждый элемент /-й строки матрицы А делится на d?; в итоге получается матрица DA, которая, согласно A6.50), входит в выражение для J и транспозиция которой входит в правую часть A6.51). Далее А умножается на D~2A способом столбец на столбец1, давая в результате т-т—матрицу J. И наконец, к каждому диагональному элементу J прибавляется единица. После этого оценки общих факторов можно получить с помощью метода квадратного корня, описанного в 3.4. Точно так же с помощью формулы A6.49) можно определять оценки коррелированных факторов. После определения матрицы J ее нужно прибавить к Ф" (а не к единичной матрице). Процедура вычисления обратной матрицы описана в 3.5. В табл. 16.8 в компактном виде записана процедура оценки факторов ускоренным методом; в этой процедуре применяется операция квадратного корня (имеется в виду решение с помощью арифмометра). Ниже процедура иллюстрируется численным примером. Чтобы продемонстрировать самый общий случай, коэффициенты регрессии определяются для системы косоугольных факторов. Первичное факторное отображение для этого примера было вычислено исходя из центроид- ного решения, и поэтому оно несколько отличается от аналогичного решения табл. 13.1, в котором в качестве исходного бралось решение в минимальных остатках. В табл. 16.8 для обозначения факторного отображения косоугольной системы вместо А взят символ Р. Это сделано для того, чтобы подчеркнуть, что в данном случае оценивается система первичных косоугольных факторов, а не вторичных факторов. При построении процедуры табл. 16.8 принималось во внимание, что главной частью косоугольного решения с простой структурой является матрица V вторичной структуры, а ищутся значения первичных факторов. При таком варианте многофакторного анализа вычисления ведутся обычно в следующем порядке: 1. А —исходное ортогональное решение. 2. А — матрица преобразования к вторичной структуре. 3. V — вторичная структура повернутого решения с простой структурой. 4. Ф — матрица коэффициентов корреляции между первичными факторами. 5. D —диагональная матрица, необходимая для нормализации строк А" (не смешивать с матрицей коэффициентов при характерных факторах). 1 Как указывалось в 3.2, п. 18, это соответствует умножению А' на D~2A обычным способом строка на столбец. 13 Зак. 656 385
6. P^VD—первичное факторное отображение повернутого решения с простой структурой (может быть получено также с помощью преобразования исходного ортогонального решения, т. е. Р = А (Г), где Г = D А. 7. Б = РФ—первичная факторная структура повернутого решения с простой структурой. После того как методами гл. 13 или 15 вычислена матрица V косоугольной факторной структуры, она переводится в первичное факторное отображение Р, чтобы получить исходную информацию для табл. 16.8. Затем элементы отображения делятся на значения квадратного корня из соответствующих характерностей; в результате в правой части таблицы получаем матрицу P'D-1. Матрица, обратная матрице Ф коэффициентов корреляции между факторами, вычисляется в левой части таблицы. Далее в левой части таблицы определяется матрица L, а в правой, напротив нее, — матрица С Операция квадратного корня над матрицей L дает в правой части таблицы матрицу EL"C. Из A6.49) можно получить выражение матрицы коэффициентов |5: B/ = L-lC'l A6.52) где фигурирующая в табл. 16.8 матрица С соответствует матрице A'D~2, входящей в A6.49). Чтобы получить правую часть A6.52), достаточно умножить слева EL-1 С на Е-1. Это можно сделать, не обращая фактически треугольной матрицы Е и воспользовавшись формулой типа C.27). В две последние строки табл. 16.8Б вынесены значения коэффициентов р оценочных уравнений для Т4 и Т2 в случае, когда параметры заданы в стандартном виде. Сравнивая эти уравнения с уравнениями A6.36) полной регрессии, можно видеть, что они фактически совпадают; небольшие различия следует отнести за счет неравенства коэффициентов корреляции, вычисленных по факторному отображению, и выборочных коэффициентов корреляции. Значения коэффициента множественной корреляции, Ri = 0,981 и R2 = 0,960, показывают, что рассматриваемый метод заслуживает не меньшего доверия, чем уравнения A6.36), для которых Ri = 0,980 и R2 = 0,96L В частности, вычисление с помощью ускоренного метода значений факторов для двух девушек, о которых шла речь в задаче о восьми морфологических параметрах (табл. 16.4), дает Гц = -0,27, Г?1 = 1,80, Ги = 1,23, Г22 = 0,52, что практически совпадает со значениями, полученными ранее. Нельзя забывать, что для излагаемого в этом параграфе метода существенно, что остаточные коэффициенты корреляции" равны нулю. Если же условие A6.40) удовлетворяется лишь приближенно, то значения коэффициентов Р и множественной корреляции столь же близки к их действительным значениям, сколь близки к нулю остаточные коэффициенты корреляции. П. Дуайер [108] нашел, что значе- 386
Таблица 16.8 Ускоренный метод оценки факторов А. Алгоритм Параметр 7\ Тт тт Вспомогательные матрицы Tl'-7™ Ф Тг...Тт I Вычисление матрицы Ф С ПОМОЩЬЮ метода квадратного корня J получается умножением Р' D на себя (способом строка на строку) Оператор EL Тг * Тт ф-1 -\-J (Пусть L = E'E) Е Параметры в основных матрицах 12 п Р' (транспонирование факторного отображения для факторов, по которым строятся уравнения регрессии) Значения характерностей из диагональной матрицы D2 (если Р — косоугольное решение, то из исходного ортогонального решения) Диагональные элементы D (значения квадратного корня из предыдущих чисел) Р' D~x (элементы Р', деленные на число в соответствующем столбце предыдущей строки) С' = Р; D (элементы Р', деленные на характерность соответствующего параметра) EL С Оператор EL" применяется к матрице С B'L С (попятное решение; вычисления ведут по формулам вида C.27), начиная с последней строки, двигаясь постепенно вверх) 13* 387
Таблица 16.8 (продолжение) Б. Пример (восемь морфологических параметров; (косоугольное первичное факторное решение) Параметр Тг т2 Тг т2 Тг т2 Тг 1,000 * 1,000 Вспомогательные матрицы 0 1 0 0 Тг ,484 ,000 ,484 ,875 1,000 0 1,000 -0,553 1,306 * 23,542 * 4,852 г2 0 1,000 0 1,143 —0,632 1,306 -0,731 12,218 -0,151 3,492 0 0 0 0 2 0 5 0 1 0 0 0 1 ,894 ,051 ,154 ,392 ,281 ,130 ,805 ,331 ,196 ,147 ,248 ,042 2 0,956 —0,027 0,111 0,333 2,871 —0,081 8,613 —0,243 1,775 0,007 0,366 0,002 i 3 0, —о, 0 о, 2 -0 5 -0 1 —0 0 -0 Параметры в основных 932 052 175 418 230 124 326 297 ,098 ,041 ,226 ,012 4 0,879 0,029 0,202 0,449 1,958 0,065 4,351 0,144 0,897 0,080 0,186 0,023 5 0, 0, 0, 0, 0, 2, 0, 7, 0 2 0 0 матрицах 005 930 132 363 014 562 038 045 008 018 020 578 —0 0 0 0 —0 1 —0 2 —0 0 0 0 5 ,025 ,825 ,339 ,582 ,043 ,418 ,074 ,434 ,015 ,696 ,003 ,199 7 —0,060 0,769 0,450 0,671 —0,089 1,146 —0,133 1,709 —0,027 0,488 —0,001 0,140 0 0 0 0 0 0 0 1 0 0 0 0 8 ,080 ,685 ,471 ,686 ,117 ,999 ,170] ,454 ,035 ,418 ,011 ,120
Таблица 16.9 Ускоренный метод оценки факторов (с вычислением R) А. Алгоритм Параметр Ту Тт Т} Тт Вспомогательные матриць Т*---Тт Ф Тг...Тт I Вычисление матрицы Ф с помощью метода квадратного корня J получается умножением Р' D на себя (способом строка на строку) Оператор EL'1 1 п Тг Тт Тг Тт ф-1 ь=ф-1+ +J (пусть L = E' E) Е Параметры в основных матрицах 12 '. . л Р' (транспонирование факторного отображения для факторов, по которым строятся уравнения регрессии) Значения характерностей из диагональной матрицы D2 (если Р — косоугольное решение, то из исходного ортогонального решения) Диагональные элементы D (значения квадратного корня из предыдущих чисел) Р' D (элементы Р', деленные на число в соответствующем столбце предыдущей строки) С' = Р' D~2 (элементы Р\ деленные на характерность соответствующего параметра) EL С (оператор EL"*1 применяется к матрице С) Диагональные элементы D~2 (обратные значения характерностей) R-i=D-2__CL-i С/. умножением EL"* С на себя (столбец на столбец) получаем CL С и вычитаем из D~2 Практически возможно обращение матрицы (R*+D2) как приближение R 5'=ФР' (умножение Ф на Р', столбец на столбец) B' = S/ R (умножение S' на R, строка на строку) 389
jg Таблица 16.9 (продолжение) ° Б. Пример (восемь морфологических параметров; косоугольное первичное факторное решение) Параметр т2 Тг г2 1 2 3 4 5 6 7 8 тг Тг Вспомогательные матрицы 1,000 1,000 0,484 1,000 0,484 0,875 U 1,000 0 1,000 —0,553 1,306 * 26,542 * 4,852 т2 0 1,000 0 1,143 —0,632 1,306 —0,731 12,218 —0,151 3,492 Параметры в основных матрицах • 1 0,894 0,051 0,154 0,392 2,281 0,130 5,805 0,331 1,196 0,147 6,494 5,042 * * * * * * 0,919 0,484 0,251 0,045 2 0,956 —0,027 0,111 0,333 2,871 —0,081 8,613 —0,243 1,775 0,007 9,009 —2,124 5,858 * * * * 0,943 0,435 0,365 —0,003 3 0,932 —0,052 0,175 0,418 2,230 —0,124 5,326 —0,297 1,098 —0,041 5,714 — 1,307 —1,949 4,507 * * * * 0,907 0,399 0,229 —0,001 4 0,879 0,029 0,202 0,449 1,958 0,065 4,351 0,144 0,897 0,080 4,950 —1,085 —1,593 —0,982 4,139 * * * 0,893 0,454 0,182 0,019 5 0,005 0,930 0,132 0,363 0,014 2,562 0,038 7,045 0,008 2,018 7,576 —0,306 —0,028 0,074 —0,169 3,504 * * * 0,455 0,932 0,023 0,577 б —0,025 0,825 0,339 0,582 —0,043 1,418 —0,074 2,434 —0,015 0,696 2,950 —0,084 0,022 ,0,045 —0,042 —1,404 2,465 * * 0,374 0,813 0,004 0,202 7 —0,060 0,769 0,450 0,671 —0,089 1,146 —0,133 1,709 —0,027 0,488 2,222 —0,039 0,045 0,050 —0,015 —0,985 —0,340 „1,983 0,312 0,740 0,002 0,140 8 0,080 0,685 0,471 0,686 0,117 0,999 0,170 1,454 0,035 0,418 2,123 —0,103 —0,065 —0,021 —0,065 —0,844 -0,290 —0,203 1,947 0,412 0,724 0,013 0,121
ние коэффициента множественной корреляции, полученное на основании факторного решения, вообще говоря, по абсолютной величине отличается от истинного значения R, вычисленного по выборочным коэффициентам корреляции, и величина этого различия приблизительно равна среднему от абсолютных значений остаточных коэффициентов корреляции. Смысл применения в описанной процедуре результатов факторного анализа сводится к тому, что таким образом можно избежать вычисления матрицы R", необходимой при работе с формулой A6.19) полной регрессии. С помощью факторного анализа возможно также получить приближение матрицы R, а затем уже вычислять коэффициенты регрессии обычным способом. Соответствующий алгоритм представлен в табл. 16.9А, а иллюстрирующий его пример (задача о восьми морфологических параметрах) — в табл. 16.9Б. Обработка матрицы L ведется так же, как и в табл. 16.8. Остальные операции табл. 16.9 связаны с построением приближения R и вычислением коэффициентов р по формуле A6.19). Поскольку в эту формулу входят коэффициенты корреляции параметров с первичными факторами, попутно в табл. 16.9 вычисляется факторная структура. Кэрролл рассмотрел [63] другую процедуру поиска значений «факторных коэффициентов», в которой матрицы Р и S явно не вычисляются. Была написана машинная программа (для IBM 704, а позднее и для других ЭВМ), реализующая эту процедуру и использующая ускоренный метод. Эта программа не дает значений |3: для их получения необходимо результаты программы умножить на матрицу D. Следует отметить, что при наличии ЭВМ ускоренный метод весьма эффективен и его можно всячески рекомендовать. Хотя схема табл. 16.9 предназначена для определения значений факторов ускоренным методом, она может иметь и более широкое применение. Имеется в виду упрощенный метод обращения матрицы (операция, достаточно частая в статистике). Например, в многомерном корреляционном анализе при обработке п параметров приходится обращать матрицу /г-го порядка. Если факторное решение (произвольное факторное решение) включает только т общих факторов (причем т значительно меньше п), то метод табл. 16.9 позволяет существенно упростить вычисления. Обычно имеют дело с ортогональным факторным решением; в этом случае схема упрощается, так как матрица Ф заменяется единичной матрицей и, следовательно, остается только одна (вторая) операция квадратного корня. Желающих шире ознакомиться с применением факторного анализа в связи с многомерной и частной регрессией отсылаем к работам Дуайера [108] и^Кригера [90]. 16.8. Оценка факторов методом минимизации характерных факторов В противовес обычным регрессионным методам Бартлетт [25] предложил свою процедуру оценки значений факторов. Если в методах, описанных ранее, минимизировались квадраты разностей между истинными значениями факторов и их оценками, просуммированные по 391
всем N объектам, то в методе Бартлетта минимизируются квадраты характерных факторов, также просуммированные по всем объектам. Этот метод естественно связан с идеей Бартлетта о том, что единственная цель введения характерных факторов состоит в том, чтобы объяснить различия между анализируемым эмпирическим материалом и его приближением, определяемым генеральным или групповыми факторами. Чтобы показать, как строится процедура Бартлетта, рассмотрим случай двух общих факторов; пусть им соответствует факторное отображение вида , (/ = 1, 2, ..., п). A6.53) Выразим явно характерный фактор для произвольного параметра и введем обозначение для суммы квадратов таких факторов: U, = (zj—an Ft—ctjz FJIdj] A6.54) и введем обозначение для суммы квадратов таких факторов: 2 ; .2 toд xn ldf. A6.55) Тогда, чтобы найти минимум суммы квадратов характерных факторов, взятой по всем N объектам, нужно приравнять нулю частные производные от функции U соответственно по Fi и F2: где суммирование ведется по / от 1 до п. Перепишем эти уравнения так: '7J l T ld' где черта над факторами говорит о том, что имеются в виду не истинные факторы, а их оценки. Для нахождения из этой системы уравнений неизвестных Fi и F2 можно воспользоваться методами гл. 3. Изложенная процедура допускает обобщение на случай т факторов. При этом система A6.56) имеет в матричной форме вид jf=A'D-2z, A6.57) где матрица J определяется из A6.50). Хотя формула A6.57) и не является специальным случаем формулы A6.49), можно видеть, что 392
если в A6.49) из матрицы L вычесть Ф \ то получим формулу A6.57). При работе с этой последней формулой ведутся те же вычисления, что и при использовании ускоренного метода; единственная разница состоит в том, что здесь к матрице J ничего не прибавляется. Поэтому общая вычислительная схема табл. 16.8 применима и в случае, когда матрицы Ф нет и вместо L берется J. В табл. 16.10 представлена схема алгоритма оценки факторов, использующего формулу A6.57); здесь же дан численный пример, иллюстрирующий применение алгоритма. Как видно, все операции вплоть до вычисления матрицы С полностью совпадают с аналогичными операциями ускоренного метода. Далее возникают различия: вспо могательная матрица, вычисляемая слева от С* (см. таблицу), Н; есть уже матрица L, как в предыдущих таблицах, а есть просто мат< рица J. С помощью операции квадратного корня над матрицей J получаем матрицу SJJ'. Если это выражение умножить слева на S, то получим матрицу коэффициентов при параметрах в оценочных уравнениях для факторов, соответствующую A6.57), т. е. Г'=.МС', A6.58) где, чтобы отличить полученные коэффициенты от обычных коэффициентов регрессии, матрица этих коэффициентов обозначена через Г, матрица С, определенная согласно табл. 16.10, соответствует матрице A'D~2 в A6.57). Как и прежде, операцию обращения матрицы можно заменить попятным решением, выполненным с помощью метода квадратного корня (см. шаг 9 в 3.4). В двух последних строках табл. 16.10 приведены значения коэффициентов у оценочных уравнений A6.57) при параметрах, приведенных к стандартному виду. В частности, для двух девушек, о которых выше шла речь, получаются следующие значения факторов: Гц = -0,35, Г12 = 1,28, 7^ = 2,03, Г22 = 0,56. Судить о надежности полученных оценок можно, анализируя их стандартное отклонение или коэффициент множественной корреляции. Следует, однако, отметить, что в данном случае формула A6.25) не даст искомого коэффициента множественной корреляции; полученный в результате ее применения «коэффициент множественной корреляции» оказывается в точности равным единице. Причиной этого является тот факт, что оценка общих факторов производится при условии минимума характерных факторов, а значение характерности представляет собой стандартное отклонение оценки в факторном отображении. М. Бартлетт [25] предложил в качестве меры «информации» (величины, находящейся в обратной зависимости от дисперсии ошибки) воспользоваться выражением \Jpp\ 393
Таблица 16.10 Минимизация характерных факторов А. Алгоритм Параметр Тт • Т} тт Тт Вспомогательные матрицы г« Тт J (умножение матрицы Р' D на себя способом строка на строку) (Пусть J = S' S) S (операция квадратного корня над матрицей J) Основные матрицы 12 п Р' (транспонирование факторного отображения для факторов, по которым строятся уравнения регрессии) Значения характерностей из диагональной матрицы D2 (если Р—косоугольное решение, то из исходного ортогонального решения) Диагональные элементы D (значения квадратного корня из предыдущих чисел) Р' D (элементы Р', деленные на число в соответствующем столбце предыдущей строки) С' = Р' D~2 (элементы Р', деленные на характерность соответствующего параметра) SJ С (оператор SJ применяется к вычисленной выше матрице С) r'=J~1 С (попятное решение; вычисления ведут по формулам вида C.27), начиная с последней строки, двигаясь постепенно вверх) 394
Таблица 16.10 (продолжение) Ъ. Пример (восемь морфблогических параметров; косоугольное первичное факторное решение) Параметр Вспомогательные матрицы Основные матрицы 0,894 0,051 0,956 -0,027 0,932 -0,052 0,879 0,029 0, 0,930 005—0,025 0,825 -0,060 0,769 0,080 0,685 0,154| 0,111 | 0,175 | 0,202| 0,ш| 0,ЗЗэ| 0,450 0,392) 0,333 | 0,418 [ 0,449) 0,363J 0,582J 0,671 0,47/ 0,686 2,281 0,130 2,871 —0,081 2,230 -0,124 1,958 0,065 0,014—0,043—0,0891 0,111 2,562 1,418 1,146 0,99$ 22,236—0,099 * 10,912 5,805 0,331 8,613 -0,243 5,326 -0,297 4,351 0,144 0,038 7,045 —0,074 2,434 -0,133 1,709 0,176 1,454 4,716—0,020 3,302 1,231 0,108 1,826 —0,063 1,129 -0,083 0,923 0,049 0,008 2,134 -0,016—0,028 0,737 0,517 0,036 0,441 0,261 0,033—0 0,387 ,019 0,239 -0,025 0,196 0,015 0,004 0,646 —0,002 0,223 —0,005 0,157 0,008 0,134 где |Jpp| есть минор элемента, стоящего на пересечении строки и столбца р матрицы J. В случае когда оценки факторов строятся с помощью изложенного здесь метода, в качестве меры «множественной корреляции» можно воспользоваться выражением л — A6.60) соответствующим выражению для коэффициента множественной корреляции фактора р в обычных регрессионных методах (для ортогонального случая эту формулу дал Дуайер [108]): A6.61) где L определяется из A6.50), a |Lpp| есть минор элемента матрицы L, стоящего на пересечении строки и столбца с номером р. Для оценок факторов табл. 16.10Б значения коэффициентов множественной корреляции, вычисленные подформуле A6.60), равны: J°^l = o,977; 1 242,629 R _ js^ = 0953e 242,629 395
Они практически совпадают со значениями, полученными методов полной оценки и ускоренным методом. Анализ рассмотренного примера позволяет сделать вывод, что разные методы оценки факторов здесь одинаково хороши. Разумеется, в других задачах метод этого параграфа может дать совершенно другие результаты, чем метод регрессии (сравните результаты упр. 2 или 6 с 13). При выборе того или иного метода оценки следует в первую очередь исходить из того принципа оценки, который лежит в его основе. Метод оценки факторов по формуле A6.57) представляет альтернативу регрессионным методам оценки, развитым в предыдущих параграфах. Бартлетт указывал, что предложенный им метод оценки дает не совсем те же результаты, что и другие методы. Впрочем, при оценке.единственного генерального фактора различия между результатами методов практически отсутствуют. Не так обстоит дело, если рассматривается несколько общих факторов; здесь различия между уравнениями A6.49) и A6.57) получаются более существенньши. Бартлетт писал|[25]: «Одна из точек зрения состоит в том, что рассматриваются все возможные разные значения факторов, которые могли бы быть причиной значений набора параметров, измеренных у данного испытуемого. Я же рассматриваю полученные измерения параметров как выборку из всех возможных измерений, которые могли бы оказаться у испытуемого, обладай он разными значениями специфических характерных) факторов». 16.9. Измерение факторов с помощью «идеальных параметров» Рассмотрим еще одну процедуру для оценки факторов. Можно выразить факторы через проекции параметров zf на пространство общих факторов. Перепишем для этого A6.1) в виде [z* = Af Д .A6.62) где z* — вектор-столбец [г{ , г2", ..., zn"} проекций параметров на пространство общих факторов. Теперь, подобно тому как это было сделано для главных компонент в 16.3, выразим факторы как линейные комбинации гипотетических параметров z/. Умножим слева A6.62) на А' и введем для диагональной матрицы, включающей т собственных значений, обозначение, аналогичное (8.22Х Лт = А'А. A6.63) Тогда f^A^A'z*. A6.64) Полученное выражение весьма схоже с соответствующим выражением A6.3) для случая главных компонент; разница только в том, что здесь вместо выборочных параметров фигурируют «идеальные» параметры. Для иллюстрации метода «идеальных» параметров применим формулу к задаче о восьми морфологических параметрах. Матрица коэф- 396
фициентов при общих факторах Ti и Т2 есть матрица Р (табл. 16.8). Матрица А7П и обратная ей матрица равны: Л = [ 3'365 ~0'011 I • А" - Г °>297 0>°01 1 3 ~ L —0,011 2,613 J * 2 "[ 0,001 0,383 J " Обратить матрицу можно либо методом, описанным в 3.5, либо ввиду простоты обращения матрицы второго порядка непосредственно исходя из определения обратной матрицы, данного в 3.2, п. 22. Наконец, умножив полученную матрицу на А', имеем уравнения для факторов: Тг = 0,266 гх* + 0,284 г2" + 0,277 г3" + 0,261 г4" + + 0,002 г5" — 0,007 V—0,017z7" +0,024 z8";"] Тг = 0,020 z/ —0,009 za" — 0,01923" + 0,012 z4" + + 0,356 z5" +0,316 z6"+ 0,294 z7" + 0,262 z8.V^ Эти уравнения описывают два фактора (но не их оценки) косоугольной системы в терминах той «части» каждого из исходных параметров, которая соответствует общим факторам. Поскольку значения параметров не известны, из уравнений нельзя непосредственно получить значения факторов для отдельных объектов. Можно, однако, заменить zf на Zj и найти приближенное решение; будем такие факторы обозначать буквами с двумя штрихами. При таком расчете для двух девушек (см. выше) получаются такие значения факторов: Т"п = —0,036, 7^1 = 1,98, 7^2 = 1,31, 7*25 = 0,68. Как и следовало ожидать, эти значения отличны от значений факторов, полученных методом полной оценки и ускоренным методом. Причиной того, что эти отличия не столь велики, являются относительно малые значения характерностей, что, в свою очередь, приводит к близости идеальных и выборочных параметров. Кроме того (быть может, к сожалению) набор из восьми морфологических параметров настолько прост и хорошо организован, что разные методы дают на нем очень близкие результаты. * * * По-видимому, имеет смысл сделать несколько замечаний относительно модели факторного анализа. Из основного предположения, что выборочные параметры являются линейными функциями факторов, следует, что некоторые виды параметров (например, цвет глаз, национальность) в рамках факторного анализа изучаться не могут. Естественным следствием основного предположения является то, что одни параметры оказываются линейными функциями других. Вообще говоря, применив методы факторного анализа к эмпирическому материалу, отражающему качественные или нелинейные соотношения, 397
мы получим новые уравнения, описывающие этот материал. ^ первое, что нужно всегда сделать, приступая к факторному анализу, это убедиться в линейности связей между п параметрами. Очень часто из-за большой трудоемкости это не делается. Но во всяком случае, если гипотеза о линейности и не проверяется формально, по крайней мере, необходимо проверить это приблизительно, визуально. Если для одной из пар параметров будет офнаружено, что они связаны нелинейно, то это означает, что по крайней мере один из параметров является нелинейной функцией факторов. , Впрочем, иногда, если связь между параметрами нелинейная, ро монотонная функция, то к такому набору все же применяют методы факторного анализа. При этом руководствуются простым соображением, что монотонная кривая достаточно хорошо приближается прямой линией, В этом случае коэффициенты при общих факторах помогают учесть большую часть суммарной дисперсии параметров, хотя часть дисперсии остается не учтенной из-за неадекватности описания. Следовательно, даже в случаях, когда факторная модель, строго говоря, неприменима, она оказывается полезной, так как позволяет с помощью системы факторов все же как-то объяснить выборочные коэффициенты корреляции и учесть большую часть дисперсии параметров» Среди требований факторного анализа есть чисто статистическое ограничение: каждый из наблюденных параметров должен быть распределен по нормальному закону. Характеристики распределений могут сильно различаться, но если распределение параметра заметно отклоняется от нормального, этот параметр нельзя включать в анализируемый набор. Следует помнить, что при построении %2-тестов в 9.5 и 10.4 предполагалось, что набор из п параметров распределен по многомерному нормальному закону. Иначе говоря, мощные статистические методы, развитые в гл. 9 и 10, приведут к правильным выводам только в том случае, когда выполнены все основные предположения. В последние годы факторный анализ усиленно развивался. В эту книгу включены многие из недавно полученных результатов. Нельзя, однако, сказать, что она охватывает все области факторного анализа. Опущены, в частности, многочисленные приложения факторного анализа; применения факторного анализа при построении теорий поведения (эти вопросы рассматриваются в работах И. Ахмаваара [4], С. Барта [601, Р. Кеттелла [76], С. Генриссона [226], У. Стефен- сона [449] и П. Вернона [499]), техника инвертированных факторов, разработанная в основном Кеттеллом и Стефенсоном, и, наконец, «анализ образов» Гуттмана [176]. Целью этой книги было дать идейную основу и построить теорию и вычислительные процедуры большинства методов факторного анализа. Новые методы, процедуры для объективного поиска решений с простой структурой, тесты для проверки статистических гипотез — благодаря всему этому современный факторный анализ перестал быть средством обработки психологических материалов и стал важной областью многомерной математической статистики.
j^ACTb V ЗАДАЧИ И УПРАЖНЕНИЯ ЗАДАЧИ К главе 2 1. Чем объясняется введение следующих типов факторов: а) общего, б) характерного, в) специфического, г) фактора ошибки? 2. Зачем нужно задавать параметры и факторы в стандартном виде? 3. Написать уравнения B.9) для случая п = 5 и т = 2. 4. а) Какие элементы этих уравнений нужно вычислить, чтобы получить факторное решение? б) Сколько таких элементов необходимо найти в случае упр. 3? 5. а) Чему равны вклады общих факторов в дисперсию zu если гх =0,5/^ +0,8 F2 + 0,33 U±? б) Чему равны вклады общих факторов в дисперсию z2 в упр. 3? 6. Вычислить суммарные вклады факторов в упр. 3. 7. Чему равна общность параметра г4 в упр. 5? 8. Почему общность параметра меньше его надежности? 9. В следующей таблице приведены восемь упражнений, в каждом из которых даны две величины; по ним нужно найти остальные три величины. Заполнить таблицу. Компоненты дисперсии Специфичность Дисперсия ошибки Общность Характерность Надежность а 0,10 0,20 0 0 ь ,15 ,75 0 0 с ,20 ,35 d 0, 0, 25 85 е 0, 0, 05 60 0 0 f ,10 ,45 0 0 ,50 ,75 0 0 h ,30 ,90 Упражнения 10—25 базируются на материале табл. 1 399
Таблица 1. Коэффициенты при двух взаимно некоррелированных фактору Параметр 1 2 3 4 5 6 7 8 Ft 0,7 0,8 0,7 0,8 0,6 0,5 0,6 " 0,7 F2 0,3 0 0 0,6 ~ 0,5 0 0,4 0,6 10.-Вычислить общность параметра 8. 11. Общность какого параметра имеет наибольшее значение? 12. Общность какого параметра имеет наименьшее значение? 13. Вычислить характерность параметра 1. 14. Какому параметру соответствует наименьшее значение характерности? 15. Какому параметру соответствует наибольшее значение характерности? 16. Имеется ли в этом решении генеральный фактор? 17. Имеется ли в этом решении групповой фактор? 18. Найти суммарные вклады факторов Ft и f 2. 19. Какая доля суммарной дисперсии приходится на каждый из общих факторов? 20. Какая доля суммарной общности приходится на каждый из общих факторов? 21. Пусть надежность параметра 5 равна 0,84. Записать для этого параметра полное уравнение, включающее специфический фактор и фактор ошибки. 22. Вычислить индекс полноты факторизации для параметра 5. 23. Чему равна сложность параметра 1? параметра 2? 24. Подсчитать коэффициенты корреляции г^ г\а, ?2Ъу ^26- 25. Есть ли среди вычисленных коэффициентов корреляции коэффициенты равные нулю? К главе 3 Вычислить 1 1 • 4. 5 2 4 3 2 1 1 5 детерминанты 3 4 о 4 5 3 5. в упражнениях 1—6. 3 —2 3 8 1 4 6 —2 5 2 4 —3 1 ч 6 4 —7 1 0 1 —2 2 1 3 3 1 2 3 400
В упр. 7—9 найти ранг матрицы. I-4 s L е -с 2 з —61 9 8. В = 1 0 .1 2 1 3 Г 2 3. 9. С = 0 0 _0 ,81 ,54 ,72 0 0 0 ,54 ,40 ,54 0,72 0,54 0,73 7. А 10. Являются ли матрицы В и С вырожденными или нет? 11. Какие из матриц А, В, С симметрические? 12. Умножить справа матрицу А на матрицу В. Чему равен ранг произведения? 13. Выполнить транспонирование: а) матрицы факторного отображения, упр. 3, гл. 2, б) матрицы факторного отображения, табл. L 14. Пусть есть отображение (факторы взаимно не коррелированы): z1 = 0,5F1+0f8F2+0f33I/1; za = 0>8F1+0,3Fa +0,52?/2; 28 = 0,6^+0,6^ +0,53 i/3; z4 = 0,7^+0,4^ +0,59t/4; z6 = 0,7F1+0,7F2 +0,14?/6. а) Найти с помощью уравнения B.50) матрицу R* вычисленных коэффициентов корреляции (с точностью до двух десятичных знаков)* б) Что можно сказать о диагональных элементах?, 15. Пусть есть факторная структура: гг = 0,80 Fx +0,60 F2; га = 0,73^ +0,68 Fa; г3 = 0,87 Fx + 0,49 F2; г6 = 0,64^ + 0,77^. а) Вычислить R*. б) Что можно сказать о диагональных элементах? 16. Для матриц -[i:] ¦ - показать, что: а) АВ=^=ВА, т. е. умножение матриц некоммутативно; б) | А-В| = | А| • |В|, т. е. детерминант произведения двух квадратных матриц равен произведению их детерминантов; в) |АВ| = |ВА|, т. е. детерминант произведения двух матриц не зависит от их порядка при умножении. 401
17. Вычислить произведение матриц АВ, ВА, А'В, ВА', В'А, АВГ, А'В', В'А', если даны матрицы 6 7 .7 0 8 4 0' 0 2_ и В = Проверить на этих примерах свойство некоммутативности матричного умножения. Проверить справедливость теоремы о транспозиции произведений матриц, т. е. что (АВ)' = В'А', (А'В)' = В'А и т. д. 18. Для матриц упр. 17 вычислить детерминанты |А|, |В|, |АВ|, ВА|. 19. Даны две матрицы: Г9 Г С = |2 4 61 D- 3 1 3 2 _2 7J а) Вычислить произведение матриц CD и DC. б) Равны ли детерминанты обоих произведений? 20. Показать, что произведение матрицы на свою транспонированную (независимо от их порядка) есть симметрическая матрица. 21. Детерминант обратной матрицы равен величине, обратной детерминанту исходной матрицы, т. е. Проверить справедливость этой теоремы для двух матриц: а) А = a b с d б) А- 2 1 3 0 1 2 1 0 1 1 1 3 2 0 1 0 22. С помощью метода квадратного корня (см. табл. 3.3) обратить матрицу 1,000 0,693 0,216 0,693 1,000 0,295 L 0,216 0,295 1,000 J и с помощью формулы C.14) проверить результаты. 23. Воспользовавшись методом квадратного корня табл. 3.3, обратить матрицу упр. 21; для контроля сравнить детерминант полученной матрицы с детерминантом обратной матрицы в упр. 21 (воспользуйтесь идеей упр. 20). 402
К главе 4 1. а) Построить двумерную прямоугольную декартову систему координат и указать в ней точки с координатами: A,2), @,4), C,0), ( - 2, 5), ( - 3, 0), B, - 2), ( - 3, - 1), @, - 4). б) Указать точки с этими координатами в системе координат, оси которой образуют друг с другом угол 45°. 2. Сколько имеется следующих элементов в декартовой системе координат, построенной в пятимерном эвклидовом пространстве: а) осей координат, б) гиперплоскостей координат, в) плоскостей, проходящих через пары осей, г) гиперплоскостей третьего порядка,, проходящих через три оси? 3. В прямоугольной системе координат построить точки Р: C, 4) и сР для с = 2, 3. Каким соотношением связаны эти три точки? 4. Написать координаты точки, являющейся линейной комбинацией точек Р4: A, 3) и Р2: B, 4) при *4 = 3 и t2 = — 2. Построить все три точки в системе координат. 5. Найти координаты точки, являющейся линейной комбинацией точек Р4: A, 3, 4), Р2: B, 1, 5), Р3: C, — 2,-1) при t± = 2, *а = = - з, и = 1. 6. Воспользовавшись условиями D.3), показать, что точки Pi : A, 2), Р2 : C, 4), Р3: E, 1) линейно зависимы. Выразить координаты точки Р3 как линейную комбинацию точек РА и Р2. 7. а) С помощью теоремы 4.1 определить число линейно независимых точек среди четырех точек упр. 5. б) Какова наименьшая размерность пространства, включающего эти четыре точки? в) Сколько среди трех точек упр. 6 линейно независимых и какова наименьшая размерность пространства, включающего их? 8. В прямоугольной декартовой системе координат даны две точки: Р*: C, 4) и Р2: D, 1). Найти: a) D (ОР*) б) D (ОР2), в) D (Р±РД. 9. Написать уравнения D.22) для случаев вращения относительно начала координат: а) в плоскости, б) в трехмерном пространстве. 10. а) В прямоугольной системе координат найти направляющие косинусы прямой, проходящей через начало координат и точку Р : D, 3). б) Подсчитать сумму квадратов направляющих косинусов. 11. а) В четырехмерной прямоугольной системе координат найти направляющие косинусы прямой, проходящей через начало координат и точку Р: @,4; 0,2; 0,1; — 0,2). б) Подсчитать сумму квадратов направляющих косинусов. 12. Найти угол между прямой упр. 11 и прямой, проходящей через начало координат и точку Q: @,5; 0,6; 0,4; 0,2). 13. Найти скалярное произведение двух векторов упр. 12. 14. а) В системе координат, оси которой образуют угол 60°, даны две точки: Р±: @, 4) и Р2: C, 0). Найти D (PiP2). 40&
б) Найти расстояние между двумя точками с такими координатами, заданными в прямоугольной системе координат. в) Построить эти точки в обеих системах, взяв в каждом случае в качестве первой оси одну и ту же горизонтальную линию и одно начало координат. Проверить по рисунку полученные значения расстояний. Упражнения 15—19 базируются на материале табл. II. Таблица II. Значения Испытуемый / 1 2 3 двух параметров хи 1 5 6 у трех испытуемых X2i 2 2 8 15. Продемонстрировать на этом материале точечное и векторное представление. 16. Найти длины векторов, представляющих параметры. 17. Вычислить направляющие косинусы этих векторов. 18. а) Найти угол между векторами. б) По формуле D.48) подсчитать коэффициент корреляции. 19. Подставив в B.7) значения параметров, приведенных к стандартному виду, снова вычислить коэффициент корреляции и сравнить с предыдущим значением. Упражнения 20—22 базируются на материале табл. 1. 20. Являются ли два столбца матрицы отображения линейно не-, зависимыми? 21. Чему равен ранг матрицы R* вычисленных коэффициентов корреляции (см. упр. 25, гл. 2)? 22. Какая подгруппа параметров даст корреляционную матрицу ранга единица? Упражнения 23—25 базируются на материале табл. III. Таблица III. Коэффициенты при двух взаимно не коррелированных факторах Параметр 1 2 3 4 5 6 0,86 0,48 0,70 0,50 0,64 0,56 F2 0,43 0,24 0,35 0,25 0,32 0,28 404
23. Построить в пространстве общих факторов точки, представляющие шесть параметров. 24. а) Являются ли два столбца матрицы факторного отображения линейно независимыми? б) Равны ли нулю все миноры второго порядка? в) Почему зти шесть параметров можно выразить всего через один общий фактор? 25. Найти факторное решение в терминах только одного общего фактора, вычислив факторные коэффициенты: а) из рисунка упр. 23, б) пользуясь формулой D.52). 26. Дана часть ортогонального факторного отображения: г/= 0,5 Найти: а) коэффициенты корреляции с учетом характерностей; б) вычисленные коэффициенты корреляции как скалярные произведения двух векторов в пространстве общих факторов; в) вычисленные коэффициенты корреляции как косинусы углов между двумя векторами в полном факторном пространстве. К главе 5 1. Рассматривается конкретный эмпирический материал с некоторыми соотношениями между параметрами. Как, пользуясь табл. 5.2, найти наименьшее число параметров, необходимых для определения системы: а) из четырех факторов? б) из шести факторов? 2. Почему при построении системы из шести факторов нежелательно брать всего одиннадцать параметров? Упражнения 3—6 базируется на материале табл. IV, первый набор. Таблица IV. Матрицы коэффициентов корреляции для двух наборов из пяти параметров Параметр 1 2 3 4 5 Первый набор 1 0,48 0,56 0,32 0,40 2 0,48 0,42 0,24 0,30 3 0,56 0,42 0,28 0,35 4 0,32 0,24 0,28 0,20 5 0,40 0,30 0,35 0,20 Второй набор I 0,64 0,78 0,67 0,91 2 0,64 0,66 0,68 0,77 3 0,78 0,66 0,66 0,84 4 0,67 0,68 0,66 0,77 5 0,91 0,77 0,84 0,77 3. Показать, что, пользуясь условиями E.9), можно выразить пять параметров всего через один общий фактор. 4. а) С помощью уравнений E.8) вычислить общность первого параметра. 405
б) Почему|в точности равны численные значения, полученные из шести разных выражений E.8)? 5. Сколько существует для данного параметра: а) тетрад, б) триад? 6. Вычислить коэффициенты при общем факторе. 7. Рассмотрим матрицу коэффициентов корреляции между пятью параметрами, общности которых hj2(j = 1, ..., 5) не известны. Чтобы пять параметров выражались всего через один общий фактор, они должны удовлетворять пяти линейно независимым условиям E.9). При выводе системы E.9) вычислялось значение h±2. Получить такую же систему с помощью значения /г22 и показать, что уравнения этой системы являются линейными комбинациями уравнений E.9). Упражнения 8—13 базируются на материале второго набора табл. IV. 8* Выяснить, можно ли описать пять параметров в терминах только одного общего фактора. а) Вычислить общности в предположении, что ранг корреляционной матрицы равен 1. б) Определить факторное отображение. в) Найти матрицу вычисленных коэффициентов корреляции. г) Найти остаточные коэффициенты корреляции. 9. Показать, что коэффициенты корреляции между пятью параметрами в точности удовлетворяют условиям E.15). 10. Вычислить общности в предположении, что ранг корреляционной матрицы равен 2. 11. Получить решение в терминах двух общих факторов (один из факторных коэффициентов, скажем aiu взять произвольно). 12. Удостовериться, что коэффициенты корреляции, вычисленные по решению упр. 11, равны исходным. 13. Каковы достоинства каждого из решений упр. 8 и 11, если эмпирический материал считать: а) точным, б) измеренным с погрешностью? 14. Удостовериться, что ранг корреляционной матрицы табл. V можно принять равным 2. 15. Пользуясь формулой E.19), вычислить общности параметров табл. V. Таблица V. Матрица коэффициентов корреляции между шестью морфологическими параметрами (вычислена на материале 305 девушек) 1. 2. 3. 4. 5. 6. Параметр Рост Длина ноги Рост сидя Вес Окружность груди Ширина груди 1 0,859 0,740 0,473 0,301 0,201 0 0 0 0 2 ,451 ,436 ,327 ,227 0 0 0 3 ,507 ,327 ,211 0 0 4 ,730 ,611 5 0,484 6 406
16. Вычислить общности восьми политических параметров табл. 8.17. 17. Для чего на главной диагонали корреляционной матрицы ставят значения общностей? 18. Сравнить различные методы оценки общностей и указать на достоинства каждого из них. 19. В упр. 8 общности для пяти параметров первого набора табл. IVбыли вычислены в предположении ранга I, в упр. 10 — в предположении ранга 2. Сравнить эти значения с такими оценками общностей: а) максимальный коэффициент корреляции параметра; б) средний коэффициент корреляции параметра, в) оценка по триаде E.33). Сравнить также эти значения с г) «полными оценками», определяемыми первым центроидыым фактором E.36). 20. Найти оценки общностей а), б), в), г) упр. 19 для шести морфологических параметров табл. V и сравнить их со значениями, полученными в упр. 15 в предположении ранга 2. 21. Вычислить значения КМК1 в задаче с восемью морфологическими параметрами (матрица коэффициентов корреляции; см. табл. 5.3, обращение корреляционной матрицы выполнено в упр. 3, гл. 16). Сравнить полученные значения с общностями, вычисленными в табл. 5.4. 22. Пользуясь приближением матрицы R1 для восьми морфологических параметров (табл. 16.9), вычислить для этих параметров значения КМК. Сравнить результат со значениями, найденными в упр. 21 по действительной матрице R. К главе 6 1. Следующие в некотором смысле «провокационные» вопросы позволяют обсудить некоторые общие проблемы. а) Почему набор параметров можно интерпретировать в терминах факторного решения, включающего как коррелированные, так и некоррелированные факторы? б) Какие преимущества дают некоррелированные факторы? в) Сколько исследователей из числа тех, что заняты факторизацией данной корреляционной матрицы, придут к одному и тому же факторному решению? г) Как можно судить об относительной значимости факторов в данном решении? д) Почему однофакторное решение является наиболее предпочтительным? Почему в реальных задачах такое решение неадекватно эмпирическому материалу? е) Почему решения, более сложные по сравнению с однофакторным, описывают эмпирические материалы с большей адекватностью? 1 КМК — квадрат коэффициента множественной корреляции.—Прим. ред. 407
ж) Почему в многофакторное решение не включен генеральный фактор? з) Как могут разные выборки влиять на значения коэффициентов корреляции между параметрами и на результаты факторного анализа? и) Можно ли добавить к данному набору новый параметр, не изменив факторного решения? к) Существует ли предпочтительный тип факторного решения, более «инвариантный» относительно добавления новых параметров к набору? л) Как из нескольких типов факторных решений выбрать тип, наиболее адекватный данному эмпирическому материалу? 2. Дать примеры (кроме приведенных в тексте), когда биполярные факторы оказываются более интерпретируемыми, чем факторы со всеми положительными коэффициентами. 3. а) Что произойдет с разложением параметра по всем факторам, если изменить направление измерения этого параметра? б) Как изменятся вычисленные коэффициенты корреляции, если все коэффициенты при одном из факторов умножить на — 1 ? К главе 7 Упражнения 1, 2 базируются на коэффициентах корреляции между параметрами 5, 6, 7, 8, 9 из табл. 7.4. 1. Предположив для корреляционной матрицы ранг 1, вычислить с помощью формулы G.10) двухфакторное отображение. 2. а) Вычислить остаточные коэффициенты корреляции. б) Пользуясь табл. А приложения и предполагая, что ранг корреляционной матрицы равен 1, определить значимость остаточных коэффициентов корреляции. 3. Для корреляционной матрицы табл. 7.2 (вариант Хейвуда) найти другое допустимое решение (более чем с одним общим фактором). 4. Дан набор из десяти параметров (гь г2, ..., г10), разбитых на следующие группы: d = A, 2, 3), G2 = D, 5, 6, 7), G3 = (8, 9, 10). В терминах обозначений G.11) записать: а) параметр 6 входит во вторую группу; б) обозначение группы, включающей параметры 1, 2, 3 и 8, 9, 10; в) выражение для суммы первых ста значений параметра 5. Упражнения 5—13 базируются на материале табл. VI. Список параметров табл. VI. 1. Различение яркости. 2. Подсчет точек. 3. Различение букв, образованных прямыми линиями, и букв, включающих дуги. 4. Скорость простого счета. 5. Построение фразы. 408
Т аблица VI. Матрица коэффициентов корреляции между 12 психологическими тестами (вычислена на материале 355 учеников [234]) Параметры 10 11 12 1 2 3 4 5 б 7 8 9 10 И 12 0,690 0,596 0,515 0,421 0,350! 0 0,376! 0 0,405 0,342 0,325 0,260 0,165 ,655 ,557 ,397 ,300 ,349 ,448 ,381 ,377 ,285 ,200 0,600 0,386 0,252 0,329 0,351 0,284 0,324 0,255 0,146 0,255 0,200 0,258 0,310 0,241 0,286 0,252 0,145 0,611 0,642 0,660 0,407 0,359 0,321 0,162 0,576 0,545 0,428 0,407 0,370 0,236 0,738 0,435 0,392 0,408 0,303 0,478 0,385 0,379 0,285 0,460 0,406 0,278 0,384 0,213 0,398 6. Понимание смысла. 7. Запас слов. 8. Информация общего вида. 9. Арифметические соотношения. 10. Комбинирование вариантов. 11. Механические способности I. 12. Механические способности II. 5. Следуя определению, данному в 7.4, вычислить следующие В-коэффициенты и интерпретировать их: а) Б A, 2, 3), б) В A, 6, 12). 6. Начав с В-коэффициента упр. 5а, вычислить В A, 2, 3, 4) следующим способом: а) суммы, необходимые для вычисления В A, 2, 3), обозначить 53 и Г8; б) прибавить к группе параметр 4 и по формуле G.18) определить L4; в) вычислить S4 и Т4 согласно G.19) и G.20); г) пользуясь результатами (в), подсчитать по формуле G.16) значение Б A, 2, 3, 4). 7. Пользуясь методом ^-коэффициентов (см. процедуру в табл. 7.5), разбить 12 параметров на подходящее число групп. 8. Пользуясь группами, определенными в предыдущем упражнении, построить бифакторное отображение. 9. Записать формулу G.25) для определения коэффициента первого параметра при генеральном факторе: а) в обозначениях теории множеств, б) в обычном обозначении, указав предел суммирования, в) в расширенном виде, указав отдельные коэффициенты корреляции. 10. Вычислить коэффициенты при генеральном факторе. 11. Получить остаточные коэффициенты корреляции после учета генерального фактора и проверить достаточность полученного отображения. 12. а) Вычислить коэффициенты при групповых факторах и найти полное факторное отображение. 409
б) Определить значения общностей. 13. Найти финальные остатки и проверить адекватность полученного решения. Упражнения 14—18 базируются на материале табл. VII. Таблица VII. Матрица коэффициентов корреляции и часть бифакторного решения для пяти морфологических параметров (на материале 305 девушек [375]) Параметр Коэффициенты корреляции Остатки г jh Рост РаЗмах рук Длина предплечья Длина ноги 0,846 0,805 0,881 5. Рост сидя 0,859 0, 0,740 0, 826 0 497 0 1,801 ),494 0,451 0,691 0,591 0,581 0,598 0,674 0,438 0,404 0,538 0,446 0,473 0,454 0,274 0,099 0,102 0,048 14. В работе [375] изучается 17 морфологических параметров, в том числе и параметры, приведенные в табл. VII. Там показано, что, согласно методу В-коэффициентов, параметры табл. VII образуют отдельную группу, для которой постулируется факторное отображение, включающее генеральный фактор (фактор роста) Fo и групповой фактор Ft. Для данных коэффициентов при генеральном факторе и остаточных коэффициентов корреляции (табл. VII) определить, справедлива ли гипотеза о том, что этим пяти параметрам следует поставить в соответствие единственный групповой фактор. Задачу решать в следующем порядке. а) Вычислить В-коэффициенты для параметра 5 и каждого из остальных четырех параметров (пользуясь значениями остатков). б) Вычислить ^-коэффициенты для параметра 5 и всех комбинаций из остальных четырех параметров по два. в) Вычислить В-коэффициенты для параметра 5 и всех комбинаций из остальных четырех параметров по три. г) Вычислить 5A, 2, 3, 4). д) Какой вывод можно сделать на основании резкой разницы между результатом (г) и остальными В-коэффициентами? 15. Найти для параметра 5 статистическую значимость остатков после учета генерального фактора; средний коэффициент корреляции по всем 17 параметрам равен: г = 0,355 [375], N = 305. 16. Пользуясь результатами упр. 14 и 15, построить новое факторное отображение для пяти параметров. 17. Определить новые коэффициенты при групповых факторах. 18. Пусть параметрам 1 и 5 отвечает отдельный фактор (см. 7.6) и пусть случайная ошибка не превышает одного стандартного отклонения. Почему оставшуюся дисперсию нельзя поделить поровну между обоими параметрами? 410
К главе 8 Упр. 1—8 базируются на материале табл. V и вычислительных процедурах 8.5. 1. Пользуясь значениями общностей, найденными в упр. 15, гл. 5, определить полную корреляционную матрицу и набор первых приближений коэффициентов при факторах. 2. Начав с корреляцонной матрицы, выполнить возведение матрицы в квадрат (вычисляя попутно текущие приближения коэффициентов при факторах) до тех пор, пока процесс не сойдется с точностью до пяти единиц в третьем десятичном знаке. 3. Пользуясь процедурой 8.5, п. 3, вычислить коэффициенты при первом главном факторе. 4. Найти матрицу остатков после учета первого фактора 5. Пользуясь процедурой 8.5, п. 5, найти набор текущих приближений, наилучший с точки зрения вычисления коэффициентов при втором факторе, 6. Вычислить коэффициенты при втором главном факторе. 7. Вычислить остатки после учета второго фактора. Можно ли считать их финальными остатками? 8 Проверить справедливость свойств (8.23) для системы главных факторов. 9. Пользуясь «фактическими» общностями табл. 5.6, найти систему главных факторов для шести гипотетических параметров табл. 5.5. Чем исключительны шесть полученных собственных значений? 10. Взяв в качестве диагональных элементов корреляционной матрицы значения КМК (см. упр. 21, гл. 5), найти два первых главных фактора для восьми морфологических параметров, табл. 5.3. Сравнить результаты с решением табл. 8.12, для получения которого брались значения общностей* Упражнения 11—17 базируются на материале табл. V и вычислительных процедурах 8.9, п. 2. 1. Подставив в главную диагональ корреляционной матрицы значения общностей, определенные в упр. 15, гл. 5, вычислить суммы Sj(j = 1, ..., 6) и, просуммировав их, найти Т. 12. Вычислить коэффициенты при первом центроидном факторе и выполнить проверку согласно (8.71). 13. Вычислить произведения коэффициентов при первом факторе; определить остатки после учета первого фактора. Удостовериться в том, что сумма всех остатков для каждого из параметров равна нулю. 14. Следуя процедуре табл. 8.25, выполнить отражение параметров с большим числом минусов в матрице остатков. 15. Вычислить коэффициенты при втором центроидном факторе и провер ить результаты. 16. Вычислить остатки после учета второго фактора. Можно ли считать их финальными остатками? 411
17. Суммировав предыдущие результаты, найти полное центроид- ное отображение. Насколько центроидные факторы учитывают исходную общность (см. упр. И)? 18. Проверить для полученного центроидного решения справедливость свойств (8.61). Почему при вычислении второго и последующих центроидных осей пришлось выполнить отражение параметров? 19. Сравнить центроидное решение упр. 17 с системой главных- факторов, полученных в упр. 3 и 6. Что можно сказать о степени их совпадения в этой задаче с шестью параметрами? Чего следует ожидать в задачах большего размера? 20. Сравнить (и противопоставить) свойства (8.23) системы главных факторов и свойства (8.61) центроидного решения. К главе 9 1. Задавшись для фиксированного параметра / целевой функцией (9.9) — суммой квадратов остаточных коэффициентов корреляции, найти формулы для решения в минимальных остатках для случая т =1 (единственный общий фактор). 2. Для пяти гипотетических параметров табл. 7.2: а) воспользовавшись формулами для решения в минимальных остатках, выведенными в предыдущем упражнении, определить решение в минимальных остатках, включающее один фактор. б) Сравнить остатки и значение целевой функции решения в минимальных остатках (после трех итераций) и решения Хейвуда. 3. В задаче о пяти социально-экономических параметрах, пользуясь %2-тестом, определить значимость одного, двух, трех факторов на уровне 0,1%, 1%, 5%. Как известно, идея применения характеристики (9.31) основана на предположении о достаточно большой выборке. В данном же примере выборка включает всего 12 объектов. Тем не менее следует выполнить проверку значимости при N — 12, 50, 100, 200. (Необходимые для работы детерминанты матрицы исходных коэффициентов корреляции | R| = 0,0016908, вычисленных коэффициентов корреляции решений в минимальных остатках с т = = 1, 2, 3 соответственно |^*| = 0,1273853, |R2* | = 0,0023976, | R3*| = 0,0016908.) 4. Для шести гипотетических параметров табл. 5.5 найти решение в минимальных остатках для случая т — 2. К главе 10 1. Дана выборка XiX2, ..., Хм размера N, распределенная по биномиальному закону и состоящая из последовательности нулей и единиц. Пусть, например, N = 100, а число единиц в этой выборке равно 18. Найти: 412
а) функцию правдоподобия L (т. е. совместное распределение элементов выборки); б) логарифм L (по основанию е)\ в) производную от log L по р\ г) максимально правдоподобную оценку р. Упражнения 2 и 3 базируются на материале табл. 7.1 и вычислительных процедурах 10.5. 2. Поскольку Спирмэн демонстрировал на этом материале процедуру двухфакторного метода, имеет смысл, предположив наличие единственного общего фактора, получить по табл. 7.1 коэффициенты при генеральном факторе и принять их в качестве первых приближений при вычислении максимально правдоподобных оценок коэффициентов. Пользуясь формой табл. 10.3, для т = 1 найти: а) результаты первой итерации, б) результаты остальных итераций вплоть до момента сходимости факторных коэффициентов. 3. Проверить гипотезу т = 1, действуя в следующем порядке: а) найти значения вычисленных коэффициентов корреляции и остатков и подсчитать сумму в A0.31); б) подсчитать U и в) определить число степеней свободы; г) при этом числе степеней свободы найти значение %2, соответствующее вероятности Р = 0,01; д) сравнить полученное значение с фактическим Uи е) какой вывод можно сделать относительно введенной гипотезы? 4. В табл. 2.2 даны значения выборочных коэффициентов корреляции между пятью социально-экономическими параметрами, в табл. 10.7 — соответствующее максимально правдоподобное решение при гипотезе т = 2. Построив таблицы, подобные 10.4 и 10.5, проверить эту гипотезу. Упражнения 5—8 базируются на материале табл. V. Хотя наиболее естественно здесь предположить два фактора (см. упр. 14, гл. 5), в учебных целях мы рассмотрим и другие предположения. 5. Предположив т = 1 и пользуясь коэффициентами при первом главном факторе (упр. 3, гл. 8) как первыми приближениями, найти максимально правдоподобное решение. 6. Поскольку переход в упр. 5 от первых приближений к максимально правдоподобным нагрузкам связан с длинными вычислениями, повторить работу, взяв в качестве начальных условий следующие значения (посмотреть, насколько ускорится сходимость): Упражнение а Ь с 1 1,000 0,900 0,950 2 0,800 0,700 0,850 3 0,700 0,600 0,750 А. 0,600 0,500 0,500 5 0,500 0,400 0,350 6 0,400 0,300 0,250 413
7. Проверить гипотезу т = 1. 8. Пусть т = 2. Начав с коэффициентов при главном факторе упр. 3 и 6 гл. 8 и действуя согласно схеме табл. 10.3, выполнить полностью одну итерацию. 9. Если есть возможность работы на ЭВМ и соответствующая машинная программа, найти максимально правдоподобное решение для т = 2, начав с первых двух главных компонент (а не главных факторов, как в предыдущем упражнении). 10. Предположив т = 2 и пользуясь в качестве исходных значений коэффициентами при главных факторах, найти максимально правдоподобные оценки факторных нагрузок для восьми морфологических параметров (их корреляционная матрица приведена в табл. 10.2). 11. В предыдущем упражнении проверить гипотезу о числе факторов.- 12. Если бы в задаче о восьми морфологических параметрах N равнялось не 305, а 120, следовало ли бы отказаться от гипотезы т = 2? от гипотезы т = 3? 13. Пусть вместо N = 305 в той же задаче имеем N = 100. Что можно сказать о значимости двух или трех общих факторов? К главе 11 Упражнения 1—7 даны для практики в групповом методе и базируются на материале задачи о восьми морфологических параметрах. 1. Пользуясь коэффициентами корреляции табл. 5.3 и общностями табл. 5.4, построить редуцированную корреляционную матрицу. Пусть параметры группируются, как и ранее: G±: A, 2, 3, 4) — стройность, G2: E, 6, 7, 8) — полнота. Определить суммы A1.1) и вписать их в таблицу вида табл. 11.4. 2. Построить таблицу (вида табл. 11.5) коэффициентов корреляции между группами, найти суммы A1.3) и вычислить по формуле A1.7) стандартное отклонение составных параметров. 3. Вычислить, пользуясь формулой A1.10), коэффициент корреляции между факторами Ti и Т2 косоугольной системы. 4. Найти косоугольную факторную структуру; ее элементы определяются по A1.11). 5. Пользуясь схемой табл. 11.2 и данными там же инструкциями, найти косоугольное факторное отображение и ортогональную факторную матрицу. 6. Пользуясь ортогональной факторной матрицей, найти вычисленные коэффициенты корреляции. Проверить результаты с помощью косоугольного отображения и структуры. 7. Найти остатки. Насколько они близки к финальным остаткам предыдущих решений? Какая доля исходной общности упр. 1 учитывается двумя групповыми факторами? Считая, что группа Gx включает три параметра, расписать подробно формулу A1.5) или A1.6) для дисперсии фактора 7\. 414
К главе 12 1. Определить в A2.1) матрицу преобразования Т для 24 психологических параметров в случае, когда А есть биквартимин-отображе- ние (табл. 15.5), а В есть квартимин-отображение (табл. 14.3). 2. Пользуясь уравнением A2.1), вычислить 6ц, bi2j biz, Ьш ЬЬЗу Ъъал и сравнить с начальными значениями табл. 14.3. 3. Как описывалось в 12.3, многофакторное решение табл. 12.5 для 13 психологических параметров было получено графическими методами (когда одновременно рассматриваются только два параметра). Выполнив полное преобразование A2.29) исходного центроидного решения табл. 8.30, проверить правильность коэффициентов zt и г1а многофакторного отображения табл. 12.5. 4. При построении многофакторного решения графическими методами маловероятно, чтобы решения, принадлежащие двум разным исследователям, или даже решения, построенные в разное время одним исследователем, полностью совпали. В качестве упражнений на применение методов 12.3 предлагается, независимо от текста выполняя графические и вычислительные работы, найти решения для наборов из 8, 13 и 24 параметров и сравнить их с аналогичными результатами в тексте. 5. Пользуясь ручными методами 12.3, выполнить вращение решения в минимальных остатках упр. 4 гл. 9 к решению с простой структурой. Сравнить результаты с прямым решением табл. 5.8. К главе 13 1. Сравнить первичное факторное решение для восьми морфологических параметров (табл. 13.1) с групповым решением (см. таблицу в упр. 5 гл. 11). Упражнения 2—9 предназначены для практики в построении первичного факторного решения с помощью процедуры 13.3 и базируются на материале 13 психологических параметров и исходного центроидного решения табл. 8.30. 2. На основании предыдущих исследований материала (гл. 7) можно постулировать наличие трех составных параметров: Вычислить для них стандартные отклонения. 3. Выразить составные параметры (приведенные к стандартному виду) через факторы исходного решения. 4. Определить расстояния от трех точек (составных параметров) до начала координат. 5. Найти матрицу преобразования от центроидных факторов Ср к первичным факторам Тр. 415
6. Пользуясь формулой A3.16), вычислить коэффициенты корреляции между первичными факторами. 7. С помощью A3.21) найти первичную факторную структуру. 8. Пользуясь алгоритмом табл. 13.2, найти первичное факторное отображение. |9. По формулам A3.28) и A3.29) определить вклады первичных факторов. 10. Вывести из A3.36) формулу A3.37). 11. Построить форму вида табл. 13.2 и показать подробно процесс нахождения отображения W косоугольного вторичного решения табл. 13.3. К главе 14 1. В задаче о восьми морфологических параметрах вычислить сумму квадратов факторных нагрузок графического решения табл. 12.3 и сравнить ее с соответствующей суммой аналитического решения табл. 14.2. 2. а) В задаче о восьми политических параметрах, пользуясь системой главных факторов (табл. 8.18) как исходной матрицей А, определить квартимакс-решение. б) Сравнить значение квартимакс-критерия финального решения с соответствующим значением исходного решения. 3. В задаче о восьми морфологических параметрах вычислить значение варимакс-критерия V для квартимакс-решения и сравнить его с соответствующими значениями графического решения (табл. 12.3) и варимакс-решения (табл. 14.5). 4. а) В задаче о восьми политических параметрах, взяв в качестве исходного решения систему главных факторов (табл. 8.18), найти соответствующее варимакс-решение. б) Сравнить значения варимакс-критерия для исходного и финального решений. 5. В задаче о восьми морфологических параметрах вычислить значения среднеквадратического отклонения A4.30) для следующих пар решений: а) варимакс и субъективное (графическое); б) варимакс и квартимакс; в) квартимакс и субъективное. К главе 15 1. В задаче о восьми морфологических параметрах (исходное решение А см. в табл. 15.3) вычислить значение облимакс-критерия /С. 2. Показать, что значение квартимин-критерия N для факторной структуры табл. 13.3 несущественно отличается от соответствующего значения для квартимин-решения табл. 15.3 (хотя в первом из них в качестве исходного бралось решение в минимальных остатках, а во втором — центроидное решение). 416
3. В табл. 15.8 приведено квартимин-решение для задачи о восьми политических параметрах (вычисленное с помощью арифмометра). В качестве исходного решения бралась система главных факторов табл. 8.18. Определить квартимин-решение, выполнив процедуру раздела 15.3 в следующей последовательности: а) начать итеративный процесс, выделив первый столбец (т. е. х = 1) матрицы преобразования Л и вычислив значения wj для р=^= 1; б) -пользуясь полученными в (а) элементами диагональной матрицы W, определить по A5.24) матрицу С; в) записать характеристическое уравнение и найти его наименьший корень Nx(x = 1); г) найти значения Кц и Я2ь д) найти новые элементы vji — результат первой итерации; е) выделить х = 2 для второй итерации и повторить процессы (а) — (д), получив новые элементы vi2\ ж) попеременно обращаясь к х = 1 и х = 2, выполнить столько итераций, сколько их необходимо для сходимости значения N к минимуму N = 0,1819 (см. текст); з) выписать финальную матрицу преобразования и, воспользовавшись A5.1) и матрицей преобразования, определенной в (ж), проверить правильность элементов матрицы финальной структуры. 4. Вычислить следующие матрицы, необходимые для определения первичного факторного отображения, соответствующего структуре V табл. 15.3: а) матрицу, обратную матрице преобразования в A5.30); б) матрицу преобразования Т; в) диагональную матрицу D; г) первичное факторное отображение Р. Кроме того, вычислить: д) коэффициент корреляции между двумя первичными факторами. В упражнениях 5—7 в качестве исходного решения А задачи о пяти социально-экономических параметрах применяются первые две главные компоненты (табл. 8.1); кроме того, привлекаются результаты некоторых вычислений, проведенных на ЭВМ. 5. Найти первичное факторное квартимин-отображение, соответствующее матрице вторичной структуры '—0,0954 0,9857 0,9359 —0,1142 0,0264 0,9585 0,7695 0,3519 0,9628 —0,1145 и матрице преобразования 0,7515 0,4758] —0,6597 0,8795 J 14 Зак. 656 417
6. Найти первичное факторное биквартимин-отображение, соответствующее матрице вторичной структуры -0,0366 0,9399 0,0850 0,8000 0,9672 0,9909 —0,0669 0,9697 0,3954 —0,0658 и матрице преобразования Л = 0,7893 0,5196 —0,6140 0,8544 7. Из первичного факторного отображения упр. 5 определить долю дисперсии параметра 1, соответствующую общим факторам, и сравнить ее с соответствующим значением исходной факторной матрицы А. 8. В табл. 15.4 приведена вторичная квартимин-структура для задачи о восьми морфологических параметрах. Это решение, для которого в качестве исходного бралось решение в минимальных остатках табл. 9.3, было вычислено на ЭВМ; попутно была получена матрица преобразования Л = 0,6032 0,4052 ] —0,7976 0,9142 J Найти первичное факторное квартимин-отображение, соответствующее этой вторичной структуре. 9. Попутно со вторичной структурой V табл. 15.5 на выходе ЭВМ была получена матрица преобразования 0,3520 0,6047 0,6432 0,3109 0,2699 0,5822 —0,4960 —0,5849 0,3684 —0,3846 0,6839 —0,4985 0,2944 0,5051 0,3712 0,7214 а) Обратить матрицу Л. Для этого, применив сначала метод квадратного корня 3.5 к симметрической матрице гр = Л'Л, найти гр; затем из A5.44) определить искомую матрицу. б) Определить диагональную матрицу D, т. е. матрицу, необходимую для нормировки строк матрицы Л. в) Найти матрицу преобразования Т для первичного факторного решения. 418
Упражнения 10—13 базируются на примере с тремя параметрами, введенном Дженрихом и Сэмпсоном [279]. В этом исследовании матрица исходного (ортогонального) отображения имела вид 0,960 0,140 0,480 0,070 L —0,560 0,300 J 10. Найти значение критерия A5.45) для исходного факторного отображения при следующих значениях параметра 6: 0; —0,5; — 1; —5; 0,1; 0,5; 0,8; 1. 11. Нормализовать матрицу А по строкам и найти значение критерия для случая 6 = 0. 12. Построить три точки параметра в ортогональной системе общих факторов. Чем отличаются эти точки? 13. Для случая 6 = 0 на ЭВМ было получено следующее факторное отображение: Коэффициент корреляции между первичными факторами равен — 0,80411. а) Чему равно значение критерия для этого решения? б) Определить для этого решения первичную факторную структуру. Упражнения 14—15 базируются на задаче о пяти социально-экономических параметрах. В качестве матрицы исходного факторного решения А берется решение в минимальных остатках табл. 9.2. 14. Вычислить значение критерия A5.45) для А при 6 = 0. 15. Нормализовать матрицу А по строкам и, приняв 6 = 0, определить исходное значение минимизируемого критерия и его финальное значение (после минимизации). Выписать полное прямое обли- мин-решение для 6 = 0. (Это упражнение требует наличия ЭВМ; его можно применить в качестве отладочного теста.) К главе 16 1. В 16.3, в задаче о пяти социально-экономических параметрах, значения варимакс-компонент после поворота получались с помощью формулы A6.7). Те же результаты можно получить с помощью формулы 14* 419
A6.12). Показать, как исходя из A6.12) можно прийти к уравнениям для обоих факторов. 2. На основании условного материала Холзингера [239] была получена следующая таблица (г?^, = 0,5): Параметр J 1 2 3 Матрица коэффициентов корреляции 1 1,00 X X 2 0,81 1,00 X 3 0,87 0,83 1,00 0 0 0 Структура Ft ,90 ,85 ,95 г 0 0 0 ,60 ,65 ,55 Отображение 0,8 0,7 0,9 F2 0,2 0,3 0,1 Характерность аЛ 0,16 0,21 0,09 Получить полщле оценки двух факторов косоугольной системы (пользуясь методом квадратного корня и следуя процедуре табл. 16.3). Найти коэффициенты множественной корреляции. 3. В методе полной оценки 16.4 необходимо обращать матрицу выборочных коэффициентов корреляции. В задаче о восьми морфологических параметрах коэффициенты регрессии искались методом квадратного корня (табл. 16.3). Взяв из табл. 16.3 матрицу S (и считая R = S'S), найти R. 4. Пользуясь матричным уравнением A6.18), выразить в явном виде фактор Т2 в задаче о восьми морфологических параметрах (матрица R вычислена в упр. 3). Сравнить результат со вторым уравнением в A6.36). 5. Показать, что матрица L, определенная в A6.50), является имметрической. 6. Пользуясь ускоренным методом (алгоритм табл. 16.8), найти оценки двух факторов в материале упр. 2. Кроме того, вычислить коэффициенты множественной корреляции. 7. Проверить правильность вычисления коэффициентов |3 в двух последних строках табл. 16.8. Для этого найти матрицу Е~х и выполнить умножение Е (EI/^C'). 8. В задаче о восьми морфологических параметрах квартимин- решение включает вторичную структуру (табл. 15.3) и первичное факторное отображение (найденное в упр. 4, гл. 15). Задавшись этим факторным отображением и значением коэффициента корреляции между первичными факторами 0,483, вычислить, пользуясь ускоренным методом (и схемой табл. 16.8), коэффициенты регрессии для этих факторов. 9. Машинная программа поиска облимин-решения 15.4 в качестве попутного результата выдает матрицу чисел, которые легко переводятся в оценки факторов, соответствующих оценкам ускоренного метода. В частности, в задаче о 24 психологических параметрах при поиске четырех биквартимин-факторов (табл. 15.5) были определены следующие «факторные коэффициенты»: 420
Ti т2 r4 % Тг т2 т* 1 —0,042 0,015 0,291 —0,011 9 0,324 —0,135 —0,030 0,125 17 —0,002 0,003 —0,060 0,317 2 —0,013 —0,009 0,113 —0,004 10 0,024 0,330 —0,147 0,059 18 —0,053 0,034 0,071 0,234 3 —0,013 —0,032 0,169 —0,020 и 0,010 0,229 —0,069 0,124 19 —0,006 0,002 0,031 0,118 4 —0,006 —0,011 0,170 —0,034 12 —0,036 0,297 0,044 —0,053 20 0,024 —0,023 0,131 0,049 5 0,230 0,056 —0,022 —0,044 13 —0,009 0,249 0,137 —0,111 21 —0,016 0,089 0,106 0,040 6 0,222 —0,035 —0,012 0,047 14 0,019 0,005 —0,051 0,188 22 0,029 —0,054 0,101 0,117 7 0,339 0,038 —0,035 —0,117 15 —0,004 —0,026 —0,002 0,185 23 0,020 0,017 0,206 0,014 8 0,089 0,056 0,086 —0,046 16 —0,030 —0,029 0,108 0,155 24 0,039 0,124 —0,003 0,090 а) Умножив эту матрицу слева на матрицу D (определенную в упр. 9, гл. 15), перевести числа в коэффициенты регрессии. б) Как для оценок четырех биквартимин-факторов вычислить коэффициенты множественной корреляции? 10. Почему коэффициенты уравнения, о котором шла речь в упр. 4, отличаются от соответствующих значений в- последней строке табл. 16.9? 11. Сравнить приближение матрицы R вида (R* + D2) (табл. 16.9) с действительной матрицей FT1 (см. упр. 3). 12. Доказать, . что если матрицу коэффициентов, определенную согласно A6.58), умножит^ справа на матрицу факторной структуры, то получится матрица коэффициентов корреляции между факторами, т. е. Г8=Ф. 13. а) Пользуясь методом 16.8, найти в материале упр. 2 оценки двух факторов. б) Вычислить с помощью формулы A6.60) значения «коэффициентов множественной корреляции». 14. Для матрицы коэффициентов, найденных в упр. 13, проверить справедливость соотношения, доказанного в упр. 12. 14В Зак. 656
ОТВЕТЫ Глава 2 1. См. 2.4. 3. гг' =a11 г2' = а21 Fx + a22 F2 2. Для удобства вычислений. 2U2; Zbf=ablF1 + ab2F2 4. a) ajp и djy 6) 15. 5. a) 0,25; 0,64; 6) a\x, a\2. r*2 i „2 7. V = 0,89. 8. Надежность равна 1—e2 = /i2 + b2 > Я2. 9. Величины, данные в условии, отмечены крестиком. Компоненты дисперсии Специфичность Дисперсия ошибки Общность Характерность Надежность Формула ?2 __ ^2 ?>2 g2 __ | ^ = d% b* r=l—са - X X 0,70 0,30 0,80 b X 0,10 X 0,25 0,90 с X 0,15 0,65 X 0,85 d X 0,15 0,60 0,40 X e 0,35 X X 0,40 0,95 f 0,35 X 0,55 X 0,90 0,25 0,25 -X 0,50 X h 0,20 0,10 0,70 X X 10, V = 0,85. 12. гв (так как /i62 = 0,25). 14. г4 (так как d42 = 0). 16. Да, Fx. 8 8 18. 2 я/i^3'72' S Я/2=1>22' 19. 46,50% и 15,25%. 20.75,3% и 24,7%. 21. г5 = 0,6 Fx + 0,5 F2 +0,48 S6 +0,4 ?б. 22. 24. rj2 = 0,56, rj4 —0,74, Г25 = 0,48, Г2 11. г4 (так как /i42=l,00). 13. ^2 = 0,42. 15. г6 (так как d62 = 0,75). 17. Да, F2. s = 72,6%. 23. 2; 1. = 0,40. 25. Нет. 422
Глава 3 13. а) б) 14. а) А'= 1. 14. 2. 26. 3. —2. 4. —15. 5. 139. 6. 0. 10. В и С—вырожденные матрицы. 11. С. 12. 1. "Лц Я21 «31 «41 «51 й12 Я2* «32 «42 «52 Г0,7 0,8 0,7 0,8 0,6 0,5 0,6 0,7 |_0,3 0 0 0,6 0,5 0 0,4 0,6 ,89 0,64 0,78 0,67 7. 1. 8. 2. 9. 2. А' = R* = 15. а) б) Нет, так как | CD | = —970, a |DC| = O. 20. Пусть дана матрица А и пусть В = АА'; тогда В'=(АА')'=(А')'(А)'=АА' = 1 ВА| = 4. 14В* 423
Точно так же, если С = А'А, то С = (А'А)' = А'А = С. Поскольку матрица В (или С) равна своей транспонированной, то, согласно определению, данному в 3.2, п. 14, произведение любой матрицы (независимо от ее порядка) на свою транспонированную есть симметрическая матрица. 21. а) | \\ = ad— be; A-1 = ad—be 1 |А-Ч = d/\A\ — b/\\\ c/\A\ a/|A| 1 .6) I A |= 21, (ad—beJ ad —be — 6/21 —3/21 3/21 12/21 0 0 12/21 —1/21 -6/21 —3/21 0 7/21 7x7x7x21 15/21 —3/21 —9/21 —1/21 —2 —1 4 —1 3x3x3x1 1 4—2—3 21x21x21x21 0 0 0 7 5 _i __3 __i (-,4I1= 49x21 21 22. R S I (S') l «V— I R * 1 X X 1 0 0 0 ,693 1 X ,693 ,721 0 0 0 0 0 ,216 ,295 1 ,216 ,202 ,955 1 1 —0,961 —0,023 1,924 X X 0 1 0 1,387 -0,293 -1,326 2,010 X 0 0 1 0 0 1,047 —0,024 —0,307 1,096 Проверка: RR" Г 1,000 0,001 —0,0001 *= X 1,001 -0,000 . L x x l.oooj 23. Умножив данную матрицу на свою транспонированную, получим симметрическую матрицу: 0 5 10 3 5 6 6 3 10 6 12 3 3 3 3 9 424
Применим к матрице В процедуру табл. 3.3: 0,612 0,021 —0,511 —0,041 0,021 0,367 —0,184 —0,068 —0,511 —0,184 0,594 0,034 —0,041 —0,068 0,034 0,136 о — 1 Но Проверка: Глава 4 = (A') l A l. Умножив слева В ' на А', имеем —0,288 —0,143 0,576 —0,048 0,143 0,571 —о,285 —0,143 —0,001 0,000 0,001 0,333 0,713 —0,142 —0,428 —0,048 (А 1 = 0, 048. 2. а) 5; б) 5; в) (|) = 10; г) (jj) - 10. 3. Три точки: Р C, 4), 2Р F, 8) и ЗР (9, 12) — лежат на одной прямой, 4. Р C, —2) : (—1,1). 5. Р B, —3, 1) : (—1, 1, —8). 6. х31 = —8,5 хп + 4,5*2i; х32 = — 8,5*12 + 4,5 х22. 7. а) 3, б) 3, в) 2; также два, т. е. плоскость. 8. а) 5, б) VWf в) /Ш. 9. a) yji — Q&2 где Если ап = cos 0, a21= —sin 0С22 Xj2, a12 = sin 0, a22 = cos0, то, как видно из D.24), преобразование является ортогональным. t = an xn + аи xJ2 + a13 xj3; б) Uj3 = «si Xji + a32 Xj2 + a33 Xj3. 10. a) %i = 0,8; %2= 0,6; 6) 1. , 11. а) Ях = 0,8; Я2 = 0,4; Я3 = 0,2; A,4 = —0,4; б) 1. 12. ф = 44°41/. 13. PQ = 0,32. 14. a) D(PtP2) = /ТЗ=3,6; б) D(PXP2) = }/25=5. 16. рх = 3,74; р2 = 4,90. 17. Хи= —0,802; Я12 = 0,267; Я13 = 0,535; ^21 = —0,408; Х22 = —0,408; Я23 = 0,816. 18. а) ф12 = 49°; б) r12 = cos q>12 = 0,655. 20. Да, ранг матрицы равен 2. 21. 2. 22. Параметры 2, 3, 6. 24. а) Нет, б) Да, в) В соответствии с теоремой 4.5. 25. б) а10 = 0,96, а20 = 0,54, а30 = 0,78, а40 = 0,56, а50 = 0,72, а60 = 0,63 26. а) По формуле D.54) г12"=0,71, б) По формуле D.56) г12'= 0,32, в) г12' = 0,32. 14В* 425
Глава 5 1. а) Двигаясь по строке т = 4, выделим заголовок столбца, соответствующего первому положительному элементу этой строки; в данном случае п = 8, т. е. для определения системы из четырех факторов необходимо не менее восьми параметров; б) п = И. 4. a) h\ = 0,64; б) Потому что в рассматриваемом материале ранг матрицы в точности (а не среднестатистически) равен единице. 5. а) 15, б) 6. 6. 0,8; 0,6; 0,7; 0,4; 0,5. 7. Величину h22 можно найти из шести линейных уравнений, т. е. /г,2 = '21 '23 '24 '21 '25 '23 '24 '23 '25 '35 '24 '25 '45 '13 '14 '15 '34 Исключив /х22, получим пять совместных условий: (О '23'14 — '24'13 = 0; (И) '2 3'15 — '25'13 = 0; (III) Г12Г34 '24'l3 ~ 0» (IV) г12г35 — г2Ъг13 = 0; (V) '23'45 — '24'35 = 0. Эти уравнения действительно являются линейными комбинациями уравнений E.9). А именно уравнения (I) и (II) эквивалентны E.9-1) и E.9-2) соответственно; уравнение (III) равно разности E.9-1) и E.9-3); уравнение (IV) равно разности E.9-2) и E.9-4). Чтобы показать, что (V) линейно зависит от E.9), подставим величину г13= гл?и , полученную из E.9-1), в E.9-5). Имеем '24 уравнение '14'23'45 — '14'3б'24 = 0» которое после исключения ги переходит в (V). 8. а) Л12 = 0,7620; б) ап = 0,87; Л22 = 0,6163; 021 = 0,79; /i32 = 0,7289; /i42 = 0,6351; /i52 = 0,9530; 1 = 0,85;. 1 = 0,98; в) 1 2 3 4 5 1 0,69 0,75 0,70 0,85 0 0 0 2 ,67 ,63 ,77 0 0 3 ,68 ,83 4 0,78 1 2 3 4 5 1 —0,05 0,03 -0,03 0,06 -0 0 0 2 ,01 ,05 ,00 3 4 —0,02 0,01 —0,01 10. 0,89; 0,73; 0,72; 0,65; 0,98.. П. Одним из решений будет факторное отображение упр. 14, гл. 3. 15. 0,718; 0,494; 0,414; 0,945; 0,546; 0,363. 16. 0,52; 1,00; 0,78; 0,82; 0,36; 0,80; 0,63; 0,97. 17. В соответствии с моделью системы «общих факторов» B.9). 426
/9. Параметр 1 2 3 4 5 Предполагаемый ранг 1 0,76 0,62 0,73 0,64 0,95 2 0,89 0,73 0,72 0,65 0,98 (а) 0,91 0,77 0,84 0,77 0,91 Простые оценки (б) 0,75 0,69 0,74 0,70 0,82 (в) 0,84 0,68 0,72 0,68 0,98 Полная оценка (г) 0,81 0,65 0,75 0,67 0,93 Параметр 1 2 3 4 5 6 Упр. 15 0,718 0,494 0,414 0,945 0,546 0,363 (а) 0,859 0,859 0,740 0,730 0,730 0,611 (б) 0,515 0,460 0,447 0,551 0,434 0,347 (В) ' 1,409 0,524 0,793 0,922 0,578 0,405 (г) 0,644 0,545 0,484 0,664 0,459 0,301 21. Пользуясь диагональными элементами матрицы R (см. ответ к упр. 3, гл. 16), по формуле E.38) получаем значения КМК: 0,816; 0,849; 0,800; 0,788; 0,749; 0,605; 0,563; 0,477. 22. Получаются следующие значения КМК: 0,802; 0,829; 0,778; 0,758; 0,715; 0,594; 0,496; 0,486. Для всех параметров, кроме параметра 8, значения КМК, вычисленные на основании матрицы, приближающей R", не превышают соответствующих значений, определенных в упр. 21. Разница между ними меняется от одной до трех единиц во втором десятичном знаке, не считая параметра 7, для которого приближенное значение меньше точного значения на величину 0,067. Глава 6 2. Например, дружелюбие — враждебность, активность — пассивность, импульсивность — сдержанность, возбуждение — торможение, властвование— повиновение, тепло — холод, трудность — легкость, радикализм — консерватизм. 3. а) Его факторные коэффициенты изменят знаки; б) Не изменятся. Глава 7 1. 2. а) Параметр 5 6 7 8 9 0,809 0,811 0,854 0,680 0,840 Параметр 5 6 7 8 9 5 —0,034 —0,035 0,031 0,043 6 0,029 —0,021 0,033 7 0,042 —0,032 8 —0,036 9 427
^Госров^осл^сок»- ооооооооооо оооооооомсою юсооооо»— а> со со со 1 II *' оооооооооо о оооооооососо о ою toiocorf*.^ гоюоо со СО О СО О О Ю Qi ОЭ "-J to О) II 1 1 1 1 И ооооооооо оо ооооооооо оо toototoоо «ь. so toю •— оо со to со ю >— ю ел >** <у> 1 III II оооооооо ооо оооооооо ооо ОСООО*-|— tO^O МЮ>- »*¦ ел оо -»j to —* ~>i со ооспоо 0,213 0,193 0,179 —0,008 —0,041 —0,030 —0,065 оооооо о OOOOOi— О 4*> WCOOCftO ОЭ II II ооооо оо оооою оо О СО СО О СО I— -n| *-coocoto *^о II II оооо ооо оооо ооо СО»—О)»* COCO»— OOOiO СОСЛСО ооо ооо СЛО1-^ 0,015 0,055 0,000 9 U to о о •— со to to оо»* —0,040 —0,107 0,047 Параметр ел о 00 со о Z ю SSSgfe оооо Ъ1Ъ>Ъ>сл оооо ЮС7) Ю <?) оооо со с»^ t ело елс G0^rft^a) »— аосослоо OCOO^^OO 4Cft4^C7>vJ< оосооост— < CDCTK)^tOC о OV
14. а) 5E, 1) = 107, 5E, 2) = 32, 5E, 3) = 34, 5E,4) = 16; б) 5E, 1, 2) = 81, 5E, 1, 3) = 77, 5E, 1, 4) = 78, 5E, 2, 3,) = 71, 5E, 2, 4) = 55, 5E, 3, 4) = 54; в) 5E, 1, 2, 3) = 87, 5E, 1, 2, 4) = 79, 5E, 1, 3, 4) = 74, дE, 2, 3, 4) = 73; г) 5A, 2, 3, 4) = 164; д) Видно, что среди пяти параметров первые четыре образуют группу, а па^ раметр 5 стоит особняком. Кроме того, параметры 5 и 1 связаны друг с другом примерно так же, как они связаны с остальными тремя параметрами. 15. а. = 0,074 (табл. А приложения). Для /•«. : 0,274/0,074 = 3,70; Р = 1 — а = 0,0002 (табл. В приложения). Для г62 : 0,099/0,074 = 1,34, Р = 0,1802. Для г53 : 0,102/0,074 = 1,38, Р = 0,1676. Для г54 : 0,048/0,074 = 0,65, Р = 0,5092. Что касается первого остатка, то можно считать, что он значимо отличается от нуля. Вероятности остальных остатков превышают 0,05 (принимаемый обычно уровень), поэтому отклонения этих величин от нуля можно считать случайными ошибками. 16. Параметр 1 2 3 4 5 /'о «10 «20 «30 «40 «60 «11 «21 «31 «41 — — — 17. -ап = 0,616; а21 = 0,732; а31 = 0,689; ап = 0,679. 18. Поскольку а. = 0,074, деление остаточной дисперсии поровну между двумя параметрами означает, что du = del =/0,274—0,074 = 0,447. Если принять для dn это значение, то общность первого параметра окажется равной: /г21==0,6912 + 0,6162 + 0,4472=: 1,057, что невозможно при наличии действительного характерного фактора. Глава 8 1. / 1 2 3 4 5 6 SJ 3,292 2,794 2,650 3,702 2,715 2,097 а.хA) 0,889 0,755 0,716 1,000 0,733 0,566 429
2. Уже после первого возведения корреляционной матрицы в квадрат, до фактического вычисления элементов R4, видно, что текущие значения стабилизируются: 1 1 2 3 4 5 6 . sB) / 9,715 8,381 8,000 10,881 7,971 6,193 B) Ti 9,714 8,381 8,000 10,880 7,971 6,192 a<2> aj\ 0,893 0,770 0,735 1,000 0,733 0,569 sD) 1 — — — D) / 85,637 73,679 70,285 95,331 69,801 54,177 a(.4) 0,898 0,773 0,737 1,000 0,732 0,568 3. / 1 2 3 4 5 6 0,898 0,773 0,737 1,000 0,732 0,568 уп 2,662 2,290 2,185 2,962 2,169 1,683 «71 0,8987 0,7731 0,7377 1,0000 0,7321 0,5682 ап 0,793 0,682 0,651 0,882 0,646 0,501 Вспомогательные расчеты V-=2,962 206^=3,8084 У 2,962/3,8084 = 0,8819 ад = 0,8819ад 2^ =2,964 4. R1== " 0,089 0,318 0,224 —0,226 —0,211 —0,196. 0,318 0,029 0,007 —0,166 —0,114 —0,115 0,224 0,007 —0,010 —0,067 —0,094 —0,115 —0,226 —0,166 —0,067 0,167 0,160 0,169 —0,211 —0,114 —0,094 0,160 0,129 0,160 —0,196' —0,115 —0,115 0,169 0,160 5. / 1 2 3 4 5 6 571 —0,002 -0,041 —0,055 0,037 0,030 0,015 •Я» 0,036 0,745 1,000 —0,673 —0,545 —0,273 S<2> 9,715 8,381 8,000 10,881 7,971 6,193 9,757 8,397 8,012 10,856 7,953 6,167 сB) —0,042 —0,016 —0,012 0,025 0,018 0,026 •Я» 1,00 0,38 0,29 —0,60 —0,43 —0,62 430
6. / 1 2 3 4 5 6 а 1 0 0 —0 —0 —0 1* ,00 ,38 ,29 ,60 ,43 ,62 0,623 0,551 0,340 —0,582 —0,532 —0,513 «72 1,000 0,884 0,546 —0,934 —0,854 —0,823 Еще семь итераций « 1 0 0 —0 -0 —0 ,000 ,712 ,477 ,832 ,750 ,740 0,508 0,362 0,243 —0,423 -0,381 —0,376 Вспомогательные расчеты *.= Vo, 0/2 = 0,914 Za% =3,5368 914/3,5368 = 0,5084 = 0,50840,2 = 0,914 7. 8. Г—0,169 0,134 0,101 —0,011 —0,017 —0,005" 0,134 0,101 —0,011 —0,017 —0,005 —0,102 —0,081 —0,013 0,024 0,021 —0,081 —0,069 0,036 —0,001 —0,024 —0,013 0,036 —0,012 —0,001 0,010 0,024 —0,001 —0,001 —0,016 0,017 0,021 —0,024 0,010 0,017 —0,029 = 0,000. 9. Два наибольших собственных значения равны: %г = 2,8704 и Л2=0,489(э; остальные четыре равны нулю. Причиной этого является то, что' ранг редуцированной корреляционной матрицы (с общностями на диагонали) равен 2. Параметр 1 2 3 4 5 6 Pi 0,8600 0,8341 0,8646 0,5776 0,4950 0,3300 Р* —0,0169 —0,1559 —0,3773 0,3956 0,3391 0,2261 10. Это решение хорошо согласуется с решением табл. 8.12: факторные коэффициенты при первом факторе различаются менее чем на 0,02, а при втором факторе — менее чем на 0,03. Суммарная дисперсия, учитываемая общими факторами в решении табл. 8.12, равна 5,966; в настоящем решении (с минимальными значениями общностей) она равна 5,871. Параметр 1 2 3 4 5 6 7 8 Pi 0,857 0,846 0,810 0,832 0,728 0,627 0,567 0,607 Рг —0,317 —0,398 —0,402 —0,335 0,537 0,494 0,516 0,360 Вклад фактора 4,410 1,461 431
11 и 12. / 1 2 3 4 5 6 Итого SJ 3,292 2,794 2,650 3,702 2,715 2,097 17,250 ajl 1 Вспомогательные расчеты 0,793 0,673 0,638 0,892 0,654 0,505 4,155 Т =17,250 VT = 4,153 ад = ?./4,153 D1 = 2aJ.1 = 4,155 = /T 13 и 15. В следующей ниже таблице остатки после учета первого фактора ±г^ располагаются на главной диагонали и под ней; величины над диагональю соответствуют параметрам после отражения (упр. 14), они нужны при вычислении коэффициентов при втором факторе, упр. 15. Параметр 1 2 3 4 5 6 Итого «Л — 1 0,089 0,325 0,234 -0,234 —0,218 —0,199 —0,003 1,299 -1,299 —0,569 0,325 0,041 0,022 —0,164 —0,113 —0,113 —0,002 0,778 -0,778 —0,341 —3 0,234 0,022 0,007 —0,062 —0,090 -0,111 0,000 0,526 —0,526 —0,230 4 0,234 0,164 0,062 0,149 0,147 0,161 —0,003 0,917 0,917 0,402 5 0,218 0,113 0,090 0,147 0,118 0,154 —0,002 0,840 0,840 0,368 6 0,199 0,113 0,111 0,161 0,154 0,108 0,000 0,846 0,846 0,371 Вспомогательные расчеты 7^ = 5,206 V!\ = 2,282 ZJ = 0,001 28^2 = 2,281 = И. Параметр 1 2 3 4 5 6 Итого Разность Факт отражения параметра Неотрицательные перед отражением 3 3 3 3 3 3 18 Неотрицательные после 1 2 4 4 2 2 2 16 2 2 1 1 5 1 1 1 10 6 отражения 3 0 0 0 0 0 0 0 10 432
16. с 1 ее а я 1 2 3 4 5 6 Вторые факторные остатки, 1 —0,235 0,131 0,103 —0,005 —0,009 0,012 2 —0,075 —0,056 —0,027 0,012 0,014 2rjk: —0 0 —0 —0 3 ,046 ,030 ,005 ,026 —0 —0 0 4 ,013 ,001 ,012 Q 0 5 ,017 ,017 6 —0,030 17. Параметр 1 2 3 4 5 6 Итого Вклад фактора Доля суммарной исходной общности (%) Коэффициенты при общих факторах 0,793 0,673 0,638 0,892 0,654 0,505 4,155 2,967 85,3 С, —0,569 —0,341 —0,230 0,402 0,368 0,371 0,001 0,928 26,7 Общность исходная A) 0,718 0,494 0,414 0,945 0,546 0,363 3,480 — — вычисленная B) 0,953 0,569 0,460 0,957 0,563 0,393 3,895 — 111,9 (О-B) —0,235 —0,075 —0,046 —0,012 -0,017 —0,030 —0,415 — —11,9 Глава 9 1. Для простого случая т = 1 формула (9.9) переходит в п /j= 2 (rjk—akbif U фиксировано). Раскрыв скобки, получим или, дополнив до полного квадрата, где 433
(суммирование везде идет по к от 1 до п, причем &=?/). Из последней формулы для fj видно, что ее минимальному значению соответствует bj = Qj/lj. Таким образом, решение в минимальных остатках определяется так: если если Si- l; > l. 2. а) Обозначим исходные нагрузки через a.j и нагрузки решения в минимальных остатках — через bf, номер итерации будем обозначать индексом сверху. Тогда искомое решение имеет вид / 1 2 3 4 5 а. 1,05 0,90 0,80 0,70 0,60 1,000 0,918 0,810 0,706 0,604 1,000 0,913 0,809 0,707 0,605 1,000 0,912 0,809 0,707 0,605 б) В решении Хейвуда (общность первого параметра превышает единицу) все остатки равны нулю и значение целевой функции в точности равно нулю. В решении в минимальных остатках / = 0,004441, а остатки соответственно равны (см. следующую таблицу): / 1 2 3 4 5 1 0,033 0,031 0,028 0,025 2 —0,018 —0,015 —0,012 3 —0,012 —0,009 4 —0,008 5 3. т 1 2 3 Um для N, равного: 12 50 100 200 47,5 211,8 427,9 860,1 3,8 17,1 34,6 69,6 0 0 0 0 V о со со 0,1% 1% 5% 29,6 23,2 18,3 22,5 16,8 12,6 16,3 11,3 7,8 Выводы относительно гипотезы Гипотеза неверна при всех уровнях и всех N Для N=12 принимается на всех уровнях. Для N = 50 принимается на уровне 0,1% и отбрасывается при 5%. Для N > 50 отбрасывается при всех уровнях Гипотеза верна при всех уровнях и всех N 434
4. / 1 2 3 4 5 6 Дисперсия oooooo 2,870 F» —0,017 —0,156 —0,377 0,396 0,339 0,226 0,490 0,740 0,720 0,890 0,490 0,360 0,160 3,360 Глава 10 1. a) 1= П/№;Р)= П РХЧ1-РI~Х* = Р*ХЧ1-Р)*~*Х*- / = 1 / = 1 В примере ЛГ= 100 и 2-Хг=16\ так что функция правдоподобия есть б) log L = 18 log p + 82 log (I —р); 18 82 p 1 — р ' в) г) 18A — р)— 82р=0, р=0,18. 2. а) Результаты первой итерации процедуры поиска максимально правдоподобных оценок коэффициентов при генеральном факторе (задача о пяти психологических параметрах, табл. 7. 1): Строка 1 2 3 4 5 6 7 Операция ац Li/Ц /.4-Li d*=l-Ll 12 3 4 5 0,707 0,673 0,604 0,554 0,398 0,5002 0,5471 0,6352 0,6931 0,8416 1,413 1,230 0,951 0,799 0,473 2,847 2,727 2,402 2,259 1,611 2,140 2,054 1,798 1,705 1,213 0,706 0,677 0,593 0,562 0,400 0,5016 0,5417 0,6484 0,6842 0,8400 435
В этой таблице значения характерностей приведены в строке 2, операции первой итерации — в строках 3 — 7. Корень квадратный из скалярного произведения векторов строки 3 и строки 5 равен YL3-Lb = 3,033; б) Удовлетворительная сходимость достигается после четырех итераций, когда четыре из пяти коэффициентов совпадают с соответствующими значениями на предыдущей итерации с точностью до трех десятичных знаков, а коэффициент для параметра 2 отличается от предыдущего значения на одну единицу в третьем десятичном знаке. При этом получаются следующие максимально правдоподоб- ные оценки для пяти коэффициентов: 0,705; 0,682; 0,587; 0,566; 0,399. 3. а) Работу можно вести согласно схемам табл. 10.4 и 10.5, искомая сумма равна: 5 2 r%/d)dl =0,007626. / А1 б) иг = 757 X 0,007626 = 5,77; в) v = 5; г) t = 15,1. д) Вычисленное иг меньше %2, соответствующего уровню значимости 1%. е) Гипотезу не следует отвергать; если бы описание материала действительно производилось в терминах единственного общего фактора, то на случайной выборке оно оказалось бы плохим или худшим ожидаемого примерно в одном случае из двух (Р = 0,46). 4. Чтобы выполнить контроль вычислений, материал представляется с точностью до пяти десятичных знаков (конечно, фактически такой точности измерений нет). В таблице над главной диагональю представлены вычисленные коэффициенты корреляции, под ней — остаточные коэффициенты корреляции: Параметр 1 2 3 4 5 1 —0,00143 0,00002 0,00021 0,00046 2 0,01118 0,03768 —0,02317 —0,00115 3 0,97243 0,11660 —0,00528 —0,01236 4 0,43866 0,71458 0,52000 0,00997 5 0,02195 -0,86422 0,13429 0,76768 Для N = 12 формула A0.29) дает U2 = 2,21306. Согласно A0.28), число степеней свободы равно 1 и соответствующее значение %2 равно 3,841 при уровне значимости 0,05. Поскольку U2 меньше %2, гипотеза о двух общих факторах принимается. (Следует помнить, что это не более как упражнение; при N < 100 тест для проверки гипотез, вообще говоря, неприменим.) 5. В качестве первых приближений берутся коэффициенты при первом главном факторе (упр. 3, гл. 8); сходимость достигается после 36 итераций. Чтобы облегчить читателю работу,, в следующей ниже таблице кроме финальных факторных весов даны некоторые промежуточные результаты: Приближение Исходное 1-я итерация 5-я итерация 10-я итерация 20-я итерация 30-я итерация Финальное 1 0,793 0,735 0,764 0,862 0,966 0,980 0,984 2 0,682 0,678 0,698 0,784 0,867 0,865 0,864 3 0,651 0,674 0,687 0,727 0,727 0,734 0,736 4 0,882 0,843 0,795 0,691 0,527 0,506 0,499 5 0,646 0,669 0,643 0,533 0,363 0,339 0,330 б 0,501 0,535 0,508 0,407 0,254 0,233 0,226 436
7. При вычислении остатков тотчас становится ясно, что для описания корреляций необходимо по крайней мере два общих фактора. Действительно, вод-, пользовавшись формулой A0.29), найдем, что 2 k = 1.477737 2 и Цг = 450,7, так как N = 305. Это ужасающе большое значение %2 находится из табл. Г приложения и отвечает v = 9 степеням свободы. Несомненно, гипотеза немедленно отвергается: для адекватного описания корреляций нужно по крайней мере рассмотреть второй фактор. 8. Результаты первой итерации процедуры поиска максимально правдоподобных оценок коэффициентов при двух факторах (задача о пяти морфологи- ческих параметрах, табл. V). га 5 1 2 3 4 5 6 7 8 9 10 11 12 13 Операция ап ал dJ-I-'/Wa" RL4 a}l=L,lу Ц ¦ L-, • RL5 L>9 —L% lie-О* • Ц) ¦ L* a]2 = Lil/t/rl6- Lxl d)=\-L\-L\2 1 0,793 0,508 0,1131 7,011 4,492 19,683 18,890 0,688 0,581 0,073 4,376 0,658 0,0937 2 0,682 0,362 0,4038 1,689 0,896 17,872 17,190 0,626 0,262 —0,100 3,815 0,573 0,2798 3 0,651 0,243 0,5172 1,259 0,470 18,241 17,590 0,641 —1,193 — 1,436 2,573 0,387 0,4394 4 0,882 —0,423 0,0431 20,464 —9,814 26,737 25,855 0,942 —8,074 -7,651 — 1,760 —0,265 0,0424 5 0,646 —0,381 0,4375 1,477 —0,871 19,889 19,243 0,701 —6,536 -6,155 —1,771 —0,266 0,4378 6 0,501 —0,376 0,6076 0,825 —0,619 16,102 15,601 0,568 —5,831 —5,455 —1,903 —0,28a 0,595a После 11 итераций характерность первого параметра становится отрицательной, так что в таком случае этот метод не приводит к решению. При на-, личии ЭВМ процесс можно повторить при разных начальных условиях (взяв, например, первый максимально правдоподобный фактор, полученный в упр. 5, и некоторые достаточно произвольные значения для второго фактора, основанные на анализе остатков, найденных в упр. 7). 9. При работе на Philco-2000 с помощью программы [204] после 100 итераций было получено следующее максимально правдоподобное решение: 43?
10. / 1 2 3 4 5 6 Дисперсия аЛ 0,999 0,860 0,742 0,486 0,311 0,210 2,665 —0,009 0,028 0,170 0,847 0,683 0,600 1,575 V 0,999 0,740 0,580 0,953 0,564 0,404 4,240 Параметр 1 2 3 4 5 6 7 8 Исходные значения 0,858 0,849 0,810 0,825 0,747 0,637 0,561 0,619 'п —0,328 —0,414 —0,412 —0,339 0,561 0,507 0,488 0,371 После одной итерации 0,890 0,886 0,855 0,863 0,675 0,574 0,506 0,566 —0,210 —0,325 —0,313 —0,237 0,648 0,573 0,573 0,404 После двух итераций ап 0,894 0,895 0,864 0,871 0,657 0,556 0,491 0,553 —0,183 —0,300 —0,290 —0,210 0,670 0,586 0,592 0,413 После трех итераций ап 0,894 0,896 0,866 0,871 0,656 0,554 0,490 0,551 •п —0,182 —0,301 —0,291 —0,209 0,663 0,577 0,587 0,403 11. При п = 8 и т — 2 число степеней свободы v = 13. Сумма квадратов остатков, деленных на произведение характерностей, равна: =0,263, и при N = 305 формула A0.29) дает U2 = 80,1. Поскольку это значение слишком велико по сравнению со значением %2 = .27,7, соответствующим уровню значимости 1%, гипотеза отвергается. Что же касается того, насколько хорошо или плохо данное описание, то об этом можно судить следующим образом: значениям х2 = 80,2 и v = 13 соответствует вероятность Р < 0,001; следовательно, менее чем в одной выборке из 1000 описание окажется плохим или хуже ожидаемого, если оно будет делаться в терминах двух общих факторов. В данном случае описание не годится и нужно принять другую гипотезу. 12. Для, т = 2 и v = 13, если N = 120, то U2 = 120-0,263= 31,6. Это значение превышает критическое значение 27,7, и поэтому гипотезу следует отвергнуть. Однако для m = 3 и v = 7 U3 = 120-0,151 = 18,1, что уже меньше %2 = 18,5 при вероятности Р = 0,01; так что при обработке коэффициентов корреляции табл. 10.2 (если они подсчитаны по выборке N = 120) три фактора значимы на уровне 1%. 13. Для т = 2 и v = 13 если N = 100, то U2 = 100-0,263= 26,3. 438
Поскольку это значение не превышает значения, необходимого для Р = 0,01, гипотеза не отвергается, т. е. два фактора оказываются значимыми на уровне 1%. Конечно, если взять три фактора, то так как U3 = 15,1 при v = 7, они тем более значимы на уровне 1% (на самом деле для этого значения %2 Р =¦- 0,04L Глава 11 1. 2. ^1 [ 1 1 1 [ 1 ) 1 / 1 2 3 4 5 6 7 8 wJi 3,352 3,434 3,304 3,301 1,665 1,372 1,142 1,507 Wj2 1,554 1,394 1,281 1,457 2,993 2,569 2,436 2,247 ^"\^^ q Р ^^\^ 1 2 1 13,391 5,686 3,659 2 5,686 10,245 3,201 3. 5,686 - = 0,4855. '2 3,659-3,201 4. Матрица факторной структуры размером 8X2 дана в левом нижнем углу таблицы в ответе к упр. 5. 5. Матрица косоугольного факторного отображения размером 8X2 дана в правом углу таблицы, ортогональная факторная матрица — в средней части. Параметр й 1 2 3 4 5 6 7 • 8 Итого Контроль Исходные 1,0000 0,4855 1,0000 0 0,916 0,939 0,903 0,902 0,455 0,375 0,312 0,412 7,699 матрицы X 1,0000 0 1,0000 0,485 0,435 0,400 0,455 0,935 0,803 0,761 0,702 7,461 Операция квадратного корня 1,0000 0,4855 1,0000 0 0,916 0,939 0,903 0,902 0,455 0,375 0,312 0,412 7,699 7,699 0,8742 —0,5554 1,1439 0,046 —0,024 —0,044 0,020 0,817 0,710 0,697 0,574 4,259 4,259 Умножение на Г 1 (строка на строку) 1,0000 —0,0000 1,3085 —0,6353 0,890 0,952 0,927 0,891 0,001 —0,019 —0,075 0,093 5,333 5,334 0 1,0000 X 1,3085 0,053 —0,027 —0,050 0,023 0,935 0,812 0,797 0,657 4,873 4,872 6. Для получения вычисленных коэффициентов корреляции было выполне* но умножение ортогональной факторной матрицы А на себя (способом строка на строку). Для контроля вычислений можно умножить матрицу косоугольной структуры S на матрицу косоугольного отображения Р (строка на строку). 439 Параметр 1 2 3 4 5 6 7 8 l 0,841 0,859 0,825 0,827 0,454 0,376 0,318 0,404 2 0,882 0,849 0,846 0,408 0,335 0,276 0,373 3 0,817 0,814 0,375 0,307 0,251 0,347 4 0,814 0,427 0,352 0,295 0,383 5 0,875 0,751 0,711 0,656 6 0,645 0,612 0,562 7 0,583 0,529 8 0,499 7. Остатки представлены в таблице. Уже без каких-либо статистических тестов видно, что остатки представляют собой случайные отклонения от нуля. Два групповых фактора учитывают 99,93% исходной общности, равной 5,960. Параметр 1 2 3 4 5 6 7 8 1 0,001 —0,013 —0,020 0,032 0,019 0,022 —0,017 —0,022 2 —0,001 0,032 —0,020 —0,032 —0,009 0,001 0,042 3 0,000 —0,013 0,005 0,012 —0,014 —0,002 4 0,001 0,009 —0,023 0,032 —0,018 5 —0,003 0,011 0,019 -0,027 6 0,002 —0,029 0,015 7 0,001 0,010 8 0,003 8. = S T2U/N= = 2 z\JN+ 4ilN + 2 z\HN+ +2(r12 + r13-f r23). Глава 2. 3. „2 sTi 12 т bu ьь2 ,990 0,257 0,456 -0,386 = 0,367 rjkj где гп=\ 0 0 0 0 ; = —0,016; 0,096; ,016 ,961 ,112 ,250 bi —0,130 0,076 0,878 0,109 2 = 0,188; }4 = 0,195. = 0,248; или —0, —0, 0, 0, b12 Ь13-_ nr 044" 012 026 881- = 0,597; = 0/ r06; в зависимости от модели. 0,067: 13fl , ^з,2 , Эти значения хорошо согласуются со значениями, полученными в табл. 12.5 (при последовательных вращениях в плоскости). 5. Следует отметить, что точки, представляющие параметры 4, 5 и 6, лежат на одной прямой. Поэтому одну ось можно провести через эти три точки, а вторую — под прямым углом к первой. Чтобы знаки факторных нагрузок совпадали со знаками нагрузок в табл. 5.8, направление второй оси можно при необходимости изменить на противоположное. 440
Глава 13 1. В целом соответствующие элементы обоих решений почти совпадают. Наибольшая разница между элементами структур составляет 0,008, а между элементами отображений — 0,011. 2. = 2,843; s,2 = 5^ = 3,147. 3. «i = 5. T + 0,0735 C2—0,5012 C3; u2 = 0,8448 Cx + 0,3759 C2 + 0,2330 C3; «3=0,6841^—0,5697 C2--0,1405 C3. = 0,8268; D(Ou2) = 0,9536; D (Ow3) = 0,9013. 7904 0,8859 0,75901 Г °'' 0889 0,3942 6062 0,2443 11,000 0,587 0,587 1,000 0,449 0,461 —0,6321 j. —0,1559j 0,449 1 0,461 . 1,000 J 7. S=CT = ¦0,743 0,445 0,604 0,559 0,451 0,489 0,447 0,537 0,435 0,075 0,302 0,316 0,582 0,406 0,264 0,324 0,386 0,807 0,807 0,846 0,717 0,841 0,311 0,357 0,222 0,419 8. Первичное факторное отображение Р для этого материала представлено в табл. 12.1 (матрица А). 9. Суммарные раздельные вклады факторов представлены диагональными элементами следующей таблицы, смешанные вклады — ее элементами, расположенными под диагональю: Фактор Тг 1,823 0,272 0,052 3,394 0,015 2,103 Общая сумма вкладов равна 6,981 (в центроидном решении она равна 6,966). 10. W = VW~1 = V(A'A) из A3.35); = УЛ-1(Л'Г1 из A3.16); ^(Л')-1 из A3.30). 441
Глава 14 1. Для графического решения табл. 12.3 Q = 3,983 (заметим, что для графического решения, основанного на центроидном отображении, приводившемся в первом издании этой книги, Q = 4,061); максимальное значение Q = 4,091 соответствует квартимакс-решению табл. 14.2. 2. а) Квартимакс-решение для восьми политических параметров: 1 2 3 4 5 6 7 • 8 0,74 0,97 0,89 —0,83 0,11 0,86 —0,50 —0,89 0,10 0,25 —0,05 0,30 —0,70 —0,23 0,70 0,38 б) Для квартимин-решения Q = 4,040; для системы главных факторов Q = 4,009. 3. Для квартимакс-решения V= 23,61; для графического решения V = = 23,75; для варимакс-решения V = 24,30. 4. а) Варимакс-решение для восьми политических параметров: 1 2 3 4 5 6 7 8 0,74 1,00 0,85 —0,73 —0,06 0,78 —0,31 —0,77 0,08 0,00 0,26 —0,50 0,70 0,43 —0,81 —0,59 б) Для системы главных факторов V = 9,58; для варимакс-решения V ¦ = 15,95. 5. а) (У-5)н.кв = 0,040; б) (V-Q)h.kb = 0,052; в) (Q-S)h.kb = 0,091. Глава 15 1. /(=0,0810. 3. а) / 1 2 3 4 5 6 7 8 0,0784 0,2304. 0,0289 0,0081 0,4225 0,0001 0,3136 0,0225 *\ г_ Г0,4344 0,0799]. °^ ь~~[0,0799 0,3375 J * в) Л^!2 — 0,7719^1+0,1402 = 0; ^ = 0,2924; г) Хп = 0,4904; Л.21= —0,8715; 442
д) е) / 1 2 3 4 5 6 7 8 VH 0,5824 0,8499 0,5748 —0,3531 —0,4292 0,4277 0,1644 —0,3401 / 1 2 3 4 5 6 7 8 2 0,3392 0,7223 0,3304 0,1247 0,1842 0,1829 0,0270 0,1157 —0,0695 —0,2064 0,0876 —0,3394 0,7030 0,2657 —0,7262 —0,4199 Г 1,3451 —0,3478 1 = [—0,3479 0,2925]' N2* — l, 6376W2 + 0,2724 = 0; No = 0,1879; Х12 = _ 0,5784 —0,26591 ""' —0,8158 — 0,9640j" 1,0030 '—0,54221 0,9574 0,6194 J' _ / Г°>877 0,0001 в) D = T =^0000 0877 J ; 0,893 0,8797 0,83961 — 0,4755 0,5432 J' 5. Л-1 = 0,955 0,931 0,878 0,008 —0,023 0,052 —0,027 —0,050 0,031 0,928 0,824 = 0,4803. 0,9022 —0,4881 0,6767 0,7709 Для нормализации строк Л нужна матрица: 0,97488 0 \ _ / 1,02577 0 0,97488 J' ~~\0 Первичное факторное отображение: —0,057 0,767 082 685 0 1,02577 )¦ 6. Л-2 = 0,8601 .0,6181 P=VD = —0,5231\ 0,7945;; Г P=VD = "—0,0979 0,9600 0,0271 0,7893 0,9876 /0,9934 ) = \о ¦ —0,0368 0,9461 0,0856 0,8053 0,9736 1,0111" —0,1171 0,9832 0,3610 —0,1175_ 0 \ 0,9934/' 0,9974" —0,0673 0,9761 0,3980 0,0662^ /1,0066 0 D =vo 1,0066 • 443
7. Из решения упр. 5 первый параметр можно выразить так: Zl' = — 0,097974+1,0111Га + 0,1104G!. При этом его дисперсия, учтенная общими факторами, равна: V = (—0,0979J+ A,01 ИJ + 2 (—0,0979) A,01 И) rTiTtf и зависит от коэффициента корреляции между двумя факторами косоугольной системы. Этот коэффициент можно найти с помощью A5.42): ),8795 ),6597 —0,47581 0,7515 J' далее из A3.36) rTt Ti = 0,2226. Таким образом, h* = 0,0096 + 1*0223 — 0,0441 = 0,9878. Это значение в точности равно сумме квадратов коэффициентов параметра 1 при двух первых главных компонентах. 8. Л == 1,0452 0,9119 —0,4633 0,6897 ч. ),8746 0,8747 1,1446 0 1,1434 P=l ,144V = 9. а) Л-1^ '0,9029 0 0 О в) матрица 0,7956 0,6893 0,8223 _0,7842 0 0,9142 0 0 —0,5068 0,5767 —0,3133 0,4695 0 0 0,8986 О 0,886 0,961 0,931 0,885 —0,004 —0,013 —0,073 0,099 —0,5031 —0,3975 0,5514 0,2755 0 0 0 0,8888J 0,058 —0,038 —0,053 0,027 0,945 0,807 0,797 0,648 0,2891 —0,4806 —0,3999 0,5955J Т определяется из A5.42): Т = 10. 11. " 0,7183 0,6302 —0,4576 0,5272 —0,4542 —0,3634 _ 0,2610 —0,4394 = 0,0474; F^o, 5 =0,0754; j / 1 2 3 aS 0 0 —0 dhs ,9895 ,9895 ,8815 0 0 0 ,1443 ,1443 ,4722 0,7389 0,6970 —0,2815 0,4173 0,4955 0,2449 —0,3594 O,5293J _t= 0,1033; F_5= 0,3271; Fol = 0,0418; = 0,0026; F±= — 0,0085. Для нормализованной матрицы 444
12. Точки, представляющие первые два параметра, лежат на прямой, проходящей через начало координат. Естественно построить косоугольное решение так: первую ось провести через первые два параметра, а вторую — через третий параметр; тогда оси образуют между собой тупой угол. 13. a) Fo = 0; б) Для получения матрицы структуры нужно, согласно B.43), умножить справа матрицу отображения на матрицу коэффициентов корреляции между факторами. В итоге имеем [0,97015 —0,780111 0,48508 —0,39005 . —0,51085 0,63530] 14. Fo = 0,83956. Машинная программа составлена таким образом, что суммирование ведется по всем возможным факторам р ид, рФ q. А поскольку в в A5.45) везде р < q, то результат машинной программы, Fo — 1,679149, вдвое превышает искомое значение. 15. С помощью A5.45), где каждое bjp заменяется на bjp/hj, получается: исходное значение критерия равно 0,976, финальное значение — 0,138. Полное прямое облимин-решение F = 0) представлено в таблице: 1 2 3 4 5 Факторное отображение —0,07316 0,88580 0,05653 0,76056 1,00303 1,01078 —0,08021 0,96704 0,34397 —0,10971 Факторная '/г. 0,12028 0,87045 0,24160 0,82638 0,98203 структура Г1Т2 0,99678 0,08931 0,97786 0,48953 0,08224 Коэффициент корреляции между факторами 1,00000 0,19137 0,19137 1,00000 Глава 16 1. Элементы формулы A6.12): матрица А включает две первые главные компоненты табл. 8.1, матрица В берется из табл. 14.6, диагональная матрица Ат включает два первых собственных значения. Приведем промежуточные результаты: В'АЛ. /0, 1=Чо, 2,35810 1,64172 8,25591 0 0,28562 19885 —1,02656 \ 1,47451 j ; 0 \ 3,22799/ ' —0,31801\ 0,45678/ Наконец, умножив справа последнюю матрицу на матрицу А', имеем те же значения коэффициентов Zjp, что были получены в гл. 16 с помощью формулы A6.7). 445
2. F1 = 0, 4г2 + 0,60г3; R± = 0,96; Зг2—0,16г3; Я2 = 0}67. 3. Следуя схеме табл. 3.3, разместим справа от R единичную матрицу, произведем над ней операцию квадратного корня табл. 16.3 и выполним умножение (столбец на столбец); в итоге имеем 5,444—2,080 —0,374 —2,432 —0,845 —0,385 0,515 0,277 2,080 0,374 2,432 0,845 0,385 0,515 '0,277 6,632 —3,362 — 1,005 1,004 0,019 —0,355 —0,881 —3,362 5,007 —0,912 —1,005 —0,912 4,728 -0,446 —0,245 —0,096 0,424 0,394 0,267 —0,430 0,075 1,004 —0,446 —0,245 3,984 — 1,559 —1,485 0,019 —0,096 0,424 — 1,559 2,529 —0,131 —0,355 —0,881 0,394 0,267 0,075 —0,654 —0,391 —0,654 —0,391 —0,430 — 1,485 —0,131 2,289 —0,253 —0,253 1,913. 4. 2 = @,484 0,435 0,399 0,454 0,932 0,813 0,740 0,724)х .г8} = — 0,042г1 + 0,131г2— 0,069г3 + + 0,199г6 + 0,77г7 + 0,0162z8. Результат совпадает со вторым уравнением в A6.36), не считая несущественной разницы в третьем десятичном знаке. 5. Чтобы доказать, что L есть симметрическая матрица, достаточно показать, что она равна своей транспонированной матрице: 6. ?1 = 7. Б так как Ф (и, следовательно, Ф) — симметрическая матрица, как и диагональная матрица D~2. ^бгх + ОЛЗгг + О^гз; 7^ = 0,96; ,312! + 0,54г2—0,16г3; #2 = 0,67. Г0,2061 0,00891 |_0 0,2864 J Г0,248 0,367 0,226 0,185 5,020 0,003 —0,001 ••-С: 042 0,000 0,011 0,023 0,578 0,200 0,140 0,011 0,120 Эти значения базируются на результатах машинных вычислений; поэтому они могут несколько отличаться от значений, определенных с помощью предложенной в упражнении процедуры. 9. а) "—0,038 0,014 0,261 _—0,010 —0,012 ... 0,008 ... 0,102 ... —0,004 ... 0,035" 0,113 —0,003 0,080_ б) с помощью формулы A6.25), пользуясь элементами первичной структуры (их необходимо предварительно подсчитать), или с помощью формулы A6.27), куда входит полная корреляционная матрица. 10. В вычислениях табл. 16.9 пользуются приближением матрицы R, в то время как при подсчете коэффициентов в упр. 3 бралась матрица, обратная фактической матрице выборочных коэффициентов корреляции. Если бы все остатки были нулями, обе группы значений совпали бы полностью. 446
11. Конечно, отдельные элементы обеих этих 8 X 8-матриц довольно значительно отличаются, поскольку они получены разными способами и исходят из разных начальных условий. Умножение матрицы (например, R или R* + D2) на свою обратную дает единичную матрицу. Поскольку ввиду наличия ненулевых остатков исходные матрицы различаются, различаются и матрицы, обратные им. Тем не менее, пользуясь приближением R, можно неплохо оценить некоторые необходимые величины (см. упр. 22, гл. 5). 12. r/S = J-1C'S, умножив справа A6.58) на S; ^-^С'РФ, подставив S из B.43); = J-iP'D РФ, подставив С; = 3~1ЗФ, по определению J. 13. a) fi = ( F2 = l1337z1 + 3,820z2—4,155z8; 6) #x =/1—0,790/3,113 = 0,864; #2=/l—15,333/3,113—мнимое число; мера информации равна всего 3,113/15,333 = 0,203, т. е. не превышает единицу. 14. ),065 —0,530 T'S = 1,337 3,820 1,000 0,5001 0,500 l,000J" -
ПРИЛОЖЕНИЕ Статистические таблицы В течение длительного промежутка времени быстрое развитие методов факторного анализа сопровождалось полным пренебрежением к вопросам статистической достоверности. Первым исключением из этого правила была работа Спир- мэна и Холзингера [443], посвященная выборочным ошибкам тетрадных разностей. Затем Хотеллинг [259], предложив общую теорию и алгоритмы метода главных факторов, рассмотрел вопрос о погрешностях корней характеристического уравнения и значений параметров, выбранных из бесконечной выборки. Следующий важный вклад в статистическую теорию факторного анализа был сделан в 1940 г., когда Лоули [320] ввел в факторный анализ метод максимального правдоподобия. Не имея точных формул для учета погрешностей при расчете факторных коэффициентов, Холзингер и Харман [243] разработали приближенные процедуры. Не повторяя их рассуждений и не вдаваясь в детали различных сделанных предположений, мы представляем в двух первых таблицах главные из полученных результатов. Основное предположение состоит в том, что отдельные коэффициенты корреляции могут быть заменены средним (г) по множеству. Некоторые дополнительные предположения связаны с тонкостями вычислений. Вообще говоря, с каждым последующим приближением ошибка выборки становится все меньше. Зная, например, что ошибки выборки переоценены, можно более строго задать уровень значимости. В табл. А приведены значения стандартных ошибок остатков (с учетом одного фактора) для выборок размером от N = 20 до N = 500 и среднего коэффициента корреляции от г = 0,10 до г = 0,75. В табл. Б приведены значения стандартной ошибки факторного коэффициента а для тех же интервалов значений N и г. Табл. В и Г — это обычные статистические таблицы. В табл. В даны значения величины площади (равной соответствующей вероятности) под кривой нормального распределения в интервале от 0 до —; значения вероятности даны для — в интервале от 0 до 4 с шагом 0,02. Вероятность превысить отклонение ± - s s равна Р = 1 —а, если площадь под кривой нормального распределения в интервале от 0 до — равна — а. s z В табл. Г даны значения ^-распределения для ряда значений Р, где 2^/2 [(V_2)/2]I U и число степеней свободы v меняется от 1 до 30. Р есть вероятность того, что на случайной выборке получилось бы значение %2, большее полученного в действительности или равное ему. 448
00 CM h- Is- СГ> *& ОЫП С* &i СО ""f CM О О h- СО LO "**• С7> СО СО --« О> 00 СО 1—« СУ> 00 t4- N^<D(OlC ЮЮЮЮ"* т*'-чг1 Tf тг1 СО СО СО СО СМ СМ 1-ч 1—< О О О ООООО ООООО ООООО ООООО ооо~оо ооооо о*оооо* с*оо*о*о о*оо*оо* »4 СМ Тр СМ С СО СО »—*0 *—• СО CM 00 Is-» 1-- С > f"^ f*^ ^^ СО *—« Q> t. СО СО Ю Ю СО СГ^ СГ* С^ * CM —• СО СМ СЛ СО rf C Ю Ю ^ т}< CO CO CO C ^ СО СО ^"* ^^ (^*^ ^^ ^^ ^ ооооо ооооо ооооо оооо~о ооо'о'о СОСО 00 C СМ 00 OOh- СО'-чОООСЧ COCOCOtOC ooooo o*oooo o*oo*oo" ooo"o"o oo'ooo ЮМ0О00 OCO^CO^ 00 OCOt О t^C М CpC ooooo 00000 o*oooo ooooo COCO^*C ОО 5000 ooo*oo ooo*oo* o*oooo ooooo ooooo 05^ OO ^ 4 ooooo* ooooo o*oooo ooooo oo*ooo* CO CM »-<С01Л1Д^ C7> О CO C4- •—• ^ CM CJ5 Ю CM CO —4 00 CO Ю CO CO CM «-Ч «—i OOOiOlC^ CM CM • * н н CO CO CO Ю CM ONl CO CO CO CO C Is* CM ^Э CO C CM Ю CO ooooo ooooo ooooo ooooo ooooo о о ь-сосою t^CMO^t^ СМ СМ »—"-• о оооо^-*гноо сослю-^оо ю см о CO Tf« СО СО CM «-• нОООО) ОЭСЛО »-• iHi-tFHt-tiH »-н *—t »-н »-н О ООО * оо О —«сосмоо 1^срсОЮ ОООО ООООО 00000 ООООО ООООО ООООО смоосо^оо cocot^o^ o^fOcoco ог^юсмсм юою^оо ОЪСГЭОООСО Ют^ООСОСМ r-it-ir-нОО ОСУ>С5СТ>00 Г^^СОСОЮ ооо*о*о о*о*оо*о* о*оооо о*о*о*о*о* о*о*о*оо* СОСМ^СОО СОЮ^СОСО ЮОЮСОСО OTf"-«OitN, о*ооо*о* ооооо оо*ооо ооо*оо Ю^ОО ЮСМО5СОС ^н—^О ООСЛ05 ОЭ СО 00 rf< I» Г^С^СОСОСО оо^о'оо* Г^ООтНОСО -H10NO00 СО СМ СМ СМ *""* СО ОЭ00О>СМЮ CftrhOCOCM C7>COCOO 00 СО 1Л тМ тр СО СМСМСМ^н«-ч ОООО *""* т~ц *~н '~н *~н *~4 *"^ '""' <~ц 1| ^ ^ '""' *~~* | t^COC СО СО С * ооооо ооооо ооооо ооооо о о оо о СМСОСО СОСМСМ оо^слсо смслсосос СМСМ^^ нООО ttO5 юсо^соаэ сооо^слсо смслсососм т^оосоа>ю СМСОСОООО ^СОЮт*«СО СОСМСМ^^ нОООФ OOl^t^COCO СОСМСМСМ^ ^,-ч^н^^н ^н^н^^^н ннн^О ООО^ОО о*о*ооо * о о*о*о*о* о*о*оо*о* о о о*о*о* о*о*ооо* ю о CMTf ООООООСО h-CMt^COOi Ю СМ СУ> СО Ю NOlfl^N »—' О5 OOCOlOlO^f СО СО СМ СМ *-« •—• »—< О О О 00 00 t-« t4" СО СО СМ СМ СМ ^^ »»н ^н «—н *~ч »—• ¦—< ^ч ^м «-н »—4 1—4 »«н »-н т-н СЭ ^5 ^Э С5 СО ^Э оо*о*оо* о*о*о*оо* о*о*о*о*о* о*о*о*о*о о*оо*оо СООСОЬ-00 СОСМСМ-^СО Tf00TH*-*O5 OOhСОЮ"^ ЮОЮ^ч 00^»—' СОСОСМСМ ^^^ СЛСМ °° °° ООООО ООООО О*ОООО* О*ОООО ООООО ООООО СМСОЮСО ОООО ОО СОТГ'ЮСО t- ОО ООООО t О С75 О —н 1 СО Tf" Ю СО о оо с t^- 00 CD С 449
>ОО О ООООО t^- СО СОЮ СМ СМ СМ CM СМ СМ О CD 00 t— СО ООООО ООООО ООООО ооооо - CD 00 ~н С 1 t— со СО t > о о о с CM 00CO СО ^ Ю "* ^ ^ -ф ооооо CD ОО СО Ю ^ СО СО СО СО СО СО СО СО СО СО СО СМ "-• — t— СО COCO CO CM ооооо ооооо ооооо ооооо ооооо Ю Tf у—| СО С '—< CD 00 t— С ^ о оо с СО 1С Ю Ю "*• ооооо 5 СМ ^ ;зз ооооо ооооо оо о о" о" о" о" CD 00 t— CO CM СО СО СО СО СО ооооо О С— CO тг СО со см см см см ооооо ооооо ооооо toi СО ^^ CD 00 I —.-«ооо ооооо о^о^оо о о^оо^о" ю со ~-><л t- ооооо о'о* о" о" о" СОЮ^СМС 5ОО О С ооооо ооооо ю I CN I ю со а оо о Ю СМ О Ci 00 5 t^ CO С > t— г— с >оос 5-^ 00 СОЮ )!ОЮЮЮ э оо о о со см о а "Ф Ю Ю Ю ^f ^ ооооо О h-Ю СО —* ^ со со со со ооооо ооооо ооооо ооооо ооооо ооооо ооооо Tf 00 СО < CD 00 001 „ о^оооо^ о"о*о"о~о" ооооо ооооо о о*о о о со см о t—i ооооо ^ ^ CM t^ СО О СО ^ СМч см оою см о ооооо ооооо ооооо ооооо ооооо ооооо ооооо ооооо > осм соcd ) —| 00 СО <Ч< JCM ~~-> 1-н ю ^ t о о < 00 СО Tf«»4 CO 00 00 00 ООС- ооооо t- см с_ _ _. СО СО 1С 1С 1С ооооо ооооо ооооо ооооо ооооо о о оо о t— СО 00 *—* Ю О Ю •—• t— Tf ю^сососм w^^oo о" о" о'о" о" о" о" о" о" о" о оою со со ^5 CD CD CD 00 ооооо о^о^о^о^о^ о" о" о" о" о" 2S2§§ ооооо ооооо ооооо ооооо ооооо •^COTfCOCD COOOCOCDlC CM t—СОЮ^СО OCCNCN^-н ^н ooooo ooooo ooooo ooooo ооооо ^COCO^t- -нЮОСОСМ o01— со iC ^j4 ^vt* со со см см C><DC>C>CD C>cScDCDC> сою см cd оо o~o"o~o~o" CD CO t— CO < ооооо ! S о н о, а S со 3 ч 03 Ю 00 CM t— CO CD 00 00 t— t— ooooo ooooo ooooo ooooo ooooo Э 00 CO t— 1С } ~-< f«* тР СЧ 5 CO CM CM CM 00 co t-h cot— см oo О CD 00 00 I— «-^o о о о ooooo ooooo ooooo ooooo ooooo о^о^сГо" ooooo <ЭСР(ЭС><Э ooooo ooooo о ч CO CO CO CM CM CO CM ^O CD CM CM CM CM ^н ooooo ooooo ooooo ooooo 1С CO COt 00 CD Tt< С Tf«CO OOC a> см o>t— t— <N 5! CM CM CM COC— -и 00 t— t— CO CM t— cot— Ю CO CO СОЮЮ CO CM I-* ooooo ooooo CO 1С ON CO оо сою со см ooooo CO 00 OCO t— ooooo ooooo см г- см 00 t- t- ooooo ooooo ooooo ooooo ooooo t— О>Ю ~ч CD 00 t— —* t— CO Ю Tt* Tf* COCO rf" CO t— CM ( '—• CD t— COl со см см см с ooooo ooooo )CM T^t- rpcOCN^O см см см см см ooooo ooooo CMCOrplCCO t— 0O CD О —• СМСОггЮСО CDC )OOC ) ОЮС 450
Таблица В. Значения площади под кривой нормального распределения , 5 ' Ix .* L_ Г -T T a— , r—z \ P x о dx X S 0,00 0,02 0,04 0,06 0,08 0,10 0,12 0,14 0,16 0,18 0,20 0,22 0,24 0,26 0,28 0,30 0,32 0,34 0,36 0,38 0,40 0,42 0,44 0,46 0,48 0,50 0,52 0,54 0,56 0,58 0,60 0,62 0,64 0,66 0,68 0,70 0,72 0,74 0,76 0,78 1 — а ' 0,0000 0,0080 0,0160 0,0239 0,0319 0,0398 0,0478 0,0557 0,0636 0,0714 0,0793 0,0871 0,0948 0,1026 0,1103 0,1179 0,1255 0,1331 0,1406 0,1480 0,1554 0,1628 0,1700 0,1772 . 0,1844 0,1915 0,1985 0,2054 0,2123 0,2190 0,2257 0,2324 0,2389 0,2454 0,2517 0,2580 0,2642 0,2703 0,2764 0,2823 X S 0,80 0,82 0,84 0,86 0,88 0,90 0,92 0,94 0,96 0,98 1,00 1,02 1,04 1,06 1,08 1,10 1,12 1.14 1,16 1,18 1,20 1,22 1,24 1,26 1,28 1,30 1,32 1,34 ,36 1,38 1,40 ,42 1,44 1,46 1,48 1,50 1,52 1,54 1,56 1,58 1 — а 0,2881 0,2939 0,2995 0,3051 0,3106 0,3159 0,3212 0,3264 0,3315 0,3365 0,3413 0,3461 0,3508 0,3554 0,3599 0,3643 0,3686 0,3729 0,3770 0,3810 0,3849 0,3888 0,3925 0,3962 0,3997 0,4032 0,4066 0,4099 0,4131 0,4162 0,4192 0,4222 0,4251 0,4279 0,4306 0,4332 0,4357 0,4382 0,4406 0,4429 X S 1,60 1,62 1,64 1,66 1,68 1,70 1,72 1,74 1,76 1,78 1,80 1,82 1,84 1,86 1,88 1,90 1,92 1,94 1,96 1,98 2,00 2,02 2,04 2,06 2,08 2,10 2,12 2,14 2,16 2,18 2,20 2,22 2,24 2,26 2,28 2,30 2,32 2,34 2,36 2,28 1 — а 0,4452 0,4474 0,4495 0,4515 0,4535 0,4554 0,4573 0,4591 0,4608 0,4625 0,4641 0,4656 0,4671 0,4686 0,4699 0,4713 0,4726 0,4738 0,4750 0,4761 0,4772 0,4783 0,4793 0,4803 0,4812 0,4821 0,4830 0,4838 0,4846 0,4854 0,4861 0,4868 0,4875 0,4881 0,4887 0,4893 0,4898 0,4904 0,4909 0,4913 X S 2,40 2,42 2,44 2,46 2,48 2,50 2,52 2,54 2,56 2,58 2,60 2,62 2,64 2,66 2,68 2,70 2,72 2,74 2,76 2,78 2,80 2,82 2,84 2,86 2,88 2,90 2,92 2,94 2,96 2,98 3,00 3,02 3,04 3,06 3,08 3,10 3,12 3,14 3,16 3,18 1 — а 0,4918 0,4922 0,4927 0,4931 0,4934 0,4938 0,4941 0,4945 0,4948 0,4951 0,4953 0,4956 0,4959 0,4961 0,4963 0,4965 0,4967 0,4969 0,4971 0,4973 0,4974 0,4976 0,4977 0,4979 0,4980 0,4981 0,4982 0,4§84 0,4985 0,4986 0,4987 0,4987 0,4988 0,4989 0,4990 0,4990 0,4991 0,4992 0,4992 0,4993 X S 3,20 3,22 3,24 3,26 3,28 3,30 3,32 3,34 3,36 3,38 3,40 3,42 3,44 3,46 3,48 3,50 3,52 3,54 3,56 3,58 3,60 3,62 3,64 3,66 3,68 3,70 3,72 3,74 3,76 3,78 3,80 3,82 3,84 3,86 3,88 3,90 3,92 3,94 3,96 3,98 — а 0,4993 0,4994 0,4994 0,4994 0,4995 0,4995 0,4995 0,4996 0,4996 0,4996 0,4997 0,4997 0,4997 0,4997 0,4997 0,4998 0,4998 0,4998 0,4998 0,4998 0,4998 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,4999 0,5000 0,5000 0,5000 0,5000 0,5000 451
эооепо см со со см со ббоосм^ю гр со —«обю см сп ю —«со см с-^ со об со t^ см ь- —«со о ^ оо со t^ ОСОСОООО СМ^СО^-СП —« СМ т*» СОГ*-* СтГоСМСОЮ со" 00 СП —"СМ* tJ~IO*< * ^_ ^ ^ ^н CM CMCMCMCMCM СО СО СО СО СО CO^rfTj«Tti ^^^ЮЮ ЮЮ1 , j en ю en —• см —« 5 Ю *-* CO CM I>» CO 00 CO I O О )OWNto смюососп to t^> oo —< oo )-• Tf< Is- 00 •-* t^- СП СО О N'-'OO^N ? CM CO CM О 00 ^ О CO CM I"- CM CO —¦ Ю со с СП С см со оо с СО СП (Ml —«сою toooo^co ^ со r-en о ^-<^^-, ^_смсМСМ CMCMCMCMCO CNC0rJ*CDN COCOCOCOCO 00 О ^ CM CO TJ« Tf ^ О О) i i CM Tf t>-00 00 СОСМ00СП—« 00 — CM CO CO 00 CO CM CO t>-CO —«lOtbtO ^«oooococo осо—«со — соо^оосм ЭЮСОГ^О эспт««оосм 5 en со со о СОСПОООСО ^юсог^со со со en см ю —« со ю со оо сп —« смтрюсооо сп о см со ю ^_ *-, ^-(^^^^^нсМ CMCMCMCMCM СМСОСОСОСО соо сп со см Ю TF —' СП СО оо —трсо^сп см п*ю*со*г^* ^i-нЮ rfcni—« oocnoo О СМГ-t^cnt^ 1ЛСОСМЮСО h- encoo^^o t^cMcooocn o шоюепсо coocococn со t>- en Tt* о en ooco ^t"-H O 00 f со t en Tt en ooco ^t" Ol tO 00^ — TpCNlC CM со сп —< г? со CO Г-» l>- CO »-^со1оь-. »-1 COlON --< CM^IOCOQO Cn^CMCOrf* OOO1^ CMcoco CMCOlOCOt^- cococococo S OOlON l>. CO CM t» co lotcMrft CM COOCOCOCn см сп сп ^ см Tf«CD GOO — Ю *"*- СП СМ ^ ю со Is-со см *—<r-< о en oo COOOO см см смсмс5смсм смй cococS со »-«со t^ со cort*"—<оою Ю1>-СПОСМ cocococo? смспсмспсп оосоосмсм —«смю—«—« сосмсоепсм юооос^тг сооосп — со to to oo oo CD ¦—i CO О СО f co^ en о ю см r^ en с СП—«CMCOl N0H--'C -и oo rf ю s oo en »-h со t>>. oo en о CM CM CM CM CO —< см ^f to со COCOCOCOCO гИ 00 Ю 00 *«f —* ( О ^ СО 00 О СМ < —~сясог&<о t^coobo — см"^ю*со*г>^ Э т}< СО »-н СП —« СП СМ СМ эсмюоо сп—« — смсм JIOCON 00 О —« СМ СО oo—j—ic 5io со с jcnoococM cocn > со —«cnt- rti.-H H00 CMCO cocn—<—*c rti.-Hcncoc CMCOCO^l ooen о —«см — H CM CM CM о с CM CM C со тн со t^. oo CMCMCMCMCM en о—i см со СМСОСОСОСО H о ю со со t^- «—• ooco^cocm »—• о о en en lOOOCOtOlO TH Tt« "sf тН ^ rt*^^cOCO Tj< CO CO CO CO CO CO CO CO CO CO CO CO CO CO o" —* слсо~*ф ю" со* Is-oo en о'^смео rjT со со со со со СО СО СО СО СО Ю*со*1>-~а0~СП~ со со со со со со со со со со CM CM CM CMCM to со ь* oo en CM CM CM CM CM i 00С0ТГЮО 00 — Is- CO t*- OOTfCO —^^ t^NO^O CMl^CMCncO rf CO CM CM CM ^t^^^-^O OOCOtOCOCM —"OCnoOt- *tf<—н О СМ СО см со трю со СОЮ * СО СМ СМч^н CO h- oo о см ^co —«—< о en oo о о *-« см со oo en en о —« Is" 00 СП СП о см см см см CD СМ ^З CD СП СП I О 00 Ю СО —« СП < СО СО^Ю^СО* СО* t^- 00 СП О* CO CD ^?h со CM CM h- CO 00 Ю ОЮ — » •hOoon ^н OOCO rf co — о en ю со" ьГ oo' oo* oot>-t tO ^i4 C^ CO т*< CO en о -ч см со —* см см см см I CD—j Tf rf-O О СМЮ О СО 5О00 5СПСОС 3 ji i ooo—"— смюю —со о—ооспсо 1~к 00 СО lO '45l4 ^* ^ ^i* tO t*4 COOOOCD'* CNOOOCOt СП CD О —« CM CO* Th ^}*Ю CO см rh en oo en en — со со en см —• en t>-io N00 00C5O —< -и —i —i CM 4* CO CM эою • Ю Ю CO CM—i —* , , r^. см en t^ со " t>-CO СП ЮСМ00ЮСМ o*ooo—• ~+ см см со* со •* юю со* i> 4 CO CM Ю LO^COtOO Ю CO C| эою —rp cocococmt^ r^. cm en t^ со 5 —* со t— —* co*-«t>cocn юсмооюсм , — — 00—•* 00 —н —<ю en со en Tf «—< COCO—'00 ЮСОООССО S00OOO —•CMCOCO'* en»—• oo oo со t-^to см о en со —• en г p to CO CD t^ 00 >ю en см ^ ¦> f 0 CNO COC i . , ,«cMCMcn cnoot f* 00 CN Ю СОСОСОСОЮ ONt — ЮОЮО СО — t lOOW<NN СП Ю ОСО —«OCnCncn OCN iocM cncocMcnco ^—« ooooo —^ —h см см со cot^imo соь-t^oocn en о —• —«см ЭЮ ^lOC ¦> 00 ^Ю Den cocM СчЗ см сп со оо оо со — OO—'СМЮ ООСМСООЮ OO*OOO* O—"-« Э — CMl NOCOCN -O^C Ю—^COCM ООтрОС 00 СП tO CO CO oo to '¦¦"« oo to '~н oo to см en ("-Г CMCM* COTf* -*• cot^-oocno —cMco-^to cot^-oocno —' 452
БИБЛИОГРАФИЯ В библиографию включены не только те книги и статьи, на которые есть ссылки в тексте» но также и некоторые другие работы, могущие оказаться полезными. Критерием для отбора этих работ была степень их близости к теории и вычислительным процедурам факторного анализа. Из работ, касающихся приложений, вошли лишь те, на которые есть ссылки в тексте. В библиографии применены следующие сокращения: AJP = American Journal of Psychology. A MM = American Mathematical Monthly. Ann. Math. = Annals of Mathematics. Ann. Math. Stat. = The Annals of Mathematical Statistics. Ann. N. Y. Acad. Sci. = Annals of the New York Academy of Sciences. Biom. = Biometrika. BJEP = British Journal of Educational Psychology. BJ Math. Stat. Psych. — British Journal of Mathematical and Statistical Psychology (более ранние сокращения: BJP Stat. Sec.\ BJ Stat. Psych.). BJ P = British Journal of Psychology. Ed. Psych. Measurement = Educational and Psychological Measurement. J. AM A = Journal of the American Medical Association. J. ASA — Journal of the American Statistical Association. J. ACM = Journal of the Association for Computing Machinery. JEP = Journal of Educational Psychology. J. Exp. Ed. = Journal of Experimental Education. J. Roy. Stat. Soc. = Journal of the Royal Statistical Society. J. Soc. Psych. = Journal of Social Psychology. Phil. Trans. Roy. Soc. = Philosophical Transactions of the Royal Society of London, Series A. Psych. = Psycho metrika. Psych. Bull. — Psychological Bulletin. Psych. Rep. — Psychological Reports. Psych. Rev. — Psychological Review. Proc. Edin. M. S. = Proceedings of the Edinburgh Mathematical Society. Second Series. Proc. Nat. Acad. Sci. = Proceedings of the National Academy of Sciences. Proc. Roy. Soc. Edin. = Proceedings of the Royal Society of Edinburgh. Proc. Roy. Soc. Lon. = Proceedings of the Royal Society of London, Series A. Rev. Ed. Res. = Review of Educational Research. SM = Scientific Monthly. Trans. AMS = Transactions of the American Mathematical Society. Жирным шрифтом выделены номера периодических изданий. —. повторение фамилии. 1. Ad cock, С. J. A note on cluster-directed analysis. Psych., 17 A952), 249—253. 2. Adkins, Dorothy С and Samuel, B. Lyerly. Factor analysis of reasoning tests. Chapel Hill: U. of North Carolina Press, 1952 Pp. iv + 122. 453
3. A h m a v a a r a, Y r j 6. The mathematical theory of factorial invariance under selection. Psych. 19 A954), 27—38. 4. —. On the unified factor theory of mind. Annales Akademiae Scientiarum Fen- nicae. Ser. B.106. Helsinki, 1957, P. 176. 5. A i t с h i s о n, J. and S. D. S i 1 v e y. Maximum-likelihood estimation procedures and associated tests of significance. J Roy. Stat. Soc, B. 22 A960), 154-171. 6. A i t к e n, A. C. Determinants and matrices. Second edition. Edinburgh: Oliver and Boyd, 1942, Pp. vii + 135. 7. Albert, A. A. Introduction to algebraic theories. Chicago: U. of Chicago Press, 1941. Pp. vii + 137. 8. —. The matrices of factor analysis. Proc Nat. Acad. Sci. A944), 90—95. 9. —. The minimum rank of a correlation matrix. Proc. Nat. Acad. Sci., A944) 144—146. 10. A 1 к е г, Н а у w а г d. Dimensions of conflict in the general assembly. Amer. Polit. Sci. Rev., 58 A964), 642—657. 11. An-derson, T. W. An introduction to multivariate statistical analysis. New York: John Wiley and Sons, Inc., 1958. P. 374. АндерсонТ. Введение в многомерный статистический анализ. М., Физматгиз, 1963. 12. —. Asymptotic theory for principal - component analysis. Ann. Math. Stat., 34 A963), 122—148. 13. —. The use of factor analysis in the statistical analysis of multiple time series. Psych., 28 A963), 1—25. 14. A n d e r s о n, T. W. and H. Rubin. Statistical inference in factor analysis. Proc. of the Third Berkeley Symp on Math. Statistics and Probability. 5 A956), 111 — 150. 15. Andrews T. G. Statistical studies in allergy. II: A factorial analysis. J. of Allergy, 19 A948), 43—46. 16. Apostol, Т. М. Mathematical analysis: A modern approach to advanced calculus. Reading, Mass.: Addison — Wesley Publishing Co., 1957, Pp. xii + + 553. 17. Aubert, Eugene J., IverA. Lund and Albert J. Thoma- s e 1 1. Some objective six-hour predictions prepared by statistical methods. J. of Meteorology, 16, A959), 436—446. 18. В a e h r, M e 1 a n у Е. A comparison of graphic and analytic solutions for both oblique and orthogonal simple structures for factors of employee morale. Psych., 28 A963), 199—209. 19. В aggaley, A. and R. В. С a t t e 1 1. A comparison of exact and approximate linear function estimates of oblique factor scores. BJ Stat. Psych., 9 A956), 83—86. 20. В a n а с h i e w i с z, J. Methode de resolution numefique des equations li- neaires, du calcul de determinants et des inverses et de reduction des formes quadratiques. Bull. Int. Acad. Polonaise des Sciences et Lettres A938), 393—404. 21. —. An outline of the Cracovian algorithm of the method of least squares. Astronomical Journal, 50 A942), 38—41. 22. Banks, Charlotte and С у r i 1 В u r t. The reduced correlation matrix. BJ Stat. Psych., 7 A954), 107—117. 23. В а г g m a n n, R. Factor analysis program for 7090, preliminary version. Internal document, 28—126 A963). Yorktown Heights, N. Y.: IBM Research Center. 24. В a r 1 о w, J. A. and С. В u r t. The identification of factors from different experiments. BJ Stat. Psych., 7 A954), 52—56. 25. В a r t 1 e t t, M. S. The statistical conception of mental factors. BJP, 28 A937), 97—104. 26. —. The general canonical correlation distribution. Ann. Math. Stat., 18 A947), 1 — 17. 27. —. Internal and external factor analysis. BJP Stat. Sec, 1 A948), 73—81. 28. —. Tests of significance in factor analysis. BJP. Stat. Sec, 3 A950), 77—85. 29. —. A further note on tests of significance in factor analysis. BJP Stat. Sec, 4A951), 1—2. 454
30. —. The effect of standardization on a v2 approximation in factor analysis. Biom., 38 A951), 337—344. 31. —. Factor analysis in psychology as a statistician sees it. Uppsala Symposium on Psychological Factor Analysis. Uppsala: Almqvist and Wiksell A953), 23—34. 32. —. A note on the multiplying factors for various %2 approximations. /. Roy. Stat. Soc, B, 16 A954), 296—298. 33. —. Essays on probability and statistics. New York: John Wiley & Sons, Inc., 1962, Pp. viii + 127. 34. В е с h t о 1 d t, H a r о 1 d P. An empirical study of the factor analysis stability hypothesis. Psych., 26 A961), 405—432. 35. Benoit, Commandant. Note sur une methode de resolution des equations normales. Bull. Geodesique, A924), 67—77. 36. В e r n у е r, G. Psychological factors: Their number, nature, and identification. BJ Stat. Psych., 10 A957), 17—27. 37. В e r r y, Brian J. L. A method for deriving multi-factor uniform regions. Polish Geographical Review (Przeglad Geogrficzny). 33 A961), 263—279. 38. —. Basic patterns of economic development. In Norton Ginsburg, Atlas of economic development. Chicago: U. of Chicago Press, A961), 110—119. 39. Black, Michael S. Institute for Juvenile Research statistical package (IJRPAC). IBM 7094 program. Chicago. U. of Chicago Computation Center, 1965. 40. Black, T. P. The probable error of some boundary conditions in diagnosing the presence of group and general factors. Proc. Roy. Soc. Edin., 49 A929), 72—77. 41. В 1 i s s , G. A. Mathematical interpretations of geometrical and physical phenomena. AMM, 40 A933), 472—480. 42. BMD: Biomedical computer programs. Los. Angeles: U. of California, Health Sciences Computing Facility, School of Medicine, 1964", P. 585. 43. В о d e w i g, E. Matrix calculus. New York: Interscience Publishers, Inc., 1956. 44. В о 1 d t, R о b e r t F. Least-squares factoring to fit off-diagonals. Paper presented at Amer. Psych. Assoc. 1964 Ann. Convention. Amer. Psych., 19 A964), 582. 45. В о n n e r, R. E. On some clustering techniques. IBM J. of Res. and Dev., 8 A964). 46. В о г к о, Н. A factor analytically derived classification system for psychological reports. Perceptual and Motor Skills. 20 A965), 393—406. 47. В u h 1 e r, R о a 1 d. P-STAT: A system of statistical program for the 7090/7094. Programming notes, # 12 A964). Princeton, N. J.: Princeton U. Computer Center. 48. Burns, L e 1 a n d S. and Alvin J. Harman. The complex metropolis, Part V of Profile of the Los Angeles metropolis: Its people and its homes. Los Angeles: U. of California Press, 1966. 49. В ur г о u g h s, G. E. R. and H. W. L. M i 1 1 e r. The rotation of principal components. BJ Stat. Psych., 14 A961), 35—49. 50. В u r t, Cyril. Experimental tests of general intelligence. BJP, 3 A909), 94—177. 51. —. The distribution and relations of educational abilities. London: P. S. King and Son, 1917, Pp. xiii + 93. 52. —. Correlations between persons. BJP, 28 A937), 59—96. 53. —. Methods of factor analysis with and without successive approximations. BJEP, 7 A937), 172—195. 54. —. The unit hierarchy and its properties. Psych., 3 A938), 151 — 168. 55. —. The factorial analysis of emotional traits. Character and Personality. 7 A939), 238—254, 285—299. 56. —. The factors of the mind: An introduction to factor analysis in psychology. New York: MacMillan, 1941, Pp. xiv + 509. 57. —. A comparison of factor analysis and analysis of variance. BJP Stat. Sec, 1 A947), 3—26. 455
58. —. The factorial study of temperamental traits. BJP Stat., Sec, 1 A948) 178—203. h 59. —. Alternative methods of factor analysis and their relations to Pearson's method of «Principal axes.» BJP Stat Sec, 2A949), 98—121. 60.—. The structure of mind: A review of the results of factor analysis. BJEP 1$ A949), 100—111, 176—199. 61. —. Group factor analyses. BJP Stat. Sec. 3 A950), 40—75. 62. —. Tests of significance in factor analysis. BJP Stat. Sec, 5 A952), 109—133. 63. Bur t, C. and M. H о w a r d. The multifactorial theory of inheritance and its application to intelligence. BJ Stat. Psych., 9 A956), 95—131. 64. В u r t, С у r i 1 and William Stephenson. Alternative views on correlations between persons. Psych., 4 A939), 269—281. 65. В u t 1 e r, J о h n M. Simplest data factors and simple structure in factor analysis. Ed. Psych., Measurement, 24 A964), 755—763. 66. С a d y, L e e D., M e n a r d M. G e r t 1 e r, L i d a G. G о t t s с h and Max A. Woodbury. The factor structure of variables concerned with coronary artery disease. Behavioral Science, 6 A961), 37—41. 67. Cad y, Lee D., MenardM. Gertler and Lewis A. N о w i t z. Coronary disease factors. Behavioral Science. 9 A964), 30—32. 68. С a r 1 s о n, HЛ 1 d i n g B. A simple orthogonal multiple factor approximation procedure. Psych. 10 A945), 283—301. 69. С а г г о 1 1, J о h n В. An analytical solution for approximating simple structure in factor analysis. Psych., 18 A953), 23—38. 70.—. Biquartimin criterion for rotation tooblique simple structure in factor analysis. Science, 126, Nov. 29 A957). 1114—1115. 71. —. IBM 704 program for generalized analytic rotation solution in factor'analysis. Unpublished manuscript, Harvard University, 1960. P. 9. 72. С а г г о 1 1, John B. and Robert F. Schweiker. Factor analysis in educational research. Rev. Ed. Res., 21 A951), 368—388. 73. Cattell, Raymond B. A note on factor invariance and the identification of factors. BJP Stat. Sec, 2 A949), 134—139. 74. _. rp and other coefficients of pattern similarity. Psych., 14 A949), 279—298. 75. —. Factor analysis. New York: Harper and Bros., 1952. Pp. xiii + 462. 76. —. Personality and motivation structure and measurement. Yonkers-on-Hudson, N. Y.: World Book Co., 1957, P. 948. 77. —. Factor analysis: An introduction to essentials. Biometrics. 21 A965), 190— 215, 405—435. 78. С a t t e 1 1, R. B., H. В r e u e 1 and H. P a r к e r H a r t m a n. An attempt at more refined definition of the cultural dimensions of syntality in modern nations. Amer. Soc Rev., 17 A952), 408—421. 79. С a t t e 1 1, R. B. and A. K. S. Cattell. Factor rotation for proportional profiles: Analytical solution and an example. BJ Stat. Psych., 8 A955), 83—91. 80. Cattell?, R. B. and K- D i с к m a n. A dynamic model of physical influence demonstrating the necessity of oblique simple structure. Psych. Bull., 59 A962), 389—400. 81. Cattell, R..B. and J. L. M u e r 1 e. The «maxplane» program for factor rotation to oblique simple structure. Ed. Psych. Measurement, 20 A960), 569—590. 82. С h r i s t i a n, P., R. Kropf and H. К u r t h. Eine Faktorenanalyse der subjektiven Symptomatik vegetativer Herz- und Kreislaufstrorungen. Archiv fur Kreislaufforschung, 45 A964), 171 — 194. 83. С 1 i f f , N о г m a n. Analytic rotation to a functional relationschip. Psych., 27 A962), 283—295. 84. —. Orthogonal rotation to congruence. Psych., 31 A966), 33—42. 85. Comrey, AndrewL. The minimum residual method of factor analysis. Psych. Rep., 11 A962) 15—18. 86. С о о m b s, С 1 у d e H. A criterion for significant common factor variance. Psych., 6 A941), 267—272. 456
87. С о о га b s, С. Н. and R. С. К а о. Nonmetric factor analysis. Bull. Dept. Engng. Res, No. 38 A955). Ann Arbor: U. of Michigan. Pp. vii + 63. 88. —. On a connection between factor analysis and multidimensional unfolding. Psych., 25 A960), 219—231. 89. С о о m b s, Clyde H. and George A. Satter. A factorial approach to job families. Psych., 14 A949), 33—42. 90. Craeger,JohnA. General resolution of correlation matrices into components and its utilization in multiple and partial regression. Psych., 23 A958), 1—8 91. Cureton, Edward E. The principal compulsions of factor-analysts. Harvard Educational Review, 9 A939), 287—295. 92. С u r e t о n, T. K. and L. F. Sterling. Factor analyses of cardiovascular test variables. /. of Sports Medicine and Physical Fitness, 4 A964), 1—24. 93. D a n f о r d, M. B. Factor analysis and related statistical techniques. Un- publisched Ph. D. Thesis, North Carolina State College, 1953. 94. D a r г о с h, J. N. A set of inequalities in factor analysis. Psych., 30 A965), 449—453. 95. D a s, R h e a S. An application of factor and canonical analysis to multi- variate data. BJ Math. Stat. Psych., 18 A965), 57—67. 96. Davis, F. B. The interpretation of principal-axis factors. JEP, 38A947), 471—481. 97. D i с к m a n, K- W. Factorial validity of a rating instrument. Unpubli- sched Ph. D. Thesis, U. of Illinois;i960, P. 153. 98. —. SSUPAC: Manual of computer programs for statistical analysis. Statistical Service Unit, U. of Illinois, 1964. 99. D i с к ш a n Д. and H. F. Kaiser. Program for inverting a Gramian matrix. Ed. Psych. Measurement, 21 A961), 721—727. 100. D i с к s о n, L. E. First course in the theory of equations. New York: John Wiley and Sons, Inc., 1922, Pp. vi + 168. 101. —. Modern algebraic theories. New York: Benj. H. Sanborn and Co., 1930. Pp. ix + 276. 102. Dodd,Stuart C. On the sampling theory of intelligence. BJP, 19 A929), 306—327. 103. D u В о i s, P h i 1 i p H. An analysis of Guttman's Simplex. Psych., 25 A960), 173—182. 104. Durain, Genevieve. L'analyse factorielle: Le colloque international de 1955. Bull. Cent. Etud. Rech. Psychotech., 5 A956), 79—89. 105. Durand, David. A note on matrix inversion by the square root method. J. ASA. 51 A956), 288—292. 106. Dwyer, PaulS. The determination of the factor loadings of a given test from the known factor loadings of other tests. Psych., 2 A937), 173—178. 107. —. The contribution of an orthogonal multiple factor solution to multiple correlation. Psych., 4 A939), 163—171. 108. —. The evaluation of multiple and partial correlation coefficients from the factorial matrix. Psych., 5 A940), 211—232. 109. —. A matrix presentation of least squares and correlation theory with matrix justification of improved methods of solution. Ann. Math. Stat., 15 A944), 82—89. 110. —. The square root method and its use in correlation and regression. /. ASA. 40A945), 493—503. 111. —. Linear computations. New York: John Wiley and Sons, Inc., 1951. Pp. xi + 344. 112. D w у e r, P a u 1 S. and M. S. M а с p h a i 1. Symbolic matrix derivatives. Ann. Math. Stat, 19 A948), 517—534. 113. Eber, Herbert W. Toward oblique simple structure: Maxplane. Mul- tivariate Behav. Res., 1 A966), 112—125. 114. E с к a r t, C. and G. Y о u n g. The approximation of one matrix by another of lower rank. Psych., 1 A936), 211—218. 15 зак. 656 457
115. Elfving, G., R. Si tgr eaves and H. Solomon. Item selection procedures for item variables with a known factor structure. Psych., 24 A959), 189—205. 116. E m m e t t, W. G. Sampling error and the two-factor theory. BJP, 26 A936), 362—387. 117. —. Factor analysis by Lawley's method of maximum likelihood. BJP Stat. Sec, 2 A949), 90—97. 118. E n g e 1 h a r t, M a x D. The technique of path coefficients. Psych., 1 A936), 287—293. 119. E у s e n с к, H. J. Dimensions of personality. New York: The Macmillan Co., 1949. P. 308. 120. —. Criterion analysis. — An application of the hypothetico - deductive method to factor analysis. Psych. Rev., 57 A950), 38—53. 121. —. Uses and abuses of factor analysis. Applied Stat., 1 A952), 45—49. 122. —,e The logical basis of factor analysis. Amer. Psychologist, 8 A953), 105—114. 123. Faddeev, D. K. and V. N. F a d d e e v a. Computational methods of linear algebra. San Francisco: W. H. Freeman and Company, 1963. P621. Фаддеев Д. К., Фаддеева В. Н. Вычислительные методы линейной алгебры, изд. 2. Физматгиз, 1963. 124. Farra r, Donald Eugene. The investment decision under uncertainty. Englewood Cliffs., N. J.: Prentice Hall, 1962. P. 90. 125. Ferguson, George A. The factorial interpretation of test difficulty. Psych., 6 A941), 323—329. 126. —. The concept of parsimony in factor analysis. Psych., 19 A954), 281—290. 127. Fisher, R. A. Frequency distribution of the values of the correlation coefficient in samples from an indefinitely large population. Biom., 10 A915), 507—521. 128. —. On the mathematical foundations of theoretical statistics. Phil. Trans. Roy. Soc, 222 A922), 309—368. 129. —. Theory of statistical estimation. Proc. Camb. Phil. Soc, 22 A925), 700— 725. 130. —. The design of experiments. Edinburgh: Oliver and Boyd, 1935, Pp. xi + + 252. 131. —. Statistical methods for research workers. 13th ed. New York: Hafner, 1958. 132. Flood, Merrill M. A computational procedure for the method of principal components. Psych., 5 A940), 169—172. 133. Foote, R. J. A modified Doolittle approach for multiple and partial correlation and regression. J. ASA, 53 A958), 133—143. 134. F о r s у t h, A. R. Geometry of four dimensions, Vol. I. Cambridge: Cambridge University Press, 1930. Pp. xxix + 468. 135. French, J. W. The description of aptitude and achievement factors in terms of rotated factors. Psychometric Monographs. No. 5. Chicago: U. of Chicago Press. 1951. P. 278. 136. Fruchter, B. Orthogonal and oblique solutions to a battery of aptitude, achievement and background variables. Ed. Psych. Measurement, 12 A952), 20—38. 137. —. Introduction to factor analysis. New York: D. Van Nostrand Co., 1954. Pp. xii + 280. 138. Fruchter, Benjamin and Edwin Novak. A comparative study of three methods of rotation. Psych., 23 A958), 211—221. 139. F u 1 1 e r, E. L., Jr. and W. J. Hemmerle. Robustness of the maximum-likelihood estimation procedure in factor analysis. Psych., 31 A966), 255—266. 140. G a r n e t t , J. С. М. On certain independent factors in mental measurement. Proc. Roy. Soc. Lon., A 96 A919—1920), 91 — 111. 141. Garrett, Henry E. The discriminant function and its use in psychology. Psych., 8 A943), 65—79. 142. Garrett, H. E. and Anne Anastasi. The tetrad-difference criterion and the measurement of mental traits. Ann. N. Y. Acad. Sci.t 33 A932), 235—282. 458
143. G e n g e r e 1 1 i, J. A. A simplified method for approximating multiple regression coefficients. Psych., 13 A948), 135—146. 144. Gibson, W. A. Orthogonal and oblique simple structure. Psych., 17 A952), 317—323. 145. —. Proportional profiles and latent structure. Psych., 21 A956), 135—144. 146. —. Three multivariate models: Factor analysis, latent structure analysis, and latent profile analysis. Psych., 24 A959), 229—252. 147.—. Nonlinear factors in two dimensions. Psych., 25 A960), 381—392. 148. .—. Orthogonal from oblique transformations. Ed. Psych. Measurement, 20 A960), 713—721. 149. —. An asymmetric approach to multiple - factor analysis. BJ Stat. Psych., 14 A961), 97—107. 150. —. Latent structure and positive manifold. BJ Stat. Psych., 15 A962), 149— 160. 151. —. On the least-squares orthogonalization of an oblique transformation. Psych., 27 A962), 193—195. 152. —. Factoring the circumpiex. Psych., 28 A963), 87—92. 153. —. On the symmetric treatment of an asymmetric approach to factor analysis. Psych., 28 A963), 423—426. 154. Ginsburg, Norton (ed.). Essays in geography and economic development. Research paper, No. 62. Dept. of Geography, U. of Chicago, 1960. 155. G i r s h i с к, M. A. Principal components. J. ASA, 31 A936), 519—528. 156. —. On the sampling theory of roots of determinantal equations. Ann. Math. Stat, 10 A939), 203—224. 157. G i t t u s, E 1 i z a b e t h. The structure of urban areas: A new approach. The Town Planning Rev., 35 A964), 5—21. 158. G i v e n s, W a 1 1 а с e. Numerical computation of the characteristic values of a real symmetric matrix. Oak Ridge, Tenn: Oak Ridge National Laboratory, 1954. P. 107. 159. Gol dst ine, H. H. F. J. Murray and J. Von Neumann. The Jacobi method for real symmetric matrices. J. ACM. 6 A959), 59—96. 160. G о 1 u b, G. H. On the number of significant factors as determined by the method of maximum likelihood. Unpublisched paper, U. of Illinois, 1954. 161. —. Eigenvalues and eigenvectors of a real symmetric matrix. Computing programs J124 and J125 for the JOHNNIAC A955). Santa Monica, Calif.: The RAND Corporation. P. 5. 162. Gosnell, Harold F. and Margaret Schmidt. Factorial and correlational analysis of the 1934 vote in Chicago. /. ASA, 31 A936), 507— 518. 163. Gould, P e t e r, et all. Toward a geography of economic health: The case of New York State. Annals Amer. Assoc. of Geographers, 52 A962), 1—20. 164. Green, Bert F. The orthogonal approximation of an oblique structure /—\m factor analysis. Psych., 17 A952), 429—440. A65. JG r e g g , L. W. and R. G. Pearson. Factorial structure of impact v—- and damage variables in lightplane accidents. Human Factors, 3 A961), 237— -244. 166. Greville, T. N. E. Some applications of the pseudoinverse of a matrix. SI AM Rev., 2 A960), 15—22. 167. G u i 1 d f о r d, J. P. The structure of intellect. Psych. Bull, 53 A956), 267 293. 168. G u i 1 d f о r d , J. P. and W i 1 1 i a m B. Michael. Approaches to univocal factor scores. Psych., 13 A948), 1—22. 169. Guildford, J. P. and W. S. Zimmerman. Fourteen dimensions of temperament. Psychological Monographs, 70 A956), P. 26. 170. Gullahorn, JeanneErard. A factorial study of international communication and professional consequences reported by Fulbright and Smith Mundt grantees, 1947—1957. Unpublisched Ph. D. Thesis, Michigan State U., 1964. 171. G u 1 1 i к s e n, H. and L. R. T u с к е r. A mechanical model illustrating the scatter diagram with oblique test vectors. Psych., 16 A951), 233—238. 15* . 459
172. Gutman, Louis. Multiple rectilinear prediction and the resolution, into components. Psych., 5 A940), 75—99. 173. —. General theory and methods for matrix factoring. Psych., 9 A944), 1—16 174. —. The principal components of scale analysis. Chapter in Samuel A. Stouf- fer, et at., Measurement and prediction. Princeton, N. J.: Princeton U. Press, A950), 312—361. 175. —. Multiple group methods for common-factor analysis: Their basis, computation, and interpretation.. Psych., 17 A952), 209—222. 176. —. Image theory for the structure of quantitative variates. Psych., 18 A953), 277—296. 177. —. Some necessary conditions for common-factor analysis. Psych., 19 A954), 149—161. 178. —. A new approach to factor analysis: The Radex. Chapter in Paul F. Lazars- feld (ed.), Mathematical thinking in the social sciences. New York: Columbia U. Press. A954), 258—348. 179. —. The determinacy of factor score matrices with implications for five other basic problems of common-factor theory. BJ Stat. Psych., 8 A955), 65—81. 180. —. A generalized simplex for factor analysis. Psych., 20 A955), 173—192. 181. —. «Best possible» systematic estimates of communalities. Psych., 21 A956), 273—285. 182. —. Successive approximations for communalities. Research report, No. 12 A957). Berkeley, Calif.: U. of California, P. 13. 183. —. A necessary and sufficient formula for matrix factoring. Psych., 22 A957), 79-81. 184. —. Simple proofs of relations between the communality problem and multiple correlation. Psych., 22 A957), 147—157. 185. —. To what extent can communalities reduce rank? Psych., 23 A958), 297— 308. 186. —. What lies ahead for factor analysis? (Symposium: The future of factor analysis). Ed. Psych., Measurement, 18 A958), 497—515. 187. —. Metricising rank-ordered or unordered data for linear factor analysis. Sankhya, 21 A959), 157—167. 188. —. The matrices of linear least-squares image analysis. BJ Stat. Psych., 13 A960), 109—118. 189. Guttman, Louis and J osefCohen. Multiple rectilinear prediction and the resolution into components: II. Psych., 8 A943), 169—183. 190. H a d 1 e у , G. Linear algebra. Reading, Mass.: Addison-Winsley Publishing Co., 1961. P. 290. Хедли Дж. Линейная алгебра. М., «Высшая школа», 1966. 191. Hall, D. М., Е. L. Welker and I. С г a w f о г d. Factor analysis calculations by tabulating machines. Psych., 10 A945), 93—125. 192. H a m i 1 t о n, M a x. An iterative method for computing inverse matrices. BJP Stat. Sec, 5 A952), 181 — 188. 193. —. An experimental approach to the identification of factors. BJ Stat. Psych., II A958), 161—169. 194. H a r m a n, H a r г у Н. Systems of regression equations for the estimation of factors. JEP, 29 A938), 431—441. 195. —. Extensions of factorial solutions. Psych., 3 A938), 75—84. 196. —. Four aspects of factor analysis. Proceedings of Educational Research Forum, Endicott, N. Y., August 26—31, 1940 Published by IBM Corporation, New York, N. Y., 60—68. 197. —. On the rectilinear prediction of oblique factors. Psych., 6 A941), 29—35. 198. —. The square root method and multiple group methods of factor analysis. Psych., 19 A954), 39—55. 199. —. Some observations on factor analysis. Professional paper, P-710 A955). Santa Monica, Calif.: The RAND Corporation. P. 8. 200. —. Factor analysis. Chapter in H. S. Wilf and A. Ralston (eds)., Mathematical methods for digital computers. New York: John Wiley and Sons, Inc., A960), 204-212. 460
201. —. Transformation of coordinates. Professional paper, SP-733 A962). Santa Monica, Calif.: System Development Corporation. P. 32. 202. —. Direct oblimin program for the Philco 2000. Technical memorandum, TM-2956 A966). Santa Monica, Calif.: System Development Corporation. P. 6. 203. —. Program for the minres method of factor analysis. Technical memorandum, TM-2958 A966). Santa Monica, Calif.: System Development Corporation. P. 8. 204. —. Program for the maximum-likelihood method of factor analysis. Technical memorandum, TM-2960 A966). Santa Monica. Calif.: System Development Corporation. P. 8. 205. Harman, Harry H. and Yoichiro Fukuda. Resolution of the Heywood case in the minres solution. Psych., 31 A966), 563—571. 206. Harman, Harry H. and Bertha P. Harper. AGO machines for test analysis. Proceedings of the 1953 Invitational Conference on Testing Problems. Princeton, N. Y.: Educational Testing Service A954), 154—157. 207. Harman, Harry H. and Wayne H. Jones. Factor analysis by minimizing residuals (Minres). Psych., 31 A966), 351—368. 208. Harris, Chester W. Direct rotation to primary structure. JEP, 39 A948), 449—468. 209. —. The symmetrical idempotent matrix in factor analysis. J. Exp. Ed., 19 A951), 238—246. 210. —. Separation of data as a principle in factor analysis. Psych., 20 A955), 23— 28. 211. —. Characteristics of two measures of profile similarity. Psych., 20 A955), 289—297. 212. —. Relationships between two systems of factor analysis. Psych., 21 A956), 185—190. 213. —. Some Rao-Guttman relationships. Psych., 27 A962), 247—263. 214. —. Some problems in the description of change. Ed. Psych. Measurement. 22 A962), 303—319. 215. —. (ed.). Problems in measuring change. Madison, Wise: U. of Wisconsin Press, 1963. ft*1 216. —. Some recent developments in factor analysis. Ed. Psych. Measurement, 24 A964), 193—206. 217. H a r r i s, С h e s t e r W., and Henry F. Kaiser. Oblique" factor analytic solutions by orthogonal transformations. Psych., 29 A964), 347—362. 218. H a r r i s, С h e s t e r W. and D о г о t h у М. Knoell. The oblique solution in factor analysis. JEP, 39 A948), 385—403. 219. H a r r i s, C. W. and J. S с h m i d, J r. Further application of the principles of direct rotation in factor analysis. J. Exp. Psych., 18 A950), 175—193. 220. Hattori, K., Kagaya and S. I n a n a g a. The regional structure of surrounding areas of Tokyo. Geographical Review of Japan. A960), 495— 514. 221. Heermann, EmilF. Univocal or orthogonal estimators of orthogonal factors. Psych., 28 A963), 161—172. 222. —. The geometry of factorial indeterminacy. Psych. 29 A964), 371—381. 223. Hemmerle, W. J. Obtaining maximum-likelihood estimates of factor loadings and communalitics using an easily implemented iterative computer procedure. Psych., 30 A965), 291—302. 224. Hendrickson,Alan E. and PaulOwen White.PROMAX A quick method for rotation to oblique simple structure. BJ Stat. Psych.: 17 A964), 65—70. 225. H e n г у s s о n, S t e n. The significance of factor loadings — Lawley's test examined by artificial samples. BJP Stat. Sec, 3 A950), 159—165. 226. —. Applicability of factor analysis in the behavioral sciences: A methodological study. Stockholm: Almqvist and Wiksell, 1957, P. 156. 227. —. The relation between factor loadings and biserial correlations in item analysis. Psych., 27 A962), 419—424. 228. H e r d a n , G. The logical and analytical relationship between the theory of accidents and factor analysis. J. Roy. Stat. Soc. 106 A943), 125—142. 461
229. Н е у w о о d, H. В. On finite sequences of real numbers. Proc. Roy. Soc Lon., 134 A931), 486—501. 230. Hoe 1, Paul G. A significance test for component analysis. Ann. Math Stat., 8 A937), 149—158. 231. —. A significance test for minimum rank in factor analysis. Psych., 4 A939), 245-253. 232. Holzinger, KarlJ. Statistical resume of the Spearman two-factor theory. Chicago: U. of Chicago Press., 1930, Pp. iv + 44. 233. —. On factor theory. Conference on Individual Differences in Special and General Abilities. Waschington: National Research Council, 1931. 234. —. Preliminary reports on Spearman — Holzinger unitary trait study, Nos. 1—9 A934—1936). Chicago: U. of Chicago, Statistical Laboratory, Dept. of Education. 235. —..Why do people factor? Psych., 7 A942), 147—156. 236. —. Factoring test scores and implications for the method of averages. Psych., 9 A944), 155—167. 237. —. A simple method of factor analysis. Psych., 9 A944), 257—262. 238. —. Interpretation of second-order factors. Psych., 10 A945), 21—25. 239. —. Applications of the simple method of factor analysis. JEP, 40 A949), 129-142. 240. Holzinger, Karl J. and Harry H. Harman. Relationships between factors obtained from certain analyses. JEP, 28 A937), 321—345. 241. —. Comparison of two factorial analyses. Psych., 3 A938), 45—60. 242. —. Factor analysis. Rev. Ed. Res., 9 A939), 528—531, 619—621. 243. —. Factor Analysis. Chicago: U. of Chicago Press. 1941. Pp. xii + 417. 244. H о 1 z i n g e г, К a r 1 J., and Frances Swineford. The bi-fac- tor method. Psych., 2 A937), 41—54. 245. —. A study in factor analysis: The stability of a bi-factor solution. Supplementary Educational Monographs. No. 48. Chicago: Dept. of Educ, U. of Chicago, 1939, P. 91. 246. Holzinger, Karl J., assisted by Frances Swineford and Harry H. Ha r m a n. Student manual of factor analysis.. Chicago: Dept. of Educ, U. of Chicago, 1937, Pp. vi + 102. 247. H о r a n , L. G. Principal factor wave forms of thoraic ORS complex. Circulation Research., 15 A964), 131—145. 248. H or n, J. L. An empirical comparison of various methods for estimating common factor scores. Ed. Psych. Measurement, 25 A965), 313—322. 249. —. A rationale and test for the number of factors in factor analysis. Psych., 30 A965), 179—185. 250. H о г s t , P a u 1. A method of factor analysis by means of which all coordinates of the factor matrix are given simultaneously. Psych., 2 A937), 225— 236. 251. —. A non-graphical method for transforming an arbitrary factor matrix into a simple structure factor matrix. Psych., 6 A941), 79—99. 252. —. Simplified computations for the multiple group method of factor analysis. Ed. Psych., Measurement, 16 A956), 101—109. 253. —. A simple method of rotating a centroid factor matrix to a simple structure hypothesis. /. Exp. Ed., 24 A956), 251—258. 254. —. Relations among m sets of measures. Psych., 26 A961), 129—149. 255. —. Generalized canonical correlations and their applications to experimental data. J. Clin. Psych., Monograph Suppl. No. 14 A961), 331—347. 256. —. Matrix reduction and approximation to principal axes. Psych., 27A962), 169—178. 257. —. Factor analysis of data matrices. New York: Holt. Rinehart and Winston, 1965. 258. H о r s t , P a u 1, and K. W. S с h a i e. The multiple group method of factor analysis and rotation to a simple structure hypothesis. J. Exp. Ed., 24 A956), 231—237. 259. Hotelling, Harold. Analysis of a complex of statistical variables into principal components. JEP, 24 A933), 417—441, 498—520. 462
260. —. The most predictable criterion. JEP, 26 A935), 139—142. 261. —. Simplified calculation of principal components. Psych., 1 A936), 27—35. 262. —. Relations between two sets of variates. Biotn., 28 A936), 321—377. 263. —. Some methods in matrix calculation. Ann. Math. Stat., 14 A943), 1—34. 284. —. Practical problems of matrix calculation. Proc. Berk. Symp. Math. Stat. Probl., U. of California Press A949), 275—293. 265. —. New light on the correlation coefficient and its transforms. J. Roy. Stat. Soc, 15 A953), 193—232. 266. —. The relations of the newer multivariate statistical methods to factor analysis. BJ Stat. Psych., 10 A957), 69—79. 267. Householder, A. S. and Gale Young. Matrix approximation and latent roots. AMM, 45 A938), 165—171. 268. H о w e , W. G. Some contributions to factor analysis. Report No. ORNL- 1919. Oak Ridge, Tenn.: Oak Ridge National Laboratory, 1955. (Ph. D. Thesis, U. of North Carolina.) 269. H s u, E. H. Comparative study of factor patterns, physiologically and psychologically determined. /. Gen. Psych., 47 A952), 105—128. 270. Humphreys, Lloyd G. Investigations of the Simplex. Psych., 25 A960), 313—323. 271. —. Number of cases and number of factors: An example where N is very large Ed. Psych. Measurement. 24 A964), 457—466. 2 72. H u r 1 e y, J. L. and R. С. С a t t e 1 1. The Procrustes program, producing direct rotation to test an hypothesized factor structure. Behavioral Science, 7 A962), 258—262. 273. Imbrie,John and TjeerdF. Van Andel. Vector anal ysis of heavy-mineral data. Geol. Soc. of Am. Bull., 75 A964), 1131—1156. 274. I r w i n , J. O. A critical discussion of the single-factor theory. BJP, 23 A933), 371—381. 275. I r w i n, Larry, A method for clustering eigenvalues. Psych., 31 A966), 11—16. 276. Jackson, Dunham. The trigonometry of correlation. AMM. 31 A924), 275—280. 277. —. The relation of statistics to modern mathematical research. Science, 69 (January 18, 1929), 49—54. 278. J а с о b i , C. G. J. Ueber ein leichtes Verfahren die in der Theorie der Saecularstoerungen vorkommenden Gleichungen numerisch aufzuloesen. J. Reine Angewandte Mathematik, 30 A846), 51—94. 279. J e n n r i с h, R. I. and P. F. S a m p s о n. Rotation for simple loadings. Psych., 31 A966), 313—323. 280. Johnson, Richard M. On a theorem stated by Eckart and Young. Psych., 28 A963), 259—263. 281. Jones, Kenneth J. The multivariate statistical analyzer. Mimeographed report, Harvard Univ., 1964. 282. Jones,William B. and Glenn L. Foster, Determinants of duration of left ventricular ejection in normal young men. J. Applied Physiology, 19 A964), 279—283. 283. Jordan,Camille. Essai sur la geometric a n dimensions. Bull. S. M. France, 3 A875), 103—174. 284. Joreskog, K. G. On the statistical treatment of residuals in factor analysis. Psych., 27 A962), 335—354. 285. —. Statistical estimation in factor analysis. Stockholm: Almqvist and Wiksell, 1963, P. 145. 286. —. Testing a simple structure hypothesis in factor analysis. Psych., 31 A966), 165—178. 287. —. Computer program for estimating and testing a simple structure hypothesis in factor analysis. Research memorandum, RM-65-3 A965). Princeton, N. Y.: Educational Testing Service. P. 21. 288. —. Some contributions to maximum likelihood factor analysis. Research bulletin, RB-66-41 A966). Princeton, N. Y.: Educational Testing Service. P. 54. 463
289. Kaiser, Henry F. Solution for the communalities: A preliminary report. Research report, No. 5 A956). Berkeley, Calif.: U. of California. P. 19. 290. —. Note on Carroll's analytic simple structure. Psych., 21 A956), 89—92. 291. —. The varimax method of factor analysis. Unpublisched Ph. D. Thesis, U. of California, 1956. 292. —. Further numerical investigation of the Tryon -Kaiser solution for the communalities. Research report. No. 14 A957). Berkeley, Calif.: U. of California, P. 11. 293. —. The varimax criterion for analytic rotation in factor analysis. Psych., 23 A958), 187—200. 294. —. Computer program for varimax rotation in factor analysis. Ed. Psych. Mea' surement, 19 A959), 413—420. 295. —. A note on the Tryon Kaiser solution for the communalities. Psych., 24 A959), 269—271. 296. —. The application of electronic computers to factor analysis. Ed. Psych., Measurement, 20 A960), 141—151. 297. —. A note on Guttman's lower bound for the number of common factors. BJ Stat. Psych., 14 A961), 1—2. 298. —. Formulas for component scores. Psych., 27 A962), 83—87. 299. —. Scaling a simplex. Psych., 27 A962), 155—162.. 300. —. Image analysis. Chapter in C. W. Harris (ed.), Problems in measuring change. U. of Wisconsin Press, 1963. 301. —. A method for determining eigenvalues. /. SI AM, 12 A964), 238—248. 302. Kaiser,Henry F. and John Caffrey. Alpha factor analysis. Psych., 30 A965), 1—14. 303. Kaiser, Henry F. and Kern W. D i с к m a n. Analytic determination of -common factors. Unpublisched manuschipt, U. of Illinois, 1959, Pp. 7 + 12. 304. Keller.J. B. Factorization of matrices by least squares. Biom., 49 A962), 239—242. 305. Kelley,Truman L. Essential traits of mental life. Harvard Studies in Education, 26 A935), Cambridge, Mass.: Harvard U. Press. P. 146. 306. —. Comment on Wilson, and Worcester's «Note on factor analysis.» Psych., 5 A940), 117—120. 307. —. Talents and tasks: Tfoeir sonjunction in a democracy for wholesome Hying and national defencse. Harvard Education Papers, No. 1 A940). Cambridge, Mass.: Grad. School of Ed., Harvard U. P. 48. 308. Kellogg,Chester E. The problem of principal components: Derivation of Hotelling's method from Thurstone's. JEP, 27 A936), 512—520. 309. Kempthorne, O. The factorial approach to the weighting problems. Ann, Math., Stat., 19 A948), 238—245. 310. К e n d a 1 1, M. G. The analysis of economic time series. J. Roy. Stat. Soc, A, 116 A953), 11—34. 311. —. Review of Uppsala symposium on psychological factor analysis. /. Roy. Stat. Soc, A., 107 A954), 462—483. 312. К e n d a 1 1, M. G. and В. В a b i n g t о n-S m i t h. Factor analysis. J. Roy. Stat. Soc, B. 12 A950), 60—94. 313. К e n d a 1 1, M. G. and D. N. L a w 1 e y. The principles of factor analysis. У. Roy. Stat., Soc, A, 119 A956), 83—84. 314. Kestelman, H. The fundamental equation of factor analysis. BJP Stat. Sec, 5 A952), 1—6. 315. К i n g, В e n j a m i n F. The latent statistical structure of security price changes. Unpublished Ph. D. Thesis, U. of Chicago, 1964. 316. К 1 о е к , Т. and L. В. M. M e n n e s. Simultaneous equations estimation based on principal components of predetermined variables. Econometrica, 28 A960), 45—61. 317. К r u m b e i n, W. С and John Imbrie. Stratigraphic factor maps. Bull, of Amer. Assoc of Petroleum Geologists, 47 A963), 698—701. 318. Laderman, J. The square root method for solving simultaneous linear equations. Math. Tables and Other Aids to Computation, 3 A948), 13—16. 464
319. L a n d a h 1, H. D. Time scores and factor analysis. Psych., 5 A940), 67— 320. L a w 1 e y, D. N. The estimation of factor loadings by the method of maximum likelihood. Proc. Roy. Soc. Edin., 60 A940), 64—82. 321. —. Further investigations in factor estimation. Proc. Roy. Soc. Edin,. 61 A942), 176—185. 322. —. The application of the maximum likelihood method for factor analysis. BJP, 33 A943), 172—175. 323. —. Problems in factor „analysis. Proc. Roy. Soc. Edin., 62 A949), 394—399. 324. —. A modified method of estimation in factor analysis and some large sample results. Uppsala Symposium on Psychological Factor Analysis. Uppsala: Al- mqvist and Wiksell A953), .35—42. 325. —. A statistical examination of the centroid method. Proc. Roy. Soc. Edin.. 64 A955), 175—189. 326. —. Tests of significance for the latent roots of covariance and correlation matrices. Biom., 43 A956), 128—136. 327. —. Estimation in factor analysis under various initial assumptions. BJ Stat. Psych., 11 A958), 1—12. 328. —. Approximate methods in factor analysis. BJ Stat. Psych., 13 A960), 11 — 329. L a w 1 e y, D. N. and A. E. Maxwell. Factor analysis as a statistical method. London: Butterworth, 1963. Pp. viii + 117, Л о у л и Д., Максвелл А. Факторный анализ как статистический метод. М., «Мир», 1967. 330. —. Factor transformation methods. BJ Stat. Psych., 17 A964), 97—103. 331. L a w 1 e y, D. N. and Z. S w a n s о n. Tests of significance in a factor analysis of artificial data. BJ Stat. Psych., 7 A954), 75—79. 332. Lazarsfeld, Paul F. The logical and mathematical foundation of latent structure analysis. Chapter in Samuel A. Stouffer, et al., Measurement and prediction. Princeton, N. J. Princeton U. Press A950), 362—412. 333. Ledermann, Walter. Some mathematical remarks concerning boundary conditions in the factorial analysis of ability. Psych., 1 A936), 165—174. 334. —. On the rank of the reduced correlation matrix in multiple-factor analysis. Psych., 2 A937), 85—93. 335. —. The orthogonal transformations of a factorial matrix into itself. Psych., 3 A938), 181—187. 336. —. Shortened method of estimation of mental factors by regression. Nature, 141 A938), 650. 337. —. On a shortened method of estimation of mental factors by regression. Psych., 4 A939), 109—116. 338. —. On a problem concerning matrices with variable diagonal elements. Proc. Roy. Soc. Edin., 60 A939). 339. Lev, Joseph A note on factor analysis by the method of principal axes. Psych., 1 A936), 283—286. 340. Levin, Joseph. Simultaneous factor analysis of several Gramian matrices. Psych., 31 A966), 413—419. 341. L e у d e n, T. The identification and invariance of factors. BJ Stat. Psych., 6 A953), 119. 342. Lord, Frederick M. A study of speed factors in tests and academic grades. Psych., 21 A956), 31—50. 343. —. Some relations between Guttman's principal components of scale analy- ' sis and other psychometric theory. Psych., 23 A958), 291—296. 344. Lorge, Irving and N. M о г г i s о n. The reliability of principal components. Science, 87 (May 27, 1938), 491—492. 345. L о r r, M., R. L. Jenkins and F. F. M e d 1 a n d. Direct versus obverse factor analysis: A comparison of results. Ed. Psych., Measurement, 15 A955), 441—449 346. L о r r, M. and D. M. M с N a i r, Interview relationship in therapy. J. Nervous and Mental Diseases. 139 A964). 347 Lubin, A. A note on «Criterion analysis.» Psych., Rev., 57 A950), 54—57. 465
348. L u b i n, A. and A. Summerfield.A square root method of selee- ting a minimum set of variables in multiple regression: II. A worked example. Psych., 16 A951), 425—437. 349. M а с к i e, J о h n. The probable value of the tetrad difference on the sampling theory. BJP, 19 A928), 65—76. 350. Macrae, Duncan, Jr. Direct factor analysis of sociometric data. So- ciometry, 23 A960), 360—370. 351. M a d a n s к у, Albert. Instrumental variables in factor analysis. Psych., 29 A964), 105—113. 352. —. On admissible communalities in factor analysis. Psych., 30 A965), 455— 458. 353. —. Triangular decomposition program. Unpublished. Santa Monica, Calif.: The RAND Corp., 1965. 354. Maxwell, A. E. Factor models. JEP, 47 A956), 129—132 355. —. Statistical methods in factor analysis. Psysh. Bull.* 56 A959).228—235. 356. —. Recent trends in factor analysis. /. Roy. Stat. Soc, A, 124 A961), 49— 59. 357. —. Canonical variate analysis when the variables are dichotomous. Ed Psychm Measurement, 21 A961). 259—271. 35S. —. Calculating maximum likelihood factor loadings. J. Roy. Stat. Soc A 127 A964), 238—241. ' ' 359. McDonald, Roderick P. A general approach to nonlinear factor analysis. Psych., 27 A962), 397—415. 360. McMahon, James. Hyperspherical goniometry; and its application to correlation theory for n variables. Biom., 15 A923), 173—208. 361. M с N a i r, D. M. Analysis of professed psycho-therapeutic techniques. /. Consulting Psychology, 28 A964). 362. M с N e m a r, Q u i n n. On the sampling errors of factor loadings. Psych. 6 A941), 141 — 152. 363. —. On the number of factors. Psych., 7 A942), 9—18. 364. Median d, Francis F. An empirical comparison of methods of commu- nality estimation. Psych., 12 A947), 101—109. 365. Meredi th, William. Notes on factorial invariance. Psych., 29 A964), 177-185. 366. —. Rotation to achieve factorial invariance. Psych., 29 A964), 187—206 367. —. A method for studying differences between groups. Psych., 30 A955), 15—29. 368. M e r r i f i e 1 d, P h i 1 i p R. and Norman Cliff. Factor analytic methodology. Chapter V in Review of Educational Research, 33 A963). 369. Mood, Alexander M. and Franklin A. Graybi 11 . Introduction to the theory of statistics. New York: McGraw-Hill Book Company, second edition, 1963. Pp. xv + 443. 370. Moore, D. W. and JohnRoss. A fast principal components factor analysis program for the IBM 1620. Ed. Psych. Measurement, 24 A964), 675 — 676. 371. Mosier, Charles I. Influence of chance error on simple structure. Psych., 4 A939), 33—44. 372. —. Determining a simple structure when loadings for certain tests are known. Psych., 4 A939), 149—162. 373. M о u 1 t о n, F. R. The velocity of light. SM, 48 A939), 481—484. 374. Muir, Thomas. A treatise on the theory of determinants, New York: Privately published, 1930, Revised and enlarged by William H. Metzler. 375. Mullen, Frances. Factors in the growth of girls seven to seventeen years of age. Unpublished Ph. D. Thesis, Dept. of Education. U. of Chicago, 1939. 376. National Bureau of Standards Applied Mathematics Series, Nos. 29, 39, 49, 57 (on the solution of linear equations and the determination of eigenvalues). Washington, D. C: Government Printing Office, 1953—1960. 377. Neuhaus, J. O. The quartimax method. Computing program for the CRC 102-A. Berkeley, Calif.: U. of California, 1956, P. 14. 466
378. —. Tucker's rotational procedure. Computing program for the CRC 102-A. Berkeley, Calif.: U. of California, 1956. P. 21. 379. Neuhaus, JackO. and Charles Wrigley. The quartimax method: An analytical approach to orthogonal simple structure. BJ Stat. Psych., 7 A954), 81—91. & 380. Ortega, J. M. An error analysis of Householder's method for the symmetric eigenvalue problem. Technical report, No. 18. Appl. Math, and Stat L aborajtory, Stanford U. 381. Ortega, James M. and H e n г у F. Kaiser. The LLT and QR methods for symmetric tridiagonal matrices. Computer Journal, 6 A963), 99—101. 382. О v e r a 1 1, J. E. and L. E. H о 1 1 i s t e r. Computer procedures for psychiatric classification. J. AMA, 187 A964). 383. Overall, JohnE. and James L. Porterfield. Powered vector method of factor analysis. Psych., 28 A963), 415—422. 384. О v e r a 1 1, JohnE. and Clyde M. Williams. Models for medical diagnosis: Factor analysis. Part One, theoretical. Medical Documentation, 5 A961), 51—56. 385. Paige,Lowell,J. and J. Dean Swift. Elemen ts of linear algebra. Boston: Ginn and Company, 1961. 386. Pearson, Karl. On lines and planes of closest fit to systems of points in space. Phil. Mag., 6 A901), 559—572. 387. Pearson, Karl and L. N. G. F i 1 о n. On the probable errors of frequency constants and on the influence of random selection on variation and correlation. Phil. Trans. Roy. Soc, 191 A898), 229—311. 388. Pearson, K. and M. M о u 1. The mathematics of intelligence. I. The sampling errors in the theory of a generalized factor. Biom., 19 A927), 246—292, 389. Peterson, Robert J., S. S. Komorita and Herbert C. Quay. Determinants of sociometric choices. J. Soc. Psych., 62 A964), 65— To. ,390. P e t r i n о w, L. and С. Н a r d у с к. Behavioral changes in Parkinson patients following surgery — Factor analytic study. J. Chronic Diseases, 17 A964). 391. Pinneau,Samuel R. and Albert Newhouse. Measures of invariance and comparability in factor analysis for fixed variables. Psych., 29 A964), 271—281. 392. P i n z к а, С and D. R. Saunders. Analytic rotation to simple structure, II: Extension to an oblique solution. Research bulletin, RB-54-31 A954). Princeton, N. J.: Educational Testing Service. 393. Pitts, Forrest R. (ed). Urban systems and economic development. Eugene, Ore.: U. of Oregon, School of Business Administration, 1962. Pp. x + + 126. 394. Rao, C. R. Estimation and tests of significance in factor analysis. Psych., 20 A955), 93—111. 395. —. Some statistical methods for comparison of growth curves. Biometrics, 14 A958), 1 — 17. 396. R e i e r s о 1, О 1 a v. On the identifiability of parameters in Thurstone's multiple factor analysis. Psych., 15 A950), 121 — 149. 397. Reuchlin, Maurice. Methodes d* analyse jactorielle a V usage des psy- chologues. Paris: Presse Universitaires de France, 1964, P. 418. 398. Reyburn, H. A. and M. J. R a a t h. Simple structure: A critical examination. BJP Stat. Sec, 2 A949), 125—133. 399. Reyburn, H. A. and J. G. T а у 1 о r. On the interpretation of common factors: A criticism and a statement. Psych., 8 A943), 53—64. 400. R i m о 1 d i , H. J. A. The central intellective factor. Psych., 16 A951), 75— 101. 401. R i p p e, D. D. Application of a large sampling criterion to some sampling problems in factor analysis. Psych., 18 A953), 191—205. 402. Rodger s, David A. A fast approximate algebraic factor rotation method to maximize agreement between loadings and predetermined weights. Psych., 22 A957), 199—205. 467
403. Roff, Merrill. Some properties of the communality in multiple factor theory. Psych., 1 A936), 1—6. 404. —. The relation between results obtainable with raw and corrected correlation coefficients in multiple factor analysis. Psych., 2 A937), 35—39. 405. —. Linear dependence in multiple correlation work. Psych., 5 A940), 295— 298. 406. Rohlf,F. James. Muitivariate methods in taxonomy. Proc. IBM Scientific Computing Symposium on Statistics. White Plains. N. Y.: IBM, Data Processing Division A965), 3—14. 407. Rohlf,F. James and Robert R. Sokal. The description of ta- xonomic relationships by factor analysis. Systematic Zoology, 11 A962), 1—16. 408. Rbsner, Burt. An algebraic solution for the communalitics. Psych. 13 A948), 181 — 184. 409. Ross, John. Informational coverage and correlational analysis. Psych. 27 A962), 297—306. 410. Rummel, Rudolph J. Dimensions of conflict behavior within and between nations. General Systems, Yearbook of the Soc. for the Adv. of General Systems Theory, 8 A963), 1—50. 411. Rummel, Rudolph J, Jack Sawyer, Harold Guetz- k о w and Raymond Tanter. Dimensions of nations. 412. Sackman, Harold and J. В. М u n s о n. Investigation of computer operating time and system capacity for man—machine digital systems. J. ACM, 11 A964), 450—464. 413. S a u n d e r s, D. R. Factor analysis II: A note concerning rotation of axes to simple structure. Ed. Psych. Measurement, 9 A949), 753—756. 414. __. Practical methods in the direct factor analysis of psychological score matrices. Unpublished Ph. D. Thesis, U. of Illinois, 1950. 415. —. An analytic method for rotation to orthogonal simple structure. Research bulletin, RB 53—10 A953). Princeton, N. J.: Educational Testing Service. 416. —. A computer program to find the best-fitting orthogonal factors for a given hypothesis. Psych., 25 A960), 199—205. 417. —. The rationale for an «oblimax» method of transformation in factor analysis, Psych., 26 A961), 317—324. 418. Sawanobori, Y. Characteristic roots and vectors. Computing program N. Y. CRV3 for the IBM 704 at SBC N. Y. Data Processing Center. International Business Machines Corporation, 1957, P. 20. 419. S с h e r, A. M., A. C. Young and W. M. M e r e d i t h. Factor analysis of the electrocardiogram. Circulation Research, 8 A960), 519—526. 420. Schmid, J. and J. M. L e i m a n. The development of hierarchical factor solutions. Psych., 22 A957), 53—61. 421. S с h n о r r e, L. F. The statistical measurement of urbanization and economic development. Land Economics, 37 A961), 229—245. 422 —. A generalized solution of the orthogonal procrustes problem. Psych., 31 A966), 1—10. 423. Schonemann, P. H. Varisim: A new machine method for orthogonal rotation. Psych., 31 A966), 235—254. 424. Schubert, Glendon. The 1960 term of the Supreme Court: A psychological analysis. Amer. Polit. Sci. Rev., 56 A962), 90—113. 425. Sears Roebuck and С о. An investigation of the dimensions of executive morale. Unpublished manuscript, Psychological Research and Services Section, National Personnel Department, 1958. P. 89. 426. Sevin, Hanan С The effects of leadership climate on nonduty behavior of Army trainees. Microfilmed Ph. D. Thesis, No. 19, 256. Columbia U., 1956. 427. Shapiro,Miriam S. and Max Goldstein. A collection of mathematical computer routines. Mimeographed report, No. NYU-1480-14 A965). New York: Courant Institute of Mathematical Sciences, New York University. 428. Share General Program Library. Fortran subroutine HOW. SHARE distribution No. 1321. 468
429. Slater, Patrick. The factor analysis of matrices of negative correlations. BJ Stat. Psych., 6 A953), 101 — 106. 430. Snyder, Virgil and С. Н. Sisam. Analytic geometry of space. New York: Henry Holt and Co., 1914, Pp. xi + 289. 431. Sokal, R. R. Quantification of systematic relationships and of phyloge- netic trends. Proc. 10th International Congress Entomology, 2 A956), 409—415. 432. —. Thurstone's analytical method for simple structure and a mass modification thereof. Psych., 23 A958), 237—257. 433. Sokal, Robert R., H. о w e 1 1 V. D a 1 у and F. James R о h 1 f. Factor analytical procedures in a biological model. U. of Kansas Science Bull., 42 A961), 1099—1121. 434. S о к a 1, R. R. and P. H. S n e a t h. Principles of numerical taxonomy. New York: Freeman, 1963. 435. Solomon, H. A survey of mathematical models in factor analysis, Part III. In Herbert Solomon (ed.), Mathematical thinking in the measurement of behavior. Glencoe, III.: Free Press A960), 270—314. 436. Solomon, H. and B. R о s n e r. Factor analysis. Rev. Ed. Res., 24 A954), 421—438. 437. Sommerville, D. M. Y. An introduction to the geometry of N dimensions. New York: Dover Publications, Inc., 1958. 438. Spearman, Charles. General intelligence, objectively determined and measured. AJP, 15 A904), 201—293. 439. —. Correlations of sums and differences. BJP, 5 A913), 417—426. 440. —. The abilities of man. New York: Macmillan Co., 1927. Pp. vi + 416. + xxxiv. 441. —. The factor theory and its troubles. V. Adequacy of proof. JEP, 25 A934) 310-319. 442. —. Abilities as sums of factors or as their products. JEP, 28 A937), 629—631. 443. Spearman, C. and K. J. H о 1 z i n g e r. The sampling error in the theory of two factors. BJP, 15 A924), 17—19. 444. —. Note on the sampling error of tetrad differences. BJP, 16 A925), 86—89. 445. —. Average value for the probable error of tetrad-difference. BJP, 20 A929) 368—370. 446. Stephenson,W. Correlating persons instead of test. Character and Personality 4 A935), 17—24. 447. —. The inverted factor technique. BJP, 26 A936), 344—361. 448. —. The foundations of psychometry: Four factor systems. Psych., 1 A936), 195—209. 449. —. The study of behavior. Chicago: U. of Chicago Press, 1953. Pp. ix + 376. 450. Stewart, Frank M. Introduction to linear algebra. New York: D. Van Nostrand Company, 1963. 451. Summerf ield, A., and A. L u b i n. A square root method of selecting a minimum set of variables in multiple regression: I. The method. Psych., 16 A951), 271—284. 452. Swineford, Frances. Some comparisons of the multiple-factor and the bifactor methods of analysis. Psych., 6 A941), 375—382. 453. Tanter, Raymond. Dimensions of conflict behavior within and between nations, 1958—1960. Unpublished Ph. D. Thesis, Northwestern University, 1964. 454. Tenopyr, Mary L. and William B. Michael. The development of a modification in the normal varimax method for use with correlation matrices containing a general factor. Ed. Psych. Measurement, 24 A964), 677—699. 455. Thompson, J. R. Boundary conditions for correlation coefficients between three and four variables. BJP, 19 A928), 77—94. 456. —. The general expression for boundary conditions and the limits of correlation. Proc. Roy. Soc, Edin., 49 A929), 65—71. 457. T h о m s о n, G. H. A hierarchy without a general factor. BJP, 8 A916), 271—281. 458. —. The tetrad-difference criterion. BJP, 17 A927), 235—255. 469
459. —. Hotelling's method modified to give Spearman's g. JEP, 25 A934), Ш— 374. 460. —. On complete families of correlation coefficients, and their tendency to zero tetrad-differences: Including a statement of the sampling theory of abilities, BJP, 26 A935), 63—92. 461. —. Boundary conditions in the common-factor-space, in the factorial analysis of ability. Psych., 1 A936), 155—163. 462. —. Methods of estimating mental factors. Nature, 141 A938), 246. 463. —. The estimation of specific and bi-factors, JEP, 29 A938), 355—362. 464. —. On estimating oblique factors. BJP Stat. Sec, 2 A949), 1—2. 465. —. The factorial analysis of human ability. 5th ed. New York: Houghton Mif- flin Co., 1951. Pp. xvi + 383. 466. Thorndike, Robert L. Factor analysis of social and abstract intelligence. JEP, 27 A936), 231—233. 467. T h u r s t о n e, L. L. Multiple factor analysis. Psych. Rev., 38 A931), 406— 427. 468. —. The vectors of mind. Chicago: U. of Chicago Press, 1935. Pp. xv + 266. 469. —. The bounding hyperplanes of a configuration of traits. Psych., 1 A936), 61—68. 470. —. The perceptual factor. Psych., 3 A938), 1 — 18. 471. —. A new rotational method in factor analysis. Psych., 3 A938), 199—218. 472. —. Primary mental abilities. Psychometric Monographs, No. 1 A938). Chicago: U. of Chicago Press., P. 121. 473. _. Second-order factors. Psych., 9 A944), 71 — 100. 474. —. A multiple group method of factoring the correlation matrix. Psych., 10 A945), 73—78. 475. —. The effects of selection in factor analysis. Psych., 10 A945), 165—198. 476. —. A single plane method of rotation. Psych., 10 A946), 71—79. 477. —. Multiple factor analysis. Chicago: U. of Chicago Press, 1947. Pp. xix + + 535. 478. —. An analytical method for simple structure. Psych., 19 A954), 173—182. 479. —. A method of factoring without communalities. 1954 Invitational Conference on Testing Problems. Princeton, N. J.: Education Testing Service A955). 59—62, 64—66. 480. Th u r s t о n e, L. L. and J. W. D e g a n. A factorial study of the Supreme Court. Research report, No. 64 A951). Chicago: U. of Chicago Psychometric Laboratory. 481. Topmiller, Donald A. A factor analytic approach to human engineering analysis and prediction of system maintainability. Research report, No. AMRL-TR-64-115 A964). Behavioral Sciences Laboratory, Air Force Systems Command, Wright-Patterson Air Force Base, Ohio, P. 78. 482. T г у о n , R. C. Multiple factors vs. two factors as determiners of abilities. Psych. Rev., 39 A932), 324—351. 483. —. Cluster analysis. Correlation profile and orthometric (factor) analysis for the isolation of unities in mind and personality. Ann Arbor: Edwards Bros., 1939, P. 122. 484. —. Communality of a variable: Formulation by cluster analysis. Psych., 22 A957), 241—260. 485. —. Cumulative communality cluster analysis. Ed. Psych. Measurement, 18 A958), 3—35. 486. —. General dimensions of individual differences: Cluster vs. multiple factor analysis. Ed. Psych. Measurement, 18 A958), 477—495. 487. Tryon, Robert С and Daniel E. Bailey. The ВС TRY computer system of cluster and factor analysis. Multivariate Behav. Res., 1 A966), 95-Д11. 488. Tucker, Ledyard R. The role of correlated factors in factor analysis. Psych., 5 A940), 141 — 152. 489. —. A semi-analytical method of factorial rotation to simple structure. Psych., 9 A944), 43—68. 470
490. —. The determination of successive principal components without computation of tables of residual correlation coefficients. Psych., 9 A944), 149—153. 491. —. A method for synthesis of factor analysis studies. Personnel Research Section report, No. 984 A951). Washington, D. C: Dept of the Army, P. 120. 492. —. A restatement of the equations for Lawley's maximum likelihood method of estimating factor loadings. Mimeographed report, Princeton U., 1953. 493. —. The objective definition of simple structure in linear factor analysis. Psych., 20 A955), 209—225. 494. —. An inter-battery method of factor analysis. Psych., 23 A958), 111 — 136. 495. —. Implications of factor analysis of three-way matrices for measurement of change. Chapter in Chester W. Harris (ed.), Problems in measuring change. Madison, Wis.: U. of Wisconsin Press A963), 122—137. 496. —. Some mathematical notes on three-mode factor analysis. Psych., 31 A966), 279—311. 497. Uppsala Symposium on Psychological Factor Analysis 17—19 March 1953. Uppsala: Almqvist and Wicksell, 1953, P. 91. 498. Veblen,Oswald and J. H. W. С h i t e h e a d. The foundations of differential geometry. Cambridge Tracts in Mathematics and Mathematical Physics, 29 A932), Cambridge: University Press, Pp. ix + 97. 499. V e r n о n, P. E. The structure of human abilities. New York: John Wiley and Sons 1951. P. 160. 500. Versace, John. Factor analysis of roadway and accident data. Highway Research Board, Bulletin, 240 A960). Washington, D. C: National Research Council, 24—32. 501. V i n с e n t, D. F. The origin and dewelopment of factor analysis. Applied Stat, 2 A953), 107—117. 502. V о i e r s, W. D. Perceptual bases of speaker identity. J. Acoustical Society of America, 36 A964), 1065—1073. 503. Von H о 1 d t, R. E. An iterative procedure for the calculation of the eigenvalues and eigenvectors of a real symmetric matrix. J. ACM,3 A956), 223-238. 504. Walsh, J a m e s A. An IBM 709 program for factor analyzing three-mode matrices. Ed. Psych. Measurement, 24 A964), 669—673. 505. W a r b u r t о n, F. W. The full factor analysis. BJ Stat. Psych., 7 A954), 101 — 106. 506. —. Analytic methods of factor rotation. BJ Stat. Psych., 16 A963), 165—174. 507. Waugh, Frederick V. and Paul S. Dwyer. Compact computation of the inverse of a matrix. Ann. Math. Stat., 16 A946), 259—271. 508. Wenger, M. A., Karl J. Holzinger and HarryH. Harm an. The estimation of pupil ability by three factorial solutions. U. of Calif. Publ. in Psych., 5 A948), viii + 161 — 252. 509. Westley, Bruce H. and Harvey K. Jacobson. Dimensions of teachers' attitudes toward instructional television. A V Communication Rev., 10 A962), 179—185. 510. Westley, Bruce H. and Mervin D. Lynch. Multiple factor analysis of dichotomous audience data. Journalism Quarterly, 39 A962), 369— 372. 511. Wherry, Robert J. A new iterative method for correcting erroneous communality estimates in factor analysis. Psych., 14 A949), 231—241. 512. —. Hierarchical factor solutions without rotation. Psych., 24 A959), 45—51. 513. Wherry, Robert J. and Richard H. Gaylord. The concept of test and item reliability in relation to factor pattern. Psych., 8 A943), 247— 264. 514. —. Factor pattern of test items and tests as a function of the correlation coefficient: Content, difficulty, and constant error factors. Psych., 9 A944), 237— 244. 515. Wherry, Robert J. and BenJ. Winer. A method for factoring large numbers of items. Psych., 18 A953), 161 — 179. 516. White, Paul A. The computation of eigenvalues and eigenvectors of a matrix. J. SI AM, 6 A958), 393—437. 471
517. W h i t e , R. M., D. S. С о о 1 e у, R. С. Derby and F. A. Sea- v e r. The development of efficient linear statistical operations for the prediction of sea-level pressure. J'. of Meteorology, 15 A958), 426—434. 518. Whittaker, Sir Edmund and G. Robinson. The calculus of observations. London: Blackie and Son, 1944. Уиттекер Э. Т., Робинсон Г. Математическая обработка результатов наблюдений. Л.-М., ОНТИ, 1935. 519. W h i t t 1 e , P. On principal components and least square methods of factor analysis. Skand. Aktuar., 35 A952), 223—239. 520. W i 1 d , J. Factor analysis system (FAST). Computer program, No. UCSD- 64-03 A964). La Jolla, Calif.: Computer Center, U. of California, San Diego. P. 46. 521. Wilkinson,J. H. Householder's method for the solution of the algebraic elgenproblem. Computer Journal, 3 A960), 23—27. 522. W i 1 k s, S. S. Weighting systems for linear functions of correlated variables when there is no dependent variable. Psych., 3 A938), 23—40. 523. —. The large-sample distribution of the likelihood ratio for testing composite hypotheses. Ann. Math. Stat., 9 A938), 60—62. 524. W i 1 s о n, E. B. On hierarchical correlation systems. Proc. Nat. Acad. Set,. 14 A928), 283—291. 525. W i 1 s о n , E. B. and Jane Worcester. Note on factor analysis, Psych., 4 A939), 133—148. 526. Wishart, J. The generalized product-moment distribution in samples from a normal multivariate population. Biom., A, 20 A928), 32—52. 527. —. Sampling errors in the theory of two factors. BJP, 19 A928), 180—187. 528. —. Multivariate analysis. Applied Stat., 4 A955), 103—116. 529. W о 1 d, H. Some artificial experiments in factor analysis. Nordisk PsykologVs Monogr: No. 3 A953), Uppsala. 530. W о 1 f 1 e, D a e 1. Factor analysis to 1940. Psychometric Monographs, No. 3 A940). Chicago: U. of Chicago Press. P. 69. 531. W о о d, К. R., R. L. M с С о r n а с k and L. T. V i 1 1 о n e . Non-linear factor analysis program A-78A. Technical memorandum, TM-1764 A964). Santa Monica, Calif.: System Development Corporation. 532. W о о d, R о b e r t C. 1400 governments. Cambridge. Mass.: Harvard U. Press. 1961. P. 267. 533. Woodbury,Max A., Richard C. Clelland and Richard J. Hickey, Applications of a factor-analytic model in the prediction of biological data. Behavorial Science, 8 A963), 347—354. 534. W r i g h t , T. W. and J. F. H а у f о г d. The adjustment of observations. New York: D. Van Nostrand Co., 1906, Pp. ix + 298. 535. Wrigley,Charles. The distinction between common and specific variance in factor theory. BJ Stat. Psych., 10 A957), 81—98. 536. —. Objectivity in factor analysis. Ed. Psych. Measurement, 18 A958), 463— 476. 537. —. The effect upon the communalities of changing the estimate of the number of factors. BJ Stat. Psych., 12 A959), 35—54. 538. —. An empirical comparison of various methods for the estimation of communalities. Contract report, No. 1 A956). Berkeley, Calif: U. of California. P. 27. 539. Wrigley, Charles and JackO. Neuhaus. A re-factorization of the Burt-Pearson matrix with the ORDVAC electronic computer. BJP Stat. Sec, 5 A952), 105—108. 540. —. The use of an electronic computer in principal axes factor analysis. J EP, 46 A955), 31—41. 541. —. The matching of two sets of factors. Contract report, No. A-32, Task A A955), Urbana, III.: U. of Illinois, P. 13. 542. Wrigley, Charles, David R. Saunders and Jack O. Neuhaus. Application of the quartimax method of rotation to Thurstone's. primary mental abilities study. Psych., 23 A958), 151 — 170. 472
543. Young, Gale. Matrix approximation and subspace fitting. Psych., 2 A937), 21—26. 544. —. Factor analysis and the index of clustering. Psych., 4 A939), 201—208., 545. —. Maximum likelihood estimation and factor analysis. Psuch., 6 A941). 49-53. 546. Young, Gale and A. S. Householder. Factorial invariance and significance. Psych., 5 A940), 47—56. 547. Y u 1 e, G. U. and M. G. Kendall. An introduction to the theory of statistics. 14th ed. New York: Hafner, 1958, ЮлДж.Э.ДендэллМ. Д. Теория статистики. М. Госстатиздат, 1960. 548. Zachert,V. and G. Friedman. The stability of the factorial pattern of aircrew classification tests in four analyses. Psych., 18 A953), 219—224. 549. Zimmerman, Wayne S. A simple graphical method for orthogonal rotation of axes. Psych., 11 A946), 51—55. * * * 550. Браверман Э. М. Методы экстремальной группировки параметров и задача выделения существенных факторов. Автоматика и телемеханика, 1970, № 1. 551. Гантмахер Ф. Р. Теория матриц. Гостехиздат, 1953. 552. Гельфанд И. М. Лекции по линейной алгебре, изд. 2. Гостехиздат, 1951. 553. К у Р о ш А. Г. Курс высшей алгебры, изд. 8, Физматгиз, 1963. 554. Лумельский В. Я- Группировка параметров на основе квадратной матрицы связи. Автоматика и телемеханика, 1970, № 1. 555. Фихтенгольц Г. М. Курс дифференциального и интегрального " исчисления, т. I. Гостехиздат, 1947. 556. Аркадьев А. Г., Браверман Э. М. Обучение машин классификации объектов. «Наука», 1971. 557. Терентьев П. В. Метод корреляционных плеяд. Вестник ЛГУ, 1959, № 9. 558. Выханду Л. К- Об исследовании многопризнаковых биологических систем. Сб. Применение математических методов в биологии, III, ЛГУ, Л. 1964. 559. Андрукович Ф. Ф. Применение метода главных компонент в рег- рессионном анализе. Заводская лаборатория, т. 36, 1970, №3. 560. Беспалько Н. И. и др. Дискриминантный и факторный анализ данных интеллектуально-психологических методик у больных с нервно- психическими заболеваниями. Материалы симпозиума «Математические методы в психиатрии и неврологии». Л., 1968. 561. Борисова М. Н. и др. Материалы к сравнительному изучению различных показателей подвижности нервной системы человека. Сб. Типологические особенности высшей нервной деятельности человека, т. IV. М., «Просвещение», 1967. 562. Дегтярев И. П. Исследование факторной структуры показателей быстроты атакующих и защитных действий у боксеров в специальных заданиях. Применение электронно-вычислительной техники в науке о спорте (кибернетика и спорт). Тезисы докладов. М., 1968. 563. Докторов Б. 3. Об использовании методов факторного анализа в работах советских исследователей (обзор). Вопросы психологии, 1969, № 2, АПН СССР. 564. Енченко Ф. А., Смирнов Ю. И. Опыт применения факторного анализа в сравнительном (педагогическом) эксперименте. Применение электронно-вычислительной техники в науке о спорте (кибернетика и спорт). Тезисы докладов. М., 1968. 565. Жуковская В. М. Опыт применения метода многофакторного анализа для характеристики сельскохозяйственных степных провинций Канады. Сб. Количественные методы исследования в экономической географии. М., ВИНИТИ, 1964. 473
566. Запорожанов В. А Лонгитудинальное исследование взаимосвязи в изменениях скоростно-силовых показателей у прыгунов в высоту (Р-фак- торный анализ). Применение электронно-вычислительной техники в науке о спорте (кибернетика и спорт). Тезисы докладов. М., 1968. 567. Зациорский В. М. Статистический анализ трехмерных матриц экспериментальных данных как основа к разработке типовых программ для исследований в области теории спорта. Применение электронно-вычислительной техники в науке о спорте (кибернетика и спорт). Тезисы докладов. М., 1968. 568. Иовлев Б. В. и др. Факторный анализ в исследованиях с применением оценочных психопатологических шкал. Материалы симпозиума «Математические методы в психиатрии и неврологии». Л., 1968. 569. Кремлева М. Н. Факторный анализ показателей динамики роста спортивных результатов. Применение электронно-вычислительной техники в науке о спорте (кибернетика и спорт). Тезисы докладов. М., 1968. 570. Максимов Г. Т., Сидоров П. А. Роль миграции в изменении численности городского населения БССР (опыт расчета на ЭВМ «Минск-2» по алгоритму и программе факторного анализа). Труды НИИЭМП при Госплане БССР. Минск, 1966. 571. Мартиросов Э. Г., Туманян Г. С. Сопоставление факторных структур функциональной топографии мышц борцов различной квалификации. Применение электронно-вычислительной техники в науке о спорте • (кибернетика и спорт). Тезисы докладов. М., 1968. 572. Матвеев Е. Н. Исследование факторной структуры тренированности в метаниях. Применение электронно-вычислительной техники в науке о спорте (кибернетика и спорт). Тезисы докладов. М., 1968. 573. Мацегорин И. В., Румянцев В. Ф. Факторный анализ механических характеристик стали. Заводская лаборатория, т. 36, 1970, № 1. 574. М е е р с о н А. М. Применение факторного анализа для исследования связей между физической подготовленностью и профессиональными навыками. Применение электронно-вычислительной техники в науке о спорте (кибернетика и спорт). Тезисы докладов. М., 1968. 575. Примаков Ю. Н. Факторная структура показателей динамики скорости в спринтерском беге (Р-факторный анализ). Применение электронно- вычислительной техники в науке о спорте (кибернетика и спорт). Тезисы докладов. М., 1968. 576. Сафарян И. Г. Выявление факторов, влияющих на максимальную скорость плавания. Применение электронно-вычислительной техники в науке о спорте (кибернетика и спорт). Тезисы докладов. М., 1968. 577. С е к у н В. И. Изучение тренирующего действия представления движений у гимнастов с помощью факторного анализа. Применение электронно-вычислительной техники в науке о спорте (кибернетика и спорт). Тезисы докладов. М., 1968.
ИМЕННОЙ УКАЗАТЕЛЬ Айзерман М. А. 6 Альберт A. A. Albert А. .А (92) Андерсон Т. В. (Anderson T. W.) 27, 36, 152, 239 Ахмаваара И. (Ahmavaara Yrjo) 288, 398 Баггили A. (Baggaley A.) 365 Банашевич Т. (Banachiewicz Т.) 118 Баргман P. (Bargmann Ralf) 205, 248 Барлоу Д. A. (Barlow J. А.) 289 Барт С. (Burt Cyril) 13, 15, 117, 163, 180, 181, 188, 254, 289, 319, 357, 398 Бартлетт М. С. (Bartlett M. S.) 22, 214, 391, 392, 393, 396 Бенуа К. (Benoit Commandant) 118 Бодевиг Е. (Bodewig E. L2 Болдт Р. Ф. (Boldt Robert F.) 205 Браверман Э. М. 6 'Венгер М. A. (Venger M. А.) 365 Верной П. Е. (Vernon P. E.) 398 Вуд К. P. (Wood К. R.) 22 Гантмахер Ф. Р. 42 Гарнетт Д. С. М. (Garnett J. С. М.) 13, 14 Гаусс К. Ф. (Gauss Karl F. ) 6, 118, 207 Гейлорд Р. Г. (Gaylord Rihard H.) 280 Гельфанд И. М. 42 Генриссон С. (Hehrysson Sten) 205, 239, 398 Гилфорд Д. П. (Guilford J. P.) 17 Гирман Э. Ф. (Heermann Emil F.) 365, 368 Голуб Г. Г. (Golub H. Н.) 238 Госнелл Г. Ф. (Gosnell Harold F.) 181 Гуттман Л. (Guttman Louis) 96, 97, 101, 131, 255, 256, 260, 384 Денфорд М. Б. (Danford M. В.) 216 Дженрих Р. И. (Jennrich R. I.) 357, 358, 359, 419 Джонс В. Г. (Jones Wayne H.) 205, 206 Дикман К. В. (Dickman Kern W.) 340, 348, 349 Дорофеюк А. А. 6 Дуаер П. С. (Dwyer Paul S.) 41, 101, 118, 386, 391, 395 Дулиттл М. Г. (Doolittle M. N.) 49 Жореско К. Г. (Joreskog К- G.) 27, 238, 249 Захерт В. (Zachert V.) 289 Кайзер Г. Ф. (Kaiser Henry F.) 96, 97, 138, 216, 292, 314, 315, 326, 927, 328, 329, 334, 335, 346, 347, 348, 349, 368 Келлер Д. Б. (Keller J. В.) 205 Келли Т. Л. (Kelley Truman L.) 13, 16, 17, 35, 89, 151 Кестельман Г. (Kestelman Н.) 365, 367, 368 Кеттелл Р. Б. (Cattell Raymond В.) 17, 291, 365, 398 Коген A. (Cohen A.) 6 Комри А. Л. (Comrey Andrew L.) 205 Кригер Д. A. (Creager John A.) 391 Кумбс К. Г. (Coombs Clade H.) 214 Курош А. Г. 42 Кэрролл Д. Б. (Cerroll John В.) 313, 315, 318, 319, 320, 336, 342, 346, 347, 34-8, 349, 354, 391 Ледерман В. (Lederman Walter) 84, 383 Лейден Т. (Leyden Т.) 289 Лейман Д. М. (Leiman John M.) 357 Лорд Ф. М. (Lord Frederick M.) 251 "Лоули Д. Н. (Lawley D. N.) 94, 120, 205, 214, 229, 234, 235. 238, 239, 448 Маданский A. (Madansky Albert) 119 Макдональд Р. П. (McDonald Roderick P.) 22 Макмагон Д. (McMahon James) 118 Мередит В (Meredith William) 288, 292 Мозье Ш. И. (Mosier Charles I.) 288 Моррисон Д. Ф. (Morrison Donald F.) 248 Мултон Ф. P. (Moulton F. R.) 36 Муллен Ф. (Mullen Frances) 164 Нейгауз A. (Newhouse Albert) 291 Нейгауз Д. О. (Neuhaus Jahk О.) 138, 151, 289, 292, 315, 318, 319, 321, 325 Пейдж Л. Д. (Paige Lowell J.) 42 Пинно С. P. (Pinneau Samuel R.) 291 Пинцка С. (Pinzka С.) 338, 340 Пирсон К. (Pearson Karl) 6, 13, 15, 19, 26, 116, 151, 152 475
Райт Т. В. (Wright Т. W.) 49 Рао С. P. (Rao С. R.) 238 Рили Ч. (Wrigley Charles) 100, 101, 102, 138, 151, 289, 291, 292, 315, 318, 319, 321, 325 Рипп Д. Д. (Rippe D. D.) 214, 215 Розоноэр Л. И. 6 Рофф М. (Roff Merrill) 101 Рубин Г. (Rubin H.) 27, 36, 239 Саундерс Д. P. (Saunders David R.) 315, 318, 320, 327, 338, 340 Свифт Д. Д. (Swift J. Dean) 42 Селвин X. С. (Selvin Hanan С.) 365 Спирмэн Ч, (Spearman Charles) 13, 14, 16, 17, 21, 87, 121, 122, 124, 127, 128, 130, 154, 163, 188, 213, 413, 448 Стефенсон У. (Stephenson William) 398 Суайнфорд Ф. (Swineford Frances) 138 Сэмпсон П. Ф. (Sampson P. F.) 357, 358, 359, 419 Такер Л. P. (Tucker Ledyard R.) 281, 288, 289, 290, 291, 292, 315 Томсон Г. Г. (Thomson Godfrey H.) 13 15 154 365 Трайон Р. С. (Tryon Robert С.) Ill, 254 Тэрстоун Л. Л. (Thurstone L. L.) 9, 10, 13, 14, 15, 17, 21, 35, 40, 98, 109, 114, 115, 117, 118, 122, 123, 124, 144, 172, 188, 191, 204, 205, 255, 256, 280, 293, 296, 305, 306, 309, 310, 312, 315, 316, 334, 335, 349 Уайт П. A. (White Paul A. ) 41 Уилкс С. С, (Wilks S. S. ) 239 Уитл П. (Whittle P.) 27, 205 Уишарт Д. (Wishart J.) 215, 234 Фаддеев Д. К. 41 Фаддеева В. Н. 41 Фергюсон Д. A. (Ferguson George A.) 315, 316, 317, 318, 320 Фишер P. A. (Fisher R. А. I20, 214 Френч Д. В. (French J. W.) 17 Фридман Г. (Freidman G.) 289 Фрюхтер Б. (Fruhter В.) 311 Фукуда И. (Fukuda Yoichiro) 209 Харман Г. Г. (Harman Harry H.) 6, 10, 11, 93, 118, 138, 144, 172, 205, 206, 209, 214, 255, 280, 365, 283, 448 Харпер Б. П. (Harper Bertha P.) 280 Хау В. Г. (Howe W. G.) 205, 248 Хаусхолдер А. С. (Householder A. S.) 205, 288 Хедли Г. (Hadly G.) 42 Хейвуд Г. В. (Heywood H. В.) 131, 221, 238, 252, 408 Хейфорд Д. Ф. (Hayford J. F) 49 Хеммерль В. Д. (Hemmerle W. J.) 238- Холзингер К. (Holzinger Karl J.) 11, 13, 15, 17, 21, 93, 118, 122, 124, 128, 138, 144, 172, 214, 254, 255, 256, 265, 365, 420, 448 Хорст П. (Horst Paul) 205, 255, 281, 291, 315 Хотеллинг Г. (Hotelling Harold) 15, 26, 36, 116, 151, 152, 160, 162, 214, 368, 448 Хоул П. Г. (Hoel P. G) 214 Циммерман В. С. (Zimmerman Wayne S.) 280 Чолеску А. Л. (Cholesky A. L.) 118 Шмид Д. (Schmid J.) 357 Шмидт М. (Schmidt Margaret I81 Экарт С. (Eckart С.) 205 Якоби С. Г. Д. (Jacobi С. G. J.) 174, 175 Янг Г. (Young Gale) 205, 288
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ Аналитические методы поиска многофакторного решения: идея методов 314—318 косоугольное решение 336—364 ортогональное решение 313—335 Базис в пространстве 65 Биквартимин (BiquartiminJ-KpHTepnfi 347 Бинормамин (В1погтатш)-критерий 349 Биортогональная система координат 309, 357 Биполярный (Bipolar) фактор 117, 170—172, 182—183 Бифакторное (Bi-factor) решение: алгоритм 138—146 идея 122 теория 135—138 Варимакс (Уаптах)-метод: критерий 327—328 критерий для косоугольного решения 346 сравнение с квартимакс-методом 326 теория 328—330 угол вращения 329 Векторное представление параметров 74, 78, 79, ИЗ Вклад параметров в дисперсию факторов 373 Вклад факторов в дисперсию параметров: полный 29, 304 раздельный 304 смешанный 304 Гаусса — Зейделя процедура 207 Генеральный фактор (general factor): в бифакторном решении 122, 135, 136 в двухфакторном решении 122, 128— 130 Гиперплоскость 59 Главные компоненты (Principal components) см. Компонентный анализ, Система главных факторов Главные оси (principal axes) 116 как инвариантные прямые 161 Градиентные методы 207 Грама — Шмидта процедура 260 Группировка параметров 132—135 Групповое решение (multiple-group solution) алгоритм 262—265 идея 121 косоугольное 257—260 ортогональное 260—262 понятия и обозначения 254—257 Групповой фактор: г. ф. в бифакторном решении 122 Двухфакторное решение: идея 122 теория 128—130 Детерминант: алгебраическое дополнение 43 главная диагональ 42 минор 43 определение 42 раскрытие 43 Диагональная матрица 47 Диагональный метод 118 Диаграмма рассеивания 74 Дисперсия (Variance) 24 распределение по факторам 28—30 Изменение знаков в центроидном методе 191 — 192 Изменение знаков коэффициентов при факторе 170 Индекс полноты факторизации (Index of completeness of factorisation) 31 Канонический коэффициент корреляции (Canonical correlation) 18 Канонический вид факторного решения 186—188, 212, 123 Канонический факторный анализ Рао 238 Квадрат коэффициента множественной корреляции (КМК) (Squared multiple correlation (SMC)) 101 Квартимакс ((Эиагитах)-метод: критерий 320, 324 программа для ЭВМ 325—326 теория 318—322 угол вращения 322 Квартимин (С2иагигшп)-метод: критерий 342 программа для ЭВМ 350 теория 342—344 Кластер (О^ег)-анализ 254 Ковариация (Covariance) 24 Коваримин (Соуаппип)-метод 347 Компонентный анализ 26, 116, 125, 132—133, 368—370 477
Конгруэнтные факторы 290—291 Координаты: декартова система к. 60 факторные коэффициенты как к. 76— 79 Корреляционная матрица: матричное обозначение 39 общих факторов 39 ранг к. м. 76 свойства матрицы Грама 76 Косинус угла между двумя прямыми: вывод формулы 71 коэффициент корреляции 75 Косоугольное (oblique) многофакторное решение: аналитические методы 336—364 вторичное решение (reference solution) взаимосвязь с первичным решением 309—312 матрица структуры 306, 309— 312, 338, 341 теория 305—308 геометрическое обоснование 294—296 обозначения 310 первичное (primary) факторное решение: алгоритм 296—305 взаимосвязь со вторичным решением 309—312 отображение 302—304 различие между первичными и вторичными осями 309—310 Коэффициент конгруэнтности 289—290 Коэффициент корреляции выборочный к. к. 33 вычисленный: геометрическая интерпретация 78— 79 матрица в. к. к. 39 в косоугольном решении 259 как косинус угла между- двумя прямыми 75 между параметром и его «общей» частью 96 найденный по факторной модели 34 определение 24 остаточный: возведение матрицы о. к. к. в степень 161 — 163 матричное обозначение 158 определение 35 проверка статистической значимости 213—216, 238—241 различие между выборочным и вычисленным к. к. 34 Коэффициент множественной корреляции 96, 101, 372—375, 395 478 Коэффициент «несовпадения» (unadjusted correlation) 289 Критерий пентад (pentad criterion) 89 Линейная комбинация 61 Линейная зависимость 61—66 определение 61 теорема о л. з. 62 Линейная независимость 62 Линейное преобразование 67 однородное л. п. 68 Линейное пространство 59 Линейные уравнения см Система линейных уравнений Максимально-правдоподобное (maximum-likelihood) решение факторное решение: алгоритмы 241—247 итеративные уравнения 236 основные уравнения 235 программы для ЭВМ 236, 238 свойства 120, 125, 232 теория 232—238 тест для оценки числа факторов 238— 241 Максимально-правдоподобные оценки параметров нормального распределения 231—232 Матрица: вырожденная 45 вычисленных (reproduced) коэффициентов корреляции 39 Грама 46, 76 детерминант матрицы 45 диагональная 47 единичная (identity) 48 коэффициентов корреляции (см. Корреляционная матрица) обратная 48 (см. также Обращение матрицы) определение 44 ортогональная 68 положительно-определенная 46 положительно-полуопределенная 46 присоединенная 49 ранг м. 45 симметрическая 45 скаляр 47 теоремы о ранге м. 75, 76, 83 транпонированная 45 умножение м. 46—47 Метод ^-коэффициентов: определение ^-коэффициента 132 пример применения 238—144 формулы для вычисления 134 Метод квадратного корня (Square root method) 51—54 Метод подстановок Гаусса 49—51 Метод последовательных перемещений (см. Гаусса—Зейделя процедура)
Многомерное нормальное распределение 214—215, 234, 398 Многофакторное (multiple-factor) решение: аналитические методы (см. Аналитические методы поиска многофакторного решения) графический метод поиска ортогонального м. р. 274—281 идея 122—123 косоугольное (см. Косоугольное мно- гофактор ное решение) обозначения 274 Множители Лагранжа 154, 211 Надежность (reliability) 30—31, 147— 148 Нагрузка (loading) 26, 338, 342 Направляющие косинусы (direction cosines) в разных факторных пространствах 80 определение 69 Направляющие отношения 73 Направляющие числа 70 Норма 66 Нормализованные факторные нагрузки 328, 347—349 Облимакс (оЬНтах)-метод: критерий 338 программа для ЭВМ 340 теория 338—340 Облимин (оЬПтш)-методы: 346—357 критерии 347—348 программа для ЭВМ 349 прямые (см. Прямой облимин) Обращение матрицы: при измерении факторов 387—396 методом квадратного корня 55—57 определение 48 Общий (common) фактор: доля дисперсии, учтенная о. факторами 29 определение 26 условия существования одного о. ф. 87-88 условия существования двух о. ф. 89— 90 условия существования более двух о. ф. 90 Общность (communality): определение 29 полные оценки о.: исходя из ранга корреляционной матрицы 91—95 > ^квадрат коэффициента множественной корреляции (КМК) 101 «наблюденные общности» 101 нижняя граница п. о. 101 первый авероид 100 первый центроид 99 повторная факторизация 100 теоретическое решение 95—96 частные оценки о.: '< наибольший коэффициент корреляции 98 по триадам 98 Однофакторное решение 121 Ортогональное преобразование 67—68 Отношение правдоподобия (likelihood ratio) 239 Отображение (pattern), см. Факторное отображение Отражение параметров (reflection of variables) 191 — 193 Оценка значений факторов (см. Измерение факторов) Оценка числа факторов 216 Оценки (estimators) 230—232 Параметр (variable): линейная модель 26—28 стандартная форма 24 функция распределения 214—215, 233 Параметрические уравнения прямой 64 Первичные (primary) факторы 123, 309, 385 (см также Прямой облимин, Косоугольное многофакторное решение) Полное факторное пространство 77—78 Предварительное (preliminary) решение 106 Принципы простой структуры 114—115 Проблема вращения 111 аналитические методы: косоугольная система 336—364 ортогональная система 313—335 понятия и обозначения 317—337 субъективные методы: косоугольная система 296—305 ортогональная система 274—287 понятия и обозначения 274, 294— 296, 310 Произведение вращений 277 Пространство общих факторов: определение 76 способы нахождения 83—86 теорема о п. о. ф. 76 Прямой факторный анализ 106—108 Прямой облимин (direct oblimin) критерий 358 метод 357—364 определение 358 программа для ЭВМ 359 Прямоугольные декартовы координаты (rectangular Cartesian Coordinates) 66—68 Пучок плоскостей (pencil of planes) 122 Радиус-вектор 60, 74 479
Раздельный вклад факторов (см. Вклад факторов в дисперсию параметров, раздельный) Различие между первичными и вторичными осями 305—306 Различие между статистической и «практической» значимостью 215 Размерность пространства 59 Ранг (rank) матрицы 46, 62, 65, 75, 76, 83 идеальный р. м 92, 131 Распределение Уишарта 215, 234 Расстояние (distance): в обобщенной декартовой системе координат 72—73 в прямоугольной системе координат 66—67 Редуцированная (reduced) корреляционная матрица: не являющаяся матрицей Грама 101 определение 76 при нахождении общности 91 Решение Дулиттла 48 Решение с минимальными остатками (minres solution) алгоритм 216—219 программа для ЭВМ 219 критерий 206 определение 120, 204 свойства 120, 125, 204—207, 212 тест для оценки числа факторов 213— 216 теория 207—213 Ротатор факторной матрицы (Factor Matrix Rotator) 280—281 Символ Кронекера 68, 155, 278 Система главных факторов (Principal- factor solution) адекватность решения 170 блок-схема программы 176—178 вычисление на настольном арифмометре 163—171 идея 116—117, 125 теория 154—163, 174—175 Скаляр 47 Скалярное произведение 47 Сложение матриц 46 Сложность (complexity) параметра 32, 318 Собственное значение 156—160, 176, 187, 218 Собственный вектор 156—160, 176, 187, 218 Составной параметр 257, 298 Специфичность (specificity) 29, 31 Специфичный фактор 30 Среднее значение 23 Среднеквадратичное отклонение 24 480 Статистическая оценка числа общих факторов: в методе максимального правдоподобия 238—241 в методе минимальных остатков 213— 216 Статистические оценки: основные понятия 229—232 с. о. факторных нагрузок (см. Максимально-правдоподобное решение) Степень подобия факторов 290, 292 Структура (см. факторная структура) Теории множеств обозначения 132 Тетрады: определение 87 условия существования одного генерального фактора 87, 128 число тетрад для п параметров 88 Треугольная декомпозиция 118 Триады: определение 88 стандартная ошибка 93 число условий для генерального фактора 88 Уравнение регрессии 49, 371—375 Фактор (см. Биполярный, Генеральный, Групповой, Общий, Специфичный, Характерный) фактор ошибки 30 Факторная матрица (Factor matrix) неопределенность наименования 310 (см. также Косоугольное многофакторное вторичное решение) Факторная модель матричное обозначение 37—40 общее описание 26—28 статистические характеристики 33— 35 Факторная структура (Factor structure) матричное обозначение 38 определение 32 различие между элементами ф. с. и коэффициентами отображения 33 Факторное отображение (Factor pattern) матричное обозначение 37 определение 31 различие между коэффициентами ф. о. и элементами структуры 32 Фундаментальная факторная теорема 40 Функция правдоподобия 230, 234 Характеристический вектор (см. Собственный вектор) Характеристический корень см. Собственное значение Характеристическое уравнение 156 Характерность (Uniqueness) 29, 30, 31 Характерный фактор (Unique factor) 26
Хейвуда вариант 131, 209, 238, 252 Число степеней свободы ^-критерий 214, 239—241 при вращении в m-мерном простран- Центроид (Centroid): стве 278 координаты 189—190 Эмпирические тесты для проверки зна- расстояние от начала координат 189 чимости 215—216 Центроидное решение: 188—207 Якоби метод 174—175 идея 117
СОДЕРЖАНИЕ Вступительная статья 5 Предисловие к первому изданию 10 Указатель определений и понятий 12 ЧАСТЬ I ОСНОВАНИЯ ФАКТОРНОГО АНАЛИЗА Глава I. Введение 13 1.1. Краткая история развития факторного анализа 13 1.2. Области применения факторного анализа 16 1.3. О многообразии методов 19 Глава 2. Модель факторного анализа 22 2.1. Введение 22 2.2. Основные понятия математической статистики 22 2.3. Линейные модели 26 2.4. Компоненты дисперсии 28 2.5. Факторное отображение и факторная структура .... 31 2.6. Статистический смысл факторной модели 33 2.7. Неопределенность факторных решений 36 2.8. Факторная модель в матричном обозначении 36 Глава 3. Понятия и методы матричной алгебры, применяемые в факторном анализе 41 3.1. Введение 41 3.2. Детерминанты и матрицы 42 3.3. Решение системы линейных уравнений: метод подстановки 49 3.4. Решение системы линейных уравнений: метод квадратного корня 51 3.5. Вычисление обратной матрицы 55 Глава 4. Геометрические представления, используемые в факторном анализе 58 4.1. Введение : 58 4.2. Геометрия пространства N измеренией 59 4.3. Декартова система координат 60 4.4. Линейная зависимость .... 60 4.5. Формулы для расстояния в прямоугольной системе координат 66 4.6. Ортогональные преобразования 67 482
4.7. Угол между двумя прямыми .»....•• 69 4.8. Расстояние и угол в обобщенной декартовой системе координат 72 4.9. Геометрическая интерпретация коэффициента корреляции 73 4.10. Подпространства, рассматриваемые в факторном анализе 76 Глава 5. Проблема общности 82 5.1. Введение 82 5.2. Определение пространства общих факторов 83 5.3. Условия понижения ранга корреляционной матрицы 86 5.4. Определение общности при неточном знании ранга . . 91 5.5. Аналитическое решение для общности 95 5.6. Частные оценки общности 97 5.7. Полные оценки общности 99 5.8. Примеры оценки общности 103 5.9. Прямой факторный анализ 106 Глава 6. Свойства различных методов факторного анализа . . . 109 6.1. Введение 109 6.2. Выбор нужного метода 111 6.3. Методы, требующие предварительной оценки общности 115 6.4. Методы, требующие предварительной оценки, числа общих факторов 119 6.5. Многофакторные методы 122 6.6. Сводная таблица методов факторного анализа .... 124 ЧАСТЬ II ПРЯМЫЕ ФАКТОРНЫЕ РЕШЕНИЯ Глава 7. Простые факторные модели 127 7.1. Введение 127 7.2. Двухфакторный метод 128 7.3. Вариант Хейвуда 131 7.4. Группировка параметров 132 7.5. Бифакторный метод 135 7.6. Численный пример 138 Глава 8. Метод главных факторов и родственные ему методы . . 151 8.1. Введение 151 8.2. Компонентный анализ 152 8.3. Метод главных факторов 154 8.4. Теоретическое дополнение 160 8.5. Вычислительные процедуры для настольных арифмометров 163 8.6. Программирование метода для ЭВМ 172 483
8.7. Примеры 178 8.8. Канонический вид решения 186 8.9. Центроидный метод 188 Глава 9. Метод минимальных остатков 204 9.1. Введение 204 9.2. Постановка задачи 204 9.3. Метод минимальных остатков 207 9.4. Теоретическое дополнение 209 9.5. Проверка значимости при оценке числа факторов . . 213 9.6. Блок-схема машинной программы 216 9.7. Примеры 219 Глава 10. Метод максимума правдоподобия 229 10.1. Введение . . 229 10.2. Построение статистических оценок 229 10.3. Оценка факторных нагрузок методом максимума правдоподобия 232 10.4. Проверка значимости при оценке числа факторов . . 238 10.5. Алгоритмы 241 10.6. Примеры 247 Глава 11. Групповой метод 254 11.1. Введение 254 11.2. Основные понятия и обозначения 254 11.3. Косоугольное решение 257 11.4. Ортогональное решение 260 11.5. Алгоритм группового метода 262 11.6. Примеры 265 ЧАСТЬ III ПРЕОБРАЗОВАННЫЕ ФАКТОРНЫЕ РЕШЕНИЯ Глава 12. Взаимосвязи между различными решениями в пространстве общих факторов 269 12.1. Введение 269 12.2. Взаимосвязи между двумя факторными решениями . 27Q 12.3. Графические приемы для нахождения ортогонального многофакторного решения 274 12.4. Примеры нахождения ортогонального многофакторного решения 281 12.5. Некоторые вопросы взаимосвязи между различными факторными решениями 287 Глава 13. Косоугольное многофакторное решение ,.*.**... 293 13.1. Введение 293 13.2. Геометрические основания косоугольного решения . 294 484
13.3. Алгоритмы для получения первичного косоугольного решения 296 13.4 Косоугольное вторичное решение 305- 13.5. Взаимосвязь между двумя типами косоугольных решений 30? Глава 14. Аналитические методы получения многофакторного ортогонального решения 313 14.1. Введение 31& 14.2. Основные идеи аналитических методов 314 14.3. Метод «квартимакс» * 318 14.4. Метод «варимакс» 326 Глава 15. Аналитические методы получения многофакторного косоугольного решения 336 15.1. Введение 336 15.2. Метод «облимакс» 337 15.3. Метод «квартимин» 346 15.4. Метод «облимин» 357 15.5. Прямой метод «облимин» . . . ЧАСТЬ IV ИЗМЕРЕНИЕ ФАКТОРОВ Глава 16. Измерение факторов 365 16.1. Введение 361 16.2. Непосредственное определение факторов или их оценка? 366 16.3. Измерение главных компонент ¦ • • • ¦ 368 16.4. Метод полной оценки • ..#*. 370 16.5. Примеры применения метода полной оценки . . ... 375 16.6. Приближенный метод 381 16.7. Ускоренный метод 383 16.8. Оценка факторов методом минимизации характерных факторов 391 16.9. Измерение факторов с помощью «идеальных» параметров 396 485
ЧАСТЬ V ЗАДАЧИ И УПРАЖНЕНИЯ Задачи 399 Ответы 422 Приложение 448 Статистические таблицы 448 Библиография 453 Именной указатель 475 Предметный указатель 477
СЕРИЯ «ЗАРУБЕЖНЫЕ СТАТИСТИЧЕСКИЕ ИССЛЕДОВАНИЯ» Издательство «Статистика» в течение 1964—1970 гг. выпустило серию книг под названием «Новейшие зарубежные статистические исследования», в которую вошли 10 книг, переведенные с английского, французского, немецкого и итальянского языков. Книги эти, рассчитанные на ученых, работающих в области статистики, экономики и других связанных с этими областях, были встречены с большим интересом и одобрением. Поэтому издательство решило подобрать для перевода новую серию книг для круга лиц, имеющих в данной области высокую подготовку. : Серия «Зарубежные статистические исследования» включает книги по теоретическим вопросам статистики, статистическим методам, применению статистических и математических методов в анализе экономических явлений. Издательство подобрало для этой серии первые книги, принадлежащие перу крупных ученых зарубежных стран. К выпуску книг серии привлечены известные советские специалисты, которые принимают участие в отборе книг для перевода, в переводе их и редактировании. Книги снабжаются предисловиями, написанными советскими учеными. В СЕРИЮ ВКЛЮЧЕНЫ СЛЕДУЮЩИЕ КНИГИ: 1. ВВЕДЕНИЕ В ТЕОРИЮ ПОРЯДКОВЫХ СТАТИСТИК. 2. МАССЕ П. КРИТЕРИИ И МЕТОДЫ ОПТИМАЛЬНОГО ОПРЕДЕЛЕНИЯ КАПИТАЛОВЛОЖЕНИЙ. 3. ТЕЙЛ Г. ЭКОНОМИЧЕСКИЕ ПРОГНОЗЫ И ПРИНЯТИЕ РЕШЕНИЙ. 4. ХАРМАН Г. СОВРЕМЕННЫЙ ФАКТОРНЫЙ АНАЛИЗ. 5. ДРЕЙПЕР Н. и СМИТ Т. ПРИКЛАДНОЙ РЕГРЕССИОННЫЙ АНАЛИЗ. 6. КИШ Л. МЕТОДЫ И ПРАКТИКА ВЫБОРОЧНЫХ ОБСЛЕДОВАНИЙ. 7. МАЛЕНВО Э. СТАТИСТИЧЕСКИЕ МЕТОДЫ В ЭКОНОМЕТРИИ. Книги выходят в серийном переплете с единым композиционным решением. Тем, кто хочет иметь полный комплект книг этой серии, рекомендуем знакомиться с тематическим планом издательства «Статистика», который ежегодно поступает в книжные магазины в III квартале. Книги эти указаны в разделе «Переводная литература». Своевременно сделанные в магазине заказы будут выполнены по мере выхода книг.