Факторный анализ - это ветвь математической статистики. Его цели, как и цель других разделов математической статистики, заключается в разработке моделей, понятий и методов, позволяющих анализировать и интерпретировать массивы экспериментальных или наблюдаемых данных вне зависимости от их физической формы.

Одной из наиболее типичных форм представления экспериментальных данных является матрица, столбцы которой соответствуют различным параметрам, свойствам, тестам и т.п., а строки - отдельным объектам, явлениям, режимам, описываемым набором конкретных значений параметров. На практике размеры матрицы оказываются достаточно большими: так, число строк этой матрицы может колебаться от нескольких десятков до нескольких сотен тысяч (например, при социологических обследованиях), а число столбцов - от одного - двух до нескольких сотен. Непосредственный, “визуальный”, анализ матриц такого размера невозможен, поэтому в математической статистике возникло много подходов и методов, предназначенных для того, чтобы “сжать” исходную информацию, заключенную в матрице, до обозримых размеров, извлечь из исходной информации наиболее “существенное”, отбросив “второстепенное”, “случайное”.

При анализе данных, представленных в форме матрицы, возникают два типа задач. Задачи первого типа имеют целью получить “короткое описание” распределения объектов, а задачи второго - выявить взаимоотношения между параметрами.

Следует иметь в виду, что основной стимул для появления указанных задач заключается не только и не столько в желании коротко закодировать большой массив чисел, а в значительно более принципиальном обстоятельстве, имеющем методологический характер: коль скоро удалось коротко описать большой массив чисел, то можно верить, что вскрыта некая объективная закономерность, обусловившая возможность короткого описания; а ведь именно поиск объективных закономерностей и является основной целью, ради которой, как правило, и собираются данные.

Упомянутые подходы и методы обработки матрицы данных отличаются тем, какого типа задачи обработки данных они предназначены решать, и тем, к матрицам какого размера они применимы.

Что же касается проблемы короткого описания связей между параметрами при среднем числе этих параметров, то в данном случае соответствующая корреляционная матрица содержит несколько десятков или сотен чисел и сама по себе она еще не может служить “коротким описанием” существующих связей между параметрами, а должна с этой целью подвергнуться дальнейшей обработке.

Факторный анализ как раз и представляет собой набор моделей и методов, предназначенных для “сжатия” информации, содержащейся в корреляционной матрице. В основе различных моделей факторного анализа лежит следующая гипотеза: наблюдаемые или измеряемые параметры являются лишь косвенными характеристиками изучаемого объекта или явления, на самом же деле существуют внутренние (скрытые, не наблюдаемые непосредственно) параметры или свойства, число которых мало и которые определяют значения наблюдаемых параметров. Эти внутренние параметры принято называть факторами. Задача факторного анализа - представить наблюдаемые параметры в виде линейных комбинаций факторов и, может быть, некоторых дополнительных, “не существенных” величин - “помех”. Замечательным является тот факт, что, хотя сами факторы не известны, такое разложение может быть получено и, более того, такие факторы могут быть определены, т.е. для каждого объекта могут быть указаны значения каждого фактора.

Факторный анализ, независимо от используемых методов, начинается с обработки таблицы интеркорреляций, полученных на множестве тестов, известной как корреляционная матрица, а заканчивается получением факторной матрицы, т.е. таблицы, показывающей вес или нагрузку каждого из факторов по каждому тесту. Таблица 1 представляет собой гипотетическую факторную матрицу, включающую всего два фактора.

Факторы перечисляются в верхней строке таблицы от более значимого к менее значимому, а их веса в каждом из 10 тестов даны в соответствующих столбцах.

Таблица 1

Гипотетическая факторная матрица

Оси координат. Принято представлять факторы геометрически в виде осей координат, относительно которых каждый тест может быть изображен в виде точки. Рис. 1 поясняет эту процедуру. На этом графике каждый из 10 тестов, приведенных в табл.1, отображен в виде точки относительно двух факторов, которые соответствуют осям I и II. Так, тест 1 представлен точкой с координатами 0,74 по оси I и 0,54 по оси II. Точки, представляющие остальные 9 тестов, построены аналогичным способом, с использованием значений весов из табл. 1.

Следует заметить, что положение осей координат не фиксировано данными. Исходная таблица корреляций определяет лишь положение тестов (т.е. точек на рис. 1) относительно друг друга. Те же точки можно нанести на плоскость с любым положением координатных осей. По этой причине при проведении факторного анализа обычно вращают оси до тех пор, пока не получают наиболее приемлемого и легко интерпретируемого отображения.

Рис. 1. Гипотетическое факторное отображение, показывающее веса двух групповых факторов по каждому из 10 тестов.

На рис. 1 полученные после вращения оси I" и II" показаны пунктирными линиями. Это вращение выполнено в соответствии с предложенными Терстоуном критериями положительного многообразия и простой структуры. Первый предполагает вращение осей до положения, при котором исключаются все значимые отрицательные веса. Большинство психологов считают отрицательные факторные нагрузки логически несоответствующими тестам способностей, так как такая нагрузка означает, что чем выше оценка индивидуума по специфическому фактору, тем ниже будет его результат по соответствующему тесту. Критерий простой структуры, в сущности, означает, что каждый тест должен иметь нагрузки по как можно меньшему числу факторов.

Выполнение обоих критериев дает факторы, которые можно наиболее легко и однозначно интерпретировать. Если тест имеет высокую нагрузку по одному фактору и не имеет значимых нагрузок по другим факторам, мы можем кое-что узнать о природе этого фактора, изучив содержание данного теста. Напротив, если тест имеет средние или низкие нагрузки по шести факторам, то он мало что скажет нам о природе любого из них.

На рис. 1 хорошо видно, что после вращения осей координат все вербальные тесты (1-5) располагаются вдоль или очень близко к оси I", а числовые тесты (6-10) тесно группируются вокруг оси II". Новые факторные нагрузки, измеренные относительно повернутых осей, приведены в табл. 2. Факторные нагрузки в табл. 2 не имеют отрицательных значений, за исключением пренебрежительно малых величин, явно относимых к ошибкам выборки. Все вербальные тесты имеют высокие нагрузки по фактору I" и практически нулевые - по фактору II". Числовые тесты, напротив, имеют высокие нагрузки по фактору II" и пренебрежимо низкие - по фактору I". Таким образом, вращение координатных осей существенно упростило идентификацию и называние обоих факторов, а также описание факторного состава каждого теста. На практике число факторов часто оказывается больше двух, что, разумеется, усложняет их геометрическое представление и статистический анализ, но не изменяет существа рассмотренной процедуры.

Таблица 2

Факторная матрица после вращения

Некоторые исследователи руководствуются теоретической моделью как принципом вращения осей. Кроме того, принимается в расчет неизменность, или подтверждение одних и тех же факторов в независимо выполненных, но сравнимых исследованиях.

Интерпретация факторов. Получив после процедуры вращения факторное решение (или, проще говоря, факторную матрицу), мы можем переходить к интерпретации и наименованию факторов. Этот этап работы скорее требует психологической интуиции, нежели статистической подготовки. Чтобы понять природу конкретного фактора, нам ничего не остается, как изучить тесты, имеющие высокие нагрузки по этому фактору, и попытаться обнаружить общие для них психологические процессы. Чем больше оказывается тестов с высокими нагрузками по данному фактору, тем легче раскрыть его природу. Из табл. 2, к примеру, сразу видно, что фактор I" вербальный, а фактор II" числовой. Приведенные в табл. 2 факторные нагрузки отображают к тому же корреляцию каждого теста с фактором.

Если проводить факторный анализ как полагается, а не удовлтеоряться установками по умолчанию ("маленьким джиффи", как с насмешкой обозвали стандартный джентльменский набор методологи), предпочитаемым методом извлечения факторов является или метод максимального правдоподобия, или обобщенный метод наименьших квадратов. Вот тут-то нас может ожидать неприятность: процедура выдает сообщение об ошибке: correlation matrix is not positive definite. Что это означает, отчего случается и как бороться с проблемой?
Дело в том, что в процессе факторизации процедура выполняет поиск так называемой обратной матрицы по отношению к корреляционной. Здесь существует аналогия с привычными действительными числами: умножив число на обратное к нему число, мы должны получить единицу (например, 4 и 0.25). Однако для некоторых чисел обратных к ним не существует -- ноль невозможно умножить на что-то, что даст в итоге единицу. С матрицами та же история. Матрица, умноженная на обратную к ней матрицу, дает единичную матрицу (единицы стоят по диагонали, а все другие значения нулевые). Однако для некоторых матриц не существует обратных, а значит, провести для таких случаев факторный анализ становится невозможным. Выяснить данный факт можно при помощи особого числа, называющегося определителем (детерминантом). Если оно для матрицы стремится к нулю или отрицательное, то мы столкнулись с проблемой.
Каковы же причины этой ситуации? Чаще всего она возникает вследствие существования линейной зависимости между переменными. Звучит странно, поскольку именно такие зависимости мы ведь и ищем, используя многомерные методы. Однако, в случае, когда такие зависимости перестают быть вероятностными, становятся жестко детерминированными, алгоритмы многомерного анализа дают сбой. Рассмотрим следующий пример. Пусть у нас имеется такой набор данных:
data list free / V1 to V3. begin data. 1 2 3 2 1 2 3 5 4 4 4 5 5 3 1 end data. compute V4 = V1 + V2 + V3.
Последняя переменная представляет собой точную сумму первых трех. Когда возникает подобная ситуация в реальном исследовании? Когда мы включаем в набор переменных сырые баллы по субтестам и тесту в целом; когда количество переменных намного больше числа испытуемых (особенно если переменные сильно коррелируют или имеют ограниченный набор значений). В этом случае точные линейные зависимости могут возникать случайно. Часто зависимости являются артефактом процедуры измерения -- например, если подсчитываются проценты внутри наблюдений (скажем, процент высказываний определенного типа), используется метод ранжирования или распределения постоянной суммы, вводятся каие-то гораничения на выбор альтернатив и т.п. Как видим, вполне распространенные ситуации.
Если при проведении факторного анализа в SPSS вышеприведенного массива заказать вывод детерминанта и обратной корреляционной матрицы, то пакет сообщит о проблеме.
Как выявить группу переменных, которые создают мультиколлинеарность? Оказывается, старый добрый метод главных компонент, невзирая на линейную зависимость, продолжает работать и что-то выдает на-гора. Если увидите, что общности какой-то из переменных приближаются к 0.90-0.99, а собственные числа некоторых факторов становятся очень маленькими (или даже отрицательными), это нехороший знак. Закажите вдобавок вращение варимакс и посмотрите, какая группа переменных попала вместе с подозреваемой в преступной связи товаркой. Обычно и нагрузка ее на это фактор является необычно большой (0.99, к примеру). Если этот набор переменных небольшой, содержательно разнородный, исключена возможность артефактной линейной зависимости и выборка достаточно большая, то обнаружение такой связи можно считатьб не менее ценным результатом. Можно такую группу покрутить в регрессионном анализе: ту переменную, которая показала наибольшую нагрузку, сделать зависимой, а все остальные попробовать в качестве предикторов. R, т.е. коэффициент множественной корреляции, должен в этом случае быть равным 1. Если линейная связь очень запущенная, то регрессия молча выбросит еще какие-то из предикторов, смотрите внимательно, чего не хватает. Заказав дополнительно вывод диагностики мультиколлинеарности, можно в конце концов нащупать злополучный набор, образующий точную линейную зависимость.
Ну и, наконец, еще нресколько более мелких причин того, что корреляционная матрица не является положительно определенной. Это, во-первых, присутствие большого количества неответов. Иногда, чтобы использовать максимум имеющейся информации, исследователь заказывает обработку пропусков попарным способом. В итоге может получиться настолько "нелогичная" матрица связи, что модели факторного анализа она окажется не по зубам. Во-вторых, если вы решили факторизовать корреляционную матрицу, приведенную в литературе, вы можете столкнуться с негативным влиянием округления чисел.

ЭТАПЫ ВЫПОЛНЕНИЯ ФАКТОРНОГО АНАЛИЗА

Можно выделить девять этапов факторного анализа. Для наглядности представим эти этапы на схеме, а затем дадим им краткую характеристику.

Этапы выполнения факторного анализа приведены на рис.

Рис.

ФОРМУЛИРОВКА ПРОБЛЕМЫ И ПОСТРОЕНИЕ КОРРЕЛЯЦИОННОЙ МАТРИЦЫ

Формулировка проблемы. Необходимо четко определить цели факторного анализа. Переменные, подвергаемые факторному анализу, задаются исходя из прошлых исследований, теоретических выкладок либо по усмотрению исследователя. Необходимо, чтобы переменные измерялись в интервальной или относительной шкале. Опыт показывает, что объем выборки должен быть больше в четыре - пять раз, чем число переменных.

Построение корреляционной матрицы. В основе анализа лежит матрица корреляции между переменными. Целесообразность выполнения факторного анализа определяется наличием корреляций между переменными. Если же корреляции между всеми переменными небольшие, то факторный анализ проводить бесполезно. Переменные, тесно взаимосвязанные между собой, как правило, тесно коррелируют с одним и тем же фактором или факторами.

Для проверки целесообразности использования факторной модели существует несколько статистик. С помощью критерия сферичности Бартлетта проверяется нулевая гипотеза об отсутствии корреляции между переменными в генеральной совокупности. Это значит, что рассматривается утверждение о том, что корреляционная матрица совокупности - это единичная матрица, в которой все диагональные элементы равны единице, а все остальные равны нулю. Проверка с помощью критерия сферичности основана на преобразовании детерминанта корреляционной матрицы в статистику хи-квадрат. При большом значении статистики нулевую гипотезу отклоняют. Если же нулевую гипотезу не отклоняют, то выполнение факторного анализа нецелесообразно. Другая полезная статистика - критерий адекватности выборки Кайзера-Мейера-Олкина (КМО). Данный коэффициент сравнивает значения наблюдаемых коэффициентов корреляции со значениями частных коэффициентов корреляции. Небольшие значения КМО - статистики указывают на то, что корреляции между парами переменных нельзя объяснить другими переменными, а это значит, что использование факторного анализа нецелесообразно.

Следующий пример основан на вымышленных данных, относящихся к изучению удовлетворенности жизнью. Предположим, что вопросник был направлен 100 случайно выбранным взрослым. Вопросник содержал 10 пунктов, предназначенных для определения удовлетворенности на работе, удовлетворенности своим хобби, удовлетворенностью домашней жизнью и общей удовлетворенностью в других областях жизни. Ответы на вопросы были введены в компьютер и промасштабированы таким образом, чтобы среднее для всех пунктов стало равным приблизительно 100.

Результаты были помещены в файл данных Factor.sta. Открыть этот файл можно с помощью опции Файл - Открыть; наиболее вероятно, что этот файл данных находится в директории /Examples/Datasets. Ниже приводится распечатка переменных этого файла (для получения списка выберите Все спецификации переменных в меню Данные).

Цель анализа . Целью анализа является изучение соотношений между удовлетворенностью в различных сферах деятельности. В частности, желательно изучить вопрос о числе факторов, "скрывающихся" за различными областями деятельности и их значимость.

Выбор анализа. Выберите Факторный анализ в меню Анализ - Многомерный разведочный анализ для отображения стартовой панели модуля Факторный анализ. Нажмите на кнопку Переменные на стартовой панели (см. ниже) и выберите все 10 переменных в этом файле.

Другие опции . Для выполнения стандартного факторного анализа в этом диалоговом окне имеется все необходимое. Для получения краткого обзора других команд, доступных из стартовой панели, вы можете выбрать в качестве входного файла корреляционную матрицу (используя поле Файл данных). В поле Удаление ПД вы можете выбрать построчное или попарное исключение или подстановка среднего для пропущенных данных.

Задайте метод выделения факторов. Нажмем теперь кнопку OK для перехода к следующему диалоговому окну с названием Задайте метод выделения факторов. С помощью этого окна диалога вы сможете просмотреть описательные статистики, выполнить множественный регрессионный анализ, выбрать метод выделения факторов, выбрать максимальное число факторов, минимальные собственные значения, а также другие действия, относящиеся к специфике методов выделения факторов. А теперь перейдем во вкладку Описательные.

Просмотр описательных статистик. Теперь нажмите на кнопку Просмотреть корр./средние/ст.откл. в этом окне для того, чтобы открыть окно Просмотр описательных статистик.

Теперь вы можете рассмотреть описательные статистики графически или с помощью таблиц результатов.

Вычисление корреляционной матрицы. Нажмите на кнопку Корреляции во вкладке Дополнительно для того, чтобы отобразить таблицу результатов с корреляциями.

Все корреляции в этой таблице результатов положительны, а некоторые корреляции имеют значительную величину. Например, переменные Hobby_1 и Miscel_1 коррелированны на уровне 0.90. Некоторые корреляции (например, корреляции между удовлетворенностью на работе и удовлетворенностью дома) кажутся сравнительно малыми. Это выглядит так, как будто матрица имеет некоторую отчетливую структуру.

Метод выделения. Теперь нажмем кнопку Отмена в диалоговом окне Просмотр описательных статистик для того, чтобы вернуться в диалоговое окно Задайте метод выделения факторов. Вы можете сделать выбор из нескольких методов выделения во вкладке Дополнительно (см. вкладку Дополнительно диалогового окна Задайте метод выделения факторов для описания каждого метода, а также Вводный обзор с описанием метода Главных компонент и метода Главных факторов). В этом примере по умолчанию принимается метод Главных компонент, поле Макс. число факторов содержит значение 10 (максимальное число факторов в этом примере) и поле Мин. собств. значение содержит 0 (минимальное значение для этой команды).

Для продолжения анализа нажмите кнопку OK.

Просмотр результатов. Вы можете просмотреть результаты факторного анализа в окне диалога Результаты факторного анализа. Сначала выберите вкладку Объясненная дисперсия.

Отображение собственных значений . Назначение собственных значений и их полезность для пользователя при принятии решения о том, сколько следует оставить факторов (интерпретировать) были описаны в Вводном обзоре. Теперь нажмем на кнопку Собственные значения, чтобы получить таблицу с собственными значениями, процентом общей дисперсии, накопленными собственными значениями и накопленными процентами.

Как видно из таблицы, собственное значение для первого фактора равно 6.118369; т.е. доля дисперсии, объясненная первым фактором равна приблизительно 61.2%. Заметим, что эти значения случайно оказались здесь легко сравнимыми, так как анализу подвергаются 10 переменных, и поэтому сумма всех собственных значений оказывается равной 10. Второй фактор включает в себя около 18% дисперсии. Остальные факторы содержат не более 5% общей дисперсии. Выбор числа факторов. В разделе Вводный обзор кратко описан способ, как полученные собственные значения можно использовать для решения вопроса о том, сколько факторов следует оставить в модели. В соответствии с критерием Кайзера (Kaiser, 1960), вы должны оставить факторы с собственными значениями большими 1. Из приведенной выше таблицы следует, что критерий приводит к выбору двух факторов.

Критерий каменистой осыпи . Теперь нажмите на кнопку График каменистой осыпи, чтобы получить график собственных значений с целью применения критерия осыпи Кэттеля (Cattell, 1966). График, представленный ниже, был дополнен отрезками, соединяющими соседние собственные значения, чтобы сделать критерий более наглядным. Кэттель (Cattell) утверждает, основываясь на методе Монте-Карло, что точка, где непрерывное падение собственных значений замедляется и после которой уровень остальных собственных значений отражает только случайный "шум". На графике, приведенном ниже, эта точка может соответствовать фактору 2 или 3 (как показано стрелками). Поэтому испытайте оба решения и посмотрите, которое из них дает более адекватную картину.

Теперь рассмотрим факторные нагрузки.

Факторные нагрузки . Как было описано в разделе Вводный обзор, факторные нагрузки можно интерпретировать как корреляции между факторами и переменными. Поэтому они представляют наиболее важную информацию, на которой основывается интерпретация факторов. Сначала посмотрим на (неповернутые) факторные нагрузки для всех десяти факторов. Во вкладке Нагрузки диалогового окна Результаты факторного анализа в поле Вращение факторов зададим значение без вращения и нажмем на кнопку Факторные нагрузки для отображения таблицы нагрузок.

Вспомним, что выделение факторов происходило таким образом, что последующие факторы включали в себя все меньшую и меньшую дисперсию (см. раздел Вводный обзор). Поэтому не удивительно, что первый фактор имеет наивысшую нагрузку. Отметим, что знаки факторных нагрузок имеют значение лишь для того, чтобы показать, что переменные с противоположными нагрузками на один и тот же фактор взаимодействуют с этим фактором противоположным образом. Однако вы можете умножить все нагрузки в столбце на -1 и обратить знаки. Во всем остальном результаты окажутся неизменными.

Вращение факторного решения. Как описано в разделе Вводный обзор, действительная ориентация факторов в факторном пространстве произвольна, и всякое вращение факторов воспроизводит корреляции так же хорошо, как и другие вращения. Следовательно, кажется естественным повернуть факторы таким образом, чтобы выбрать простейшую для интерпретации факторную структуру. Фактически, термин простая структура был придуман и определен Терстоуном (Thurstone, 1947) главным образом для описания условий, когда факторы отмечены высокими нагрузками на некоторые переменные и низкими - для других, а также когда имеются несколько больших перекрестных нагрузок, т.е. имеется несколько переменных с существенными нагрузками на более чем один фактор. Наиболее стандартными вычислительными методами вращения для получения простой структуры является метод вращения варимакс, предложенный Кайзером (Kaiser, 1958). Другими методами, предложенными Харманом (Harman, 1967), являются методы квартимакс, биквартимакс и эквимакс (см. Harman, 1967).

Выбор вращения . Сначала рассмотрим количество факторов, которое вы желаете оставить для вращения и интерпретации. Ранее было решено, что наиболее правдоподобным и приемлемым числом факторов является два, однако на основе критерия осыпи было решено учитывать также и решение с тремя факторами. Нажмите на кнопку Отмена для того, чтобы возвратиться в окно диалога Задайте метод выделения факторов, и измените поле Максимальное число факторов во вкладке Быстрый с 10 на 3, затем нажмите кнопку OK для того, чтобы продолжить анализ.

Теперь выполним вращение по методу варимакс. Во вкладке Нагрузки диалогового окна Результаты факторного анализа в поле Вращение факторов установите значение Варимакс исходных.

Нажмем кнопку Факторные нагрузки для отображения в таблице результатов получаемых факторных нагрузок.

Отображение решения при вращении трех факторов. В таблице приведены существенные нагрузки на первый фактор для всех переменных, кроме относящихся к дому. Фактор 2 имеет довольно значительные нагрузки для всех переменных, кроме переменных связанных с удовлетворенностью на работе. Фактор 3 имеет только одну значительную нагрузку для переменной Home_1. Тот факт, что на третий фактор оказывает высокую нагрузку только одна переменная, наводит на мысль, а не может ли получиться такой же хороший результат без третьего фактора?

Обозрение решения при вращении двух факторов . Снова нажмите на кнопку Отмена в окне диалога Результаты факторного анализа для того, чтобы возвратиться к диалоговому окну Задайте метод выделения факторов. Измените поле Максимальное число факторов во вкладке Быстрый с 3 до 2 и нажмите кнопку OK для того, чтобы перейти в диалоговое окно Результаты факторного анализа. Во вкладке Нагрузки в поле Вращение факторов установите значение Варимакс исходных и нажмите кнопку Факторные нагрузки.

Фактор 1, как видно из таблицы, имеет наивысшие нагрузки для переменных, относящихся к удовлетворенности работой. Наименьшие нагрузки он имеет для переменных, относящихся к удовлетворенности домом. Другие нагрузки принимают промежуточные значения. Фактор 2 имеет наивысшие нагрузки для переменных, связанных с удовлетворенностью дома, низшие нагрузки - для удовлетворенности на работе средние нагрузки для остальных переменных.

Интерпретация решения для двухфакторного вращения . Можно ли интерпретировать данную модель? Все выглядит так, как будто два фактора лучше всего идентифицировать как фактор удовлетворения работой (фактор 1) и как фактор удовлетворения домашней жизнью (фактор 2). Удовлетворение своим хобби и различными другими аспектами жизни кажется относящимися к обоим факторам. Эта модель предполагает в некотором смысле, что удовлетворенность работой и домашней жизнью согласно этой выборке могут быть независимыми друг от друга, но оба дают вклад в удовлетворение хобби и другими сторонами жизни.

Диаграмма решения, основанного на вращении двух факторов . Для получения диаграммы рассеяния двух факторов нажмите на кнопку 2М график нагрузок во вкладке Нагрузки диалогового окна Результаты факторного анализа. Диаграмма, показанная ниже, попросту показывает две нагрузки для каждой переменной. Заметим, что диаграмма рассеяния хорошо иллюстрирует два независимых фактора и 4 переменных (Hobby_1, Hobby_2, Miscel_1, Miscel_2) с перекрестными нагрузками.

Теперь посмотрим, насколько хорошо может быть воспроизведена наблюдаемая ковариационная матрица по двухфакторному решению.

Воспроизведенная и остаточная корреляционная матрица. Нажмите на кнопку Воспроизведенные и остаточные корреляции во вкладке Объясненная дисперсия, для того чтобы получить две таблицы с воспроизведенной корреляционной матрицей и матрицей остаточных корреляций (наблюдаемых минус воспроизведенных корреляций).

Входы в таблице Остаточных корреляций могут быть интерпретированы как "сумма" корреляций, за которые не могут отвечать два полученных фактора. Конечно, диагональные элементы матрицы содержат стандартное отклонение, за которое не могут быть ответственны эти факторы и которые равны квадратному корню из единица минус соответствующие общности для двух факторов (вспомним, что общностью переменной является дисперсия, которая может быть объяснена выбранным числом факторов). Если вы тщательно рассмотрите эту матрицу, то сможете увидеть, что здесь фактически не имеется остаточных корреляций, больших 0.1 или меньшие -0.1 (в действительности только малое количество из них близко к этой величине). Добавим к этому, что первые два фактора включают около 79% общей дисперсии (см. накопленный % собственных значений в таблице результатов).

"Секрет" удачного примера . Пример, который вы только что изучили, на самом деле дает решение двухфакторной задачи, близкое к идеальному. Оно определяет большую часть дисперсии, имеет разумную интерпретацию и воспроизводит корреляционную матрицу с умеренными отклонениями (остаточными корреляциями). На самом деле реальные данные редко позволяют получить такое простое решение, и в действительности это фиктивное множество данных было получено с помощью генератора случайных чисел с нормальным распределением, доступного в системе. Специальным образом в данные были "введены" два ортогональных (независимых) фактора, по которым были сгенерированы корреляции между переменными. Этот пример факторного анализа воспроизводит два фактора такими, как они и были, (т.е. фактор удовлетворенности работой и фактор удовлетворенности домашней жизнью). Таким образом, если бы явление (а не искусственные, как в примере, данные) содержало эти два фактора, то вы, выделив их, могли бы кое-что узнать о скрытой или латентной структуре явления.

Другие результаты . Прежде, чем сделать окончательное заключение, дадим краткие комментарии к другим результатам.

Общности . Для получения общностей решения нажмите на кнопку Общности во вкладке Объясненная дисперсия диалогового окна Результаты факторного анализа. Вспомним, что общность переменной - это доля дисперсии, которая может быть воспроизведена при заданном числе факторов. Вращение факторного пространства не влияет на величину общности. Очень низкие общности для одной или двух переменных (из многих в анализе) могут указывать на то, что эти переменные не очень хорошо объяснены моделью.

Коэффициенты значений. Коэффициенты факторов могут быть использованы для вычисления значений факторов для каждого наблюдения. Сами коэффициенты представляет обычно малый интерес, однако факторные значения полезны при проведении дальнейшего анализа. Для отображения коэффициентов нажмите кнопку Коэффициенты значений факторов во вкладке Значения диалогового окна Результаты факторного анализа.

Значения факторов. Факторные значения могут рассматриваться как текущие значения для каждого опрашиваемого респондента (т.е. для каждого наблюдения исходной таблицы данных). Кнопка Значения факторов во вкладке Значения диалогового окна Результаты факторного анализа позволяет вычислить факторные значения. Эти значения можно сохранить для дальнейшего нажатием кнопки Сохранить значения.

Заключительный комментарий. Факторный анализ - это непростая процедура. Всякий, кто постоянно использует факторный анализ со многими (например, 50 или более) переменными, мог видеть множество примеров "патологического поведения", таких, как: отрицательные собственные значения и не интерпретируемые решения, особые матрицы и т.д. Если вы интересуетесь применением факторного анализа для определения или значащих факторов при большом числе переменных, вам следует тщательно изучить какое-либо подробное руководство (например, книгу Хармана (Harman, 1968)). Таким образом, так как многие критические решения в факторном анализе по своей природе субъективны (число факторов, метод вращения, интерпретация нагрузок), будьте готовы к тому, что требуется некоторый опыт, прежде чем вы почувствуете себя уверенным в нем. Модуль Факторный анализ был разработан специально для того, чтобы сделать легким для пользователя интерактивное переключение между различным числом факторов, вращениями и т.д., так чтобы испытать и сравнить различные решения.

Этот пример взят из справочной системы ППП STATISTICA фирмы StatSoft

Основные уравнения

Раньше практически во всех учебниках и монографиях по факторному анализу предусматривалось объяснение того, как проводить основные вычисления «вручную» или посредством простейшего счетного устройства (арифмометра или калькулятора). Сегодня в связи со сложностью и большим объемом вычислений, необходимых для построения матрицы взаимосвязей, выделения факторов и их вращения, наверное, не осталось ни одного человека, который при проведении факторного анализа не использовал бы мощных компьютеров и соответствующих программ.

Поэтому мы сосредоточим внимание на том, какие наиболее существенные матрицы (массивы данных) можно получить в ходе факторного анализа, как они связаны друг с другом и как их можно использовать для интерпретации данных. Все необходимые вычисления можно сделать с помощью любой компьютерной программы (например, SPSS или STADIA).

В табл. 1 приведен список наиболее важных матриц для методов главных компонент и факторного анализа. Этот список содержит в основном матрицы взаимосвязей (между переменными, между факторами, между переменными и факторами), стандартизированных значений (по переменным и по факторам), регрессионных весов (для расчета факторных значений с помощью значений по переменным), а также матрицы факторных отображений взаимосвязей между факторами и переменными после косоугольного вращения. В табл. 1 приводятся также матрицы собственных чисел и соответствующих им собственных векторов. Собственные числа (собственные значения) и собственные вектора описываются ввиду их значимости для выделения факторов, употребления в этой связи большого количества специальных терминов, а также тесной связи собственных чисел и дисперсии в статистических исследованиях.

Таблица 1

Матрицы, наиболее часто используемые в факторном анализе

Примечание. При указании размера дается количество рядов х количество столбцов: р - количество переменных, N - количество наблюдений, f - количество факторов или компонент. Если матрица взаимосвязей R не вырождена и имеет ранг равный р, то тогда фактически выделяется р собственных чисел и собственных векторов, а не f . Однако интерес представляют только f из них. Поэтому оставшиеся p - f не показываются.

К матрицам S и Ф применяется только косоугольное вращение, к остальным - ортогональное и косоугольное.

Набор данных, подготовленных для факторного анализа, состоит из результатов измерений (опроса) большого количества испытуемых (респондентов) по определенным шкалам (переменными). В табл. 2 приводится массив данных, который условно можно считать удовлетворяющим требованиям факторного анализа.

Пяти респондентам, обратившимся в туристическое агентство с целью приобрести путевку на морской курорт, были заданы вопросы о значимости для них четырех условий (переменных) выбора места летнего отдыха. Этими условиями-переменными были: стоимость путевки, комфортабельность комплекса, температура воздуха, температура воды. Чем большей, с точки зрения респондента, значимостью обладало для него то или иное условие, тем большее значение он ему приписывал. Исследовательская задача состояла в изучении модели взаимосвязи между переменными и выявлении глубинных причин, обусловливающих выбор курорта. (Пример, конечно же, предельно упрощен в иллюстративно-учебных целях, и его не следует рассматривать всерьез в содержательном аспекте.)

Матрица взаимосвязей (табл. 2 ) была вычислена как корреляционная. Обратите внимание на структуру взаимосвязей в ней, выделенную вертикальными и горизонтальными линиями. Высокие корреляции в верхнем левом и нижнем правом квадрантах показывают, что оценки по стоимости путевки и комфортабельности комплекса взаимосвязаны, также как и оценки по температуре воздуха и температуре воды. Два других квадранта показывают, что температура воздуха и комфортабельность комплекса связаны между собой, также как и комфортабельность комплекса и температура воды.

Попробуем теперь с помощью факторного анализа обнаружить эту структуру корреляций, легко замечаемую невооруженным глазом в маленькой корреляционной матрице (в большой матрице это очень непросто сделать).

Таблица 2

Данные для факторного анализа (учебный пример)

Корреляционная матрица

Факторизация

Важная теорема из матричной алгебры гласит, что матрицы, удовлетворяющие определенным условиям, могут быть диагонализированы, т.е. преобразованы в матрицу, на главной диагонали которой стоят числа, а на всех остальных позициях - нули. Матрицы взаимосвязей относятся именно к типу диагонализируемых матриц. Преобразование проводится по формуле:

т.е. диагонализация матрицы R выполняется умножением ее сначала (слева) на транспонированную матрицу V, обозначаемую V’, а потом (справа) на саму матрицу V.

Столбцы в матрице V называются собственными векторами, а величины на главной диагонали матрицы L, - собственными числами. Первый собственный вектор соответствует первому собственному числу и т.д. (подробнее об этом см. в Приложении 1).

В связи с тем, что в приведенном примере рассматриваются четыре переменные, мы получаем четыре собственные величины с соответствующими им собственными векторами. Но поскольку целью факторного анализа является обобщение матрицы взаимосвязей посредством как можно меньшего количества факторов и каждая собственная величина соответствует разным потенциально возможным факторам, обычно принимаются в расчет только факторы с большими собственными величинами. При «хорошем» факторном решении матрица вычисленных взаимосвязей, полученная с помощью этого ограниченного набора факторов, практически дублирует матрицу взаимосвязей.

В нашем примере, когда на количество факторов не накладываются никакие ограничения, собственные величины 2.02, 1.94, .04 и.00 вычисляются для каждого из четырех возможных факторов. Только для первых двух факторов собственные значения достаточно велики, чтобы стать предметом дальнейшего рассмотрения. Поэтому выполняется повторное выделение только первых двух факторов. Они имеют собственные величины 2.00 и 1.91 соответственно, как это указано в табл. 3. Используя уравнение (6) и вставив значения из приведенного примера, получаем:

(Все величины, вычисленные на компьютере, совпадают; расчеты, выполненные «вручную», могут отличаться в связи с неточностями округления.)

Умножение слева матрицы собственных векторов на транспонированную ей дает единичную матрицу Е (с единицами на главной диагонали и остальными нулями). Поэтому можно сказать, что преобразование матрицы взаимосвязей по формуле (6) не изменяет ее саму, а лишь преобразует к более удобному для анализа виду:

Например:

Таблица 3

Собственные векторы и соответствующие собственные числа для рассматриваемого учебного примера

Поскольку корреляционная матрица диагонализируема, то для получения результатов факторного анализа к ней можно применять матричную алгебру собственных векторов и собственных величин (см. Приложение 1). Если матрица диагонализируема, то вся существенная информация о факторной структуре содержится в ее диагональной форме. В факторном анализе собственные числа соответствуют дисперсии, объясняемой факторами. Фактор с наибольшей собственной величиной объясняет наибольшую дисперсию и т.д., пока не доходит до факторов с небольшими или отрицательными собственными величинами, которые обычно не учитываются при анализе. Расчеты собственных величин и собственных векторов весьма трудоемки, и умение их вычислять не является крайней необходимостью для психолога, осваивающего факторный анализ в своих практических целях. Однако знакомство с этой процедурой не повредит, поэтому в Приложении 1 мы даем в качестве примера вычисления собственных чисел и собственных векторов на маленькой матрице.

Для нахождения собственных величин квадратной матрицы р х р необходимо найти корни многочлена степени р, а для нахождения собственных векторов - решить р уравнений с р неизвестными с дополнительными побочными ограничениями, что для р>3 редко выполняется вручную. Как только найдены собственные вектора и собственные величины, оставшаяся часть факторного анализа (или метода главных компонент) становится более или менее ясной (см. уравнения 8-11).

Уравнение (6) может быть представлено в виде: R=V’LV, (8)

т.е. матрицу взаимосвязей можно рассматривать как произведение трех матриц - матрицы собственных величин, матрицы соответствующих собственных векторов и транспонированной к ней.

После преобразования матрицу собственных величин L можно представить следующим образом:

и следовательно: R=VÖLÖL V’ (10)

или (что то же самое): R=(VÖL)(ÖL V’)

Обозначим: A=(VÖL), а А’=(ÖL V’), тогда R=AA’ (11)

т.е. матрица взаимосвязей также может быть представлена как произведение двух матриц, каждая из которых есть комбинация собственных векторов и квадратных корней из собственных величин.

Уравнение (11) часто называют фундаментальным уравнением факторного анализа. Оно выражает утверждение о том, что матрица взаимосвязей - это произведение матрицы факторных нагрузок (А) и транспонированной к ней.

Уравнения (10) и (11) также показывают, что значительная доля вычислений в методах факторного анализа и главных компонент заключается в определении собственных величин и собственных векторов. Как только они становятся известны, факторная матрица до поворота получается путем прямого матричного умножения:

В нашем примере:

Матрица факторных нагрузок является матрицей взаимосвязей (интерпретируемых как коэффициенты корреляций) между факторами и переменными. Первый столбец - это корреляции между первым фактором и каждой переменной по очереди: стоимость путевки (-.400), комфортабельность комплекса (.251), температура воздуха (.932), температура воды (.956). Второй столбец - это корреляции между вторым фактором и каждой переменной: стоимость путевки (.900), комфортабельность комплекса (-.947), температура воздуха (.348), температура воды (.286). Фактор интерпретируется на основе сильно связанных с ним (т.е. имеющих по нему высокие нагрузки) переменных. Так, первый фактор главным образом «климатический» (температура воздуха и воды), в то время как второй «экономический» (стоимость путевки и комфортабельность комплекса).

Интерпретируя эти факторы, следует обратить внимание на то, что переменные, имеющие высокие нагрузки по первому фактору (температура воздуха и температура воды), взаимосвязаны положительно, тогда как переменные, имеющие высокие нагрузки по второму фактору (стоимость путевки и комфортабельность комплекса), взаимосвязаны отрицательно (от дешевого курорта нельзя ожидать большой комфортабельности). Первый фактор называется униполярным (все переменные сгруппированы на одном полюсе), а второй - биполярным (переменные распались на две противоположные по смыслу группы - два полюса). Переменные, имеющие факторные нагрузки со знаком «плюс», образуют положительный полюс, а со знаком «минус» - отрицательный. При этом названия полюсов «положительный» и «отрицательный» при интерпретации фактора не имеют оценочного смысла «плохой» и «хороший». Выбор знака происходит во время вычислений случайным образом. Замена всех знаков на противоположные (всех плюсов на минусы, а всех минусов на плюсы) решения не меняет. Анализ знаков необходим только для идентификации групп (что чему противопоставлено). С таким же успехом один полюс можно называть правым, другой левым. В нашем примере переменная стоимость путевки оказалась на положительном (правом) полюсе, ей противопоставлена переменная комфортабельность комплекса на отрицательном (левом) полюсе. И этот фактор можно проинтерпретировать (назвать) как «Экономичность о Комфортность». Респонденты, для которых проблема экономии существенна, оказались справа - получили факторные значения со знаком «плюс». При выборе курорта они более ориентируются на его дешевизну и менее - на комфортабельность. Респонденты, не экономящие на отдыхе (цена путевки их мало волнует) и желающие отдохнуть прежде всего в комфортных условиях, оказались слева - получили факторные значения со знаком «минус».

Однако следует иметь в виду, что все переменные в значительной степени коррелируют с обоими факторами. В рамках этого простого примера интерпретация очевидна, но в случае реальных данных не все так просто. Обычно фактор легче интерпретируется, если с ним сильно взаимосвязана только небольшая часть переменных, а остальные - нет.

Ортогональное вращение

Вращение обычно применяется после выделения факторов для максимизации высоких корреляций и минимизации низких. Существуют многочисленные методы вращения, но чаще всего используется поворот варимакс, представляющий собой процедуру максимизации дисперсии. Этот поворот максимизирует дисперсии факторных нагрузок, делая высокие нагрузки выше, а низкие ниже дня каждого из факторов. Эта цель достигается с помощью матрицы преобразования Л :

А до поворота Л=А после поворота,

т.е. матрица факторных нагрузок до поворота умножается на матрицу преобразования и в результате получается матрица факторных нагрузок после поворота. В нашем примере:

Сравните матрицы до и после поворота. Обратите внимание, что у матрицы после поворота низкие факторные ни грузки ниже, а высокие выше, чем у матрицы до поворота. Подчеркнутая разница нагрузок облегчает интерпретацию фактора, позволяет однозначно выбрать сильно взаимосвязанные с ним переменные.

Элементы матрицы преобразования имеют специальную геометрическую интерпретацию:

Матрица преобразования - это матрица синусов и косинусов угла ψ, на который выполняется поворот. (Отсюда и название преобразования - поворот, потому что с геометрической точки зрения происходит поворот осей вокруг начала координат факторного пространства.) В нашем примере этот угол составляет примерно 19 градусов: cos19°= .946 и sin19°=.325. Геометрически это соответствует повороту факторных осей на 19 градусов вокруг начала координат. (Более подробно о геометрических аспектах вращения см. далее.)