МОДУЛЬ 2. Основы статистической обработки опытных данных

Тема 2.3. Дисперсионный анализ

План.

1. Сущность и схема дисперсионного анализа
2. Оценка значимости разности между средними по НСР
3. Область применения дисперсионного анализа

1. Сущность и схема дисперсионного анализа

Откуда произошло название Дисперсионный анализ? Может показаться странным, что процедура сравнения средних называется дисперсионным анализом. В действительности, это связано с тем, что при исследовании статистической значимости различия между средними двух (или нескольких) групп, мы на самом деле сравниваем (т.е. анализируем) выборочные дисперсии.

Фундаментальная концепция дисперсионного анализа предложена Фишером в 1920 году. Возможно, более естественным был бы термин анализ суммы квадратов или анализ вариации, но в силу традиции употребляется термин дисперсионный анализ.

Итак, дисперсионный анализ основан на работах знаменитого математика Р.А.Фишера. Несмотря на достаточно солидный «возраст», данный метод до сих пор остается одним из основных при проведении биологических и сельскохозяйственных исследований. Идеи, положенные в основу дисперсионного анализа, широко используются во многих других методах математического анализа экспериментальных данных, а также при планировании биологических и сельскохозяйственных экспериментов.

Дисперсионный анализ позволяет:

1) сравнивать две или несколько выборочных средних;

2) одновременно изучать действие нескольких независимых факторов, при этом можно определить как эффект каждого фактора в изменчивости изучаемого признака, так и их взаимодействие;

3) правильно планировать научный эксперимент.

Изменчивость живых организмов проявляется в виде разброса или рассеяния значений отдельных признаков в пределах, которые определяются степенью биологической выравненности материала и характером взаимосвязей с условиями среды. Признаки, изменяющиеся под воздействием тех или иных причин, называют результативными.

Факторы это любые воздействия или состояния, разнообразие которых может так или иначе отражаться на разнообразии результативного признака. Под статистическим влиянием факторов в дисперсионном анализе понимается отражение в разнообразии результативного признака того разнообразия изучаемых факторов, которое организовано в исследовании.

Под разнообразием будем понимать наличие неодинаковых значений каждого признака у разных особей, объединенных в группу. Разнообразие группы особей по изучаемому признаку может иметь разную степень, которая обычно измеряется показателями разнообразия (или изменчивости): лимитами, средним квадратическим отклонением, коэффициентом вариации. В дисперсионном анализе степень разнообразия индивидуальных и средних значений признака измеряется и сравнивается особыми способами, составляющими специфику этого общего метода.

Организация факторов заключается в том, что каждому изучаемому фактору придается несколько значений. В соответствии с этими значениями каждый фактор разбивается на несколько градаций; для каждой градации подбирается по принципу случайной выборки несколько особей, у которых впоследствии и измеряется величина результативного признака.

Для того, чтобы выяснить степень и достоверность влияния изучаемых факторов, надо измерить и оценить ту часть общего разнообразия, которая вызывается этими факторами.

Факторы, влияющие на степень варьирования результативного признака, делятся на:

1)регулируемые

2) случайные

Регулируемые (систематические) факторы вызываются действием изучаемого в эксперименте фактора, который имеет в опыте несколько градаций. Градация фактора - это степень его воздействия на результативный признак. В соответствии с градациями признака выделяется несколько вариантов опыта для сравнения. Поскольку эти факторы предварительно обусловлены, их называют регулируемыми в исследованиях, т.е. заданными, зависящими от организации опыта. Следовательно, регулируемые факторы – факторы, действие которых изучается в опыте, именно они и обусловливают различия между средними выборочными разных вариантов - межгрупповую (факториальную) дисперсию.

Случайные факторы определяются естественным варьированием всех признаков биологических объектов в природе. Это неконтролируемые в опыте факторы. Они оказывают случайное влияние на результативный признак, обусловливают экспериментальные ошибки и определяют внутри каждого варианта разброс (рассеяние) признака. Этот разброс носит название внутригрупповой (случайной) дисперсии.

Таким образом, относительная роль отдельных факторов в общей изменчивости результативного признака характеризуется дисперсией и может быть изучена с помощью дисперсионного анализа или анализа рассеяния

Дисперсионный анализ основан на сравнении межгрупповой и внутригрупповой дисперсий. Если межгрупповая дисперсия не превышает внутригрупповую, значит, различия между группами имеют случайный характер. Если межгрупповая дисперсия существенно выше, чем внутригрупповая, то между изучаемыми группами (вариантами) существуют статистически значимые различия, обусловленные действием изучаемого в опыте фактора.

Из этого следует, что при статистическом изучении результативного признака при помощи дисперсионного анализа следует определить его варьирование по вариантам, повторениям, остаточное варьирование внутри этих групп и общее варьирование результативного признака в опыте. В соответствии с этим различают три вида дисперсий:

1) Общую дисперсию результативного признака (S_y²);

2) Межгрупповую, или частную, между выборками (S_y²);

3) Внутригрупповую, остаточную (S_z²).

Следовательно, дисперсионный анализ – это расчленение общей суммы квадратов отклонений и общего числа степеней свободы на части или компоненты, соответствующие структуре эксперимента, и оценка значимости действия и взаимодействия изучаемых факторов по F-критерию. В зависимости от числа одновременно исследуемых факторов различают двух-, трех-, четырехфакторный дисперсионный анализ.

При обработке полевых однофакторных статистических комплексов, состоящих из нескольких независимых вариантов, общая изменчивость результативного признака, измеряемая общей суммой квадратов (С_y), расчленяется на три компонента: варьирование между вариантами (выборками) - С_V, варьирование повторений (варианты связаны между собой общим контролируемым условием – наличием организованных повторений) - С_p и варьирование внутри вариантов С_z.. В общей форме изменчивость признака представлена следующим выражением:

С_y = С_V +С_p + С_z.

Общее число степеней свободы (N -1) также расчленяется на три части:

степени свободы для вариантов (l – 1);

степени свободы для повторений (n – 1);

случайного варьирования (n – 1) × (l – 1).

Суммы квадратов отклонений, по данным полевого опыта – статистического комплекса с вариантами – l и повторениями – n, находят следующим образом. Сначала с помощью исходной таблицы определяют суммы по повторениям - Σ P , вариантам - Σ V и общую сумму всех наблюдений - Σ X.

Затем вычисляют следующие показатели:

Общее число наблюдений N = l × n;

Корректирующий фактор (поправку) С_кор = (Σ X₁)² / N;

Общую сумму квадратов Cy = Σ X₁² – C_кор;

Сумму квадратов для повторений C_p = Σ P² / (l –C_кор);

Сумму квадратов для вариантов C_V = Σ V² / (n – 1);

Сумму квадратов для ошибки (остаток) C_Z = C_y - C_p - C_V .

Полученные суммы квадратов C_V и C_Z делят на соответствующие им степени свободы и получают два средних квадрата (дисперсии):

Вариантов S_v² = C_V/ l – 1;

Ошибки S_Z² = C_Z / (n – 1)×(l – 1).

Оценка существенности разностей между средними

Полученные средние квадраты используют в дисперсионном анализе для оценки значимости действия изучаемых факторов путем сравнения дисперсии вариантов (S_v²) с дисперсией ошибки (S_Z²) по критерию Фишера (F = S_Y² / S_Z²). За единицу сравнения принимают средний квадрат случайной дисперсии, который определяет случайную ошибку эксперимента.

Применение критерия Фишера позволяет установить наличие или отсутствие существенных различий между выборочными средними, но не указывает конкретных различий между средними.

Проверяемой H_o - гипотезой является предположение - все выборочные средние являются оценками одной генеральной средней и различия между ними несущественны. Если F_факт = S_Y² / S_Z² ≤ F_теор , то нулевая гипотеза не отвергается. Между выборочными средними нет существенных различий, и на этом проверка заканчивается. Нулевая гипотеза отвергается при F_факт = S_Y² / S_Z² ≥ F_теор Значение F- критерия для принятого в исследовании уровня значимости находят в соответствующей таблице с учетом степеней свободы для дисперсии вариантов и случайной дисперсии. Обычно пользуются 5% -ным уровнем значимости, а при более строгом подходе 1% - ным и даже 0,1% -ным.

Для выборки объема n выборочная дисперсия вычисляется как сумма квадратов отклонений от выборочного среднего, деленная на n-1 (объем выборки минус единица). Таким образом, при фиксированном объеме выборки n дисперсия есть функция суммы квадратов (отклонений), обозначаемая, для краткости, SS (от английского Sum of Squares - Сумма квадратов). Далее слово выборочная мы часто опускаем, прекрасно понимая, что рассматривается выборочная дисперсия или оценка дисперсии. В основе дисперсионного анализа лежит разделение дисперсии на части или компоненты. Рассмотрим следующий набор данных:

Средние двух групп существенно различны (2 и 6 соответственно). Сумма квадратов отклонений внутри каждой группы равна 2. Складывая их, получаем 4. Если теперь повторить эти вычисления без учета групповой принадлежности, то есть, если вычислить SS исходя из общего среднего этих двух выборок, то получим величину 28. Иными словами, дисперсия (сумма квадратов), основанная на внутригрупповой изменчивости, приводит к гораздо меньшим значениям, чем при вычислении на основе общей изменчивости (относительно общего среднего). Причина этого, очевидно, заключается в существенной разнице между средними значениями, и это различие между средними и объясняет существующее различие между суммами квадратов. В самом деле, если использовать для анализа этих данных модуль Дисперсионный анализ, то будет получена следующая таблица, называемая таблицей дисперсионного анализа:

Как видно из таблицы, общая сумма квадратов SS = 28 разбита на компоненты: сумму квадратов, обусловленную внутригрупповой изменчивостью (2+2=4; см. вторую строку таблицы) и сумму квадратов, обусловленную различием средних значений между группами (28-(2+2)=24; см первую строку таблицы). Заметим, что MS в этой таблице есть средний квадрат, равный SS, деленная на число степеней свободы (ст.св).

SS ошибок и SS эффекта. Внутригрупповая изменчивость (SS) обычно называется остаточной компонентой или дисперсией ошибки. Это означает, что обычно при проведении эксперимента она не может быть предсказана или объяснена. С другой стороны, SS эффекта (или компоненту дисперсии между группами) можно объяснить различием между средними значениями в группах. Иными словами, принадлежность к некоторой группе объясняет межгрупповую изменчивость, т.к. нам известно, что эти группы обладают разными средними значениями.

Основная логика дисперсионного анализа. Подводя итоги, можно сказать, что целью дисперсионного анализа является проверка статистической значимости различия между средними (для групп или переменных). Эта проверка проводится с помощью разбиения суммы квадратов на компоненты, т.е. с помощью разбиения общей дисперсии (вариации) на части, одна из которых обусловлена случайной ошибкой (то есть внутригрупповой изменчивостью), а вторая связана с различием средних значений. Последняя компонента дисперсии затем используется для анализа статистической значимости различия между средними значениями. Если это различие значимо, нулевая гипотеза отвергается и принимается альтернативная гипотеза о существовании различия между средними.

Зависимые и независимые переменные. Переменные, значения которых определяется с помощью измерений в ходе эксперимента (например, балл, набранный при тестировании), называются зависимыми переменными. Переменные, которыми можно управлять при проведении эксперимента (например, методы обучения или другие критерии, позволяющие разделить наблюдения на группы или классифицировать) называются факторами или независимыми переменными.

Многофакторный дисперсионный анализ

В рассмотренном выше простом примере вы могли бы сразу вычислить t-критерий для независимых выборок, используя соответствующую опцию модуля Основные статистики и таблицы. Полученные результаты, естественно, совпадут с результатами дисперсионного анализа. Однако дисперсионный анализ содержит гораздо более гибкие и мощные технические средства, позволяющие исследовать планы практически неограниченной сложности.

Множество факторов. Мир по своей природе сложен и многомерен. Ситуации, когда некоторое явление полностью описывается одной переменной, чрезвычайно редки. Например, если мы пытаемся научиться выращивать большие помидоры, следует рассматривать факторы, связанные с генетической структурой растений, типом почвы, освещенностью, температурой и т.д. Таким образом, при проведении типичного эксперимента приходится иметь дело с большим количеством факторов. Основная причина, по которой использование дисперсионного анализа предпочтительнее повторного сравнения двух выборок при разных уровнях факторов с помощью серий t-критерия, заключается в том, что дисперсионный анализ существенно более эффективен и, для малых выборок, более информативен. Вам нужно сделать определенные усилия, чтобы овладеть техникой дисперсионного анализа, реализованной на STATISTICA, и ощутить все ее преимущества в конкретных исследованиях.

Управление факторами. Предположим, что в рассмотренном выше примере анализа двух выборок мы добавим еще один фактор, например, Пол - Gender. Пусть каждая группа теперь состоит из 3 мужчин и 3 женщин. План этого эксперимента можно представить в виде таблицы 2 на 2:

До проведения вычислений можно заметить, что в этом примере общая дисперсия имеет, по крайней мере, три источника: (1) случайная ошибка (внутригрупповая дисперсия), (2) изменчивость, связанная с принадлежностью к экспериментальной группе, и (3) изменчивость, обусловленная полом объектов наблюдения. (Отметим, что существует еще один возможный источник изменчивости - взаимодействие факторов, который мы обсудим позднее). Что произойдет, если мы не будем включать пол как фактор при проведении анализа и вычислим обычный t-критерий? Если мы будем вычислять суммы квадратов, игнорируя пол (т.е. объединяя объекты разного пола в одну группу при вычислении внутригрупповой дисперсии и получив при этом сумму квадратов для каждой группы равную SS =10 и общую сумму квадратов SS = 10+10 = 20), то получим большее значение внутригрупповая дисперсии, чем при более точном анализе с дополнительным разбиением на подгруппы по полу (при этом внутригрупповые средние будут равны 2, а общая внутригрупповая сумма квадратов равна SS = 2+2+2+2 = 8).

Итак, при введении дополнительного фактора: пол, остаточная дисперсия уменьшилась. Это связано с тем, что среднее значение для мужчин меньше, чем среднее значение для женщин, и это различие в средних значениях увеличивает суммарную внутригрупповую изменчивость, если фактор пола не учитывается. Управление дисперсией ошибки увеличивает чувствительность (мощность) критерия. На этом примере видно еще одно преимущество дисперсионного анализа по сравнению с обычным t-критерием для двух выборок. Дисперсионный анализ позволяет изучать каждый фактор, управляя значениями других факторов. Это, в действительности, и является основной причиной его большей статистической мощности (для получения значимых результатов требуются меньшие объемы выборок). По этой причине дисперсионный анализ даже на небольших выборках дает статистически более значимые результаты, чем простой t-критерий.

Эффекты взаимодействия

Существует еще одно преимущество дисперсионного анализа перед обычным t-критерием: дисперсионный анализ позволяет обнаружить эффекты взаимодействия между факторами и, поэтому, позволяет проверять более сложные гипотезы. Рассмотрим еще один пример, иллюстрирующий только что сказанное.

Главные эффекты, попарные (двухфакторные) взаимодействия. Предположим, что имеется две группы студентов, причем психологически студенты первой группы настроены на выполнение поставленных задач и более целеустремленны, чем студенты второй группы, состоящей из более ленивых студентов. Разобьем каждую группу случайным образом пополам и предложим одной половине в каждой группе сложное задание, а другой - легкое. После этого измерим, насколько напряженно студенты работают над этими заданиями. Средние значения для этого (вымышленного) исследования показаны в таблице:

Какой вывод можно сделать из этих результатов? Можно ли заключить, что: (1) над сложным заданием студенты трудятся более напряженно; (2) честолюбивые студенты работают упорнее, чем ленивые? Ни одно из этих утверждений не отражает сущность систематического характера средних, приведенных в таблице. Анализируя результаты, правильнее было бы сказать, что над сложными заданиями работают упорнее только честолюбивые студенты, в то время как над легкими заданиями только ленивые работают упорнее. Другими словами характер студентов и сложность задания взаимодействуя между собой влияют на затрачиваемое усилие. Это является примером попарного взаимодействия между характером студентов и сложностью задания. Заметим, что утверждения 1 и 2 описывают главные эффекты.

Взаимодействия высших порядков. В то время как объяснить попарные взаимодействия еще сравнительно легко,то взаимодействия высших порядков объяснить значительно сложнее. Представьте, что в рассматриваемый выше пример, введен еще один фактор пол и получена следующая таблица средних значений:

Какие теперь выводы можно сделать из полученных результатов? Графики средних позволяют объяснять сложные эффекты. Модуль дисперсионного анализа позволяет строить эти графики практически одним щелчком мыши. Изображение на этих графике внизу представляет собой изучаемое трехфакторное взаимодействие.

Глядя на график, можно сказать, что у женщин существует взаимодействие между характером и сложностью теста: целеустремленные женщины работают над трудным заданием более напряженно, чем над легким. У мужчин то же взаимодействие носит обратный характер. Видно, что описание взаимодействия между факторами становится более запутанным.

Общий способ описания взаимодействий. В общем случае взаимодействие между факторами описывается в виде изменения одного эффекта под воздействием другого. В рассмотренном выше примере двухфакторное взаимодействие можно описать как изменение главного эффекта фактора, характеризующего сложность задачи, под воздействием фактора, описывающего характер студента. Для взаимодействия трех факторов из предыдущего параграфа можно сказать, что взаимодействие двух факторов (сложности задачи и характера студента) изменяется под воздействием Пола. Если изучается взаимодействие четырех факторов, можно сказать, что взаимодействие трех факторов, изменяется под воздействием четвертого фактора, т.е. существуют различные типы взаимодействий на разных уровнях четвертого фактора. Оказалось, что во многих областях взаимодействие пяти или даже большего количества факторов не является чем-то необычным.

2. Оценка значимости разности между средними по наименьшей существенной разности

Наименьшей существенной разностью (НСР) – является своеобразной ценой деления, разрешающей способностью опыта при оценке разности выборочных средних. Критерий НСР = t_0,5 * S_d указывает предельную ошибку для разности двух выборочных средних.

Если фактическая разность больше НСР_0,5 (d ≥ НСР_0,5), то она значима, существенна, при d ≤ НСР_0,5 – несущественна.

Для определения НСР необходимо по данным дисперсионного анализа вычислить обобщенную ошибку средней: Sx = √ S² / n и ошибку разности средних S_d = √ 2S² / n. Значения t - критерия для принятого уровня значимости и числа степеней свободы остаточной дисперсии берут из таблицы.

В многофакторном опыте изучается действие и взаимодействие нескольких факторов на изменчивость результативного признака, поэтому каждому фактору задают несколько градаций. Это позволяет изучать действие каждого из них при нескольких градациях других факторов.

Эффект взаимодействия факторов составляет ту часть общей изменчивости, которая вызвана различным действием одного фактора при разных градациях другого. В полевом опыте часто эффект от совместного применения изучаемых факторов может быть выше (синергизм) или ниже (антагонизм) суммы эффектов от раздельного применения каждого из них. В первом случае имеет место положительное, во втором – отрицательное взаимодействие факторов. Если же факторы не взаимодействуют, то эффект от совместного применения равен сумме эффектов от раздельного их применения (аддитивизм).

При дисперсионном анализе данных многофакторного опыта используют те же принципы и расчеты дисперсий, что и при однофакторном. Однако при этом усложняется математическая модель анализа.

При обработке данных двухфакторного опыта сумма квадратов расчленяется на следующие компоненты:

C_y = C_A+ C_B + C_AB + C_P + C_Z.

Соответственно с указанными компонентами расчленяется и общее число степеней свободы:

N -1 = (l_A-1) + (l_B – 1) + (l_A - 1)* (l_B -1) + (n – 1) + (l – 1)* (n – 1).

Вегетационные опыты представляют собой статистические комплексы, состоящие из нескольких независимых выборок (вариантов). Независимость сопоставляемых вариантов достигается регулярным перемещением сосудов на вагонетке. Следовательно, в вегетационных опытах обычно нет территориально организованных повторений. Поэтому в однофакторном вегетационном опыте общее варьирование результативного признака разлагается на два компонента – варьирование вариантов и случайное варьирование и общее число степеней свободы:

С_y = С_V + С_z, N – 1 = (l -1) + (N -l).

3.Область применения дисперсионного анализа

Дисперсионный анализ может использоваться для изучения действия самых разнообразных факторов как на количественные, так и на качественные признаки. Однако область применения дисперсионного анализа имеет два важных ограничения:

1) Исследуемые группы должны иметь нормальное распределение;

2) Исследуемые группы должны иметь равные дисперсии.

При планировании и проведении многофакторного дисперсионного анализа рекомендуется использовать выборки равного и пропорционального объема (в каждом варианте должно быть одинаковое или пропорциональное число повторностей).

Контрольные вопросы

Контрольные вопросы

1. Что такое функциональная и корреляционная связь, в чем их различие?
2. С помощью каких показателей оценивается корреляционная связь?
3. Что такое коэффициент простой линейной корреляции, какие значения он может принимать?
4. В чем суть и значение коэффициента регрессии?
5. Что такое доверительная зона регрессии?
6. В чем смысл коэффициента детерминации?