Многофакторный дисперсионный анализ. Однофакторный дисперсионный анализ

Средние квадраты и s R 2 представляют собой несмещенные оценки зависимой переменной, обусловленных соответственно регрессией или объясняющей переменной х и воздействием неучтенных случайных факторов и ошибок; m – число оцениваемых параметров регрессии, n – число наблюдений. При отсутствии линейной зависимости между зависимой и объясняющей (факторной) переменной случайные величины и s R 2 имеют 2 – распределение соответственно с m-1 и n-m степенями свободы, а их отношение F – распределение с теми же степенями свободы. Поэтому, уравнение регрессии значимо на уровне , если фактически наблюдаемое значение статистики превышает табличное:

(5.11),

где - табличное значение F – критерия Фишера – Снедекора, определенное на уровне значимости при k1 = m-1 и k2 = n-m степенях свободы.

Учитывая смысл величин и s R 2 , можно сказать, что значение F показывает, в какой мере регрессия лучше оценивает значение зависимой переменной по сравнению с ее средней.

В случае парной линейной регрессии m = 2, и уравнение регрессии значимо на уровне , если

(5.12)

Мерой значимости линии регрессии может служить следующее соотношение:

где ŷ i -i-e выравненное значение; -средняя арифметическая значений y i ; σ y.x -средняя квадратическая ошибка (ошибка аппроксимации) регрессионного уравнения, вычисляемая по известной формуле; n-число сравниваемых пар значений признаков; m-число факторных признаков.

Действительно, связь тем больше, чем значительнее мера рассеяния признака, обусловленная регрессией, превосходит меру рассеяния отклонений фактических значений от выравненных.

Данное соотношение позволяет решить вопрос о значимости уравнения регрессии в целом, то есть о наличии реально существующей статистической зависимости между переменными. Уравнение регрессия значимо, т. е. между признаками существует статистическая связь, если для данного уровня значимости расчетное значение критерия Фишера F превышает критическое значение F кр , стоящее на пересечении m-го столбца и -й строки специальной статистической таблицы, которая так и называется «Таблица значений F-критерия Фишера».

Пример. Воспользуемся критерием Фишера для оценки значимости уравнения регрессии, построенного на прошлой лекции, то есть уравнения, выражающего зависимость между сбором урожая и размером посева на душу населения.

Подставив в формулу для расчета критерия Фишера, данные предыдущего примера, получим

Обращаясь к таблице F-распределения для Р=0,95 (α=1-Р=0,5) и учитывая, что n-2=21, m-1 =1, в таблице значений F-критерия на пересечения 1-го столбца и 21-й строки находим критическое значение F кр, равное 4,32 при степени надежности Р=0,95. Поскольку расчетное значение F-критерия существенно превосходит по величине F кр, то обнаруженная линейная связь существенна, т. е. априорная гипотеза о наличии линейной связи подтвердилась. Вывод сделан при степени надежности P=0,95. Можно проверить, что вывод в данном случае останется прежним, если надежность повысить до Р=0,99 (соответствующее значение F кр =8,02 для уровня значимости α=0,01).

Коэффициент детерминации. С помощью F-критерия мы установили, что существует линейная зависимость между величиной сбора хлеба и величиной посева на душу. Следовательно, можно утверждать, что величина сбора хлеба, приходящегося на душу, линейно зависит от величины посева на душу. Теперь уместно поставить уточняющий вопрос - в какой степени величина посева на душу определяет величину сбора хлеба на душу? На этот вопрос можно ответить, рассчитав, какая часть вариации результативного признака может быть объяснена влиянием факторного признака. Этой цели служит индекс (или коэффициент) детерминации R 2 , который позволяет оценить долю разброса, учитываемого регрессией, в общем разбросе результативного признака. Коэффициент детерминации , равный отношению факторной вариации к полной вариации признака, позволяет судить о том, насколько «удачно» выбран вид функции, описывающей реальную статистическую зависимость.

Если известен коэффициент детерминации R 2 , то критерий значимости уравнения регрессии или самого коэффициента детерминации (критерий Фишера) может быть записан в виде:

Критерий Фишера позволяет также оценивать полезность включения дополнительных факторов в модель для уравнения множественной линейной регрессии.

В эконометрике, помимо общего критерия Фишера, используется также понятие частного критерия . Частный F-критерий показывает степень влияния дополнительной независимой переменной на результативный признак и может использоваться при решении вопроса о добавлении в уравнение или исключении из него этой независимой переменной.

Разброс признака, объясняемый уравнением двухфакторной регрессии, построенным ранее, можно разложить на два вида: 1) разброс признака, обусловленный независимой переменной х 1 , и 2) разброс признака, обусловленный независимой переменной x 2 , когда х 1 уже включена в уравнение. Первой составляющей соответствует разброс признака, объясняемый уравнением, включающим только переменную х 1 . Разность между разбросом признака, обусловленным уравнением парной линейной регрессии, и разбросом признака, обусловленным уравнением двухфакторной линейной регрессии, определит ту часть разброса, которая объясняется дополнительной независимой переменной x 2 .

Отношение указанной разности к разбросу признака, регрессией не объясняемому, представляет собой значениечастного критерия. Частный F-критерий называется также последовательным, если статистические характеристики строятся при последовательном добавлении переменных в регрессионное уравнение.

Пример. Оценить полезность включения в уравнение регрессии дополнительной переменной «урожайность» (по данным и результатам ранее рассмотренных примеров).

Разброс признака, объясняемый уравнением множественной регрессии и рассчитываемый как сумма квадратов разностей выравненных значений и их средней, равен 1623,8815. Разброс признака, объясняемый уравнением простой регрессии, составляет 1545,1331.

Разброс признака, регрессией не объясняемый, определяется квадратом средней квадратической ошибки уравнения и равен 10,9948.

Воспользовавшись этими характеристиками, рассчитаем частный F-критерий

С уровнем надежности 0,95 (α=0,05) табличное значение F (1,20), т. е. значение, стоящее на пересечении 1-го столбца и 20-й строки табл. 4А приложения, равно 4,35. Рассчитанное значение F-критерия значительно превосходит табличное, и, следовательно, включение в уравнение переменной «урожайность» имеет смысл.

Таким образом, выводы, сделанные ранее относительно коэффициентов регрессии, вполне правомерны.

4й учебный вопрос. Оценка значимости отдельных параметров уравнения регрессии с помощью критерия Стьюдента.

Очень часто в эконометрике требуется оценить значимость коэффициента корреляции r , то есть определить, насколько существенно отличие коэффициента корреляции от нуля (например, при анализе мультиколлинеарности и оценке парных коэффициентов корреляции между факторами в уравнении множественной регрессии).

При этом исходят из того, что при отсутствии корреляционной связи статистика t ,

имеет t -распределение Стьюдента с (n-2) степенями свободы.

Коэффициент корреляции r xy значим на уровне , (иначе – гипотеза Н 0 о равенстве генерального коэффициента корреляции нулю отвергается), если

(5.13),

Где -табличное значение t -критерия Стьюдента, определенное на уровне значимости a при числе степеней свободы (n-2).

В линейной регрессии обычно оценивается значимость не только уравнения в целом, но и отдельных его параметров. С этой целью по каждому из параметров определяется его стандартная ошибка. Процедура оценивания существенности данного параметра не отличается от рассмотренной выше для коэффициента регрессии; вычисляется значение t-критерия, его величина сравнивается с табличным значением при (n-2) степенях свободы. Проверка гипотез о значимости коэффициентов регрессии и корреляции равносильна проверке гипотезы о существенности линейного уравнения регрессии.

Заключение. Итак, мы рассмотрели на данной лекции общие правила проверки статистических гипотез и их практическое применение при оценке значимости уравнений регрессии и их отдельных параметров с помощью критериев Фишера и Стьюдента.

ДИСПЕРСИОННЫЙ АНАЛИЗ

в математической статистике - статистический метод, предназначенный для выявления влияния отдельных факторов на результат эксперимента, а также для последующего планирования аналогичных экспериментов. Первоначально Д. а. был предложен Р. Фишером для обработки результатов агрономич. опытов по выявлению условий, при к-рых испытываемый сорт сельскохозяйственной культуры дает максимальный урожай. Современные приложения Д. а. охватывают широкий задач экономики, социологии, биологии и техники и трактуются обычно в терминах статистич. теории выявления систематич. различий между результатами непосредственных измерений, выполненных при тех пли иных меняющихся условиях.

Если значения неизвестных постоянных a 1 , ... , a I могут быть измерены с помощью различных методов или измерительных средств М 1 ,. .., M J , и в каждом случае систематич. ошибка b ij может, вообще говоря, зависеть как от выбранного метода Mj, так и от неизвестного измеряемого значения а i , то результаты таких измерений представляют собой суммы вида

где К- количество независимых измерений неизвестной величины а i методом M j , a у ijk - случайная ошибка k-го измерения величины а i методом M j (предполагается, что все y ijk - независимые одинаково распределенные случайные величины, имеющие нулевое математич. ожидание: Е у ijk =0). Такая линейная наз. двухфакторной схемой Д. а.; первый - истинное значение измеряемой величины, второй - метод измерения, причем в данном случае для каждой возможной комбинации значений первого и второго факторов осуществляется одинаковое количество Кнезависимых измерений (это допущение для целей Д. а. не является существенным и введено здесь лишь ради простоты изложения).

Примером подобной ситуации могут служить спортивные соревнования I спортсменов, мастерство к-рых оценивается J судьями, причем каждый участник соревнований выступает Краз (имеет К"попыток"). В этом случае а i - истинное значение показателя мастерства спортсмена с номером i, b ij - систематич. ошибка, вносимая в оценку мастерства i -го спортсмена судьей с номером j, x ijk - оценка, выставленная j -м судьей г-му спортсмену после выполнений последним k-й попытки, а y ijk - соответствующая случайная . Подобная типична для так наз. субъективной экспертизы качества нескольких объектов, осуществляемой группой независимых экспертов. Другой пример - статистич. исследование урожайности сельскохозяйственной культуры в зависимости от одного из J сортов почвы и J методов ее обработки, причем для каждого сорта г почвы и каждого метода обработки с номером J осуществляется kнезависимых экспериментов (в этом примере b ij - истинное значение урожайности для г-го сорта почвы при j-м способе обработки, x ijk - соответствующая экспериментально наблюдаемая урожайность в k-м опыте, а y ijk - ее случайная ошибка, возникающая из-за тех или иных случайных причин; что же касается величин а i , то в агрономич. опытах их разумно считать равными нулю).

Положим c ij =a i +b ij , и пусть с i *, с *j и с ** - результаты осреднений с ij по соответствующим индексам, т. е.

Пусть, кроме того, a=c ** , b i = с i* - с ** , g j = с *j -с ** и d ij = с ij - с i* - с *j +c ** . Идея Д. а. основана на очевидном тождестве

Если символом (c ij )обозначить размерности IJ , получаемый из матрицы ||с ij || порядка IXJ с помощью какого-либо заранее фиксированного способа упорядочивания ее элементов, то (1) можно записать в виде равенства где все векторы имеют IJ , причем a ij =a, b ij =b i , g ij =g j . Так как четыре вектора в правой части (2) ортогональны, то a ij =a - наилучшее приближение функции c ij от аргументов i и j постоянной величиной [в смысле минимальности суммы квадратов отклонений ]. В том же смысле a ij +b ij =a+b i - наилучшее c ij функцией, зависящей лишь от i, a ij +g ij =a+g j - наилучшее приближение c ij функцией, зависящей лишь от j, a a ij +b ij +g ij =a+b i +g j - наилучшее приближение c ij суммой функций, из к-рых одна (напр., a+b i ) зависит лишь от г, а другая - лишь от j. Этот факт, установленный Р. Фишером (см. ) в 1918, позднее послужил основой теории квадратичных приближений функций.

В примере, связанном со спортивными соревнованиями, d ij выражает "взаимодействие" г-го спортсмена и j-го судьи (положительное значение б/у означает "подсуживание", т. с. систематич. завышение /-м судьей оценки мастерства i-го спортсмена, а отрицательное значение б/у означает "засуживание", т. е. систематич. снижение оценки). Равенство всех б/у нулю - необходимое требование, к-рое надлежит предъявлять к работе группы экспертов. В случае же агрономич. опытов такое равенство рассматривается как гипотеза, подлежащая проверке по результатам экспериментов, поскольку основная цель здесь - отыскание таких значений i и j, при к-рых функция (1) достигает максимального значения. Если эта гипотеза верна, то

и значит, выявление наилучших "почвы" и "обработки" может быть осуществлено раздельно, что приводит к существенному сокращению числа экспериментов (напр., можно при каком-либо одном способе обработки испытать все Iсортов "почвы" и определить наилучший сорт, а затем на этом сорте опробовать все J способов "обработки" и найти наилучший способ; общее количество экспериментов с повторениями будет равно (I+J) К). Если же гипотеза {все d ij =0} неверна, то для определения max c ij необходим описанный выше "полный план", требующий при Кповторениях IJК экспериментов.

В ситуации спортивных соревнований функция g ij =g j может трактоваться как систематич. ошибка, допускаемая j-м судьей по отношению ко всем спортсменам. В конечном счете g j - характеристика "строгости" или "либеральности" j-го судьи. В идеале хотелось бы, чтобы все g j были нулевыми, но в реальных условиях приходится мириться с наличием ненулевых значений g j и учитывать это обстоятельство при подведении итогов экспертизы (напр., за основу сравнения мастерства спортсменов можно принять не последовательности истинных значений a+b 1 +g j , ..., a+b I +g j , a лишь результаты упорядочиваний этих чисел по их величине, поскольку при всех j=1, . . . , J такие упорядочивания будут одинаковыми). Наконец, сумма двух оставшихся функций a ij +b ij =a+b i зависит лишь от iи поэтому может быть использована для характеризации мастерства г-го спортсмена. Однако здесь нужно помнить, что Поэтому упорядочивание всех спортсменов по значениям a+b i (или по a+ + b i +g j при каждом фиксированном j) может не совпадать с упорядочиванием по значениям a i . При практической обработке экспертных оценок этим обстоятельством приходится пренебрегать, так как Упомянутый полный план экспериментов не позволяет оценивать отдельно a i и b i* . Таким образом, a+b i =a i + b i* характеризует не только мастерство i -го спортсмена, но и в той или иной мере экспертов к этому мастерству. Поэтому, напр., результаты субъективных экспертных оценок, осуществленных в разное время (в частности, на нескольких Олимпийских играх), едва ли можно считать сопоставимыми. В случае же агрономич. опытов подобные трудности не возникают, поскольку все a i =0 и значит, a+b i =b i* .

Истинные значения функций a, b i , g i и d ij неизвестны и выражаются в терминах неизвестных функций c ij . Поэтому первый этап Д. а. заключается в отыскании статистич. оценок для c ij по результатам наблюдений x ijk .Несмещенная и имеющая минимальную дисперсию для c ij выражается формулой

Так как a, b i , g j и d ij - линейные функции от элементов матрицы ||c ij ||, то несмещенные линейные оценки для этих функций, имеющие минимальную дисперсию, получаются в результате замены аргументов c ij соответствующими оценками, c ij , т. е. причем случайные векторы и определенные так же, как введенные выше (a ij ), (b ij ), (g ij ). и (d ij ), обладают свойством ортогональности, и значит, они представляют собой некоррелированные случайные векторы (иными словами, любые две компоненты, принадлежащие разным векторам, имеют нулевой корреляции). Кроме того, любая вида

некоррелирована с любой из компонент этих четырех векторов. Рассмотрим пять совокупностей случайных величин {x ijk }, {x ijk -x ij* }, Так как

то дисперсии эмпирич. распределений, соответствующих указанным совокупностям, выражаются формулами

Эти эмпирич. дисперсии представляют собой суммы квадратов случайных величин, любые две из к-рых некоррелированы, если только они принадлежат разным суммам; при этом относительно всех y ijk справедливо тождество

объясняющее происхождение термина "Д. а."" Пусть и пусть

в таком случае

где s 2 - дисперсия случайных ошибок y ijk .

На основе этих формул и строится второй этап Д. а., посвященный выявлению влияния первого и второго факторов на результаты эксперимента (в агрономич. опытах первый фактор - сорт "почвы", второй - способ "обработки"). Напр., если требуется проверить гипотезу отсутствия "взаимодействия" факторов, к-рая выражается равенствомто разумно вычислить дисперсионное отношение s 2 3 /s 2 0 = F 3 . Если это отношение значимо отличается от единицы, то проверяемая гипотеза отвергается. Точно так же для проверки гипотезы полезно отношение s 2 2 /s 2 0 = F 2 , к-рое надлежит также сравнить с единицей; если при этом известно, чтото вместо F 2 целесообразно сравнить с единицей отношение

Аналогичным образом можно построить статистику, позволяющую дать заключение о справедливости или ложности гипотезы

Точный смысл понятия значимого отличия указанных отношений от единицы может быть определен лишь с учетом закона распределения случайных ошибок y ijk . В Д. а. наиболее обстоятельно изучена ситуация, в к-рой все y ijk распределены нормально. В этом случае - независимые случайные векторы, а - независимые случайные величины, причем

отношения подчиняются нецентральным распределениям хи-квадрат с f m степенями свободы и параметрами нецентральности l т, m =0, 1, 2, 3, где

Если параметр нецентральности равен нулю, то нецентральное хи-квадрат совпадает с обычным распределением хи-квадрат. Поэтому в случае справедливости гипотезы l 3 =0 отношение подчиняется F-распре делению (распределению дисперсионного отношения) с параметрами f 3 и f 0 . Пусть х- такое число, для к-рого события {F 3 >x} равна заданному значению е, называемому уровнем значимости (таблицы функции х= х (e; f 3 , f 0) имеются в большинстве пособий по математич. статистике). Критерием для проверки гипотезы l 3 =0 служит правило, согласно к-рому эта гипотеза отвергается, если наблюдаемое значение F 3 превышает х;в противном случае гипотеза считается не противоречащей результатам наблюдений. Аналогичным образом конструируются критерии, основанные на статистиках F 2 и F* 2 .

Дальнейшие этапы Д. а. существенно зависят не только от реального содержания конкретной задачи, но также и от результатов статистич. проверки гипотез на втором этапе. Напр., в условиях агрономич. опытов справедливость гипотезы l 3 =0, как указано выше, позволяет более экономно спланировать аналогичные дальнейшие эксперименты (если помимо гипотезы l 3 =0 справедлива также и гипотеза l 2 =0, то это означает, что урожайность зависит лишь от сорта "почвы", и поэтому в дальнейших опытах можно воспользоваться схемой однофакторного Д. а.); если же гипотеза l 3 =0 отвергается, то разумно проверить, нет ли в данной задаче неучтенного третьего фактора? Если сорта "почвы" и способы ее "обработки" варьировались не в одном и том же месте, а в различных географич. зонах, то таким фактором могут быть климатич. или географич. условия, и "обработка" наблюдений потребует применения трехфакторного Д. а.

В случае экспертных оценок статистически подтвержденная справедливость гипотезы l 3 = 0 дает основание для упорядочивания сравниваемых объектов (напр., спортсменов) по значениям величин i=l, . .. , I.

Если же гипотеза l 3 =0 отвергается (в задаче о спортивных соревнованиях это означает статистич. обнаружение "взаимодействия" нек-рых спортсменов и судей), то естественно попытаться перевычнслить все результаты заново, предварительно исключив из рассмотрения x ijk с такими парами индексов (i, j ), для к-рых абсолютные значения статистич. оценок d ij превышают нек-рый заранее установленный допустимый уровень. Это означает, что из матрицы ||x ij* || вычеркиваются нек-рые элементы, и значит, план Д. а. становится неполным.

Модели современного Д. а. охватывают широкий круг реальных экспериментальных схем (напр., схемы неполных планов, со случайно или неслучайно отобранными элементами x ij* ). Соответствующие этим схемам статистич. выводы во многих случаях находятся в стадии разработки. В частности, еще (к 1978) далеки от окончательного решения те задачи, в к-рых результаты наблюдений x ijk =c ij +y ijk не являются одинаково распределенными случайными величинами; еще более трудная задача возникает в случае зависимости величин x ijk . Неизвестно проблемы выбора факторов (даже в линейном случае). Суть этой проблемы заключается в следующем: пусть с=с ( и, v )- и пусть u=u (z, w )и u=u (z, w )- какие-либо линейные функции от переменных г и w. Фиксируя значения z 1 , . .., z I и w 1 , . . ., w J , можно при каждом заданном выборе линейных функций ии u. определить c ij формулой и построить Д. а. этих величин по результатам соответствующих наблюдений x ijk . Проблема заключается в отыскании таких линейных функций u и u, к-рым соответствует минимальное значение суммы квадратов

где (предполагается, что функция с( и, v )неизвестна). В терминах Д. а. эта проблема сводится к статистич. отысканию таких факторов z=z (u, v )и w-w (u, v ), к-рым соответствует "наименьшее взаимодействие".

Лит. : Fisher R. A., Statistical methods for research workers, Edinburgh, 1925; Шеффе Г., Дисперсионный анализ, пер. с англ., М., 1963; Xальд А., Математическая с техническими приложениями, пер. с англ., М., 1956; Снедекор Д ж. У., Статистические методы в применении к исследованиям в сельском хозяйстве и биологии, пер. с англ., М., 1961.

Л. Н. Большее.

Математическая энциклопедия. - М.: Советская энциклопедия . И. М. Виноградов . 1977-1985 .

Смотреть что такое "ДИСПЕРСИОННЫЙ АНАЛИЗ" в других словарях:

Метод в математической статистике, направленный на поиск зависимостей в экспериментальных данных путём исследования значимости различий в средних значениях. В литературе также встречается обозначение ANOVA (от англ. ANalysis Of… … Википедия

- (analysis of variance) Статистический метод, основанный на разложении общей дисперсии (variance) какой либо характеристики населения на составные части, коррелирующие с другими характеристиками, и остаточную вариацию (residual variation). В… … Экономический словарь

Один из методов математической статистики, применяемый для анализа результатов наблюдений, зависящих от различных, одновременно действующих факторов, к рые не поддаются, как правило, количеств. описанию. Рассмотрим простейшую из задач Д. а. Пусть … Физическая энциклопедия

Дисперсионный анализ - раздел математической статистики, посвященный методам выявления влияния отдельных факторов на результат эксперимента (физического, производственного, экономического эксперимента). Д.а. возник как средство обработки результатов… … Экономико-математический словарь

дисперсионный анализ - — дисперсионный анализ Раздел математической статистики, посвященный методам выявления влияния отдельных факторов на результат эксперимента (физического, производственного,… … Справочник технического переводчика

Дисперсионный анализ есть совокупность статистических методов, предназначенных для проверки гипотез о связи между определенными признаками и исследуемыми факторами, которые не имеют количественного описания, а также для установления степени влияния факторов и их взаимодействия. В специальной литературе его часто называют ANOVA (от англоязычного названия Analysis of Variations). Впервые этот метод был разработан Р. Фишером в 1925 г.

Виды и критерии дисперсионного анализа

Этот метод используется для исследования связи между качественными (номинальными) признаками и количественной (непрерывной) переменной. По сути, он осуществляет тестирование гипотезы о равенстве средних арифметических нескольких выборок. Таким образом, его можно рассматривать как параметрический критерий для сравнения центров сразу нескольких выборок. Если использовать этот метод для двух выборок, то результаты дисперсионного анализа будут идентичны результатам t-критерия Стьюдента. Однако, в отличие от других критериев, это исследование позволяет изучить проблему более детально.

Дисперсионный анализ в статистике базируется на законе: сумма квадратов отклонений объединенной выборки равна сумме квадратов внутригрупповых отклонений и сумме квадратов межгрупповых отклонений. Для исследования используется критерий Фишера для установления значимости различия межгрупповых дисперсий от внутригрупповых. Однако для этого необходимыми предпосылками являются нормальность распределения и гомоскедастичность (равенство дисперсий) выборок. Различают одномерный (однофакторный) дисперсионный анализ и многомерный (многофакторный). Первый рассматривает зависимость исследуемой величины от одного признака, второй - сразу от многих, а также позволяет выявить связь между ними.

Факторы

Факторами называют контролируемые обстоятельства, что влияют на конечный результат. Его уровнем или способом обработки называют значение, которое характеризует конкретное проявление этого условия. Эти цифры обычно подают в номинальной или порядковой шкале измерений. Часто выходные значения измеряют в количественных или порядковых шкалах. Тогда возникает проблема группировки выходных данных в ряде наблюдений, что соответствуют примерно одинаковым числовым значениям. Если количество групп взять чрезмерно большим, то количество наблюдений в них может оказаться недостаточным для получения надежных результатов. Если брать число чрезмерно малым, это может привести к потере существенных особенностей влияния на систему. Конкретный способ группировки данных зависит от объема и характера варьирования значений. Количество и размеры интервалов при однофакторном анализе чаще всего определяют по принципу равных промежутков или по принципу равных частот.

Задачи дисперсионного анализа

Итак, существуют случаи, когда нужно сравнить две или больше выборок. Именно тогда и целесообразно применение дисперсионного анализа. Название метода указывает на то, что выводы делают на основе исследования составляющих дисперсии. Суть изучения состоит в том, что общее изменение показателя разбивают на составляющие части, которые соответствуют действию каждого отдельно взятого фактора. Рассмотрим ряд задач, которые решает типичный дисперсионный анализ.

Пример 1

В цехе есть ряд станков - автоматов, которые изготавливают определенную деталь. Размер каждой детали - это случайная величина, которая зависит от настройки каждого станка и случайных отклонений, возникающих в процессе изготовления деталей. Нужно по данным измерений размеров деталей определить, одинаково ли настроены станки.

Пример 2

Во время изготовления электрического аппарата используют различные типы изоляционной бумаги: конденсаторную, электротехническую и др. Аппарат можно пропитать различными веществами: эпоксидной смолой, лаком, смолой МЛ-2 и др. Утечки можно устранять под вакуумом при повышенном давлении, при нагреве. Пропитывать можно методом погружения в лак, под непрерывной струей лака и т. п. Электрический аппарат в целом заливают определенным компаундом, вариантов которого есть несколько. Показателями качества являются электрическая прочность изоляции, температура перегрева обмотки в рабочем режиме и ряд других. Во время отработки технологического процесса изготовления аппаратов надо определить, как влияет каждый из перечисленных факторов на показатели аппарата.

Пример 3

Троллейбусное депо обслуживает несколько троллейбусных маршрутов. На них работают троллейбусы различных типов, и оплату за проезд собирают 125 контролеров. Руководство депо интересует вопрос: как сравнить экономические показатели работы каждого контролера (выручку) учитывая различные маршруты, различные типы троллейбусов? Как определить экономическую целесообразность выпуска троллейбусов определенного типа на тот или другой маршрут? Как установить обоснованные требования к величине выручки, которую приносит кондуктор, на каждом маршруте в различных типах троллейбусов?

Задача по выбору метода состоит в том, как получить максимум информации относительно влияния на конечный результат каждого фактора, определить числовые характеристики такого влияния, их надежность при минимальных затратах и за максимально короткое время. Решить такие задачи позволяют методы дисперсионного анализа.

Однофакторный анализ

Исследование своей целью ставит оценку величины влияния конкретного случая на анализируемый отзыв. Другой задачей однофакторного анализа может быть сравнение двух или нескольких обстоятельств друг с другом с целью определения разницы их влияния на отзыв. Если нулевую гипотезу отвергают, то следующим этапом будет количественное оценивание и построение доверительных интервалов для полученных характеристик. В случае, когда нулевая гипотеза не может быть отброшенной, обычно ее принимают и делают вывод о сущности влияния.

Однофакторный дисперсионный анализ может стать непараметрическим аналогом рангового метода Краскела-Уоллиса. Он разработан американскими математиком Уильямом Краскелом и экономистом Вильсоном Уоллисом в 1952 г. Этот критерий назначен для проверки нулевой гипотезы о равенстве эффектов влияния на исследуемые выборки с неизвестными, но равными средними величинами. При этом количество выборок должно быть больше двух.

Критерий Джонкхиера (Джонкхиера-Терпстра) был предложен независимо друг от друга нидерландским математиком Т. Дж. Терпстром в 1952 г. и британским психологом Е. Р. Джонкхиером в 1954 г. Его применяют тогда, когда заранее известно, что имеющиеся группы результатов упорядочены по росту влияния исследуемого фактора, который измеряют в порядковой шкале.

М - критерий Бартлетта, предложенный британским статистиком Маурисом Стивенсоном Бартлеттом в 1937 г., применяют для проверки нулевой гипотезы о равенстве дисперсий нескольких нормальных генеральных совокупностей, с которых взяты исследуемые выборки, в общем случае имеющие различные объемы (число каждой выборки должно быть не меньше четырех).

G - критерий Кохрена, который открыл американец Вильям Геммел Кохрен в 1941 г. Его используют для проверки нулевой гипотезы о равенстве дисперсий нормальных генеральных совокупностей по независимым выборкам равного объема.

Непараметрический критерий Левене, предложенный американским математиком Ховардом Левене в 1960 г., является альтернативой критерия Бартлетта в условиях, когда нет уверенности в том, что исследуемые выборки подчиняются нормальному распределению.

В 1974 г. американские статистики Мортон Б. Браун и Алан Б. Форсайт предложили тест (критерий Брауна-Форсайта), который несколько отличается от критерия Левене.

Двухфакторный анализ

Двухфакторный дисперсионный анализ применяют для связанных нормально распределенных выборок. На практике часто используют и сложные таблицы этого метода, в частности те, в которых каждая ячейка содержит набор данных (повторные измерения), соответствующих фиксированным значениям уровней. Если предположения, необходимые для применения двухфакторного дисперсионного анализа, не выполняются, то используют непараметрический ранговый критерий Фридмана (Фридмана, Кендалла и Смита), разработанный американским экономистом Милтоном Фридманом в конце 1930 г. Этот критерий не зависит от типа распределения.

Предполагается только, что распределение величин является одинаковым и непрерывным, а сами они независимы одна от другой. При проверке нулевой гипотезы выходные данные подают в форме прямоугольной матрицы, в которой строки соответствуют уровням фактора В, а столбцы - уровням А. Каждая ячейка таблицы (блока) может быть результатом измерений параметров на одном объекте или на группе объектов при постоянных значениях уровней обоих факторов. В этом случае соответствующие данные подают как средние значения определенного параметра по всем измерениям или объектам исследуемой выборки. Для применения критерия выходных данных необходимо перейти от непосредственных результатов измерений к их рангу. Ранжирование осуществляют по каждой строке отдельно, то есть величины упорядочивают для каждого фиксированного значения.

Критерий Пейджа (L-критерий), предложенный американским статистиком Е. Б. Пейджем в 1963 г., предназначен для проверки нулевой гипотезы. Для больших выборок применяют аппроксимацию Пейджа. Они при условии реальности соответствующих нулевых гипотез подчиняются стандартному нормальному распределению. В случае, когда в строках исходной таблицы есть одинаковые значения, необходимо использовать средние ранги. При этом точность выводов будет тем хуже, чем больше будет количеств таких совпадений.

Q - критерий Кохрена, предложенный В. Кохреном в 1937 г. Его используют в случаях, когда группы однородных субъектов подвергаются воздействиям, количество которых превышает два и для которых возможны два варианта отзывов - условно-отрицательный (0) и условно-положительный (1). Нулевая гипотеза состоит из равенства эффектов влияния. Двухфакторный дисперсионный анализ дает возможность определить существование эффектов обработки, однако не дает возможности установить, для каких именно столбцов существует этот эффект. При решении данной проблемы применяют метод множественных уравнений Шеффе для связанных выборок.

Многофакторный анализ

Задача многофакторного дисперсионного анализа возникает тогда, когда нужно определить влияние двух или большего количества условий на определенную случайную величину. Исследование предусматривает наличие одной зависимой случайной величины, измеренной в шкале разницы или отношений, и нескольких независимых величин, каждая из которых выражена в шкале наименований или в ранговой. Дисперсионный анализ данных является достаточно развитым разделом математической статистики, который имеет массу вариантов. Концепция исследования общая как для однофакторного, так и для многофакторного. Сущность ее состоит в том, что общую дисперсию разбивают на составляющие, что соответствует определенной группировке данных. Каждой группировке данных соответствует своя модель. Здесь мы рассмотрим только основные положения, нужные для понимания и практического использования наиболее применяемых его вариантов.

Дисперсионный анализ факторов требует достаточно внимательного отношения к сбору и подаче входных данных, а особенно к интерпретации результатов. В отличие от однофакторного, результаты которого можно условно разместить в определенной последовательности, результаты двухфакторного требуют более сложного представления. Еще сложнее ситуация возникает, когда есть три, четыре или больше обстоятельств. Из-за этого в модель достаточно редко включают больше трех (четырех) условий. Примером может быть возникновение резонанса при определенной величине емкости и индуктивности электрического круга; проявление химической реакции при определенной совокупности элементов, из которых построена система; возникновение аномальных эффектов в сложных системах при определенном совпадении обстоятельств. Наличие взаимодействия может в корне изменить модель системы и иногда привести к переосмыслению природы явлений, с которыми имеет дело экспериментатор.

Многофакторный дисперсионный анализ с повторными опытами

Данные измерений достаточно часто можно группировать не по двум, а по большему количеству факторов. Так, если рассматривать дисперсионный анализ срока службы покрышек колес троллейбуса с учетом обстоятельств (завод-производитель и маршрут, на котором эксплуатируются покрышки), то можно выделить как отдельное условие сезон, во время которого эксплуатируются покрышки (а именно: зимняя и летняя эксплуатация). В результате будем иметь задачу трехфакторного метода.

При наличии большего количества условий подход такой же, как и в двухфакторном анализе. Во всех случаях модель пытаются упростить. Явление взаимодействия двух факторов проявляется не так часто, а тройное взаимодействие бывает только в исключительных случаях. Включают то взаимодействие, для которого есть предыдущая информация и серьезные основания, чтобы ее учесть в модели. Процесс выделения отдельных факторов и их учета относительно простой. Поэтому часто возникает желание выделить больше обстоятельств. Этим не следует увлекаться. Чем больше условий, тем менее надежной становится модель и тем больше вероятность ошибки. Сама модель, в которую входит большое количество независимых переменных, становится достаточно сложной для интерпретации и неудобной для практического использования.

Общая идея дисперсионного анализа

Дисперсионный анализ в статистике - это метод получения результатов наблюдений, зависимых от различных одновременно действующих обстоятельств, и оценки их влияния. Управляемую переменную величину, которая соответствует способу воздействия на объект исследования и в некоторый период времени приобретает определенное значение, называют фактором. Они могут быть качественными и количественными. Уровни количественных условий приобретают определенное значение на числовой шкале. Примерами являются температура, давление прессования, количество вещества. Качественные факторы - это разные вещества, разные технологические способы, аппараты, наполнители. Их уровням соответствует шкала наименований.

К качественным можно отнести также вид упаковочного материала, условия хранения лекарственной формы. Сюда же рационально отнести степень измельчения сырья, фракционный состав гранул, имеющих количественное значение, однако плохо поддающихся регулированию, если использовать количественную шкалу. Число качественных факторов зависит от вида лекарственной формы, а также физических и технологических свойств лекарственных веществ. Например, из кристаллических веществ можно получать таблетки прямым прессованием. В этом случае достаточно провести выбор скользящих и смазывающих веществ.

Примеры качественных факторов для различных видов лекарственных форм

Настойки. Состав экстрагента, тип экстрактора, способ подготовки сырья, способ получения, способ фильтрации.
Экстракты (жидкие, густые, сухие). Состав экстрагента, способ экстракции, тип установки, способ удаления экстрагента и балластных веществ.
Таблетки. Состав вспомогательных веществ, наполнители, разрыхлители, связующие, смазывающие и скользящие вещества. Способ получения таблеток, вид технологического оборудования. Вид оболочки и ее компонентов, пленкообразователи, пигменты, красители, пластификаторы, растворители.
Инъекционные растворы. Вид растворителя, способ фильтрации, природа стабилизаторов и консервантов, условия стерилизации, способ заполнения ампул.
Суппозитории. Состав суппозиторной основы, способ получения суппозиториев, наполнителей, упаковки.
Мази. Состав основы, структурные компоненты, способ приготовления мази, вид оборудования, упаковка.
Капсулы. Вид оболочечного материала, способ получения капсул, тип пластификатора, консерванта, красителя.
Линименты. Способ получения, состав, тип оборудования, тип эмульгатора.
Суспензии. Вид растворителя, вид стабилизатора, метод диспергирования.

Примеры качественных факторов и их уровней, изучаемых в процессе изготовления таблеток

Разрыхлитель. Крахмал картофельный, глина белая, смесь натрия гидрокарбоната с кислотой лимонной, магния карбонат основной.
Связывающий раствор. Вода, крахмальный клейстер, сахарный сироп, раствор метилцеллюлозы, раствор оксипропилметилцеллюлозы, раствор поливинилпирролидона, раствор поливинилового спирта.
Скользящая вещество. Аэросил, крахмал, тальк.
Наполнитель. Сахар, глюкоза, лактоза, натрия хлорид, фосфат кальция.
Смазывающее вещество. Стеариновая кислота, полиэтиленгликоль, парафин.

Модели дисперсионного анализа в исследовании уровня конкурентоспособности государства

Одним из важнейших критериев оценки состояния государства, по которым проводится оценка уровня его благосостояния и социально-экономического развития, является конкурентоспособность, то есть совокупность свойств, присущих национальной экономике, которые определяют способность государства конкурировать с другими странами. Определив место и роль государства на мировом рынке, можно установить четкую стратегию обеспечения экономической безопасности в международных масштабах, ведь она является залогом положительных взаимоотношений России со всеми игроками мирового рынка: инвесторами, кредиторами, правительствами государств.

Для сравнения уровня конкурентоспособности государств проводится ранжирование стран с помощью комплексных индексов, которые включают различные взвешенные показатели. В основу этих индексов заложены ключевые факторы, влияющие на экономическое, политическое и т. п. положение. Комплекс моделей исследования конкурентоспособности государства предусматривает использование методов многомерного статистического анализа (в частности, это дисперсионный анализ (статистика), эконометрическое моделирование, принятие решений) и включает следующие основные этапы:

Формирование системы показателей-индикаторов.
Оценку и прогнозирование индикаторов конкурентоспособности государства.
Сравнение показателей-индикаторов конкурентоспособности государств.

А теперь рассмотрим содержание моделей каждого из этапов данного комплекса.

На первом этапе с помощью методов экспертного изучения формируется обоснованный комплекс экономических показателей-индикаторов оценки конкурентоспособности государства с учетом специфики ее развития на основе международных рейтингов и данных статистических отделов, отражающих состояние системы в целом и ее процессов. Выбор этих показателей обоснован необходимостью отобрать те из них, которые наиболее полно с точки зрения практики позволяют определить уровень государства, его инвестиционную привлекательность и возможности относительной локализации существующих потенциальных и реально действующих угроз.

Основные показатели-индикаторы международных рейтинг-систем - это индексы:

Глобальной конкурентоспособности (ИГК).
Экономической свободы (ИЭС).
Развития человеческого потенциала (ИРЧП).
Восприятия коррупции (ИВК).
Внутренних и внешних угроз (ИВЗЗ).
Потенциала международного влияния (ИПМВ).

Второй этап предусматривает оценку и прогнозирование индикаторов конкурентоспособности государства по международным рейтингам для исследуемых 139 государств мира.

Третий этап предусматривает сравнение условий конкурентоспособности государств при помощи методов корреляционно-регрессионного анализа.

Используя результаты исследования можно определить характер протекания процессов в целом и по отдельным составляющим конкурентоспособности государства; проверить гипотезу о влиянии факторов и их взаимосвязи при соответствующем уровне значимости.

Реализация предложенного комплекса моделей позволит не только оценить сложившуюся ситуацию уровня конкурентоспособности и инвестиционной привлекательности государств, но и проанализировать недостатки управления, предупредить ошибки неправильных решений, не допустить развития кризиса в государстве.

Как было уже отмечено, дисперсионный метод тесно связан со статистическими группировками и предполагает, что изучаемая совокупность подразделена на группы по факторным признакам, влияние которых должно быть изучено.

На основе дисперсионного анализа производится:

1. оценка достоверности различий в групповых средних по одному факторному признаку или нескольким;

2. оценка достоверности взаимодействий факторов;

3. оценка частных различий между парами средних.

В основе применения дисперсионного анализа лежит закон разложения дисперсий (вариаций) признака на составляющие.

Общая вариация D о результативного признака при группировке может быть разложена на следующие составные части:

1. на межгрупповую D м связанную с группировочным признаком;

2. на остаточную (внутригрупповую) D B , не связанную с группировочным признаком.

Соотношение между этими показателями выражается следующим образом:

D о = D м + D в. (1.30)

Рассмотрим применение дисперсионного анализа на примере.

Допустим, требуется доказать, влияют ли сроки посева на урожайность пшеницы. Исходные опытные данные для дисперсионного анализа представлены в табл. 8.

Таблица 8

В данном примере N = 32, K = 4, l = 8.

Определим общую суммарную вариацию урожайности, которая представляет собой сумму квадратов отклонений индивидуальных значений признака от общей средней:

где N – число единиц совокупности; Y i – индивидуальные значения урожайности; Y o – общая средняя урожайности по всей совокупности.

Для определения межгрупповой суммарной вариации, определяющей вариацию результативного признака за счет изучаемого фактора, необходимо знать средние значения результативного признака по каждой группе. Эта суммарная вариация равна сумме квадратов отклонений групповых средних величин от общей средней величины признака, взвешенной на число единиц совокупности в каждой из групп:

Внутригрупповая суммарная вариация равна сумме квадратов отклонений индивидуальных значений признака от групповых средних по каждой группе, суммированной по всем группам совокупности.

Влияние фактора на результативный признак проявляется в соотношении между D м и D в: чем сильнее влияние фактора на величину изучаемого признака, тем больше D м и меньше D в.

Для проведения дисперсионного анализа нужно установить источники варьирования признака, объем вариации по источникам, определить число степеней свободы для каждой компоненты вариации.

Объем вариации уже установлен, теперь необходимо определить число степеней свободы вариации. Число степеней свободы – это число независимых отклонений индивидуальных значений признака от его среднего значения. Общее число степеней свободы, соответствующее общей сумме квадратов отклонений в дисперсионном анализе, разлагается по составляющим вариации. Так, общей сумме квадратов отклонений D о соответствует число степеней свободы вариации, равное N – 1 = 31. Групповой вариации D м соответствует число степеней свободы вариации, равное K – 1 = 3. Внутригрупповой остаточной вариации соответствует число степеней свободы вариации, равное N – K = 28.

Теперь, зная суммы квадратов отклонений и число степеней свободы, можно определить дисперсии для каждой составляющей. Обозначим эти дисперсии: d м – групповые и d в – внутригрупповые.

После вычисления этих дисперсий приступим к установлению значимости влияния фактора на результативный признак. Для этого находим отношение: d M /d B = F ф,

Величина F ф, называемая критерием Фишера , сравнивается с табличным, F табл. Как уже было отмечено, если F ф > F табл, то влияние фактора на результативный признак доказано. Если F ф < F табл то можно утверждать, что различие между дисперсиями находится в пределах возможных случайных колебаний и, следовательно, не доказывает с достаточной вероятностью влияние изучаемого фактора.

Теоретическая величина связана с вероятностью, и в таблице ее значение приводится при определенном уровне вероятности суждения. В приложении имеется таблица, позволяющая установить возможную величину F при вероятности суждения, наиболее часто используемой: уровень вероятности «нулевой гипотезы» – 0,05. Вместо вероятностей «нулевой гипотезы» таблица может быть названа таблицей для вероятности 0,95 существенности влияния фактора. Повышение уровня вероятности требует для сравнения более высокого значения F табл.

Величина F табл зависит также от числа степеней свободы двух сравниваемых дисперсий. Если число степеней свободы стремится к бесконечности, то F табл стремится к единице.

Таблица значений F табл построена следующим образом: в столбцах таблицы указаны степени свободы вариации для большей дисперсии, а в строках – степени свободы для меньшей (внутригрупповой) дисперсии. Величина F находится на пересечении столбца и строки соответствующих степеней свободы вариации.

Так, в нашем примере F ф = 21,3/3,8 = 5,6. Табличное же значение F табл для вероятности 0,95 и степеней свободы, соответственно равных 3 и 28, F табл = 2,95.

Значение F ф полученное в опыте, превышает теоретическое значение даже для вероятности 0,99. Следовательно, опыт с вероятностью более 0,99 доказывает влияние изучаемого фактора на урожайность, т. е. опыт можно считать надежным, доказанным, а значит, сроки посева оказывают существенное влияние на урожайность пшеницы. Оптимальным сроком посева следует считать период с 10 по 15 мая, так как именно при этом сроке посева получены наилучшие результаты урожайности.

Нами рассмотрена методика дисперсионного анализа при группировке по одному признаку и случайному распределению повторностей внутри группы. Однако часто бывает так, что опытный участок имеет какие-то различия в плодородии почвы и т. д. Поэтому может возникнуть такая ситуация, что большее число делянок одного из вариантов попадет на лучшую часть, и его показатели будут завышены, а другого варианта – на худшую часть, и результаты в этом случае, естественно, будут хуже, т. е. занижены.

Чтобы исключить варьирование, которое вызывается не относящимися к опыту причинами, надо из внутригрупповой (остаточной) дисперсии вычленить дисперсию, рассчитанную по повторностям (блокам).

Общая сумма квадратов отклонений подразделяется в этом случае уже на 3 составляющие:

D о = D м + D повт + D ост. (1.33)

Для нашего примера сумма квадратов отклонений, вызванная повторностями, будет равна:

Стало быть, собственно случайная сумма квадратов отклонений будет равна:

D ост = D в – D повт; D ост = 106 – 44 = 62.

Для остаточной дисперсии число степеней свободы будет равно 28 – 7 = 21. Результаты дисперсионного анализа представлены в табл. 9.

Таблица 9

Поскольку фактические значения F-критерия для вероятности 0,95 превышают табличные, то влияние сроков посева и повторностей на урожайность пшеницы следует считать существенным. Рассмотренный способ построения опыта, когда участок предварительно делится на блоки с относительно выровненными условиями, а проверяемые варианты распределяются внутри блока в случайном порядке, называется способом рендомизированных блоков.

С помощью анализа дисперсионным методом можно изучить влияние не только одного фактора на результат, а двух и более. Дисперсионный анализ в этом случае будет называться многофакторным дисперсионным анализом .

Двухфакторный дисперсионный анализ отличается от двух однофакторных тем, что он может ответить на следующие вопросы:

1. 1каково влияние обоих факторов вместе?

2. какова роль сочетания этих факторов?

Рассмотрим дисперсионный анализ опыта, в котором следует выявить влияние не только сроков посева, но и сортов на урожайность пшеницы (табл. 10).

Таблица 10. Данные опыта по влиянию сроков посева и сортов на урожайность пшеницы

– это сумма квадратов отклонений индивидуальных значений от общей средней.

Вариация по совместному влиянию сроков посева и сорта

– это сумма квадратов отклонений средних по подгруппам от общей средней, взвешенных на число повторностей, т. е. на 4.

Вычисление вариации по влиянию только сроков посева:

Остаточная вариация определяется как разность между общей вариацией и вариацией по совместному влиянию изучаемых факторов:

D ост = D о – D пс = 170 – 96 = 74.

Все расчеты можно оформить в виде таблицы (табл. 11).

Таблица 11. Результаты дисперсионного анализа

Результаты дисперсионного анализа показывают, что влияние изучаемых факторов, т. е. сроков посева и сорта, на урожайность пшеницы существенно, так как F-критерии фактические по каждому из факторов значительно превышают табличные, найденные для соответствующих степеней свободы, и при этом с достаточно высокой вероятностью (р = 0,99). Влияние же сочетания факторов в данном случае отсутствует, так как факторы независимы друг от друга.

Анализ влияния трех факторов на результат ведется по такому же принципу, что и для двух факторов, только в этом случае будет три дисперсии по факторам и четыре дисперсии по сочетанию факторов. С увеличением числа факторов резко увеличивается объем расчетных работ и, кроме того, становится затруднительно оформлять исходную информацию в комбинационную таблицу. Поэтому вряд ли целесообразно изучать влияние многих факторов на результат с использованием дисперсионного анализа; лучше взять меньшее их число, но выбрать наиболее существенные факторы с точки зрения экономического анализа.

Нередко исследователю приходится иметь дело с так называемыми непропорциональными дисперсионными комплексами, т. е. такими, в которых не соблюдается пропорциональность численностей вариантов.

В таких комплексах вариация суммарного действия факторов не равна сумме вариации по факторам и вариации сочетания факторов. Она отличается на величину, зависящую от степени связей между отдельными факторами, возникающих вследствие нарушения пропорциональности.

В этом случае возникают трудности при определении степени влияния каждого фактора, так как сумма частных влияний не равна суммарному влиянию.

Одним из способов приведения непропорционального комплекса к единой структуре является способ его замены пропорциональным комплексом, в котором частоты усреднены по группам. Когда такая замена произведена, задача решается по принципам пропорциональных комплексов.

5.1. Что такое дисперсионный анализ?

Дисперсионный анализ разработан в 20-х годах XX века английским математиком и генетиком Рональдом Фишером. По данным опроса среди ученых, где выяснялось, кто сильнее всего повлиял на биологию XX века, первенство получил именно сэр Фишер (за свои заслуги он был награжден рыцарским званием - одним из высших отличий в Великобритании); в этом отношении Фишер сравним с Чарльзом Дарвином, оказавшим наибольшее влияние на биологию XIX века.

Дисперсионный анализ (Analis of variance) является сейчас отдельной отраслью статистики. Он основан на открытом Фишером факте, что меру изменчивости изучаемой величины можно разложить на части, соответствующие влияющим на эту величину факторам и случайным отклонениям.

Чтобы понять суть дисперсионного анализа, мы выполним однотипные расчеты дважды: «вручную» (с калькулятором) и с помощью программы Statistica. Для упрощения нашей задачи мы будем работать не с результатами действительного описания разнообразия зеленых лягушек, а с вымышленным примером, который касается сравнения женщин и мужчин у людей. Рассмотрим разнообразие роста 12 взрослых человек: 7 женщин и 5 мужчин.

Таблица 5.1.1. Пример для однофакторного дисперсионного анализа: данные о поле и росте 12 людей

Проведем однофакторный дисперсионный анализ: сравним, статистически значимо или нет отличаются ли мужчины и женщины в охарактеризованной группе по росту.

5.2. Тест на нормальность распределения

Дальнейшие рассуждения основываются на том, что распределение в рассматриваемой выборке нормальное или близкое к нормальному. Если распределение далеко от нормального, дисперсия (варианса) не является адекватной мерой его его изменчивости. Впрочем, дисперсионный анализ относительно устойчив к отклонениям распределения от нормальности.

Тест этих данных на нормальность можно провести двумя разными способами. Первый: Statistics / Basic Statistics/Tables / Descriptive statistics / Вкладка Normality. Во вкладке Normality можно выбрать используемые тесты нормальности распределения. При нажатии на кнопку Frequency tables появится частотная таблица, а кнопки Histograms - гистограмма. На таблице и гистограмме будут приведены результаты различных тестов.

Второй способ связан с использованием соответствующих возможнойтсей при построении гистограмм. В диалоге построения гистограмм (Grafs / Histograms...) следует выбрать вкладку Advanced. В ее нижней части есть блок Statistics. Отметим на ней Shapiro-Wilk test и Kolmogorov-Smirnov test, как это показано на рисунке.

Рис. 5.2.1. Статистические тесты на нормальность распределения в диалоге построения гистограмм

Как видно по гистограмме, распределение роста в нашей выборке отличается от нормального (в середине - «провал»).

Рис. 5.2.2. Гистограмма, построенная с параметрами, указанными на предыдущем рисунке

Третья строка в заголовке графика указывает параметры нормального распределения, к которому оказалось ближе всего наблюдаемое распределение. Генеральное среднее составляет 173, генеральное стандартное отклонение - 10,4. Внизу во врезке на графике указаны результаты тестов на нормальность. D - это критерий Колмогорова-Смирнова, а SW-W - Шапиро-Вилка. Как видно, для всех использованных тестов отличия распределения по росту от нормального распределения оказались статистически незначимыми (p во всех случаях больше, чем 0,05).

Итак, формально говоря, тесты на соответствие распределения нормальному не «запретили» нам использовать параметрический метод, основанный на предположении о нормальном распределении. Как уже сказано, дисперсионный анализ относительно устойчив к отклонениям от нормальности, поэтому мы им все-таки воспользуемся.

5.3. Однофакторный дисперсионный анализ: вычисления «вручную»

Для характеристики изменчивости роста людей в приведенном примере вычислим сумму квадратов отклонений (в английском обозначается как SS , Sum of Squares или ) отдельных значений от среднего: . Среднее значение для роста в приведенном примере составляет 173 сантиметра. Исходя из этого,

SS = (186–173) 2 + (169–173) 2 + (166–173) 2 + (188–173) 2 + (172–173) 2 + (179–173) 2 + (165–173) 2 + (174–173) 2 + (163–173) 2 + (162–173) 2 + (162–173) 2 + (190–173) 2 ;

SS = 132 + 42 + 72 + 152 + 12 + 62 + 82 + 12 + 102 + 112 + 112 + 172;

SS = 169 + 16 + 49 + 225 + 1 + 36 + 64 + 1 + 100 + 121 + 121 + 289 = 1192.

Полученная величина (1192) - мера изменчивости всей совокупности данных. Однако они состоят из двух групп, для каждой из которых можно выделить свою среднюю. В приведенных данных средний рост женщин - 168 см, а мужчин - 180 см.

Вычислим сумму квадратов отклонений для женщин:

SS f = (169–168) 2 + (166–168) 2 + (172–168) 2 + (179–168) 2 + (163–168) 2 + (162–168) 2 ;

SS f = 12 + 22 + 42 + 112 + 32 + 52 + 62 = 1 + 4 + 16 + 121 + 9 + 25 + 36 = 212.

Также вычислим сумму квадратов отклонений для мужчин:

SS m = (186–180) 2 + (188–180) 2 + (174–180) 2 + (162–180) 2 + (190–180) 2 ;

SS m = 62 + 82 + 62 + 182 + 102 = 36 + 64 + 36 + 324 + 100 = 560.

От чего зависит исследуемая величина в соответствии с логикой дисперсионного анализа?

Две вычисленные величины, SS f и SS m , характеризуют внутригрупповую вариансу, которую в дисперсионном анализе принято называть «ошибкой». Происхождение этого названия связано со следующей логикой.

От чего зависит рост человека в рассматриваемом примере? Прежде всего, от среднего роста людей вообще, вне зависимости от их пола. Во вторую очередь - от пола. Если люди одного пола (мужского) выше, чем другого (женского), это можно представить в виде сложения с «общечеловеческой» средней какой-то величины, эффекта пола. Наконец, люди одного пола отличаются по росту в силу индивидуальных отличий. В рамках модели, описывающей рост как сумму общечеловеческой средней и поправки на пол, индивидуальные отличия необъяснимы, и их можно рассматривать как «ошибку».

Итак, в соответствии с логикой дисперсионного анализа, исследуемая величина определяется следующим образом: , где x ij - i-тое значение изучаемой величины при j-том значении изучаемого фактора; - генеральное среднее; F j - влияние j-того значения изучаемого фактора; - «ошибка», вклад индивидуальности объекта, к которому относится величина x ij .

Межгрупповая сумма квадратов

Итак, SS ошибки = SS f + SS m = 212 + 560 = 772. Этой величиной мы описали внутригрупповую изменчивость (при выделении групп по полу). Но есть и вторая часть изменчивости - межгрупповая, которую мы назовем SS эффекта (поскольку речь идет об эффекте разделения совокупности рассматриваемых объектов на женщин и мужчин).

Среднее каждой группы отличается от общей средней. Вычисляя вклад этого отличия в общую меру изменчивости, мы должны умножить отличие групповой и общей средней на число объектов в каждой группе.

SS эффекта = = 7×(168–173) 2 + 5×(180–173) 2 = 7×52 + 5×72 = 7×25 + 5×49 = 175 + 245 = 420.

Здесь проявился открытый Фишером принцип постоянства суммы квадратов: SS = SS эффекта + SS ошибки , т.е. для данного примера, 1192 = 440 + 722.

Средние квадраты

Сравнивая в нашем примере межгрупповую и внутригрупповую суммы квадратов, мы можем увидеть, что первая связана с варьированием двух групп, а вторая - 12 величин в 2 группах. Количество степеней свободы (df ) для какого-то параметра может быть определено как разность количества объектов в группе и количества зависимостей (уравнений), которое связывает эти величины.

В нашем примере df эффекта = 2–1 = 1, а df ошибки = 12–2 = 10.

Мы можем разделить суммы квадратов на число их степеней свободы, получив средние квадраты (MS , Means of Squares). Сделав это, мы можем установить, что MS - ни что иное, как вариансы («дисперсии», результат деления суммы квадратов на число степеней свободы). После этого открытия мы можем понять структуру таблицы дисперсионного анализа. Для нашего примера она будет иметь следующий вид.


Эффект
Ошибка

МS эффекта и МS ошибки являются оценками межгрупповой и внутригрупповой вариансы, и, значит, их можно сравнить по критерию F (критерию Снедекора, названному в честь Фишера), предназначенному для сравнения варианс. Этот критерий представляет собой просто частное от деления большей вариансы на меньшую. В нашем случае это 420 / 77,2 = 5,440.

Определение статистической значимости критерия Фишера по таблицам

Если бы мы определяли статистическую значимость эффекта вручную, по таблицам, нам было бы необходимо сравнить полученное значение критерия F с критическим, соответствующим определенному уровню статистической значимости при заданных степенях свободы.

Рис. 5.3.1. Фрагмент таблицы с критическими значениями критерия F

Как можно убедиться, для уровня статистической значимости p=0,05 критическое значение критерия F составляет 4,96. Это означает, что в нашем примере действие изучавшегося пола зарегистрировано с уровнем статистической значимости 0,05.

Полученный результат можно интерпретировать так. Вероятность нулевой гипотезы, согласно которой средний рост женщин и мужчин одинаков, а зарегистрированная разница в их росте связана со случайностью при формировании выборок, составляет менее 5%. Это означает, что мы должны выбрать альтернативную гипотезу, заключающуюся в том, что средний рост женщин и мужчин отличается.

5.4. Однофакторный дисперсионный анализ ( ANOVA) в пакете Statistica

В тех случаях, когда расчеты производятся не вручную, а с помощью соответствующих программ (например, пакета Statistica) величина p определяется автоматически. Можно убедиться, что она несколько выше критического значения.

Чтобы проанализировать обсуждаемый пример с помощью простейшего варианта дисперсионного анализа, нужно запустить для файла с соответствующими данными процедуру Statistics / ANOVA и выбрать в окне Type of analysis вариант One-way ANOVA (однофакторный дисперсионный анализ), а в окне Specification method - вариант Quick specs dialog.

Рис. 5.4.1. Диалог General ANOVA/MANOVA (Дисперсионный анализ)

В открывшемся окне быстрого диалога в поле Variables нужно указать те столбцы, которые содержат данные, изменчивость которых мы изучаем (Dependent variable list; в нашем случае - столбец Growth), а также столбец, содержащие значения, разбивающие изучаемую величину на группы (Catigorical predictor (factor); в нашем случае - столбец Sex). В данном варианте анализа, в отличие от многофакторного анализа, может рассматриваться только один фактор.

Рис. 5.4.2. Диалог One-Way ANOVA (Однофакторный дисперсионный анализ)

В окне Factor codes следует указать те значения рассматриваемого фактора, которые нужно обрабатывать в ходе данного анализа. Все имеющиеся значения можно посмотреть с помощью кнопки Zoom; если, как в нашем примере, нужно рассматривать все значения фактора (а для пола в нашем примере их всего два), можно нажать кнопку All. Когда заданы обрабатываемые столбцы и коды фактора, можно нажать кнопку OK и перейти в окно быстрого анализа результатов: ANOVA Results 1, во вкладку Quick.

Рис. 5.4.3. Вкладка Quick окна результатов дисперсионного анализа

Кнопка All effects/Graphs позволяет увидеть, как соотносятся средние двух групп. Над графиком указывается число степеней свободы, а также значения F и p для рассматриваемого фактора.

Рис. 5.4.4. Графическое отображение результатов дисперсионного анализа

Кнопка All effects позволяет получить таблицу дисперсионного анализа, аналогичную описанной выше (с некоторыми существенными отличиями).

Рис. 5.4.5. Таблица с результатами дисперсионного анализа (сравните с аналогичной табличей, полученной "вручную")

В нижней строке таблицы указана сумма квадратов, количество степеней свободы и средние квадраты для ошибки (внутригрупповой изменчивости). На строку выше - аналогичные показатели для исследуемого фактора (в данном случае - признака Sex), a также критерий F (отношение средних квадратов эффекта к средним квадратам ошибки), и уровень его статистической значимости. То, что действие рассматриваемого фактора оказалось статистически значимым, показывает выделение красным цветом.

А в первой строке приведены данные по показателю «Intercept». Эта строка таблицы представляет загадку для пользователей, приобщающихся к пакету Statistica в его 6-й или более поздней версии. Величина Intercept (пересечение, перехват), вероятно, связана с разложением суммы квадратов всех значений данных (т.е. 1862 + 1692 … = 360340). Указанное для нее значение критерия F получено путем деления MS Intercept /MS Error = 353220 / 77,2 = 4575,389 и, естественно, дает очень низкое значение p . Интересно, что в Statistica-5 эта величина вообще не вычислялась, а руководства по использованию более поздних версий пакета никак не комментируют ее введение. Вероятно, лучшее, что может сделать биолог, работающий с пакетом Statistica-6 и последующих версий, это попросту игнорировать строку Intercept в таблице дисперсионного анализа.

5.5. ANOVA и критерии Стьюдента и Фишера: что лучше?

Как вы могли заметить, те данные, которые мы сравнивали с помощью однофакторного дисперсионного анализа, мы могли исследовать и с помощью критериев Стьюдента и Фишера. Сравним эти два метода. Для этого вычислим разницу в росте мужчин и женщин с использованием этих критериев. Для этого нам придется пройти по пути Statistics / Basic Statistics / t-test, independent, by groups. Естественно, Dependent variables - это переменная Growth, а Grouping variable - переменная Sex.

Рис. 5.5.1. Сравнение данных, обработанных с помощью ANOVA, по критериям Стьюдента и Фишера

Как можно убедиться, результат тот же самый, что и при использовании ANOVA. p = 0,041874 в обоих случаях, как показанном на рис. 5.4.5, так и показанном на рис. 5.5.2 (убедитесь в этом сами!).

Рис. 5.5.2. Результаты анализа (подробная расшифровка таблицы результатов - в пункте, посвященном критерию Стьюдента)

Важно подчеркнуть, что хотя критерий F с математической точки зрения в рассматриваемом анализе по критериям Стьюдента и Фишера тот же самый, что в ANOVA (и выражает отношение варианс), смысл его в результатах анализа, представляемых итоговой таблицей, совсем иной. При сравнении по критериям Стьюдента и Фишера сравнение средних значений выборок проводится по критерию Стьюдента, и сравнение их изменчивости проводится по критерию Фишера. В результатах анализа выводится не сама варианса, а ее квадратный корень - стандартное отклонение.

В дисперсионном анализе, напротив, критерий Фишера используется для сравнения средних разных выборок (как мы обсудили, это осуществляется с помощью разделения суммы квадратов на части и сравнения средней суммы квадратов, соответствующей меж- и внутригрупповой изменчивости).

Впрочем, приведенное отличие касается скорее представления результатов статистического исследования, чем его сути. Как указывает, например, Гланц (1999, с. 99), сравнение групп по критерию Стьюдента можно рассматривать как частный случай дисперсионного анализа для двух выборок.

Итак, сравнение выборок по критериям Стьюдента и Фишера имеет одно важное преимущество перед дисперсионным анализом: в нем можно сравнить выборки с точки зрения их изменчивости. Но преимущества дисперсионного анализа все равно весомее. К их числу, например, относится возможность одновременного сравнения нескольких выборок.