Припустимо, що на автоматичній лінії кілька верстатів паралельно виконують однакову операцію. Для правильного планування подальшої обробки важливо знати, наскільки однотипні середні розміри деталей, одержувані на верстатах, що паралельно працюють. Тут має місце лише один фактор, що впливає на розмір деталей, це верстати, на яких вони виготовляються. Необхідно з'ясувати, наскільки важливим є вплив цього фактора на розміри деталей. Припустимо, що сукупності розмірів деталей, виготовлених на кожному верстаті, мають нормальний розподілта рівні дисперсії.

Маємо т верстатів, отже, т сукупностей або рівнів, на яких зроблено n 1 , n 2 ,...,п т спостережень. Для простоти міркувань припустимо, що n 1 =n 2 =…=п т. Розміри деталей, що становлять n iспостережень на i-му рівні, позначимо х i 1 ,х i 2,..., x in. Тоді всі спостереження можна подати у вигляді таблиці, яка називається матрицею спостережень (табл. 3.1).

Таблиця 3.1

Вважатимемо, що для i-го рівня п спостережень мають середню β i, рівну сумізагальної середньої µ та варіації її, обумовленої i-м рівнем чинника, тобто. β i = µ + γ i. Тоді одне спостереження можна подати у такому вигляді:

x i j = µ + γ i. +ε ij= β i +ε ij (3.1)

де µ - загальна середня; γ i- ефект, зумовлений i-м рівнем фактора; ε ij- Варіація результатів усередині окремого рівня.

Член ε ijхарактеризує вплив всіх не врахованих моделлю (3.1) факторів. Відповідно до загальної задачі дисперсійного аналізу потрібно оцінити суттєвість впливу фактора на розміри деталей. Загальну варіацію змінної x i jможна розкласти на частини, одна з яких характеризує вплив фактора, інша - вплив неврахованих факторів. Для цього необхідно знайти оцінку загальної середньої µ та оцінки середніх за рівнями β i. Очевидно, що оцінкою β є середня арифметична п спостережень i-го рівня, тобто.

Зірочка в індексі при x означає, що спостереження фіксовані на i-му рівні. Середня арифметична всієї сукупності спостережень є оцінкою загальної середньої µ, тобто.

Знайдемо суму квадратів відхилень x i jвід, тобто.

Подаємо її у вигляді (3.2)

Причому =

Але = 0, оскільки це є сума відхилень змінних однієї сукупності від середньої арифметичної цієї сукупності, тобто. вся сума дорівнює нулю. Другий член суми (3.2) запишемо у вигляді:

Або

Доданок є сумою квадратів різниць між середніми рівнями та середньою всією сукупністю спостережень. Ця сума називається сумою квадратів відхилень між групами та характеризує розбіжність між рівнями. Величину називають також розсіюванням за факторами, тобто. розсіюванням за рахунок досліджуваного фактора.

Доданок є сумою квадратів різниць між окремими спостереженнями та середньою i-го рівня. Ця сума називається сумою квадратів відхилень усередині групи та характеризує розбіжність між спостереженнями i-го рівня. Величину називають також залишковим розсіюванням, тобто. розсіюванням за рахунок неврахованих факторів.

Величину називається загальною чи повною сумою квадратів відхилень окремих спостережень від загальної середньої.

Знаючи суми квадратів SS, SS 1 і SS 2 можна оцінити незміщені оцінки відповідних дисперсій - загальної, міжгрупової та внутрішньогрупової (таблиця 3.2).

Якщо вплив всіх рівнів фактора γ однаково, то і оцінки загальної дисперсії.

Тоді для оцінки суттєвості впливу фактора досить перевірити нульову гіпотезу H 0: = .

Для цього обчислюють критерій Фішера F B = з числом ступенів свободи k 1 = т - 1 і k 2 = т (п - 1). Потім за таблицею F-розподілу (див. таблицю розподілу критерію Фішера) рівня значимості α знаходять критичне значення F кр.

Таблиця 3.2

Якщо F B > F кр то нульова гіпотеза відкидається і робиться висновок про суттєвий вплив фактора.

При F B< F кр нет основания отвергать нулевую гипотезу и можно считать, что влияние фактора γ несущественно.

Порівнюючи міжгрупову та залишкову дисперсії, за величиною їх відношення судять, наскільки сильно проявляється вплив факторів.

Приклад 3.1. Є чотири партії тканин для спецодягу. З кожної партії відібрано по п'ять зразків та проведено випробування на визначення величини розривного навантаження. Результати випробувань наведено у табл. 3.3.

Таблиця 3.3

Потрібно з'ясувати, чи суттєво вплив різних партій сировини на величину розривного навантаження.

Рішення.

У даному випадку т = 4, п = 5. Середню арифметичну кожного рядка обчислюємо за формулою

Маємо: = (200 +140 +170 +145 +165) / 5 = 164; =170; =202; = 164.

Знайдемо середню арифметичну всієї сукупності:

Обчислимо величини, необхідних побудови табл. 3.4:

· Суму квадратів відхилень між групами SS 1, з k 1 = т -1 =

4-1=3 ступенями свободи:

· суму квадратів відхилень усередині групи SS 2 з k 2 = тп - т = = 20-4 = 16 ступенями свободи:

· Повну суму квадратів SS c k = mn-1 = 20-1 = 19 ступенями свободи:

За знайденими значеннями оцінимо дисперсію, за формулами (табл. 3.2) складемо (табл. 3.4) для прикладу.

Таблиця 3.4

Проведемо статистичний аналізза критерієм Фішера. Обчислимо F B = = (4980 1/3) / (7270 1/16) = 1660/454,4 = 3,65.

За таблицею F-розподілу (див. додатки) знаходимо значення F Kp при k 2 = 16 k 1= 3 степенях свободи та рівні значимості α = 0,01. Маємо F Kp = 5,29.

Обчислене значення F B менше табличного, тому можна стверджувати, що нульова гіпотеза не відкидається, а це означає, що різницю між тканинами в партіях не впливає на величину розривного навантаження.

У пакеті Аналіз даних інструмент Однофакторний дисперсійний аналізвикористовується для перевірки гіпотези про схожість середніх значень двох або більше вибірок, що належать до однієї і тієї ж генеральної сукупності. Розглянемо роботу пакета щодо однофакторного дисперсійного аналізу.

Розв'яжемо приклад 3.1, використовуючи інструмент Однофакторний дисперсійний аналіз.

Усі люди від природи прагнуть знання. (Арістотель. Метафізика)

Дисперсійний аналіз

Вступний огляд

У цьому розділі ми розглянемо основні методи, припущення та термінологію дисперсійного аналізу.

Зазначимо, що у англомовної літературі дисперсійний аналіз зазвичай називається аналізом варіації. Тому, для стислості, нижче ми іноді використовуватимемо термін ANOVA (An alysis o f va riation) для звичайного дисперсійного аналізу та термін MANOVAдля багатовимірного дисперсійного аналізу У цьому розділі ми послідовно розглянемо основні ідеї дисперсійного аналізу ( ANOVA), коваріаційного аналізу ( ANCOVA), багатовимірного дисперсійного аналізу ( MANOVA) та багатовимірного коваріаційного аналізу ( MANCOVA). Після короткого обговорення переваг аналізу контрастів і апостеріорних критеріїв розглянемо припущення, на яких засновані методи дисперсійного аналізу. Ближче до кінця цього розділу пояснюються переваги багатовимірного підходу для аналізу повторних вимірів, порівняно з традиційним одновимірним підходом.

Основні ідеї

Ціль дисперсійного аналізу.Основною метою дисперсійного аналізу є дослідження значущості різницю між середніми. Глава (Глава 8) містить коротке запровадження дослідження статистичної значимості. Якщо ви просто порівнюєте середні у двох вибірках, дисперсійний аналіз дасть той самий результат, що й звичайний t- критерій для незалежних вибірок (якщо порівнюються дві незалежні групи об'єктів чи спостережень) або t- критерій для залежних вибірок (якщо порівнюються дві змінні одному й тому безлічі об'єктів чи спостережень). Якщо ви мало знайомі з цими умовами, радимо звернутися до вступного огляду глави (Глава 9).

Звідки походить назва Дисперсійний аналіз? Може здатися дивним, що порівняння середніх називається дисперсійним аналізом. Насправді це пов'язано з тим, що при дослідженні статистичної значущості відмінності між середніми ми насправді аналізуємо дисперсії.

Розбиття суми квадратів

Для вибірки обсягу n вибіркова дисперсія обчислюється як сума квадратів відхилень від середнього вибіркового, поділена на n-1 (обсяг вибірки мінус одиниця). Таким чином, при фіксованому обсязі вибірки n дисперсія є функція суми квадратів (відхилень), що позначається для стислості, SS(Від англійської Sum of Squares - Сума Квадратів). В основі дисперсійного аналізу лежить поділ (або розбиття) дисперсії на частини. Розглянемо наступний набір даних:

Середні дві групи істотно різні (2 і 6 відповідно). Сума квадратів відхилень всерединікожної групи дорівнює 2. Складаючи їх, отримуємо 4. Якщо тепер повторити ці обчислення без урахуваннягрупової приналежності, тобто якщо обчислити SSвиходячи із загального середнього цих двох вибірок, то отримаємо 28. Іншими словами, дисперсія (сума квадратів), заснована на внутрішньогруповій мінливості, призводить до набагато менших значень, ніж при обчисленні на основі загальної мінливості (щодо загальної середньої). Причина цього, очевидно, полягає у суттєвій різниці між середніми значеннями, і ця різниця між середніми і пояснює існуюча різницяміж сумами квадратів Справді, якщо використовувати для аналізу наведених даних модуль Дисперсійний аналіз, будуть отримані такі результати:

Як видно з таблиці, Загальна сумаквадратів SS=28 розбита у сумі квадратів, обумовлену внутрішньогруповиймінливістю ( 2+2=4 ; див. другий рядок таблиці) та суму квадратів, обумовлену різницею середніх значень. (28-(2+2)=24; див. перший рядок таблиці).

SS помилок таSS ефект.Внутрішньогрупова мінливість ( SS) зазвичай називається дисперсією помилки.Це означає, що зазвичай під час проведення експерименту вона може бути передбачена чи пояснена. З іншого боку, SS ефекту(або міжгрупову мінливість) можна пояснити різницею між середніми значеннями в групах, що вивчаються. Іншими словами, приналежність до певної групи пояснюєміжгрупову мінливість, т.к. нам відомо, що ці групи мають різні середні значення.

Перевірка важливості.Основні ідеї перевірки статистичної значимості обговорюються у розділі Елементарні поняття статистики(Глава 8). У цьому розділі пояснюються причини, через які багато критеріїв використовують ставлення поясненої і непоясненої дисперсії. Приклад такого використання є сам дисперсійний аналіз. Перевірка значущості в дисперсійному аналізі полягає в порівнянні дисперсії, обумовленої міжгруповим розкидом (названої середнім квадратом ефектуабо MSефект) та дисперсії, обумовленої внутрішньогруповим розкидом (названою середнім квадратом помилкиабо MSпомилка). Якщо вірна нульова гіпотеза (рівність середніх у двох популяціях), можна очікувати порівняно невелике різницю у вибіркових середніх через випадкової мінливості. Тому при нульовій гіпотезі внутрішньогрупова дисперсія практично співпадатиме із загальною дисперсією, підрахованою без урахування групою належності. Отримані внутрішньогрупові дисперсії можна порівняти за допомогою F- критерію, що перевіряє, чи справді відношення дисперсій значно більше 1. У розглянутому вище прикладі F- критерій показує, що різницю між середніми статистично значимо.

Основна логіка дисперсійного аналізу.Підсумовуючи, можна сказати, що метою дисперсійного аналізу є перевірка статистичної значущості різниці між середніми (для груп чи змінних). Ця перевірка проводиться з допомогою аналізу дисперсії, тобто. за допомогою розбиття загальної дисперсії (варіації) на частини, одна з яких обумовлена ​​випадковою помилкою (тобто внутрішньогруповою мінливістю), а друга пов'язана з різницею середніх значень. Остання компонент дисперсії потім використовується для аналізу статистичної значущості відмінності між середніми значеннями. Якщо ця відмінність значуща, нульова гіпотеза відкидається і приймається альтернативна гіпотеза існування різниці між середніми.

Залежні та незалежні змінні.Змінні, значення яких визначається за допомогою вимірювань у ході експерименту (наприклад, бал, набраний під час тестування), називаються залежнимизмінними. Змінні, якими можна керувати під час проведення експерименту (наприклад, методи навчання чи інші критерії, що дозволяють розділити спостереження групи) називаються факторамиабо незалежнимизмінними. Докладніше ці поняття описані у розділі Елементарні поняття статистики(Глава 8).

Багатофакторний дисперсійний аналіз

У розглянутому вище простому прикладіви могли б відразу обчислити t-критерій для незалежних вибірок, використовуючи відповідну опцію модуля Основні статистики та таблиці.Отримані результати, звісно, ​​збігатимуться з результатами дисперсійного аналізу. Однак дисперсійний аналіз містить гнучкі та потужні технічні засоби, які можуть бути використані для більш складних досліджень.

Безліч факторів.Світ за своєю природою складний і багатовимірний. Ситуації, коли деяке явище повністю описується однією змінною, надзвичайно рідкісні. Наприклад, якщо ми намагаємося навчитися вирощувати великі помідори, слід розглядати фактори, пов'язані з генетичною структурою рослин, типом ґрунту, освітленістю, температурою тощо. Таким чином, при проведенні типового експерименту доводиться мати справу з великою кількістю факторів. Основна причина, через яку використання дисперсійного аналізу краще повторного порівняння двох вибірок при різних рівнях факторів за допомогою t- критерію, полягає в тому, що дисперсійний аналіз більш ефективнийі для малих вибірок, більш інформативний.

Управління факторами.Припустимо, що у розглянутому вище прикладі аналізу двох вибірок ми додамо ще один фактор, наприклад, Стать- Gender. Нехай кожна група складається з 3 чоловіків та 3 жінок. План цього експерименту можна подати у вигляді таблиці 2 на 2:

До проведення обчислень можна помітити, що в цьому прикладі загальна дисперсія має принаймні три джерела:

(1) випадкова помилка (внутрішньогрупова дисперсія),

(2) мінливість, пов'язана з приналежністю до експериментальної групи, та

(3) мінливість, обумовлена ​​статтю об'єктів спостереження.

(Зазначимо, що існує ще одне можливе джерело мінливості – взаємодія факторів, який ми обговоримо пізніше). Що станеться, якщо ми не включатимемо стать –genderяк фактор при проведенні аналізу та обчислимо звичайний t-Критерій? Якщо ми обчислюватимемо суми квадратів, ігноруючи стать -gender(тобто об'єднуючи об'єкти різної статі в одну групу при обчисленні внутрішньогрупової дисперсії, отримавши при цьому суму квадратів для кожної групи рівну SS=10, і загальну суму квадратів SS= 10+10 = 20), то отримаємо більше значення внутрішньогрупової дисперсії, ніж при більш точному аналізі з додатковим розбиттям на підгрупи підлозі - gender(при цьому внутрішньогрупові середні дорівнюватимуть 2, а загальна внутрішньогрупова сума квадратів дорівнює SS = 2+2+2+2 = 8). Ця різниця пов'язана з тим, що середнє значення для чоловіків - malesменше, ніж середнє значення для жінок –female, і це різницю у середніх значеннях збільшує сумарну внутригрупповую мінливість, якщо чинник статі не враховується. Управління дисперсією помилки збільшує чутливість (потужність) критерію.

На цьому прикладі видно ще одну перевагу дисперсійного аналізу порівняно зі звичайним t-Крітерієм для двох вибірок. Дисперсійний аналіз дозволяє вивчати кожен чинник, керуючи значеннями інших чинників. Це насправді і є основною причиною його більшої статистичної потужності (для отримання значних результатів потрібні менші обсяги вибірок). Тому дисперсійний аналіз навіть на невеликих вибірках дає статистично більш значущі результати, ніж простий t- критерій.

Ефекти взаємодії

Існує ще одна перевага застосування дисперсійного аналізу порівняно із звичайним t- критерієм: дисперсійний аналіз дозволяє виявити взаємодіяміж факторами і, отже, дозволяє вивчати складніші моделі. Для ілюстрації розглянемо ще один приклад.

Головні ефекти, попарні (двофакторні) взаємодії.Припустимо, що є дві групи студентів, причому психологічно студенти першої групи налаштовані виконання поставлених завдань і більш цілеспрямовані, ніж студенти другої групи, що з більш лінивих студентів. Розіб'ємо кожну групу випадково навпіл і запропонуємо одній половині в кожній групі складне завдання, а іншій - легке. Після цього виміряємо, як напружено студенти працюють над цими завданнями. Середні значення для цього (вигаданого) дослідження показані в таблиці:

Який висновок можна зробити із цих результатів? Чи можна зробити висновок, що: (1) над складним завданням студенти працюють більш напружено; (2) цілеспрямовані студенти працюють наполегливіше, ніж ліниві? Жодне з цих тверджень не відбиває сутність систематичного характеру середніх, наведених у таблиці. Аналізуючи результати, правильніше було б сказати, що над складними завданнями працюють наполегливіше лише цілеспрямовані студенти, тоді як над легкими завданнями тільки ліниві працюють наполегливіше. Тобто характер студентів та складність завдання взаємодіючиміж собою впливають на витрачається зусилля. Це приклад парної взаємодіїміж характером студентів та складністю завдання. Зазначимо, що твердження 1 та 2 описують головні ефекти.

Взаємодія вищих порядків.У той час, як пояснити попарні взаємодії ще порівняно легко, взаємодії вищих порядків пояснити значно складніше. Уявімо, що в аналізований вище приклад введено ще один фактор стать -Genderі ми отримали наступну таблицю середніх значень:

Які висновки можна зробити з отриманих результатів? Графіки середніх дозволяють легко інтерпретувати складні ефекти. Модуль дисперсійного аналізу дозволяє будувати ці графіки практично одним клацанням мишки.

Зображення на графіках внизу являє собою трифакторну взаємодію, що вивчається.

Дивлячись на графіки, можна сказати, що у жінок існує взаємодія між характером та складністю тесту: цілеспрямовані жінки працюють над важким завданням більш напружено, ніж над легким. У чоловіків ця ж взаємодія має зворотний характер. Видно, що опис взаємодії між факторами стає більш заплутаним.

Загальний спосібопис взаємодій.У загальному випадкувзаємодія між факторами описується як зміни одного ефекту під впливом іншого. У розглянутому вище прикладі двофакторну взаємодію можна описати як зміну головного ефекту фактора, що характеризує складність завдання під впливом фактора, що описує характер студента. Для взаємодії трьох факторів із попереднього параграфа можна сказати, що взаємодія двох факторів (складності завдання та характеру студента) змінюється під впливом статі – Gender. Якщо вивчається взаємодія чотирьох чинників, можна сказати, взаємодія трьох чинників, змінюється під впливом четвертого чинника, тобто. існують різні типи взаємодій різних рівнях четвертого чинника. Виявилося, що в багатьох областях взаємодія п'яти чи навіть більшої кількостіфакторів не є чимось незвичним.

Складні плани

Міжгрупові та внутрішньогрупові плани (плани з повторними вимірами)

При порівнянні двох різних групзазвичай використовується t- критерій для незалежних вибірок (з модуля Основні статистики та таблиці). Коли порівнюються дві змінні на тому самому безлічі об'єктів (спостережень), використовується t-Критерій для залежних вибірок. Для дисперсійного аналізу також важливо залежні чи ні вибірки. Якщо є повторні вимірювання тих самих змінних (за різних умов або в різний час) для тих самих об'єктів, то говорять про наявність фактора повторних вимірів(називається також внутрішньогруповим фактором,оскільки з оцінки його значимості обчислюється внутригрупповая сума квадратів). Якщо порівнюються різні групи об'єктів (наприклад, чоловіки та жінки, три штами бактерій тощо), то різниця між групами описується міжгруповий фактор.Способи обчислення критеріїв значущості для двох описаних типів факторів різні, але їх загальна логіка та інтерпретації збігається.

Між- та внутрішньогрупові плани.У багатьох випадках експеримент вимагає включення до плану і міжгрупового фактора, і фактора повторних вимірів. Наприклад, вимірюються математичні навички студентів жіночої та чоловічої статі (де стать -Gender-міжгруповий фактор) на початку та наприкінці семестру. Два виміри навичок кожного студента утворюють внутрішньогруповий фактор (фактор повторних вимірів). Інтерпретація головних ефектів та взаємодій для міжгрупових факторів та факторів повторних вимірювань збігається, і обидва типи факторів можуть, очевидно, взаємодіяти між собою (наприклад, жінки набувають навичок протягом семестру, а чоловіки їх втрачають).

Неповні (гніздові) плани

У багатьох випадках можна знехтувати ефектом взаємодії. Це відбувається або коли відомо, що у популяції ефект взаємодії відсутній, або коли здійснення повного факторногоплану неможливо. Наприклад, вивчається вплив чотирьох добавок до палива на витрату пального. Вибираються чотири автомобілі та чотири водії. Повний факторнийЕксперимент вимагає, щоб кожна комбінація: добавка, водій, автомобіль – з'явилися хоча б один раз. Для цього потрібно не менше 4 x 4 x 4 = 64 груп випробувань, що потребує надто великих часових витрат. Крім того, навряд чи існує взаємодія між водієм та добавкою до палива. Зважаючи на це, можна використовувати план Латинські квадрати,в якому міститься лише 16 груп випробувань (чотири добавки позначаються буквами A, B, C та D):

Латинські квадрати описані в більшості книг з планування експериментів (наприклад, Hays, 1988; Lindman, 1974; Milliken and Johnson, 1984; Winer, 1962), і тут вони не будуть детально обговорюватися. Зазначимо, що латинські квадрати це неnолніплани, у яких беруть участь в повному обсязі комбінації рівнів чинників. Наприклад, водій 1 керує автомобілем 1 тільки з добавкою А водій 3 керує автомобілем 1 тільки з добавкою С. Рівні фактора добавок ( A, B, C і D) вкладені в комірки таблиці автомобіль x водій -як яйця в гнізда. Це мнемонічне правило корисне для розуміння природи гніздових чи вкладенихпланів. Модуль Дисперсійний аналізнадає прості способианаліз планів такого типу.

Коваріаційний аналіз

Основна ідея

В розділі Основні ідеїкоротко обговорювалася ідея управління факторами та те, яким чином включення адитивних факторів дозволяє зменшувати суму квадратів помилок та збільшувати статистичну потужність плану. Все це може бути поширене і на змінні з безперервним безліччю значень. Коли такі безперервні змінні включаються в план як фактори, вони називаються підступами.

Фіксовані коваріати

Припустимо, що порівнюються математичні навички двох груп студентів, які навчалися за двома різними підручниками. Припустимо, що є дані про коефіцієнт інтелекту (IQ) для кожного студента. Можна припустити, що коефіцієнт інтелекту пов'язаний з математичними навичками та використовувати цю інформацію. Для кожної з двох груп студентів можна визначити коефіцієнт кореляції між IQ і математичними навичками. Використовуючи цей коефіцієнт кореляції, можна виділити частку дисперсії в групах, що пояснюється впливом IQ і нез'ясовну частку дисперсії (див. також Елементарні поняття статистики(глава 8) та Основні статистики та таблиці(Глава 9)). Частка дисперсії, що залишилася, використовується при проведенні аналізу як дисперсія помилки. Якщо є кореляція між IQ та математичними навичками, то можна суттєво зменшити дисперсії помилки SS/(n-1) .

Вплив коваріат наF- критерій. F-критерій оцінює статистичну значимість відмінності середніх значень у групах, у своїй обчислюється ставлення міжгрупової дисперсії (MSефект) до дисперсії помилок ( MSerror) . Якщо MSerrorзменшується, наприклад, при врахуванні фактора IQ, значення Fзбільшується.

Безліч коваріат.Міркування, використані вище для однієї кваріати (IQ), легко поширюються на кілька коваріат. Наприклад, крім IQ, можна включити вимір мотивації, просторового мислення тощо. Замість звичайного коефіцієнта кореляції використовується множинний коефіцієнткореляції.

Коли значенняF -Критерію зменшується.Іноді введення коваріату в план експерименту зменшує значення F-критерія . Зазвичай це вказує на те, що коваріати корелюються не тільки із залежною змінною (наприклад, математичними навичками), а й з факторами (наприклад, із різними підручниками). Припустимо, що IQ вимірюється наприкінці семестру, після майже річного навчання двох груп студентів за двома різними підручниками. Хоча студенти розбивалися на групи випадковим чином, може виявитися, що відмінність підручників настільки велика, що і IQ та математичні навички у різних групах сильно відрізнятимуться. У цьому випадку, каварыати не лише зменшують дисперсію помилок, а й міжгрупову дисперсію. Іншими словами, після контролю за різницею IQ у різних групах, різниця в математичних навичках вже буде несуттєвою. Можна сказати інакше. Після “виключення” впливу IQ, ненавмисно виключається вплив підручника на розвиток математичних навичок.

Кориговані середні.Коли коваріату впливає міжгруповий чинник, слід обчислювати скориговані середні, тобто. такі середні, які виходять після видалення всіх оцінок коваріату.

Взаємодія між коваріатами та факторами.Також як досліджується взаємодія між факторами, можна досліджувати взаємодію між коваріатами та між групами факторів. Припустимо, що один із підручників особливо підходить для розумних студентів. Другий підручник для розумних студентів з'їде, а для менш розумних студентів цей же підручник важкий. В результаті є позитивна кореляція між IQ і результатом навчання в першій групі (розумніші студенти, краще результат) і нульова або невелика негативна кореляція в другій групі (чим розумніший студент, тим менш ймовірне придбання математичних навичок з другого підручника). У деяких дослідженнях ця ситуація обговорюється як приклад порушення припущень коварійного аналізу. Однак так як у модулі Дисперсійний аналіз використовуються найзагальніші способи коваріаційного аналізу, можна, зокрема, оцінити статистичну значущість взаємодії між факторами та коваріатами.

Змінні коваріати

У той час, як фіксовані кваріати обговорюються в підручниках досить часто, змінні кваріати згадуються набагато рідше. Зазвичай, під час проведення експериментів з повторними вимірами, нас цікавлять розбіжності у вимірах тих самих величин у різні моменти часу. Зокрема, нас цікавить значимість цих відмінностей. Якщо одночасно з вимірюваннями залежних змінних проводиться вимірювання коваріат, можна обчислити кореляцію між коваріатою та залежною змінною.

Наприклад, можна вивчати інтерес до математики та математичні навички на початку та в кінці семестру. Цікаво було б перевірити, чи корельовані між собою зміни на користь математики зі зміною математичних навичок.

Модуль Дисперсійний аналізв STATISTICAавтоматично оцінює статистичну значущість зміни коваріат у тих планах, де це можливо.

Багатомірні плани: багатовимірний дисперсійний та коварійний аналіз

Міжгрупові плани

Всі приклади, що розглядалися раніше, включали тільки одну залежну змінну. Коли одночасно є кілька залежних змінних, зростає лише складність обчислень, а зміст та основні принципи не змінюються.

Наприклад, проводиться дослідження двох різних підручників. При цьому вивчаються успіхи студентів у вивченні фізики та математики. У цьому випадку є дві залежні змінні і потрібно з'ясувати, як впливають на них одночасно два різні підручники. Для цього можна скористатися багатовимірним дисперсійним аналізом (MANOVA). Замість одновимірного Fкритерію, використовується багатовимірний Fкритерій (l-критерій Вілкса), заснований на порівнянні матриці коваріаційної матриці помилок і міжгрупової матриці коваріаційної.

Якщо залежні змінні корелированы між собою, це кореляція повинна враховуватися при обчисленні критерію значимості. Очевидно, якщо один і той самий вимір повторюється двічі, то нічого нового отримати при цьому не можна. Якщо до наявного виміру додається корельований з ним вимір, то виходить деяка нова інформація, але при цьому нова змінна містить надмірну інформацію, яка відображається в коваріації між змінними.

Інтерпретація результатів.Якщо загальний багатовимірний критерій значимий, можна зробити висновок, що відповідний ефект (наприклад, тип підручника) значимий. Однак постають такі питання. Чи впливає тип підручника на покращення лише математичних навичок, лише фізичних навичок, або одночасно на покращення тих та інших навичок. Насправді, після отримання значущого багатовимірного критерію для окремого головного ефекту або взаємодії досліджується одномірний Fкритерій. Іншими словами, окремо досліджуються залежні змінні, які роблять внесок у значущість багатовимірного критерію.

Плани з повторними вимірами

Якщо вимірюються математичні та фізичні навички студентів на початку семестру та наприкінці, то це і є повторні виміри. Вивчення критерію значущості у таких планах це логічний розвитокодновимірного випадку. Зауважимо, що методи багатовимірного дисперсійного аналізу зазвичай також використовуються для дослідження значущості одновимірних факторів повторних вимірів, що мають більш як два рівні. Відповідні застосування будуть розглянуті пізніше у цій частині.

Підсумовування значень змінних та багатовимірний дисперсійний аналіз

Навіть досвідчені користувачі одновимірного та багатовимірного дисперсійного аналізу часто утрудняються, отримуючи різні результати при застосуванні багатовимірного дисперсійного аналізу, наприклад, для трьох змінних, і при застосуванні одновимірного дисперсійного аналізу до суми цих трьох змінних, як до однієї змінної.

Ідея підсумовуваннязмінних у тому, кожна змінна містить у собі деяку істинну змінну, що й досліджується, і навіть випадкову помилку виміру. Тому при усередненні значень змінних помилка вимірювання буде ближче до 0 для всіх вимірювань і усереднене значень буде більш надійним. Насправді, в цьому випадку застосування дисперсійного аналізу до суми змінних є розумним і є потужним методом. Однак якщо залежні змінні за своєю природою багатовимірні, підсумовування значень змінних є недоречним.

Наприклад, нехай залежні змінні складаються з чотирьох показників успіху у суспільстві. Кожен показник характеризує абсолютно незалежну сторону людської діяльності(наприклад, професійний успіх, успішність у бізнесі, сімейний добробут тощо). Додавання цих змінних подібне до додавання яблука і апельсина. Сума цих змінних не буде відповідним одновимірним показником. Тому з такими даними потрібно поводитися як з багатовимірними показниками багатовимірному дисперсійному аналізі.

Аналіз контрастів та апостеріорні критерії

Чому порівнюються окремі множини середніх?

Зазвичай гіпотези щодо експериментальних даних формулюються непросто у термінах основних ефектів чи взаємодій. Прикладом може бути така гіпотеза: деякий підручник підвищує математичні навички лише в студентів чоловічої статі, тоді як інший підручник приблизно однаково ефективний обох статей, проте менш ефективний чоловікам. Можна передбачити, що ефективність підручника взаємодіє зі статтю студента. Однак цей прогноз стосується також природивзаємодії. Очікується значне різницю між статями для учнів з однієї книжці і майже залежні від статі результати для які у інших книжці. Такий тип гіпотез зазвичай досліджується за допомогою аналізу контрастів.

Аналіз контрастів

Якщо говорити коротко, аналіз контрастів дозволяє оцінювати статистичну значимість деяких лінійних комбінацій ефектів складного плану. Аналіз контрастів є головним і обов'язковим елементом будь-якого складного плану дисперсійного аналізу. Модуль Дисперсійний аналізмає досить різноманітні можливості аналізу контрастів, які дозволяють виділяти та аналізувати будь-які типи порівнянь середніх.

Апостеріорніпорівняння

Іноді внаслідок обробки експерименту виявляється несподіваний ефект. Хоча у більшості випадків творчий дослідник зможе пояснити будь-який результат, це не дає можливостей для подальшого аналізу та отримання оцінок для прогнозу. Ця проблема є однією з тих, для яких використовуються апостеріорні критерії, тобто критерії, які не використовують апріорнігіпотези. Для ілюстрації розглянемо такий експеримент. Припустимо, що у 100 картках записані числа від 1 до 10. Опустивши всі ці картки в шапку, ми випадково вибираємо 20 разів по 5 карток, і обчислюємо кожної вибірки середнє значення (середнє чисел, записаних на картки). Чи можна очікувати, що знайдуться дві вибірки, у яких середні значення значно відрізняються? Це дуже правдоподібно! Вибираючи дві вибірки з максимальним і мінімальним середнім, можна отримати різницю середніх, що відрізняється від різниці середніх, наприклад, перших двох вибірок. Цю різницю можна дослідити, наприклад, за допомогою аналізу контрастів. Якщо не вдаватися в деталі, то існує кілька так званих апостеріорнихкритеріїв, які засновані в точності на першому сценарії (взяття екстремальних середніх із 20 вибірок), тобто ці критерії засновані на виборі найбільш відмінних середніх для порівняння всіх середніх значень у плані. Ці критерії застосовуються для того, щоб суто випадково не отримати штучний ефект, наприклад, виявити значну різницю між середніми, коли його немає. Модуль Дисперсійний аналізпропонує широкий вибір таких критеріїв. Коли в експерименті, пов'язаному з кількома групами, трапляються несподівані результати, то використовуються апостеріорніпроцедури на дослідження статистичної значимості отриманих результатів.

Сума квадратів типу I, II, III та IV

Багатомірна регресія та дисперсійний аналіз

Існує тісний взаємозв'язок між методом багатовимірної регресії та дисперсійним аналізом (аналізом варіацій). І в тому, і в іншому методі досліджується лінійна модель. Якщо говорити коротко, то практично всі плани експерименту можна досліджувати за допомогою багатовимірної регресії. Розглянемо наступний простий міжгруповий 2 x 2 план.

Стовпці А та В містять коди, що характеризують рівні факторів А та В, стовпець АxВ містить добуток двох стовпців А та В. Ми можемо аналізувати ці дані за допомогою багатовимірної регресії. Змінна DVвизначається як залежна змінна, змінні від Aдо AxBяк незалежні змінні. Дослідження значущості для коефіцієнтів регресії співпадатиме з обчисленнями у дисперсійному аналізі значимості головних ефектів факторів Aі Bта ефекту взаємодії AxB.

Незбалансовані та збалансовані плани

При обчисленні кореляційної матриці для всіх змінних, наприклад для даних, зображених вище, можна помітити, що головні ефекти факторів Aі Bта ефект взаємодії AxBнекорельовані. Цю властивість ефектів називають також ортогональністю. Говорять, що ефекти Aі B - ортогональніабо незалежніодин від одного. Якщо всі ефекти в плані ортогональні один одному, як у наведеному вище прикладі, то кажуть, що план збалансований.

Збалансовані плани мають “хорошу властивість”. Обчислення під час аналізу таких планів дуже прості. Усі обчислення зводяться до обчислення кореляції між ефектами та залежними змінними. Так як ефекти ортогональні, приватні кореляції (як у повній багатовимірноїрегресії) не обчислюються. Однак у реального життяплани не завжди збалансовані.

Розглянемо реальні дані з нерівним числом спостережень у осередках.

Якщо закодувати ці дані як вище та обчислити кореляційну матрицю для всіх змінних, то виявиться, що фактори плану корелюються один з одним. Фактори в плані тепер не ортогональні і такі плани називаються незбалансованими.Зауважимо, що в прикладі, що розглядається, кореляція між факторами повністю пов'язана з відмінністю частот 1 і -1 в стовпцях матриці даних. Іншими словами, плани експериментів з нерівними обсягами осередків (точніше, непропорційними обсягами) будуть незбалансованими, це означає, що головні ефекти та взаємодії змішуватимуться. І тут для обчислення статистичної значущості ефектів необхідно повністю обчислювати багатовимірну регресію. Тут є кілька стратегій.

Сума квадратів типу I, II, III та IV

Сума квадратів типуIіIII. Для вивчення значущості кожного фактора в багатовимірній моделі можна обчислювати приватну кореляцію кожного фактора за умови, що всі інші фактори вже враховані в моделі. Можна також вводити фактори в модель покроковим способом, фіксуючи всі фактори, що вже введені в модель і ігноруючи всі інші фактори. Взагалі, в цьому і полягає різниця між типом IIIі типомIсуми квадратів (ця термінологія була введена в SAS, див. наприклад, SAS, 1982; детальне обговорення можна також знайти в Searle, 1987, стор. 461; Woodward, Bonett, and Brecht, 1990, стор. 216; або Milliken and Johnson, 1984, стор 138).

Сума квадратів типуІІ.Наступна “проміжна” стратегія формування моделі полягає: у контролі всіх основних ефектів щодо значимості окремого головного ефекту; у контролі всіх основних ефектів та всіх попарних взаємодій, коли досліджується значимість окремої попарної взаємодії; у контролі всіх основних ефектів всіх попарних взаємодій та всіх взаємодій трьох факторів; щодо окремого взаємодії трьох чинників тощо. Суми квадратів для ефектів, що обчислюються таким способом, називаються типомIIсуми квадратів. Отже, типIIсуми квадратів контролює всі ефекти того ж порядку та нижче, ігноруючи всі ефекти вищого порядку.

Сума квадратів типуIV. Нарешті, для деяких спеціальних планів із пропущеними осередками (неповними планами) можна обчислювати, так звані, типу IVсуми квадратів. Цей метод обговорюватиметься пізніше у зв'язку з неповними планами (планами з пропущеними осередками).

Інтерпретація гіпотези про суму квадратів типу I, II та III

Суму квадратів типуIIIнайлегше інтерпретувати. Нагадаємо, що суми квадратів типуIIIдосліджують ефекти після контролю всіх інших ефектів. Наприклад, після знаходження статистично значущого типуIIIефекту для фактора Aу модулі Дисперсійний аналіз, можна сказати, що існує єдиний значущий ефект фактора Aпісля введення всіх інших ефектів (факторів) і відповідно інтерпретувати цей ефект. Ймовірно, у 99% усіх додатків дисперсійного аналізу саме цей тип критерію цікавить дослідника. Цей тип суми квадратів зазвичай обчислюється в модулі Дисперсійний аналізза замовчуванням, незалежно від того вибрано опцію Регресійний підхідчи ні (стандартні підходи прийняті в модулі Дисперсійний аналізобговорюються нижче).

Значні ефекти, отримані за допомогою сум квадратів типуабо типуIIсуми квадратів інтерпретувати не так просто. Найкраще їх інтерпретувати в контексті покрокової багатовимірної регресії. Якщо при використанні суми квадратів типуIголовний ефект фактора В виявився значимим (після включення в модель фактора А, але перед додаванням взаємодії між А і В), можна зробити висновок, що існує значний головний ефект фактора В, за умови, що немає взаємодії між факторами А і В. (Якщо при використання критерію типуIII, фактор В також виявився значним, то можна зробити висновок, що існує значний головний ефект фактора B, після введення в модель всіх інших факторів та їх взаємодій).

У термінах маргінальних середніх гіпотези типуIі типуIIзазвичай немає простої інтерпретації. У таких випадках кажуть, що не можна інтерпретувати значущість ефектів, розглядаючи лише маргінальні середні. Швидше представлені pзначень середніх мають відношення до складної гіпотези, яка комбінує середні та обсяг вибірки. Наприклад, типIIгіпотези для фактора А в простому прикладі плану 2 x 2, що раніше розглядаються (див. Woodward, Bonett, and Brecht, 1990, стор 219):

nij- Число спостережень в осередку

uij- Середнє значення в осередку

n. j- маргінальне середнє

Якщо не вдаватися в деталі (детальніше див. Milliken and Johnson, 1984, глава 10), то ясно, що це не прості гіпотези і в більшості випадків жодна з них не має особливого інтересу у дослідника. Однак існують випадки, коли гіпотези типуIможуть бути цікавими.

Обчислювальний підхід у модулі, що приймається за умовчанням Дисперсійний аналіз

За замовчуванням, якщо не зазначено опцію Регресійний підхід, модуль Дисперсійний аналізвикористовує модель середніх по осередках. Для цієї моделі характерно, що суми квадратів для різних ефектів обчислюються для лінійних комбінацій середніх значень осередків. У повному факторному експерименті це призводить до сум квадратів, які збігаються з сумами квадратів, які раніше обговорювали як тип III. Однак у опції Сплановані порівняння(у вікні Результати дисперсійного аналізу), користувач може перевіряти гіпотезу щодо будь-якої лінійної комбінації зважених або незважених середніх по осередках. Таким чином, користувач може перевіряти не лише гіпотези типуIIIале гіпотези будь-якого типу (включаючи типIV). Цей загальний підхід є особливо корисним, коли досліджуються плани з пропущеними осередками (так звані неповні плани).

Для повних факторних планів цей підхід корисно також використовувати у випадках, коли хочуть аналізувати зважені маргінальні середні. Наприклад, припустимо, що в аналізованому раніше простому 2 x 2 плані, потрібно порівняти виважені (за рівнями фактора B) маргінальні середні для фактора А. Це буває корисним, коли розподіл спостережень по осередках не готувалося експериментатором, а будувалося випадково, і ця випадковість відображається у розподілі числа спостережень за рівнями фактора B у сукупності.

Наприклад, є фактор – вік вдів. Можлива вибірка респондентів розбита на дві групи: молодше 40 років та старше 40 (фактор В). Другий чинник (фактор А) у плані - отримували чи ні соціальну підтримку вдови у певному агентстві (при цьому одні вдови були обрані випадково, інші служили як контроль). У цьому випадку розподіл удів за віком у вибірці відображає дійсний розподіл вдів за віком у сукупності. Оцінка ефективності групи соціальної підтримкивдів по всім вікомбуде відповідати виважене середнє для двох вікових груп (з вагами, що відповідають числу спостережень у групі).

Сплановані порівняння

Зауважимо, що сума запроваджених коефіцієнтів контрастів не обов'язково дорівнює 0 (нулю). Натомість програма автоматично вносити поправки, щоб відповідні гіпотези не змішувалися із загальним середнім.

Для ілюстрації цього повернемося знову до простого 2 x 2 плану, розглянутого раніше. Нагадаємо, що числа спостережень у осередках цього незбалансованого плану -1, 2, 3, і 1. Припустимо, що ми хочемо порівняти зважені середні маргінальні для фактора А (зважені з частотою рівнів фактора В). Можна ввести коефіцієнти розмаїття:

Зауважимо, що ці коефіцієнти не дають у сумі 0. Програма встановлюватиме коефіцієнти так, що в сумі вони даватиму 0, і при цьому зберігатимуться їх відносні значення, тобто:

1/3 2/3 -3/4 -1/4

Ці контрасти порівнюватимуть зважені середні для фактора А.

Гіпотези про головне середнє.Гіпотеза, у тому, що ні зважене головне середнє дорівнює 0 може досліджуватися з допомогою коефіцієнтів:

Гіпотеза про те, що зважене головне середнє 0 перевіряється за допомогою:

У жодному разі програма не здійснює коригування коефіцієнтів контрастів.

Аналіз планів із пропущеними осередками (неповні плани)

Факторні плани, що містять порожні осередки (обробка комбінацій осередків, у яких немає спостережень), називаються неповними. У таких планах деякі фактори зазвичай не ортогональні і деякі взаємодії не можуть бути обчислені. Взагалі немає кращого методу аналізу таких планів.

Регресійний підхід

У деяких старих програмах, які ґрунтуються на аналізі планів дисперсійного аналізу за допомогою багатовимірної регресії, фактори в неповних планах за замовчуванням задаються звичайним чином (начебто план повний). Потім проводиться багатовимірний регресійний аналіз цих фіктивно закодованих чинників. На жаль, цей метод призводить до результатів, які дуже важко, або навіть неможливо, інтерпретувати, оскільки неясно, як кожен ефект бере участь у лінійній комбінації середніх значень. Розглянемо наступний приклад.

Якщо виконуватиметься багатовимірна регресія виду Залежна змінна = Константа + Фактор A + Фактор B, то гіпотеза про значимість факторів A і B в термінах лінійних середніх комбінацій виглядає так:

Фактор A: Осередок A1, B1 = Осередок A2, B1

Фактор B: Осередок A1, B1 = Осередок A1, B2

Цей випадок простий. У складніших планах неможливо фактично визначити, що точно досліджуватиметься.

Середні осередки, підхід дисперсійного аналізу , гіпотези типу IV

Підхід, який рекомендується в літературі і який здається кращим – дослідження осмислених (з точки зору дослідницьких завдань) апріорнихгіпотез про середні, що спостерігаються в осередках плану. Докладне обговорення цього підходу можна знайти в Dodge (1985), Heiberger (1989), Milliken and Johnson (1984), Searle (1987) або Woodward, Bonett, and Brecht (1990). Суми квадратів, асоційовані з гіпотезами про лінійну комбінацію середніх у неповних планах, що досліджують оцінки частини ефектів, називаються також сумами квадратів IV.

Автоматична генерація гіпотез типуIV. Коли багатофакторні плани мають складний характер пропущених осередків, бажано визначити ортогональні (незалежні) гіпотези, дослідження яких еквівалентне дослідженню основних ефектів чи взаємодій. Були розвинені алгоритмічні (обчислювальні) стратегії (засновані на псевдозворотній матриці плану) для генерування ваги для таких порівнянь. На жаль, остаточні гіпотези визначаються не єдиним чином. Звичайно, вони залежать від порядку, в якому були визначені ефекти і рідко допускають просту інтерпретацію. Тому рекомендується уважно вивчити характер пропущених осередків, потім формулювати гіпотези типуIV, які найбільш змістовно відповідають цілям дослідження. Потім дослідити ці гіпотези, використовуючи опцію Сплановані порівнянняу вікні Результати. Найлегший шлях задати порівняння у цьому випадку – вимагати введення вектора контрастів для всіх факторів разому вікні Сплановані порівняння.Після виклику діалогового вікна Сплановані порівняннябудуть показані всі групи поточного плану та позначені ті, що пропущені.

Пропущені осередки та перевірка специфічного ефекту

Існує кілька типів планів, у яких розташування пропущених осередків невипадково, але ретельно сплановано, що дозволяє проводити простий аналіз головних ефектів не торкаючись інших ефектів. Наприклад, коли необхідна кількість комірок у плані недоступна, часто використовуються плани. Латинські квадратидля оцінювання головних ефектів кількох факторів з більшим числомрівнів. Наприклад, 4 x 4 x 4 x 4 факторний план потребує 256 осередків. У той же час можна використовувати Греко-латинський квадратдля оцінки головних ефектів, маючи лише 16 осередків у плані (глава Планування експерименту, том IV містить детальний опис таких планів). Неповні плани, в яких головні ефекти (і деякі взаємодії) можуть бути оцінені за допомогою простих лінійних середніх комбінацій, називаються збалансованими неповними планами.

У збалансованих планах стандартний (за замовчуванням) метод генерування контрастів (ваг) для головних ефектів і взаємодій буде проводити аналіз таблиці дисперсій, в якій суми квадратів для відповідних ефектів не змішуються один з одним. Опція Специфічний ефектвікна Результатибуде генерувати пропущені контрасти, записуючи нуль у пропущені комірки плану. Відразу після того, як буде запрошено опцію Специфічний ефектдля користувача, який вивчає деяку гіпотезу, з'являється таблиця результатів із фактичними вагами. Зауважимо, що у збалансованому плані, суми квадратів відповідних ефектів обчислюються тільки, якщо ці ефекти ортогональні (незалежні) всім іншим головним ефектам та взаємодіям. В іншому випадку потрібно скористатися опцією Сплановані порівняннявивчення змістовних порівнянь між середніми.

Пропущені осередки та об'єднані ефекти/члени помилки

Якщо опція Регресійний підхіду стартовій панелі модуля Дисперсійний аналізне вибрано, то при обчисленні суми квадратів для ефектів використовуватиметься модель середніх за комірками (установка за замовчуванням). Якщо план не збалансований, то при поєднанні неортогональних ефектів (див. вище обговорення опції Пропущені осередки та специфічний ефект) можна отримати суму квадратів, що складається з неортогональних (або перекриваються) компонентів. Отримані при цьому результати зазвичай не інтерпретовані. Тому треба бути дуже обережним під час виборів та реалізації складних неповних експериментальних планів.

Існує багато книг із детальним обговоренням планів різного типу. (Dodge, 1985; Heiberger, 1989; Lindman, 1974; Milliken and Johnson, 1984; Searle, 1987; Woodward and Bonett, 1990), але така інформація лежить поза межами цього підручника. Проте пізніше в цьому розділі буде продемонстровано аналіз різного типу планів.

Припущення та ефекти порушення припущень

Відхилення від припущення щодо нормальності розподілів

Припустимо, що залежна змінна виміряна у числовій шкалі. Припустимо також, що залежна змінна має нормальний розподіл усередині кожної групи. Дисперсійний аналізмістить широкий набір графіків та статистик для обґрунтування цього припущення.

Ефекти порушення.Взагалі Fкритерій дуже стійкий до відхилення від нормальності ( докладні результатидив. у роботі Lindman, 1974). Якщо ексцес більший за 0, то значення статистики Fможе стати дуже маленьким. Нульова гіпотеза у своїй приймається, хоча може бути й неправильна. Ситуація змінюється на протилежну, коли ексцес менший за 0. Асиметрія розподілу зазвичай незначно впливає на Fстатистику. Якщо кількість спостережень у осередку досить велика, то відхилення від нормальності не має особливого значення в силу центральної граничної теореми, відповідно до якої, розподіл середнього значення близький до нормального, незалежно від початкового розподілу. Детальне обговорення стійкості FСтатистики можна знайти в Box and Anderson (1955), або Lindman (1974).

Однорідність дисперсії

Припущення.Передбачається, що дисперсії різних груп плану однакові. Це припущення називається припущенням про однорідності дисперсії.Згадаймо, що на початку цього розділу, описуючи обчислення суми квадратів помилок, ми робили підсумовування всередині кожної групи. Якщо дисперсії у двох групах відрізняються один від одного, то додавання їх не дуже природне і не дає оцінки загальної внутрішньогрупової дисперсії (оскільки в цьому випадку загальної дисперсії взагалі не існує). Модуль Дисперсійний аналіз -ANOVA/MANOVAмістить великий набір статистичних критеріїв виявлення відхилення припущень однорідності дисперсії.

Ефекти порушення.Ліндман (Lindman 1974, стор 33) показує, що Fкритерій цілком стійкий щодо порушення припущень однорідності дисперсії ( неоднорідністьдисперсії, див. також Box, 1954a, 1954b; Hsu, 1938).

Спеціальний випадок: кореленість середніх та дисперсій.Бувають випадки, коли Fстатистика може ввести в оману.Це буває, коли в осередках плану середні значення корелюються з дисперсією. Модуль Дисперсійний аналіздозволяє будувати діаграми розсіювання дисперсії або стандартного відхиленнящодо середніх виявлення такої кореляції. Причина, через яку така кореляція небезпечна, полягає в наступному. Уявімо, що є 8 осередків у плані, 7 з яких мають майже однакове середнє, а в одному осередку середнє набагато більше за інших. Тоді Fкритерій може виявити статистично значущий ефект. Але припустимо, що у осередку з великим середнім значенням і дисперсія значно більше інших, тобто. середнє значення і дисперсія в осередках залежні (що більше середнє, то більше вписувалося дисперсія). І тут велике середнє значення ненадійно, оскільки може бути викликано великий дисперсією даних. Однак Fстатистика, заснована на об'єднаноюдисперсії всередині осередків, фіксуватиме велике середнє, хоча критерії, засновані на дисперсії у кожному осередку, в повному обсязі відмінності середніх вважатимуть значимими.

Такий характер даних (велике середнє і велика дисперсія) - часто зустрічається, коли є спостереження, що різко виділяються. Одне або два різко виділяються спостережень сильно зміщують середнє значення і дуже збільшують дисперсію.

Однорідність дисперсії та підступів

Припущення.У багатовимірних планах, з багатовимірними залежними вимірами, також застосовуються припущення однорідності дисперсії, описані раніше. Однак так як існують багатовимірні залежні змінні, то потрібно так само, щоб їх взаємні кореляції (коваріації) були однорідними по всіх осередках плану. Модуль Дисперсійний аналізпропонує різні способи перевірки цих припущень.

Ефекти порушення. Багатовимірний аналог F- критерію - λ-критерій Вілкса. Не так багато відомо про стійкість (робастність) λ-критерію Вілкса щодо порушення зазначених вище припущень. Тим не менш, так як інтерпретація результатів модуля Дисперсійний аналізґрунтується зазвичай на значущості одновимірних ефектів (після встановлення значущості загального критерію), обговорення робастності стосується переважно одномірного дисперсійного аналізу. Тому має бути уважно досліджено значущість одновимірних ефектів.

Спеціальний випадок: підступний аналіз.Особливо серйозні порушення однорідності дисперсії/коваріацій можуть відбуватися, коли до плану включаються коваріати. Зокрема, якщо кореляція між коваріатами і залежними вимірами різна в різних осередках плану, може бути неправильне тлумачення результатів. Слід пам'ятати, що в коваріаційному аналізі, по суті, проводиться регресійний аналіз усередині кожного осередку для того, щоб виділити ту частину дисперсії, яка відповідає коваріату. Припущення про однорідність дисперсії/коваріації передбачає, що цей регресійний аналіз проводиться за наступного обмеження: все регресійні рівняння(Нахили) для всіх осередків однакові. Якщо це не передбачається, то можуть виникнути великі помилки. Модуль Дисперсійний аналізмає кілька спеціальних критеріїв для перевірки цього припущення. Можна порадити використовувати ці критерії, щоб переконатися, що регресійні рівняння для різних осередків приблизно однакові.

Сферичність та складна симетрія: причини використання багатовимірного підходу до повторних вимірів у дисперсійному аналізі

У планах, що містять фактори повторних вимірювань з більш ніж двома рівнями, застосування одновимірного дисперсійного аналізу потребує додаткових припущень: припущення складної симетрії та припущення сферичності. Ці припущення рідко виконуються (див. нижче). Тому в Останніми рокамибагатовимірний дисперсійний аналіз завоював популярність у таких планах (обидва підходи поєднані в модулі Дисперсійний аналіз).

Припущення про складну симетріюПрипущення складної симетрії у тому, що дисперсії (загальні внутригрупповые) і ковариации (по групам) щодо різних повторних вимірів однорідні (однакові). Це достатня умова для того, щоб одномірний критерій F для повторних вимірювань був обґрунтованим (тобто видані F-значення в середньому відповідали F-розподілу). Проте в даному випадку ця умова не є необхідною.

Припущення про сферичність.Припущення про сферичність є необхідною та достатньою умовою того, щоб F-критерій був обґрунтованим. Воно у тому, що у груп всі спостереження незалежні і однаково розподілені. Природа цих припущень, а також вплив їх порушень зазвичай не дуже добре описані в книгах дисперсійного аналізу - ця буде описана в наступних параграфах. Там буде показано, що результати одновимірного підходу можуть відрізнятися від результатів багатовимірного підходу, і буде пояснено, що це означає.

Необхідність незалежності гіпотез.Загальний спосіб аналізу даних у дисперсійному аналізі – це припасування моделі. Якщо щодо моделі, що відповідає даним, є деякі апріорнігіпотези, то дисперсія розбивається для перевірки цих гіпотез (критерії основних ефектів, взаємодій). З погляду обчислень, цей підхід генерує кілька контрастів (множина порівнянь середніх у плані). Однак якщо контрасти не незалежні один від одного, розбиття дисперсій стає беззмістовним. Наприклад, якщо два контрасти Aі Bтотожні і виділяється відповідна їм частина з дисперсії, то та сама частина виділяється двічі. Наприклад, безглуздо і безглуздо виділяти дві гіпотези: "середнє в осередку 1 вище середнього в осередку 2" і "середнє в осередку 1 вище середнього в осередку 2". Отже, гіпотези мають бути незалежні або ортогональні.

Незалежні гіпотези при повторних вимірах.Загальний алгоритм, реалізований у модулі Дисперсійний аналіз, намагатиметься для кожного ефекту генерувати незалежні (ортогональні) контрасти. Для фактора повторних вимірювань ці контрасти задають безліч гіпотез щодо різницьміж рівнями аналізованого фактора. Однак якщо ці різниці корелюються всередині груп, то результуючі контрасти не є більш незалежними. Наприклад, у навчанні, де учні вимірюються тричі за один семестр, може статися, що зміни між 1 і 2 виміром негативно корелюють зі зміною між 2 та 3 вимірами суб'єктів. Ті, хто більшу частину матеріалу освоїв між 1 і 2 вимірами, освоюють меншу частину протягом того часу, який пройшов між 2 і 3 виміром. Насправді, для більшості випадків, де дисперсійний аналіз використовуються при повторних вимірах, можна припустити, що зміни за рівнями корелюються суб'єктами. Однак коли це трапляється, припущення про складну симетрію та припущення про сферичність не виконуються і незалежні контрасти не можуть бути обчислені.

Вплив порушень та способи їх виправлення.Коли припущення про складну симетрію або сферичність не виконуються, дисперсійний аналіз може видати помилкові результати. До того, як були розроблені багатовимірні процедури, було запропоновано кілька припущень для компенсації порушень цих припущень. (див., наприклад, роботи Greenhouse & Geisser, 1959 та Huynh & Feldt, 1970). Ці методи досі широко використовуються (тому вони представлені в модулі Дисперсійний аналіз).

Підхід багатовимірного дисперсійного аналізу до повторних вимірів.Загалом проблеми складної симетрії та сферичності відносяться до того факту, що безліч контрастів, включених у дослідження ефектів факторів повторних вимірів (з числом рівнів більшим, ніж 2) не незалежні один від одного. Однак їм не обов'язково бути незалежними, якщо використовується багатовимірнийкритерій для одночасної перевірки статистичного значеннядвох чи більше контрастів фактора повторних вимірів. Це є причиною того, що методи багатовимірного дисперсійного аналізу стали частіше використовуватися для перевірки значущості факторів одновимірних повторних вимірів з більш ніж 2 рівнями. Цей підхід широко поширений, тому що він, у загальному випадку, не вимагає припущення про складну симетрію та припущення про сферичність.

Випадки, в яких підхід багатовимірного дисперсійного аналізу не може бути використаний.Існують приклади (плани), коли підхід багатовимірного дисперсійного аналізу може бути застосований. Зазвичай це випадки, коли є невелика кількість суб'єктів у плані та багато рівнів у факторі повторних вимірів. Тоді для проведення багатовимірного аналізу може бути замало спостережень. Наприклад, якщо є 12 суб'єктів, p = 4 фактора повторних вимірювань, і кожен фактор має k = 3 рівнів. Тоді взаємодія 4-х факторів "витрачатиме" (k-1) P = 2 4 = 16 степенів свободи. Проте є лише 12 суб'єктів, отже, у цьому прикладі багатовимірний тест може бути проведено. Модуль Дисперсійний аналізсамостійно виявить ці спостереження та обчислить лише одномірні критерії.

Відмінності в одновимірних та багатовимірних результатах.Якщо дослідження включає велику кількість повторних вимірювань, можуть виникнути випадки, коли одновимірний підхід дисперсійного аналізу до повторних вимірювань дає результати, які сильно відрізняються від тих, які були отримані при багатовимірному підході. Це означає, що різниці між рівнями відповідних повторних вимірів корелюються суб'єктами. Іноді цей факт представляє певний самостійний інтерес.

Багатомірний дисперсійний аналіз та структурне моделювання рівнянь

В останні роки моделювання структурних рівнянь стало популярним як альтернатива багатовимірному аналізу дисперсії (див. наприклад, Bagozzi and Yi, 1989; Bagozzi, Yi, and Singh, 1991; Cole, Maxwell, Arvey, and Salas, 1993). Цей підхід дозволяє перевіряти гіпотези не тільки про середні в різних групах, але так само і про кореляційні матриці залежних змінних. Наприклад, можна послабити припущення про однорідність дисперсії та підступів і явно включити в модель для кожної групи дисперсії та підступності помилки. Модуль STATISTICAМоделювання структурними рівняннями (SEPATH) (див. Том III) дозволяє проводити такий аналіз.

Дисперсійний аналіз використовується для виявлення впливу на показник деяких чинників, які зазвичай не піддаються кількісному виміру. Суть методу полягає у розкладанні загальної варіації досліджуваного показника на частини, що відповідають роздільному та спільному впливу факторів, та статистичному вивченню цих частин з метою з'ясування прийнятності гіпотез про відсутність цих впливів. Моделі дисперсійного аналізу в залежності від числа факторів класифікуються на однофакторні, двофакторніі т.д. За метою дослідження виділяють такі моделі: детермінована(Ml) - тут рівні всіх факторів заздалегідь фіксовані, і перевіряють саме їхній вплив, випадкова(М2) - тут рівні кожного фактора отримані як випадкова вибірка з генеральної сукупності рівнів фактора, та змішана(М3) – тут рівні одних факторів заздалегідь фіксовані, а рівні інших – випадкова вибірка.

Однофакторний дисперсійний аналіз

В основі однофакторного дисперсійного аналізу лежить наступна ймовірнісна модель:

де - значення випадкової величини, прийняте при рівні Д (,) , / =

1,2,..., v, фактора Лв &-му спостереженні, до = 1,2, ..., п,;

О 1 "1 - ефект впливу на УГрівня Д®;

е® - незалежні випадкові величини, що відображають вплив на У/"* неконтрольованих залишкових факторів, причому всі е* 1 ~ N( 0, o R).

При цьому в моделі Ml усі 0 (,) - детерміновані величини

і?е ("Ч = 0; а в моделі М2 0 (,) - випадкові величини (значення слу-

чайного ефекту 0), 0® = 0 де 0 - ;V(0, ст в), і всі 0® і е*' - незалежні.

Знайдемо спільну варіацію S 2результативної ознаки У та дві її складові - S 2 Aі S R, що відображають відповідно вплив фактора Ата вплив залишкових факторів:

Неважко переконатися, що S 2 = S 2 A +. Розділивши всі частини

цієї рівності на я, отримаємо:

Це правило читається так: « Загальна дисперсіяспостережень дорівнює сумі міжгруповийдисперсії (це дисперсія Су (0 групових середніх) та внутрішньогруповийдисперсії (це середня а 2із групових дисперсій)».

Для з'ясування того, чи впливає фактор Ана результативну ознаку:

• ? у моделі Ml перевіряють гіпотезу Н 0: 0 (|) = 0 (2) = ... = 0 (v) = 0 (якщо вона буде прийнята, то для всіх inkматематичне очікування МУ/"* = А/У [див. формулу (8.4.1)], а це означає, що при зміні рівня фактора групова генеральна середня не змінюється, тобто аналізовані рівні фактора Ане впливають на У;
• ? у моделі М2 перевіряють гіпотезу Н 0 = 0 (її прийняття означає, що ефект 0 - постійна величина, а з урахуванням умови М0 = 0 отримаємо, що 0 = 0, тобто фактор Ане впливає на У).

Критерії перевірки цих та інших гіпотез, а також оцінки параметрів моделі (8.4.1) наведено у табл. 8.5.

Завдання 8.7. Дослідник хоче з'ясувати, чи відрізняються чотири способи рекламування товару за впливом на обсяг його продажу. Для цього у кожному з чотирьох однотипних міст (у них використовувалися різні способиреклами) було зібрано відомості про обсяги продажу товару (у грошових одиницях) у чотирьох випадково відібраних магазинах та обчислені відповідні вибіркові характеристики:

Рішення. Тут фактором Ає спосіб реклами; зафіксовано чотири його рівні, і з'ясовується, чи за своїм впливом відрізняються саме ці рівні, - це модель Ml однофакторного аналізу.

де е** незалежний?** N(0,g r).

Так як MYі всі 0 (,) - постійні величини, то при виконанні (8.4.3) спостереження незалежні і всі

Припустимо, що незалежність спостережень гарантується організацією експерименту; умова ж (8.4.4) означає, що обсяг продажів при г"-му способі реклами має нормальний закон розподілу з математичним очікуванням а, = MY + 0 (,) та з дисперсією, однаковою для всіх способів. Припустимо, що нормальний розподіл має місце. Використовуючи критерій Бартлетта (див. табл. 8.3), переконаємось, що результати випробувань дозволяють прийняти гіпотезу Н"п: о? =... = ol.Обчислимо

за табл. П. 6.3 при k=v-l=3np=a= 0,05 знайдемо % 2 а = Ха = 7,82; оскільки 1,538 Н"0 приймаємо.

Тепер перевіримо ключову гіпотезу дисперсійного аналізу Н 0: 0 м =... = 0 S 2 A = 220,19, S 2 R=39,27, S" 2 = 259,46; переконавшись у справедливості рівності (8.4.2), знайдемо оцінку (8.4.5) (див. табл. 8.5) s 2 = 39,27/12 = 3,27 дисперсії а 2 до; перевіримо, чи виконується нерівність (8.4.6) (див. табл. 8.5):

за табл. П. 6.4 при = 3, до 2 = 12 і р = а = 0,05 знайдемо F 2a = F a= 3,49. Оскільки 22,43 > 3,49, нерівність (8.4.6) виконується. Тому гіпотезу

Умови та критерії перевірки гіпотез однофакторного дисперсійного аналізу

Н 0: 0 (|) = ... = 0 (4) = 0 відхиляємо: вважаємо, що зафіксовані способи рекламування продукції впливають обсяг продажів; при цьому вли-

= 84,9% варіації обсягу продажу.

Змінимо умову завдання. Припустимо, що методи рекламування товару заздалегідь нс фіксовані, а обрані випадково з усього набору методів. Тоді з'ясування питання, впливає чи ні спосіб рекламування, зводиться до перевірки гіпотези Н 0: Og = 0 моделі М2. Критерій її перевірки такий самий, як і в моделі Ml. Оскільки умова (8.4.6) відхилення гіпотези Н 0: про 2 в = 0 виконується, гіпотезу забракуємо, принаймні до отримання додаткових даних: вважаємо, що спосіб рекламування товарів (у всьому наборі цих способів) впливає на обсяг продажу.

Двофакторний дисперсійний аналіз

(з однаковим числом т> 1 спостережень при різних поєднаннях рівнів факторів)

В основі двофакторного дисперсійного аналізу лежить наступна ймовірнісна модель:

де У/ 1 7) значення випадкової величини У, прийняте при рівні А ("і = 1,2, ..., v A ,фактор А Ата рівні 5®, у =1,2, ..., v B ,фактор А Ув до-м спостереженні, до = 1,2, ..., /і; 0^, 0 (й у) , 0^д у) - ефекти впливу на У/ 1 відповідно А (" 5® та взаємодії А (0і B;- незалежні випадкові величини, що відображають вплив на У/ 1 ' у) неконтрольованих залишкових факторів, причому е? л ~ / V ((), а л).

Знайдемо спільну варіацію S 2ознаки У та її чотири складові - S 2 a , S 2 B , S 2 ab S 2 r , що відображають вплив відповідно до факторів А, В,їх взаємодії та залишкових факторів:

Неважко переконається, що S 2 = + S 2 B + S 2 iB + S B.

Оцінки параметрів всіх трьох типів моделі (8.4.9): Ml, М2 і М3, гіпотези, що перевіряються, і критерії їх перевірки наведені в табл. 8.6. У моделях М2 і М3 передбачається, що всі випадкові ефекти незалежні як між собою, так і з e^' J) .

Однофакторна дисперсійна модельмає вигляд

де Xjj -значення досліджуваної змінної, отриманої на г-му рівніфактора (г = 1, 2,..., т)су-м порядковим номером (j- 1,2,..., д);/у - ефект, обумовлений впливом рівня рівня фактора; е^. - випадкова компонента, чи обурення, викликане впливом неконтрольованих чинників, тобто. варіацією змінної всередині окремого рівня.

Під рівнем факторарозуміється деяка його міра чи стан, наприклад, кількість добрив, що вносяться, вид плавки металу або номер партії деталей і т.п.

Основні причини дисперсійного аналізу.

1. Математичне очікування обурення ? (/ - одно нулю для будь-яких i,тобто.

• 2. Обурення взаємно незалежні.
• 3. Дисперсія обурення (або змінної Ху) стала для будь-яких ij>тобто.

4. Обурення е# (або змінна Ху) має нормальний закон розподілу N( 0; а 2).

Вплив рівнів фактора може бути як фіксованим, або систематичним(модель I), так і випадковим(Модель II).

Нехай, наприклад, необхідно з'ясувати, чи є суттєві різницю між партіями виробів за деяким показником якості, тобто. перевірити вплив на якість одного фактора – партії виробів. Якщо включити у дослідження всі партії сировини, вплив рівня такого чинника систематичне (модель I), а отримані висновки застосовні лише до окремих партій, які залучалися щодо; якщо ж включити лише відібрану випадково частину партій, вплив фактора випадкове (модель II). У багатофакторних комплексах можлива змішана модель III, у якій одні чинники мають випадкові рівні, інші - фіксовані.

Розглянемо це завдання докладніше. Нехай є тпартії виробів. З кожної партії відібрано відповідно п Л, п 2 ,п твиробів (для простоти вважаємо, що щ = п 2 =... = п т = п).Значення показника якості цих виробів представимо у вигляді матриці спостережень

Необхідно перевірити суттєвість впливу партій виробів з їхньої якість.

Якщо вважати, що елементи рядків матриці спостережень – це чисельні значення (реалізації) випадкових величин X t , Х 2 ,..., Х т,виражають якість виробів і мають нормальний закон розподілу з математичними очікуваннями відповідно a v а 2 , ..., а ті однаковими дисперсіями а 2 то дане завдання зводиться до перевірки нульової гіпотези # 0: a v = a 2l = ... = ат, що здійснюється в дисперсійному аналізі.

Позначимо усереднення за якимось індексом зірочкою (або точкою) замість індексу, тоді середній показник якості виробів г'-ї партії, або групова середнядля г-го рівня фактора, набуде вигляду

а загальна середня -

Розглянемо суму квадратів відхилень спостережень від загальної середньої x:

або Q = Q, + Q 2+ ?>з Останнє доданок

оскільки сума відхилень значень змінної з його середньої, тобто. ? 1.г у - х) дорівнює нулю. ) =х

Перший доданок можна записати у вигляді

У результаті отримаємо таку тотожність:

т п. _

де Q = Y, X [х ij _ х„, I 2 - загальна,або повна,сума квадратів відхилень; 7 = 1

Q, - n^)