За способом найменших квадратів суму. Метод найменших квадратів у Excel
Завдання полягає у знаходженні коефіцієнтів лінійної залежності, при яких функція двох змінних аі bприймає найменше значення. Тобто, за даними аі bсума квадратів відхилень експериментальних даних від знайденої прямої буде найменшою. У цьому вся суть методу найменших квадратів.
Таким чином, рішення прикладу зводиться до знаходження екстремуму функції двох змінних.
Висновок формул знаходження коефіцієнтів.Складається та вирішується система із двох рівнянь із двома невідомими. Знаходимо приватні похідні функції 
за змінними аі b, Прирівнюємо ці похідні до нуля.
Вирішуємо отриману систему рівнянь будь-яким методом (наприклад, методом підстановки або методом Крамера) і отримуємо формули для знаходження коефіцієнтів за методом найменших квадратів (МНК). 
За даними аі bфункція 
набуває найменшого значення.
Ось і весь спосіб найменших квадратів. Формула для знаходження параметра aмістить суми , , , та параметр n- Кількість експериментальних даних. Значення цих сум рекомендуємо обчислювати окремо. Коефіцієнт bзнаходиться після обчислення a.
Основна сфера застосування таких поліномів – обробка експериментальних даних (побудова емпіричних формул). Справа в тому, що інтерполяційний поліном, побудований за значеннями функції, отриманими за допомогою експерименту, відчуватиме сильний вплив "експериментального шуму", до того ж при інтерполюванні вузли інтерполяції не можуть повторюватися, тобто повторюватись. не можна використовувати результати повторних експериментів за однакових умов. Середньоквадратичний поліном згладжує шуми і дозволяє використовувати результати багаторазових експериментів.
Чисельне інтегрування та диференціювання. приклад.
Чисельне інтегрування- Обчислення значення певного інтеграла (як правило, наближене). Під чисельним інтегруванням розуміють набір чисельних методів знаходження значення певного інтеграла.
Чисельне диференціювання- Сукупність методів обчислення значення похідної дискретно заданої функції.
Інтегрування
Постановка задачі.Математична постановка задачі: необхідно знайти значення певного інтегралу
де a, b – кінцеві, f(x) – безперервна на [а, b].
При вирішенні практичних завданьчасто буває, що інтеграл незручно або неможливо взяти аналітично: він може не виражатися в елементарних функціях, підінтегральна функція може бути задана у вигляді таблиці та ін. У таких випадках застосовують методи чисельного інтегрування. Численні методи інтегрування використовують заміну площі криволінійної трапеції на кінцеву суму площ простіших геометричних фігур, які можуть бути точно обчислені. У цьому сенсі говорять про використання квадратурних формул.
У більшості методів використовується подання інтеграла у вигляді кінцевої суми (квадратурна формула):
В основі квадратурних формул лежить ідея заміна на відрізку інтегрування графіка підінтегрального вираження функціями. простого вигляду, які легко можуть бути інтегровані аналітично і, таким чином, легко обчислені. Найпростіше завдання побудови квадратурних формул реалізується для поліноміальних математичних моделей.
Можна виділити три групи методів:
1. Метод із розбиттям відрізка інтегрування на рівні інтервали. Розбиття на інтервали проводиться заздалегідь, зазвичай інтервали вибираються рівними (щоб легше було обчислити функцію кінцях інтервалів). Обчислюють площі та підсумовують їх (методи прямокутників, трапеції, Сімпсона).
2. Методи з розбиттям відрізка інтегрування за допомогою спеціальних точок (метод Гаусса).
3. Обчислення інтегралів за допомогою випадкових чисел(Метод Монте-Карло).
Метод прямокутників.Нехай функцію (малюнок) необхідно проінтегрувати чисельним методом на відрізку. Розділимо відрізок на N рівних інтервалів. Площу кожної з N криволінійних трапецій можна замінити на площу прямокутника.
Ширина всіх прямокутників однакова і дорівнює:
Як вибір висоти прямокутників можна вибрати значення функції на лівій межі. У цьому випадку висота першого прямокутника становитиме f(a), другого f(x 1),…, N-f(N-1).
Якщо в якості вибору висоти прямокутника взяти значення функції на правій межі, то в цьому випадку висота першого прямокутника становитиме f(x 1), другого – f(x 2), …, N – f(x N).
Як бачимо, у разі одна з формул дає наближення до інтегралу з надлишком, а друга з недоліком. Існує ще один спосіб - використовувати для апроксимації значення функції всередині відрізка інтегрування:
Оцінка абсолютної похибки методу прямокутників (середина)
Оцінка абсолютної похибки методів лівих та правих прямокутників.
приклад.Обчислити для всього інтервалу та з розподілом інтервалу на чотири ділянки
Рішення.Аналітичне обчислення даного інтеграла дає I=агсtg(1)–агсtg(0)=0,7853981634. У нашому випадку:
1) h = 1; xо = 0; x1 = 1;
2) h = 0,25 (1/4); x0 = 0; x1 = 0,25; x2 = 0,5; х3 = 0,75; x4 = 1;
Обчислимо методом лівих прямокутників:
Обчислимо методом правих прямокутників:
Обчислимо методом середніх прямокутників:
Метод трапецій.Використання інтерполяції полінома першого ступеня (пряма лінія, проведена через дві точки) призводить до формули трапецій. Як вузли інтерполювання беруться кінці відрізка інтегрування. Таким чином, криволінійна трапеція замінюється на звичайну трапецію, площа якої може бути знайдена як добуток напівсуми підстав на висоту
У разі N відрізків інтегрування для всіх вузлів, за винятком крайніх точоквідрізка, значення функції увійдев загальну сумудвічі (оскільки сусідні трапеції мають одну спільну сторону)
Формула трапеції може бути отримана, якщо взяти половину суми формул прямокутників з правого та лівого країв відрізка:
Перевіряє стійкість рішення.Як правило, ніж менше довжинакожного інтервалу, тобто. чим більше числоцих інтервалів тим менше відрізняються наближене і точне значення інтеграла. Це справедливо більшість функцій. У методі трапецій помилка обчислення інтеграла ϭ приблизно пропорційна квадрату кроку інтегрування (ϭ ~ h 2). Таким чином, для обчислення інтеграла деякої функції в межах a,b необхідно розділити відрізок на N 0 інтервалів і знайти суму площ трапеції. Потім потрібно збільшити кількість інтервалів N 1 знову обчислити суму трапеції і порівняти отримане значення з попереднім результатом. Це слід повторювати доти (N i), доки не буде досягнуто заданої точності результату (критерій збіжності).
Для методів прямокутників та трапеції зазвичай на кожному кроці ітерації кількість інтервалів збільшується в 2 рази (N i +1 = 2 N i).
Критерій збіжності:
Головна перевага правила трапецій – його простота. Однак якщо при обчисленні інтеграла потрібна висока точність, застосування цього методу може зажадати занадто багато ітерацій.
Абсолютна похибкаметоду трапеційоцінюється як
.
приклад.Обчислити приблизно певний інтеграл за формулою трапецій.
а) Розбивши відрізок інтегрування на 3 частини.
б) Розбивши відрізок інтегрування на 5 елементів.
Рішення:
а) За умовою відрізок інтегрування необхідно розділити на 3 частини, тобто .
Обчислимо довжину кожного відрізка розбиття: 
.
Таким чином, загальна формула трапецій скорочується до приємних розмірів:
Остаточно:
Нагадую, що набуте значення – це наближене значення площі.
б) Розіб'ємо відрізок інтегрування на 5 рівних частин, тобто . збільшуючи кількість відрізків, ми збільшуємо точність обчислень.
Якщо , то формула трапецій набуває наступного вигляду:
Знайдемо крок розбиття: 
тобто довжина кожного проміжного відрізка дорівнює 0,6.
При чистовому оформленні завдання всі обчислення зручно оформляти розрахунковою таблицею:
У першому рядку записуємо «лічильник»
В результаті: 
Ну що ж, уточнення, і серйозне, справді є!
Якщо для 3-х відрізків розбиття, то для 5-ти відрізків. Якщо взяти ще більшим відрізком => буде ще точніше.
Формула Сімпсон.Формула трапеції дає результат, що сильно залежить від величини кроку h, що позначається на точності обчислення певного інтеграла особливо у випадках, коли функція має немонотонний характер. Можна припустити підвищення точності обчислень, якщо замість відрізків прямих, що замінюють криволінійні фрагменти графіка функції f(x), використовувати, наприклад, фрагменти парабол, що наводяться через три сусідні точки графіка. Подібна геометрична інтерпретація є основою методу Сімпсона для обчислення певного інтеграла. Весь інтервал інтегрування a,b розбивається N відрізків, довжина відрізка також дорівнюватиме h=(b-a)/N.
Формула Сімпсона має вигляд:
залишковий член
Зі збільшенням довжини відрізків точність формули падає, тому збільшення точності застосовують складову формулу Симпсона. Весь інтервал інтегрування розбивається на парне число однакових відрізків N, довжина відрізка також дорівнюватиме h=(b-a)/N. Складова формула Сімпсона має вигляд:
У формулі виразу в дужках є суми значень підінтегральної функції відповідно на кінцях непарних і парних внутрішніх відрізків.
Залишковий член формули Сімпсона пропорційний вже четвертому ступені кроку:
Приклад:Користуючись правилом Сімпсона обчислити інтеграл. (точне рішення - 0,2)
Метод Гауса
Квадратурна формула Гауса. Основний принцип квадратурних формул другого різновиду видно з малюнка 1.12: необхідно так розмістити крапки х 0 та х 1 всередині відрізка [ a;b], щоб площі "трикутників" у сумі дорівнювали площі "сегменту". При використанні формули Гауса вихідний відрізок [ a;b] зводиться до відрізку [-1;1] заміною змінної хна
0.5∙(b– a)∙t+ 0.5∙(b + a).
Тоді 
, де 
.
Така заміна можлива, якщо aі bкінцеві, а функція f(x) безперервна на [ a;b]. Формула Гауса при nточках x i, i=0,1,..,n-1 всередині відрізка [ a;b]:
, (1.27)
де t iі A ідля різних nнаводяться у довідниках. Наприклад, при n=2 
A 0 =A 1 = 1; при n=3: t 0 =t 2» 0.775, t 1 =0, A 0 =A 2» 0.555, A 1» 0.889.
Квадратурна формула Гауса
отримана з ваговою функцією рівною одиниці p(x)= 1 та вузлами x i, що є корінням поліномів Лежандра
Коефіцієнти A ілегко обчислюються за формулами
i=0,1,2,...n.
Значення вузлів та коефіцієнтів для n=2,3,4,5 наведені в таблиці
| Порядок | Вузли | Коефіцієнти |
| n=2 | x 1=0 x 0 =-x 2=0.7745966692 | A 1=8/9 A 0 =A 2=5/9 |
| n=3 | x 2 =-x 1=0.3399810436 x 3 =-x 0=0.8611363116 | A 1 =A 2=0.6521451549 A 0 = A 3=0.6521451549 |
| n=4 | x 2 = 0 x 3 = -x 1 = 0.5384693101 x 4 =-x 0 =0.9061798459 | A 0 =0.568888899 A 3 =A 1 =0.4786286705 A 0 =A 4 =0.2869268851 |
| n=5 | x 5 = -x 0 =0.9324695142 x 4 = -x 1 =0.6612093865 x 3 = -x 2 =0.2386191861 | A 5 =A 0 =0.1713244924 A 4 =A 1 =0.3607615730 A 3 =A 2 =0.4679139346 |
приклад.Обчислити значення за формулою Гауса для n=2:
.Алгоритм обчислення інтеграла за формулою Гауса передбачає не подвоєння числа мікровідрізків, а збільшення числа ординат на 1 та порівняння отриманих значень інтеграла. Перевага формули Гауса – висока точність при порівняно малій кількості ординат. Недоліки: незручна при розрахунках вручну; необхідно пам'ятати ЕОМ значення t i, A ідля різних n.
Для формула залишкового члена буде причому коефіцієнт α Nшвидко зменшується зі зростанням N. Тут 
Формули Гаусса забезпечують високу точність вже за невеликій кількості вузлів (від 4 до 10) У разі У практичних обчисленнях кількість вузлів становить від кількох сотень до кількох тисяч. Зазначимо також, що ваги квадратур Гауса завжди позитивні, що забезпечує стійкість алгоритму обчислення сум
Диференціювання.При розв'язанні задач часто буває необхідно знайти похідну певного порядку від функції f(x), заданої таблично. Крім того, іноді через складність аналітичного вираження функції f(x) її безпосереднє диференціювання занадто утруднено, а також при чисельному рішенні диференціальних рівнянь. У таких випадках використовують чисельне диференціювання.
- Tutorial
Вступ
Я математик-програміст. Найбільший стрибок у своїй кар'єрі я зробив, коли навчився говорити: "Я нічого не розумію!"Зараз мені не соромно сказати світилу науки, що читає лекцію, що я не розумію, про що воно, світило, мені говорить. І це дуже складно. Так, зізнатися у своєму незнанні складно та соромно. Кому сподобається визнаватись у тому, що він не знає азів чогось там. Через свою професію я повинен бути присутнім на великій кількості презентацій та лекцій, де, зізнаюся, в переважній більшості випадків мені хочеться спати, бо я нічого не розумію. А я не розумію тому, що величезна проблема поточної ситуації в науці криється в математиці. Вона припускає, що всі слухачі знайомі з усіма областями математики (що абсурдно). Зізнатися в тому, що ви не знаєте, що таке похідна (про те, що це трохи пізніше) - соромно.
Але я навчився говорити, що не знаю, що таке множення. Так, я не знаю, що таке подалгебра над алгеброю Лі. Так, я не знаю, навіщо потрібні в житті квадратні рівняння. До речі, якщо ви впевнені, що ви знаєте, то нам є над чим поговорити! Математика – це серія фокусів. Математики намагаються заплутати та залякати публіку; там, де немає збентеження, немає репутації, немає авторитету. Так, це престижно говорити якомога абстрактнішою мовою, що є по собі повна нісенітниця.
Чи знаєте ви, що таке похідна? Найімовірніше ви мені скажете про межу різницевого відношення. На першому курсі матуху СПбГУ Віктор Петрович Хавін мені визначивпохідну як коефіцієнт першого члена ряду Тейлора функції у точці (це була окрема гімнастика, щоб визначити ряд Тейлора без похідних). Я довго сміявся над таким визначенням, поки не зрозумів, про що воно. Похідна не що інше, як просто міра того, наскільки функція, яку ми диференціюємо, схожа на функцію y=x, y=x^2, y=x^3.
Я зараз маю честь читати лекції студентам, які боятьсяматематики. Якщо ви боїтеся математики – нам з вами по дорозі. Як тільки ви намагаєтеся прочитати якийсь текст, і вам здається, що він надмірно складний, то знайте, що він написано хронічно. Я стверджую, що немає жодної галузі математики, про яку не можна говорити «на пальцях», не втрачаючи при цьому точності.
Завдання найближчим часом: я доручив своїм студентам зрозуміти, що таке лінійно-квадратичний регулятор. Не посоромтеся, витратите три хвилини свого життя, сходіть на заслання. Якщо ви нічого не зрозуміли, то нам з вами по дорозі. Я (професійний математик-програміст) також нічого не зрозумів. І я запевняю, що в цьому можна розібратися «на пальцях». На даний момент я не знаю, що це таке, але я запевняю, що ми зможемо розібратися.
Отже, перша лекція, яку я збираюся прочитати своїм студентам після того, як вони з жахом вдадуться до мене зі словами, що лінійно-квадратичний регулятор - це страшна бяка, яку ніколи в житті не подужати, це методи найменших квадратів. Чи вмієте ви вирішувати лінійні рівняння? Якщо ви читаєте цей текст, то, швидше за все, ні.
Отже, дано дві точки (x0, y0), (x1, y1), наприклад, (1,1) і (3,2), завдання знайти рівняння прямої, що проходить через ці дві точки:
ілюстрація
Ця пряма повинна мати рівняння наступного типу:
Тут альфа і бета нам невідомі, але відомі дві точки цієї прямої:
Можна записати це рівняння у матричному вигляді:
Тут слід зробити ліричний відступ: що таке матриця? Матриця це не що інше, як двовимірний масив. Це спосіб зберігання даних, більше ніяких значень йому не варто надавати. Це залежить від нас, як саме інтерпретувати якусь матрицю. Періодично я її інтерпретуватиму як лінійне відображення, періодично як квадратичну форму, а ще іноді просто як набір векторів. Це все буде уточнено у контексті.
Давайте замінимо конкретні матриці на їхнє символьне уявлення:
Тоді (alpha, beta) може бути легко знайдено:
Більш конкретно для наших попередніх даних:
Що веде до наступного рівняння прямої, що проходить через точки (1,1) та (3,2):
Окей, тут зрозуміло. А давайте знайдемо рівняння прямої, що проходить через триточки: (x0, y0), (x1, y1) та (x2, y2):
Ой-ой-ой, але ж у нас три рівняння на дві невідомі! Стандартний математик скаже, що рішення немає. А що скаже програміст? А він спершу перепише попередню систему рівнянь у наступному вигляді:
У нашому випадку вектори i,j,bтривимірні, отже, (у загальному випадку) рішення цієї системи немає. Будь-який вектор (alpha i i beta i j) лежить у площині, натягнутій на вектори (i, j). Якщо b не належить цій площині, то рішення немає (рівності у рівнянні не досягти). Що робити? Давайте шукати компроміс. Давайте позначимо через e(alpha, beta)наскільки саме ми не досягли рівності:
І намагатимемося мінімізувати цю помилку:
Чому квадрат?
Ми шукаємо не просто мінімум норми, а мінімум квадрата норми. Чому? Сама точка мінімуму збігається, а квадрат дає гладку функцію (квадратичну функцію від агрументів (alpha, beta)), тоді як просто довжина дає функцію як конуса, недиференційовану в точці мінімуму. Брр. Квадрат зручніший.
Очевидно, що помилка мінімізується, коли вектор eортогональний площині, натягнутій на вектори. iі j.
Ілюстрація
Іншими словами: ми шукаємо таку пряму, що сума квадратів довжин відстаней від усіх точок до цієї прямої мінімальна:
UPDATE: тут у мене одвірок, відстань до прямої має вимірюватися по вертикалі, а не ортогональною проекцією. Ось цей коментатор має рацію.
Ілюстрація
Зовсім іншими словами (обережно, погано формалізовано, але на пальцях має бути ясно): ми беремо всі можливі прямі між усіма парами точок і шукаємо середню пряму між усіма:
Ілюстрація
Інше пояснення на пальцях: ми прикріплюємо пружинку між усіма точками даних (тут у нас три) і пряме, що ми шукаємо, і пряма рівноважного стану є саме те, що ми шукаємо.
Мінімум квадратичної форми
Отже, маючи цей вектор bта площину, натягнуту на стовпці-вектори матриці A(в даному випадку (x0,x1,x2) та (1,1,1)), ми шукаємо вектор eз мінімуму квадрата довжини. Очевидно, що мінімум можна досягти тільки для вектора. e, ортогональної площини, натягнутої на стовпці-вектори матриці. A:Інакше кажучи, ми шукаємо такий вектор x=(alpha, beta), що:
Нагадую, цей вектор x=(alpha, beta) є мінімумом квадратичні функції| | e (alpha, beta) | | ^2:
Тут не зайвим буде згадати, що матрицю можна інтерпретувати у тому числі як і квадратичну форму, наприклад, одинична матриця ((1,0),(0,1)) може бути інтерпретована як функція x^2 + y^2:
квадратична форма
Вся ця гімнастика відома під ім'ям лінійної регресії.
Рівняння Лапласа з граничною умовою Діріхле
Тепер найпростіше реальне завдання: є якась тріангульована поверхня, необхідно її згладити. Наприклад, давайте завантажимо модель моєї особи:
Початковий коміт доступний. Для мінімізації зовнішніх залежностей я взяв код свого софтверного рендерера вже на хабрі. Для вирішення лінійної системия користуюся OpenNL , це чудовий солвер, який, щоправда, дуже складно встановити: потрібно скопіювати два файли (.h+.c) у папку з вашим проектом. Все згладжування робиться наступним кодом:
For (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
X, Y та Z координати відокремлені, я їх згладжую окремо. Тобто, я вирішую три системи лінійних рівнянь, кожне має кількість змінних рівною кількістю вершин у моїй моделі. Перші n рядків матриці A мають лише одну одиницю на рядок, а перші n рядків вектора b мають оригінальні координати моделі. Тобто, я прив'язую по пружинці між новим становищем вершини і старим становищем вершини - нові не повинні занадто далеко йти від старих.
Всі наступні рядки матриці A (faces.size()*3 = кількості ребер всіх трикутників у сітці) мають одне входження 1 та одне входження -1, причому вектор b має нульові компоненти навпаки. Це означає, що я вішаю пружинку на кожне ребро нашої трикутної сітки: всі ребра намагаються отримати одну й ту саму вершину як відправну та фінальну точку.
Ще раз: змінними є всі вершини, причому вони можуть далеко відходити від початкового становища, але заодно намагаються стати схожими друг на друга.
Ось результат:
Все було б добре, модель дійсно згладжена, але вона відійшла від свого початкового краю. Давайте трохи змінимо код:
For (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
У нашій матриці A я для вершин, що знаходяться на краю, не додаю рядок з розряду v_i = verts[i][d], а 1000*v_i = 1000*verts[i][d]. Що це змінює? А змінює це нашу квадратичну форму помилки. Тепер одиничне відхилення від вершини краю коштуватиме не одну одиницю, як раніше, а 1000*1000 одиниць. Тобто, ми повісили сильнішу пружинку на крайні вершини, рішення воліє розтягнути інші. Ось результат:
Давайте вдвічі посилимо пружинки між вершинами:
nlCoefficient (face [j], 2); nlCoefficient(face[(j+1)%3], -2);
Логічно, що поверхня стала гладкішою:
А тепер ще в сто разів сильніше:
Що це? Уявіть, що ми вмочили дротяне кільце в мильну воду. У результаті мильна плівка, що утворилася, намагатиметься мати найменшу кривизну, наскільки це можливо, торкаючись-таки кордону - нашого дротяного кільця. Саме це ми й отримали, зафіксувавши кордон та попросивши отримати гладку поверхню всередині. Вітаю вас, ми тільки-но вирішили рівняння Лапласа з граничними умовами Діріхле. Круто звучить? А насправді лише одну систему лінійних рівнянь вирішити.
Рівняння Пуассона
Давайте ще круте ім'я згадаємо.Припустимо, що у мене є така картинка:
Всім гарна, тільки стілець мені не подобається.
Розріжу картинку навпіл: 
І виділю руками стілець: 
Потім все, що біле в масці, притягну до лівої частини картинки, а заразом по всій картинці скажу, що різниця між двома сусідніми пікселями повинна дорівнювати різниці між двома сусідніми пікселями правої картинки:
For (int i=0; i Ось результат: Код та зображення доступні Знаходить широке застосування економетриці як чіткої економічної інтерпретації її параметрів. Лінійна регресія зводиться до знаходження рівняння виду
або Рівняння виду Побудова лінійної регресіїзводиться до оцінки її параметрів аі в.Оцінки параметрів лінійної регресії можна знайти різними методами. Класичний підхід до оцінювання параметрів лінійної регресії заснований на методі найменших квадратів(МНК). МНК дозволяє отримати такі оцінки параметрів аі в,при яких сума квадратів відхилень фактичних значень результативної ознаки (у)від розрахункових (теоретичних)
мінімальна: Щоб знайти мінімум функції, треба обчислити часткові похідні по кожному з параметрів аі bта прирівняти їх до нуля. Позначимо Перетворюючи формулу, отримаємо наступну систему нормальних рівнянь для оцінки параметрів аі в: Вирішуючи систему нормальних рівнянь (3.5) або методом послідовного виключення змінних, або методом визначників, знайдемо оцінки параметрів, що шукаються аі в. Параметр вназивається коефіцієнтом регресії. Його величина показує середню зміну результату із зміною фактора на одну одиницю. Рівняння регресії завжди доповнюється показником тісноти зв'язку. При використанні лінійної регресії як такий показник виступає лінійний коефіцієнт кореляції. Існують різні модифікації формули лінійного коефіцієнта кореляції. Деякі з них наведені нижче: Як відомо, лінійний коефіцієнт кореляції знаходиться у межах: -1 ≤
≤
1. Для оцінки якості підбору лінійної функції розраховується квадрат Лінійний коефіцієнт кореляції званий коефіцієнтом детермінації.Коефіцієнт детермінації характеризує частку дисперсії результативної ознаки у,пояснювану регресією, у спільній дисперсії результативної ознаки: Відповідно величина 1 - характеризує частку диспер-сії у,викликану впливом інших не врахованих у моделі чинників. Запитання для самоконтролю 1. Суть методу найменших квадратів? 2. Скільки змінних надається парна регресія? 3. Яким коефіцієнтом визначається тіснота зв'язку між змінами? 4. У яких межах визначається коефіцієнт детермінації? 5. Оцінка параметра b у кореляційно-регресійному аналізі? 1. Крістофер Доугерті. Введення в економетрію. – М.: ІНФРА – М, 2001 – 402 с. 2. С.А. Бородіч. Економетрики. Мінськ ТОВ "Нове знання" 2001. 3. Р.У. Рахметова Короткий курс економетрики. Навчальний посібник. Алмати. 2004. -78с. 4. І.І. Елісєєва. Економетрика. - М.: «Фінанси та статистика», 2002 5. Щомісячний інформаційно-аналітичний журнал. Нелінійні економічні моделі. Перетворення змінних. Коефіцієнт еластичності. Якщо між економічними явищами існують нелінійні співвідношення, то вони виражаються за допомогою відповідних нелінійних функцій: наприклад, рівносторонньої гіперболи 1. Регресії, нелінійні щодо включених в аналіз пояснюючих змінних, але лінійні за параметрами, що оцінюються, наприклад: Поліноми різних ступенів - Рівностороння гіпербола -; Напівлогарифмічна функція - . 2. Регресії, нелінійні за параметрами, що оцінюються, наприклад: Ступінна -; Показова -; Експонентна - . Загальна сума квадратів відхилень індивідуальних значень результативної ознаки увід середнього значення спричинена впливом безлічі причин. Умовно розділимо всю сукупність причин на дві групи: досліджуваний фактор хі інші фактори. Якщо фактор не впливає на результат, то лінія регресії на графіку паралельна осі охі Тоді вся дисперсія результативної ознаки обумовлена впливом інших факторів і загальна сума квадратів відхилень збігатиметься з залишковою. Якщо інші чинники не впливають на результат, то у пов'язанийз хфункціонально та залишкова сума квадратів дорівнює нулю. І тут сума квадратів відхилень, пояснена регресією, збігається із загальною сумою квадратів. Оскільки не всі точки поля кореляції лежать на лінії регресії, то завжди має місце їх розкид як обумовлений впливом фактора х, тобто регресією упо х,і викликаний дією інших причин (непояснена варіація). Придатність лінії регресії для прогнозу залежить від того, яка частина загальної варіації ознаки уприпадає на пояснену варіацію Очевидно, що якщо сума квадратів відхилень, обумовлена регресією, буде більшою від залишкової суми квадратів, то рівняння регресії статистично значуще і фактор хістотно впливає на результат у. ,
тобто з числом свободи незалежного варіювання ознаки. Число ступенів свободи пов'язане з числом одиниць сукупності n і з числом констант, що визначаються за нею. Стосовно досліджуваної проблеми число ступенів свободи має показати, скільки незалежних відхилень з п Оцінка значущості рівняння регресії в цілому дається за допомогою F-Крітерія Фішера. У цьому висувається нульова гіпотеза, що коефіцієнт регресії дорівнює нулю, тобто. b = 0, і отже, фактор хне впливає на результат у. Безпосереднім розрахунком F-критерію передує аналіз дисперсії. Центральне місце в ньому займає розкладання загальної суми квадратів відхилень змінної увід середнього значення уна дві частини - «пояснену» та «непояснену»: Будь-яка сума квадратів відхилень пов'язана з числом ступенів свободи ,
тобто з числом свободи незалежного варіювання ознаки. Число ступенів свободи пов'язане з числом одиниць сукупності nі з числом визначених нею констант. Стосовно досліджуваної проблеми число ступенів свободи має показати, скільки незалежних відхилень з пможливих потрібно освіти цієї суми квадратів. Дисперсія на один ступінь свободиD.
F-відносини (F-критерій): Якщо нульова гіпотеза справедлива, то факторна та залишкова дисперсії не відрізняються один від одного. Для Н 0 необхідно спростування, щоб факторна дисперсія перевищувала залишкову у кілька разів. Англійським статистиком Снедекором розроблені таблиці критичних значень F-відносин при різних рівнях суттєвості нульової гіпотези та різному числі ступенів свободи. Табличне значення F-критерія - це максимальна величина відношення дисперсій, яка може мати місце при випадковому їх розбіжності для даного рівня ймовірності наявності нульової гіпотези. Обчислене значення F-відносини визнається достовірним, якщо про більше табличного. У цьому випадку нульова гіпотеза про відсутність зв'язку ознак відхиляється і робиться висновок про суттєвість зв'язку: F факт > F таблН0 відхиляється. Якщо ж величина виявиться меншою за табличну F факт ‹, F табл, то ймовірність нульової гіпотези вище заданого рівня і вона може бути відхилена без серйозного ризику зробити неправильний висновок про наявність зв'язку. І тут рівняння регресії вважається статистично незначимим. Але не відхиляється. Стандартна помилка коефіцієнта регресії Для оцінки суттєвості коефіцієнта регресії його величина порівнюється з його стандартною помилкою, тобто визначається фактичне значення t-критерія Стьюдента: Стандартна помилка параметра а: Значимість лінійного коефіцієнта кореляції перевіряється на основі величини помилки коефіцієнта кореляції т r: Загальна дисперсія ознаки х: Множинна лінійна регресія Побудова моделі Множинна регресіяє регресією результативної ознаки з двома і більшим числом факторів, тобто модель виду Регресія може дати хороший результат при моделюванні, якщо впливом інших факторів, що впливають на об'єкт дослідження, можна знехтувати. Поведінка окремих економічних змінних контролювати не можна, тобто не вдається забезпечити рівність всіх інших умов для оцінки впливу одного досліджуваного фактора. У цьому випадку слід спробувати виявити вплив інших факторів, ввівши їх у модель, тобто пострівняти рівняння множинної регресії: y = a+b 1 x 1 +b 2 +…+b p x p + .
Основна мета множинної регресії - побудувати модель з великою кількістю факторів, визначивши при цьому вплив кожного з них окремо, а також сукупний їх вплив на показник, що моделюється. Специфікація моделі включає два кола питань: відбір факторів і вибір виду рівняння регресії 3.5. Метод найменших квадратів
Перша робота, в якій закладено основи методу найменших квадратів, була виконана Лежандром у 1805. У статті «Нові методи визначення орбіт комет», він писав: «Після того, як повністю використані всі умови завдання, необхідно визначити коефіцієнти так, щоб величини їх помилок були найменшими із можливих. Найбільш простим шляхом досягнення цього є метод, який полягає у відшуканні мінімуму суми квадратів помилок ». В даний час метод застосовується дуже широко при апроксимації невідомих функціональних залежностей, що задаються безліччю експериментальних відліків, з метою отримання аналітичного виразу, найкраще наближеного до натурного експерименту. Нехай на підставі експерименту потрібно встановити функціональну залежність величини y від величини x : .Іпусті в результаті експерименту отриманоnзначень yпри відповідних значеннях аргументуx. Якщо експериментальні точки розташовані на координатній площині оскільки на малюнку, то, знаючи, що з проведенні експерименту мають місце похибки, можна припустити, що залежність носить лінійний характер, тобто.y=
ax+
b.Зазначимо, що спосіб не накладає обмежень на вигляд функції, тобто. його можна застосовувати до будь-яких функціональних залежностей. З погляду експериментатора часто природніше вважати, що послідовність взяття відліківфіксована наперед, тобто. є незалежною змінною, а відліки - залежною змінною. Це особливо ясно видно, якщо під розуміються моменти часу, що найбільш широко має місця в технічних додатках. Але це лише досить поширений окремий випадок. Наприклад, необхідно провести класифікацію деяких зразків за розміром. Тоді незалежною змінною буде номер зразка, залежною – його індивідуальний розмір. Метод найменших квадратів детально описаний у безлічі навчальних та наукових видань, особливо в частині апроксимації функцій в електро- та радіотехніці, а також у книгах з теорії ймовірностей та математичної статистики. Повернемося до малюнка. Пунктирні лінії показують, що похибки можуть виникати не тільки через недосконалість вимірювальних процедур, але й через неточність завдання незалежної змінної. При вибраному вигляді функції Потрібно вибрати коефіцієнтиa,
b,
c… так, щоб виконалася умова Знайдемо значення a,
b,
c…, що обертають ліву частину (2) мінімум. Для цього визначимо стаціонарні точки (точки, в яких перша похідна звертається в нуль) шляхом диференціювання лівої частини (2) поa,
b,
c:
і т.д. Отримана система рівнянь містить стільки ж рівнянь, скільки невідомихa,
b,
c…. Вирішити таку систему в загальному вигляді не можна, тому необхідно задатися, хоча б орієнтовно, конкретним видом функції. Далі розглянемо два випадки: лінійної та квадратичної функцій. Лінійна функція
.
Розглянемо суму квадратів різниць експериментальних значень та значень функції у відповідних точках: Підберемо параметриaі bтак, щоб ця сума мала найменше значення. Таким чином, завдання зводиться до знаходження значеньaі b, у яких функція має мінімум, тобто до дослідження функції двох незалежних зміннихaі bна мінімум. Для цього продиференціюємо поaі b:
Або Підставивши експериментальні дані і отримаємо систему двох лінійних рівнянь з двома невідомимиaі b. Вирішивши цю систему ми зможемо записати функцію . Переконаємося, що за знайдених значеньaі bмає мінімум. Для цього знайдемо, і: Отже, − = >0,
тобто. виконано достатню умову мінімуму функції двох змінних. Квадратична функція Нехай в експерименті отримано значення функції у точках. Нехай також на підставі апріорних відомостей є припущення, що функція є квадратичною: .
Потрібно знайти коефіцієнтиa,
bі c.Маємо У цьому випадку система (3) набуває вигляду: Або: Розв'язавши цю систему лінійних рівнянь, визначимо невідоміa,
b,
c.
приклад.Нехай на основі експерименту отримано чотири значення шуканої функції y = (x ) при чотирьох значеннях аргументу, які наведені у таблиці: Метод найменших квадратів Метод найменших квадратів ( МНК, OLS, Ordinary Least Squares)
- один із базових методів регресійного аналізу для оцінки невідомих параметрів регресійних моделей за вибірковими даними. Метод ґрунтується на мінімізації суми квадратів залишків регресії. Необхідно відзначити, що власне методом найменших квадратів можна назвати метод вирішення задачі в будь-якій області, якщо рішення полягає або задовольняє деякий критерій мінімізації суми квадратів деяких функцій від змінних, що шукаються. Тому метод найменших квадратів може застосовуватися також для наближеного представлення (апроксимації) заданої функції іншими (простішими) функціями, при знаходженні сукупності величин, що задовольняють рівнянь або обмежень, кількість яких перевищує кількість цих величин і т.д. Нехай задана деяка (параметрична) модель імовірнісної (регресійної) залежності між (з'ясованою) змінною yі безліччю факторів (що пояснюють змінних) x де - вектор невідомих параметрів моделі Нехай також є вибіркові спостереження значень вказаних змінних. Нехай – номер спостереження (). Тоді - значення змінних у спостереженні. Тоді при заданих значеннях параметрів b можна розрахувати теоретичні (модельні) значення змінної, що пояснюється y: Розмір залишків залежить від значень параметрів b. Сутність МНК (звичайного, класичного) у тому, щоб знайти такі параметри b, у яких сума квадратів залишків (англ. Residual Sum of Squares) буде мінімальною: У випадку вирішення цього завдання може здійснюватися чисельними методами оптимізації (мінімізації). У цьому випадку говорять про нелінійному МНК(NLS або NLLS – англ. Non-Linear Least Squares). У багатьох випадках можна одержати аналітичне рішення. Для вирішення задачі мінімізації необхідно знайти стаціонарні точки функції, продиференціювавши її за невідомими параметрами b, прирівнявши похідні до нуля і вирішивши отриману систему рівнянь: Якщо випадкові помилки моделі мають нормальний розподіл , мають однакову дисперсію і некорельовані між собою, МНК оцінки параметрів збігаються з оцінками методу максимальної правдоподібності (ММП). Нехай регресійна залежність є лінійною: Нехай y- Вектор-стовпець спостережень пояснюваної змінної, а - матриця спостережень факторів (рядки матриці - вектори значень факторів у даному спостереженні, по стовпцях - вектор значень даного фактора у всіх спостереженнях). Матричне уявлення лінійної моделі має вигляд: Тоді вектор оцінок змінної, що пояснюється, і вектор залишків регресії дорівнюватимуть відповідно сума квадратів залишків регресії дорівнюватиме Диференціюючи цю функцію за вектором параметрів та прирівнявши похідні до нуля, отримаємо систему рівнянь (у матричній формі): Вирішення цієї системи рівнянь і дає загальну формулу МНК-оцінок для лінійної моделі: Для аналітичних цілей виявляється корисним останнє уявлення цієї формули. Якщо у регресійній моделі дані центровані, то цьому поданні перша матриця має сенс вибіркової ковариационной матриці чинників, а друга - вектор ковариаций чинників із залежною змінною. Якщо дані ще й нормованіна СКО (тобто зрештою стандартизовано), то перша матриця має сенс вибіркової кореляційної матриці факторів, другий вектор - вектора вибіркових кореляцій факторів із залежною змінною. Важлива властивість МНК-оцінок для моделей з константою- лінія побудованої регресії проходить через центр тяжкості вибіркових даних, тобто виконується рівність: Зокрема, у крайньому випадку, коли єдиним регресором є константа, отримуємо, що МНК-оцінка єдиного параметра (власне константи) дорівнює середньому значенню змінної, що пояснюється. Тобто середнє арифметичне, відоме своїми добрими властивостями із законів великих чисел, також є МНК-оцінкою – задовольняє критерію мінімуму суми квадратів відхилень від неї. У разі парної лінійної регресії формули розрахунку спрощуються (можна обійтися без матричної алгебри): Насамперед, зазначимо, що для лінійних моделей МНК-оцінки є лінійними оцінками, як це випливає з вищенаведеної формули. Для незміщеності МНК-оцінок необхідно і достатньо виконання найважливішої умови регресійного аналізу: умовне за факторами математичне очікування випадкової помилки має дорівнювати нулю. Ця умова, зокрема, виконана, якщо Друга умова - умова екзогенності факторів - важлива. Якщо це властивість не виконано, можна вважати, що будь-які оцінки будуть вкрай незадовільними: де вони навіть заможними (тобто навіть дуже великий обсяг даних Демшевського не дозволяє отримати якісні оцінки у разі). У класичному випадку робиться сильніша припущення про детермінованість факторів, на відміну від випадкової помилки, що автоматично означає виконання умови екзогенності. У випадку для спроможності оцінок досить виконання умови екзогенності разом із збіжністю матриці до деякої невиродженої матриці зі збільшенням обсягу вибірки до нескінченності. Для того, щоб крім спроможності та незміщеності, оцінки (звичайного) МНК були ще й ефективними (найкращими в класі лінійних незміщених оцінок) необхідно виконання додаткових властивостей випадкової помилки: Дані припущення можна сформулювати для коварійної матриці вектора випадкових помилок Лінійна модель, що задовольняє такі умови, називається класичною. МНК-оцінки для класичної лінійної регресії є незміщеними, заможними та найбільш ефективними оцінками в класі всіх лінійних незміщених оцінок (в англомовній літературі іноді вживають абревіатуру BLUE (Best Linear Unbaised Estimator) - найкраща лінійна незміщена оцінка; у вітчизняній літературі найчастіше наводиться теорема Гауса – Маркова). Як неважко показати, ковариационная матриця вектора оцінок коефіцієнтів дорівнюватиме: Метод найменших квадратів припускає широке узагальнення. Замість мінімізації суми квадратів залишків можна мінімізувати деяку позитивно визначену квадратичну форму від вектора залишків де - деяка симетрична позитивно визначена вагова матриця. Звичайний МНК є окремим випадком даного підходу, коли вагова матриця пропорційна одиничній матриці. Як відомо з теорії симетричних матриць (або операторів) для таких матриць існує розкладання. Отже, зазначений функціонал можна уявити наступним чином , тобто цей функціонал можна як суму квадратів деяких перетворених «залишків». Отже, можна назвати клас методів найменших квадратів - LS-методи (Least Squares). Доведено (теорема Айткена), що для узагальненої лінійної регресійної моделі (у якій на коварійну матрицю випадкових помилок не накладається жодних обмежень) найефективнішими (у класі лінійних незміщених оцінок) є оцінки т.з. узагальненого МНК (ОМНК, GLS - Generalized Least Squares)- LS-метода з ваговою матрицею, що дорівнює зворотній коварійній матриці випадкових помилок: . Можна показати, що формула ОМНК оцінок параметрів лінійної моделі має вигляд Коваріаційна матриця цих оцінок відповідно дорівнюватиме Фактично сутність ОМНК полягає у певному (лінійному) перетворенні (P) вихідних даних та застосуванні звичайного МНК до перетворених даних. Ціль цього перетворення - для перетворених даних випадкові помилки вже задовольняють класичним припущенням. У випадку діагональної вагової матриці (а значить і матриці коварійної випадкових помилок) маємо так званий зважений МНК (WLS - Weighted Least Squares). У разі мінімізується зважена сума квадратів залишків моделі, тобто кожне спостереження отримує «вага», зворотно пропорційний дисперсії випадкової помилки у цьому спостереженні: . Фактично дані перетворюються зважуванням спостережень (розподілом на величину, пропорційну передбачуваному стандартному відхилення випадкових помилок), а зваженим даним застосовується звичайний МНК. Розглянемо випадок, коли в результаті вивчення залежності деякої скалярної величини від деякої скалярної величини (Це може бути, наприклад, залежність напруги від сили струму : де - постійна величина, опір провідника) було проведено вимірювань цих величин, в результаті яких були отримані значення і відповідні їм значення. Дані вимірювань мають бути записані у таблиці. Таблиця. Результати вимірів. Питання звучить так: яке значення коефіцієнта можна підібрати, щоб якнайкраще описати залежність? Згідно з МНК це значення має бути таким, щоб сума квадратів відхилень величин від величин була мінімальною Сума квадратів відхилень має один екстремум – мінімум, що дозволяє нам використовувати цю формулу. Знайдемо з цієї формули значення коефіцієнта. І тому перетворимо її ліву частину так: Остання формула дозволяє знайти значення коефіцієнта , що й потрібно завдання. На початок ХІХ ст. вчені у відсутності певних правил на вирішення системи рівнянь , у якій число невідомих менше, ніж число рівнянь; до цього часу використовувалися приватні прийоми, що залежали від виду рівнянь і від дотепності обчислювачів, і тому різні обчислювачі, виходячи з тих самих даних спостережень, приходили до різних висновків. Гаусс (1795) належить перше застосування методу, а Лежандр (1805) незалежно відкрив і опублікував його під сучасною назвою (фр. Méthode des moindres quarrés
). Лаплас пов'язав метод з теорією ймовірностей, а американський математик Едрейн (1808) розглянув його теоретико-імовірнісні додатки. Метод поширений і вдосконалений подальшими дослідженнями Енке, Бесселя, Ганзена та інших. Ідея методу найменших квадратів може бути використана також в інших випадках, які не пов'язані безпосередньо з регресійним аналізом. Справа в тому, що сума квадратів є одним із найпоширеніших заходів близькості для векторів (евклідова метрика в кінцевомірних просторах). Одне із застосувань - «вирішення» систем лінійних рівнянь, у яких число рівнянь більше числа змінних де матриця не квадратна, а прямокутна розміру. Така система рівнянь, у випадку немає рішення (якщо ранг насправді більше числа змінних). Тому цю систему можна «вирішити» тільки в сенсі вибору такого вектора, щоб мінімізувати «відстань» між векторами та . І тому можна застосувати критерій мінімізації суми квадратів різниць лівої та правої частин рівнянь системи, тобто . Неважко показати, що вирішення цього завдання мінімізації призводить до вирішення наступної системи рівнянь
дозволяє за заданими значеннями параметра хмати теоретичні значення результативної ознаки, підставляючи в нього фактичні значення фактора х.
через S, тоді:
Нелінійні економічні моделі. Нелінійні моделі регресії. Перетворення змінних.
,
параболи другого ступеня 
та ін.Розрізняють два класи нелінійних регресій:
, ;
- загальна сума квадратів відхилень;
- Сума квадратів відхилення пояснена регресією;
- Залишкова сума квадратів відхилення.
яке потім порівнюється з табличним значенням при певному рівні значущості та числі ступенів свободи ( n- 2).
залишається підібрати параметри, що входять до неїaі b.Зрозуміло, що кількість параметрів може бути більше двох, що характерно тільки для лінійних функцій. У загальному вигляді вважатимемо
.(1)
.
(2)
(3)
(4)
;
.
(5)
, 
, .
,
.
– функцію трьох зміннихa,
b,
c.
Сутність МНК
МНК у разі лінійної моделі
Приклад: найпростіша (парна) регресія
Властивості МНК-оцінок
Узагальнений МНК
Зважений МНК
Деякі окремі випадки застосування МНК на практиці
Апроксимація лінійної залежності
№ виміру
1
2
3
4
5
6
Історія
Альтернативне використання МНК
Завантаження...
