Програмиране

• урок

Въведение

Аз съм компютърен програмист. Направих най-големия скок в кариерата си, когато се научих да казвам: "Не разбирам нищо!"Сега не ме е срам да кажа на светилото на науката, че ми изнася лекция, че не разбирам за какво ми говори то, светилото. И е много трудно. Да, трудно и неудобно е да признаеш, че не знаеш. Който обича да признава, че не знае основите на нещо-там. По силата на професията ми се налага да посещавам голям брой презентации и лекции, където, признавам си, в по-голямата част от случаите ми се спи, защото нищо не разбирам. И не разбирам, защото огромният проблем на настоящата ситуация в науката се крие в математиката. Предполага се, че всички ученици са запознати с абсолютно всички области на математиката (което е абсурдно). Да признаеш, че не знаеш какво е производно (че това е малко по-късно) е срамота.

Но се научих да казвам, че не знам какво е умножение. Да, не знам какво е подалгебра върху алгебра на Лъжа. Да, не знам защо ти трябва в живота квадратни уравнения. Между другото, ако сте сигурни, че знаете, тогава имаме за какво да говорим! Математиката е поредица от трикове. Математиците се опитват да объркат и сплашат обществеността; където няма объркване, няма репутация, няма авторитет. Да, престижно е да се говори на възможно най-абстрактен език, което само по себе си е пълна глупост.

Знаете ли какво е производно? Най-вероятно ще ми кажете за границата на отношението на разликата. В първата година по математика в Санкт Петербургския държавен университет Виктор Петрович Хавин ме дефиниранипроизводна като коефициент на първия член от реда на Тейлър на функцията в точката (това беше отделна гимнастика да се определи редът на Тейлър без производни). Дълго се смях на това определение, докато накрая разбрах за какво става дума. Производната не е нищо повече от просто мярка за това доколко функцията, която диференцираме, е подобна на функцията y=x, y=x^2, y=x^3.

Сега имам честта да изнасям лекции на студенти, които страхувам сематематика. Ако те е страх от математиката - ние сме на път. Щом се опитате да прочетете някакъв текст и ви се струва, че е прекалено сложен, знайте, че е лошо написан. Твърдя, че няма нито една област на математиката, за която не може да се говори "на пръсти", без да се губи точност.

Предизвикателството за близкото бъдеще: Инструктирах моите ученици да разберат какво е линейно-квадратичен контролер. Не се срамувайте, губете три минути от живота си, последвайте връзката. Ако не разбирате нищо, значи сме на път. Аз (професионален математик-програмист) също нищо не разбрах. И уверявам ви, това може да се реши "на пръсти". В момента не знам какво е, но ви уверявам, че ще успеем да го разберем.

И така, първата лекция, която ще изнеса на моите студенти, след като те дотичаха при мен ужасени с думите, че линейно-квадратичният контролер е ужасен бъг, който никога няма да овладеете в живота си, е методи най-малки квадрати . Можете ли да решите линейни уравнения? Ако четете този текст, най-вероятно не.

И така, при дадени две точки (x0, y0), (x1, y1), например (1,1) и (3,2), задачата е да се намери уравнението на права линия, минаваща през тези две точки:

илюстрация

Тази права линия трябва да има уравнение като следното:

Тук алфа и бета са неизвестни за нас, но две точки от тази линия са известни:

Можете да напишете това уравнение в матрична форма:

Тук трябва да направите лирическо отклонение: какво е матрица? Матрицата не е нищо друго освен двуизмерен масив. Това е начин за съхраняване на данни, не трябва да му се дават повече стойности. От нас зависи как точно да интерпретираме дадена матрица. Периодично ще го интерпретирам като линейно картографиране, периодично като квадратна форма, а понякога просто като набор от вектори. Всичко това ще бъде изяснено в контекста.

Нека заменим конкретни матрици с тяхното символно представяне:

Тогава (алфа, бета) могат лесно да бъдат намерени:

По-конкретно за нашите предишни данни:

Което води до следното уравнение на права линия, минаваща през точките (1,1) и (3,2):

Добре, тук всичко е ясно. И нека намерим уравнението на права линия, минаваща през нея триточки: (x0,y0), (x1,y1) и (x2,y2):

О-о-о, но имаме три уравнения за две неизвестни! Стандартният математик ще каже, че няма решение. Какво ще каже програмистът? И той първо ще пренапише предишната система от уравнения в следната форма:

В нашия случай вектори i,j,bследователно триизмерен (в общ случай) няма решение за тази система. Всеки вектор (алфа\*i + бета\*j) лежи в равнината, обхваната от векторите (i, j). Ако b не принадлежи на тази равнина, тогава няма решение (не може да се постигне равенство в уравнението). Какво да правя? Да потърсим компромис. Нека означим с e(алфа, бета)как точно не постигнахме равенство:

И ние ще се опитаме да минимизираме тази грешка:

Защо квадрат?

Ние търсим не просто минимума на нормата, а минимума на квадрата на нормата. Защо? Самата минимална точка съвпада, а квадратът дава гладка функция (квадратична функция на аргументите (алфа,бета)), докато само дължината дава функция под формата на конус, недиференцируема в минималната точка. брр. Квадратът е по-удобен.

Очевидно грешката е сведена до минимум, когато векторът дортогонална на равнината, обхваната от векторите азИ й.

Илюстрация

С други думи: търсим права, така че сумата от квадратите на дължините на разстоянията от всички точки до тази права да е минимална:

АКТУАЛИЗАЦИЯ: тук имам проблем, разстоянието до линията трябва да се измерва вертикално, а не ортографска проекция. прав е коментиращият.

Илюстрация

С напълно различни думи (внимателно, зле формализирани, но трябва да е ясно на пръстите): вземаме всички възможни линии между всички двойки точки и търсим средната линия между всички:

Илюстрация

Друго обяснение на пръстите: прикрепяме пружина между всички точки от данни (тук имаме три) и линията, която търсим, и линията на равновесното състояние е точно това, което търсим.

Квадратична форма минимум

И така, даден вектор bи равнината, обхваната от колоните-вектори на матрицата А(в този случай (x0,x1,x2) и (1,1,1)), ние търсим вектор дс минимална квадратна дължина. Очевидно минимумът е постижим само за вектора д, ортогонална на равнината, обхваната от колоните-вектори на матрицата А:

С други думи, ние търсим вектор x=(алфа, бета), така че:

Напомням ви, че този вектор x=(алфа, бета) е минимумът квадратична функция||e(алфа, бета)||^2:

Тук е полезно да запомните, че матрицата може да се интерпретира, както и квадратната форма, например матрицата на идентичност ((1,0),(0,1)) може да се интерпретира като функция от x^2 + y ^2:

квадратна форма

Цялата тази гимнастика е известна като линейна регресия.

Уравнение на Лаплас с гранично условие на Дирихле

Сега най-простият реален проблем: има определена триъгълна повърхност, необходимо е да я изгладите. Например, нека заредим моя модел на лице:

Оригиналният ангажимент е наличен. За да минимизирам външните зависимости, взех кода на моя софтуерен рендер, който вече е на Habré. За решения линейна системаИзползвам OpenNL, той е страхотен софтуер за решаване на проблеми, но е наистина труден за инсталиране: трябва да копирате два файла (.h+.c) в папката на вашия проект. Цялото изглаждане се извършва от следния код:

За (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&лице = лица[i]; за (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Координатите X, Y и Z са разделими, изглаждам ги отделно. Тоест, решавам три системи от линейни уравнения, всяка със същия брой променливи като броя на върховете в моя модел. Първите n реда на матрица A имат само едно 1 на ред, а първите n реда на вектор b имат оригинални координати на модела. Това означава, че свързвам новата позиция на върха и старата позиция на върха - новите не трябва да са твърде далеч от старите.

Всички следващи редове на матрица A (faces.size()*3 = броят на ръбовете на всички триъгълници в мрежата) имат едно появяване на 1 и едно появяване на -1, докато векторът b има нулеви противоположни компоненти. Това означава, че поставям пружина на всеки ръб на нашата триъгълна мрежа: всички ръбове се опитват да получат същия връх като техните начална и крайна точка.

Още веднъж: всички върхове са променливи и не могат да се отклонят далеч от първоначалната си позиция, но в същото време се опитват да станат подобни един на друг.

Ето резултата:

Всичко би било наред, моделът наистина е изгладен, но се отдалечи от първоначалния си ръб. Нека променим малко кода:

За (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

В нашата матрица A, за върховете, които са на ръба, добавям не ред от категорията v_i = verts[i][d], а 1000*v_i = 1000*verts[i][d]. Какво променя? И това променя нашата квадратична форма на грешката. Сега едно отклонение от върха на ръба ще струва не една единица, както преди, а 1000 * 1000 единици. Тоест, окачихме по-силна пружина на крайните върхове, решението предпочита да опъне други по-силно. Ето резултата:

Нека удвоим силата на пружините между върховете:
nlКоефициент(лице[j], 2); nlКоефициент(лице[(j+1)%3], -2);

Логично е, че повърхността е станала по-гладка:

И сега дори сто пъти по-силен:

Какво е това? Представете си, че сме потопили телеен пръстен в сапунена вода. В резултат на това полученият сапунен филм ще се опита да има възможно най-малко кривина, докосвайки същата граница - нашия телеен пръстен. Точно това получихме, като фиксирахме границата и поискахме гладка повърхност отвътре. Поздравления, току-що решихме уравнението на Лаплас с гранични условия на Дирихле. Звучи яко? Но всъщност трябва да се реши само една система от линейни уравнения.

Уравнение на Поасон

Нека имаме още едно готино име.

Да приемем, че имам изображение като това:

Всички са добри, но столът не ми харесва.

Нарязах снимката наполовина:

И ще избера стол с ръцете си:

След това ще плъзна всичко, което е бяло в маската в лявата страна на картината, като в същото време ще кажа в цялата картина, че разликата между два съседни пиксела трябва да е равна на разликата между два съседни пиксела на дясно изображение:

За (int i=0; i

Ето резултата:

Налични са код и снимки

Апроксимацията на експериментални данни е метод, основан на замяната на експериментално получени данни с аналитична функция, която най-близо преминава или съвпада в възловите точки с първоначалните стойности (данни, получени по време на експеримента или експеримента). Понастоящем има два начина за дефиниране на аналитична функция:

Чрез конструиране на интерполационен полином от n степен, който преминава директно през всички точкидаден масив от данни. В този случай апроксимиращата функция се представя като: интерполационен полином във формата на Лагранж или интерполационен полином във формата на Нютон.

Чрез конструиране на апроксимиращ полином от n-степен, който преминава близо до точкиот дадения масив от данни. По този начин апроксимиращата функция изглажда всички произволни шумове (или грешки), които могат да възникнат по време на експеримента: измерените стойности по време на експеримента зависят от случайни фактори, които се колебаят според собствените си случайни закони (измерване или грешки на инструмента, неточност или експериментални грешки). В този случай апроксимиращата функция се определя по метода на най-малките квадрати.

Метод на най-малките квадрати(в англоезичната литература Ordinary Least Squares, OLS) е математически метод, базиран на дефинирането на апроксимираща функция, която се изгражда в най-близка близост до точки от даден масив от експериментални данни. Близостта на началната и апроксимиращата функция F(x) се определя чрез числена мярка, а именно: сумата от квадратите на отклоненията на експерименталните данни от апроксимиращата крива F(x) трябва да бъде най-малка.

Фитингова крива, конструирана по метода на най-малките квадрати

Използва се методът на най-малките квадрати:

За решаване на свръхопределени системи от уравнения, когато броят на уравненията надвишава броя на неизвестните;

Да се ​​търси решение в случай на обикновени (не свръхопределени) нелинейни системи от уравнения;

За приближаване на точкови стойности чрез някаква апроксимираща функция.

Апроксимиращата функция по метода на най-малките квадрати се определя от условието за минималната сума на квадратите на отклоненията на изчислената апроксимираща функция от даден масив от експериментални данни. Този критерий на метода на най-малките квадрати се записва като следния израз:

Стойности на изчислената апроксимираща функция в възлови точки,

Определен масив от експериментални данни в възлови точки.

Квадратният критерий има редица „добри“ свойства, като например диференцируемост, предоставяйки уникално решение на проблема с приближението с полиномиални апроксимиращи функции.

В зависимост от условията на задачата, апроксимиращата функция е полином от степен m

Степента на апроксимиращата функция не зависи от броя на възловите точки, но нейният размер винаги трябва да бъде по-малък от размерността (броя точки) на дадения масив от експериментални данни.

∙ Ако степента на апроксимиращата функция е m=1, тогава апроксимираме табличната функция с права линия (линейна регресия).

∙ Ако степента на апроксимиращата функция е m=2, тогава апроксимираме табличната функция с квадратна парабола (квадратично приближение).

∙ Ако степента на апроксимиращата функция е m=3, тогава апроксимираме табличната функция с кубична парабола (кубична апроксимация).

В общия случай, когато се изисква да се построи апроксимиращ полином от степен m за дадени таблични стойности, условието за минималната сума на квадратите на отклонения по всички възлови точки се пренаписва в следната форма:

- неизвестни коефициенти на апроксимиращия полином от степен m;

Броят на зададените стойности на таблицата.

Необходимо условие за съществуването на минимум на функция е равенството на нула на нейните частни производни по отношение на неизвестни променливи . В резултат на това получаваме следната система от уравнения:

Нека трансформираме получената линейна система от уравнения: отворете скобите и преместете свободните членове в дясната страна на израза. В резултат на това получената система от линейни алгебрични изрази ще бъде записана в следната форма:

Тази система от линейни алгебрични изрази може да бъде пренаписана в матрична форма:

В резултат на това се получава система от линейни уравнения с размерност m + 1, която се състои от m + 1 неизвестни. Тази система може да бъде решена с помощта на всеки метод за решаване на линейни алгебрични уравнения (например методът на Гаус). В резултат на решението ще бъдат намерени неизвестни параметри на апроксимиращата функция, които осигуряват минималната сума на квадратите на отклоненията на апроксимиращата функция от оригиналните данни, т.е. най-доброто възможно квадратично приближение. Трябва да се помни, че ако дори една стойност на първоначалните данни се промени, всички коефициенти ще променят стойностите си, тъй като те са напълно определени от първоначалните данни.

Апроксимация на изходни данни чрез линейна зависимост

(линейна регресия)

Като пример, разгледайте метода за определяне на апроксимиращата функция, който е даден като линейна зависимост. В съответствие с метода на най-малките квадрати условието за минималната сума на квадратите на отклоненията се записва, както следва:

Координати на възлови точки на таблицата;

Неизвестни коефициенти на апроксимиращата функция, която е дадена като линейна зависимост.

Необходимо условие за съществуването на минимум на функция е равенството на нула на нейните частни производни по отношение на неизвестни променливи. В резултат на това получаваме следната система от уравнения:

Нека трансформираме получената линейна система от уравнения.

Решаваме получената система от линейни уравнения. Коефициентите на апроксимиращата функция в аналитичната форма се определят, както следва (метод на Крамер):

Тези коефициенти осигуряват изграждането на линейна апроксимираща функция в съответствие с критерия за минимизиране на сумата от квадратите на апроксимиращата функция от дадени таблични стойности (експериментални данни).

Алгоритъм за прилагане на метода на най-малките квадрати

1. Изходни данни:

Даден е масив от експериментални данни с брой измервания N

Дадена е степента на апроксимиращия полином (m).

2. Алгоритъм за изчисление:

2.1. Определят се коефициенти за построяване на система от уравнения с размерност

Коефициенти на системата от уравнения (лявата страна на уравнението)

- индекс на номера на колоната на квадратната матрица на системата от уравнения

Свободни членове на системата от линейни уравнения (дясната страна на уравнението)

- индекс на номера на реда на квадратната матрица на системата от уравнения

2.2. Образуване на система от линейни уравнения с размерност .

2.3. Решение на система от линейни уравнения за определяне на неизвестните коефициенти на апроксимиращия полином от степен m.

2.4 Определяне на сумата от квадратните отклонения на апроксимиращия полином от първоначалните стойности по всички възлови точки

Намерената стойност на сумата от квадратите на отклоненията е минималната възможна.

Апроксимация с други функции

Трябва да се отбележи, че при приближаване на първоначалните данни в съответствие с метода на най-малките квадрати, понякога се използват логаритмична функция, експоненциална функция и степенна функция като апроксимираща функция.

Логично приближение

Разгледайте случая, когато апроксимиращата функция е дадена от логаритмична функция от формата:

Има много приложения, тъй като позволява приблизително представяне на дадена функция от други по-прости. LSM може да бъде изключително полезен при обработката на наблюдения и се използва активно за оценка на някои количества от резултатите от измервания на други, съдържащи случайни грешки. В тази статия ще научите как да прилагате изчисления на най-малките квадрати в Excel.

Постановка на проблема на конкретен пример

Да предположим, че има два индикатора X и Y. Освен това Y зависи от X. Тъй като OLS представлява интерес за нас от гледна точка на регресионния анализ (в Excel неговите методи се изпълняват с помощта на вградени функции), трябва незабавно да продължим за разглеждане на конкретен проблем.

И така, нека X е търговската площ на магазин за хранителни стоки, измерена в квадратни метри, а Y е годишният оборот, определен в милиони рубли.

Изисква се да се направи прогноза какъв оборот (Y) ще има магазинът, ако има една или друга търговска площ. Очевидно функцията Y = f (X) нараства, тъй като хипермаркетът продава повече стоки от щанда.

Няколко думи за коректността на първоначалните данни, използвани за прогнозиране

Да кажем, че имаме изградена таблица с данни за n магазина.

Според математическата статистика резултатите ще бъдат повече или по-малко верни, ако се изследват данните за поне 5-6 обекта. Освен това не могат да се използват "аномални" резултати. По-специално, елитен малък бутик може да има оборот многократно по-голям от оборота на големите магазини от класа „masmarket“.

Същността на метода

Данните от таблицата могат да бъдат показани в декартовата равнина като точки M 1 (x 1, y 1), ... M n (x n, y n). Сега решението на задачата ще се сведе до избора на апроксимираща функция y = f (x), която има графика, минаваща възможно най-близо до точките M 1, M 2, .. M n .

Разбира се, можете да използвате полином с висока степен, но тази опция е не само трудна за изпълнение, но и просто неправилна, тъй като няма да отразява основната тенденция, която трябва да бъде открита. Най-разумното решение е да се търси права линия y = ax + b, която най-добре приближава експерименталните данни и по-точно коефициентите - a и b.

Резултат за точност

За всяка апроксимация оценката на нейната точност е от особено значение. Означаваме с e i разликата (отклонението) между функционалните и експерименталните стойности за точката x i, т.е. e i = y i - f (x i).

Очевидно е, че за да оцените точността на приближението, можете да използвате сумата от отклонения, т.е. когато избирате права линия за приблизително представяне на зависимостта на X от Y, трябва да се даде предпочитание на тази, която има най-малката стойност на сумата e i във всички разглеждани точки. Не всичко обаче е толкова просто, тъй като наред с положителните отклонения на практика ще има отрицателни.

Можете да решите проблема, като използвате модулите за отклонение или техните квадрати. Последният метод е най-широко използван. Използва се в много области, включително регресионен анализ (в Excel внедряването му се извършва с помощта на две вградени функции) и отдавна е доказано, че е ефективен.

Метод на най-малките квадрати

В Excel, както знаете, има вградена функция за автоматично събиране, която ви позволява да изчислявате стойностите на всички стойности, разположени в избрания диапазон. Така нищо няма да ни попречи да изчислим стойността на израза (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

В математическа нотация това изглежда така:

Тъй като първоначално беше взето решение за приблизително използване на права линия, имаме:

По този начин задачата за намиране на права линия, която най-добре описва специфична връзка между X и Y, се свежда до изчисляване на минимума на функция от две променливи:

Това изисква приравняване на нула частни производни по отношение на нови променливи a и b и решаване на примитивна система, състояща се от две уравнения с 2 неизвестни от вида:

След прости трансформации, включително деление на 2 и манипулиране на сумите, получаваме:

Решавайки го, например, по метода на Крамер, получаваме стационарна точка с определени коефициенти a * и b * . Това е минимумът, т.е., за да се предвиди какъв оборот ще има магазинът за определен район, е подходяща правата линия y = a * x + b *, която е регресионен модел за въпросния пример. Разбира се, това няма да ви позволи да намерите точния резултат, но ще ви помогне да получите представа дали закупуването на магазин на кредит за определен район ще се изплати.

Как да приложим метода на най-малките квадрати в Excel

Excel има функция за изчисляване на стойността на най-малките квадрати. Има следната форма: ТЕНДЕНЦИЯ (известни Y стойности; известни X стойности; нови X стойности; константа). Нека приложим формулата за изчисляване на OLS в Excel към нашата таблица.

За да направите това, в клетката, в която трябва да се покаже резултатът от изчислението по метода на най-малките квадрати в Excel, въведете знака "=" и изберете функцията "TREND". В прозореца, който се отваря, попълнете съответните полета, като маркирате:

• диапазон от известни стойности за Y (в този случай данни за оборот);
• диапазон x 1 , …x n , т.е. размерът на търговската площ;
• и известни и неизвестни стойности на x, за които трябва да разберете размера на оборота (за информация относно тяхното местоположение в работния лист вижте по-долу).

Освен това във формулата има логическа променлива "Const". Ако въведете 1 в полето, съответстващо на него, това ще означава, че трябва да се извършат изчисления, като се приеме, че b \u003d 0.

Ако трябва да знаете прогнозата за повече от една стойност x, тогава след въвеждане на формулата не трябва да натискате "Enter", а трябва да въведете комбинацията "Shift" + "Control" + "Enter" ("Enter" ) на клавиатурата.

Някои функции

Регресионният анализ може да бъде достъпен дори за манекени. Формулата на Excel за прогнозиране на стойността на масив от неизвестни променливи - "TREND" - може да се използва дори от тези, които никога не са чували за метода на най-малките квадрати. Достатъчно е само да знаете някои характеристики на работата му. В частност:

• Ако поставите диапазона от известни стойности на променливата y в един ред или колона, тогава всеки ред (колона) с известни стойности на x ще се възприема от програмата като отделна променлива.
• Ако диапазонът с известен x не е посочен в прозореца TREND, тогава в случай на използване на функцията в Excel, програмата ще го разглежда като масив, състоящ се от цели числа, чийто брой съответства на диапазона с дадените стойности на променливата y.
• За да изведете масив от „предсказани“ стойности, изразът на тренда трябва да бъде въведен като формула за масив.
• Ако не са посочени нови x стойности, тогава функцията TREND ги счита за равни на известните. Ако те не са посочени, тогава масив 1 се приема като аргумент; 2; 3; 4;…, което е съизмеримо с диапазона с вече зададени параметри y.
• Диапазонът, съдържащ новите x стойности, трябва да има същите или повече редове или колони като диапазона с дадените y стойности. С други думи, трябва да е пропорционален на независимите променливи.
• Масив с известни x стойности може да съдържа множество променливи. Ако обаче говорим само за един, тогава се изисква диапазоните с дадените стойности на x и y да са съизмерими. В случай на няколко променливи е необходимо диапазонът с дадените стойности на y да се побере в една колона или един ред.

Функция ПРОГНОЗА

Реализира се с помощта на няколко функции. Една от тях се нарича „ПРЕДСКАЗАНЕ“. Той е подобен на TREND, т.е. дава резултат от изчисления, използвайки метода на най-малките квадрати. Но само за един X, за който стойността на Y е неизвестна.

Вече знаете формулите на Excel за манекени, които ви позволяват да предскажете стойността на бъдещата стойност на индикатор според линейна тенденция.

Което намира най-широко приложение в различни области на науката и практиката. Това може да бъде физика, химия, биология, икономика, социология, психология и така нататък и така нататък. По волята на съдбата често ми се налага да се справям с икономиката и затова днес ще ви уредя билет до една невероятна страна, наречена Иконометрия=) … Как не искаш?! Там е много добре - само трябва да решите! …Но това, което вероятно определено искате, е да се научите как да решавате проблеми най-малки квадрати. И особено прилежните читатели ще се научат да ги решават не само точно, но и МНОГО БЪРЗО ;-) Но първо общо изложение на проблема+ свързан пример:

Нека в някаква предметна област се изучават показатели, които имат количествен израз. В същото време има всички основания да се смята, че индикаторът зависи от индикатора. Това предположение може да бъде както научна хипотеза, така и базирано на елементарен здрав разум. Да оставим науката настрана обаче и да разгледаме по-апетитните области – а именно хранителните магазини. Означава се с:

– търговска площ на магазин за хранителни стоки, кв.м.
- годишен оборот на магазин за хранителни стоки, милиона рубли.

Съвсем ясно е, че колкото по-голяма е площта на магазина, толкова по-голям е неговият оборот в повечето случаи.

Да предположим, че след провеждане на наблюдения / експерименти / изчисления / танци с тамбура имаме на разположение числени данни:

С магазините за хранителни стоки мисля, че всичко е ясно: - това е площта на 1-ви магазин, - годишният му оборот, - площта на 2-ри магазин, - годишният му оборот и т.н. Между другото, изобщо не е необходимо да имате достъп до класифицирани материали - доста точна оценка на оборота може да се получи с помощта на математическа статистика. Въпреки това, не се разсейвайте, курсът на търговския шпионаж вече е платен =)

Табличните данни също могат да бъдат записани под формата на точки и изобразени по обичайния за нас начин. Декартова система .

Да отговорим на един важен въпрос: колко точки са необходими за качествено изследване?

Колкото по-голям, толкова по-добре. Минималният допустим набор се състои от 5-6 точки. Освен това, при малко количество данни, „ненормалните“ резултати не трябва да се включват в извадката. Така например малък елитен магазин може да помогне с порядъци повече от „техните колеги“, като по този начин изкриви общия модел, който трябва да се намери!

Ако е съвсем просто, трябва да изберем функция, графиккойто минава възможно най-близо до точките . Такава функция се нарича приближаващ (приближение - приближение)или теоретична функция . Най-общо казано, тук веднага се появява очевиден "претендент" - полином от висока степен, чиято графика минава през ВСИЧКИ точки. Но тази опция е сложна и често просто неправилна. (тъй като графиката ще се „вие“ през цялото време и ще отразява слабо основната тенденция).

Така желаната функция трябва да бъде достатъчно проста и в същото време да отразява адекватно зависимостта. Както може би се досещате, един от методите за намиране на такива функции се нарича най-малки квадрати. Първо, нека анализираме най-общо неговата същност. Нека някаква функция апроксимира експерименталните данни:


Как да оценим точността на това приближение? Нека изчислим и разликите (отклоненията) между експерименталните и функционалните стойности (изучаваме чертежа). Първата мисъл, която идва на ум, е да преценим колко голяма е сумата, но проблемът е, че разликите могат да бъдат отрицателни. (Например, ) и отклоненията в резултат на такова сумиране ще се компенсират взаимно. Следователно, като оценка на точността на приближението, се предлага да се вземе сумата модулиотклонения:

или в сгънат вид: (изведнъж, кой не знае: е иконата на сумата и е спомагателна променлива - „брояч“, която приема стойности от 1 до ).

Чрез приближаване на експерименталните точки с различни функции, ще получим различни стойности на и е очевидно, че когато тази сума е по-малка, тази функция е по-точна.

Такъв метод съществува и се нарича метод на най-малък модул. На практика обаче той стана много по-разпространен. метод на най-малките квадрати, при които възможните отрицателни стойности се елиминират не чрез модула, а чрез квадратиране на отклоненията:

, след което усилията се насочват към избор на такава функция, че сумата от квадратите на отклоненията беше възможно най-малък. Всъщност оттам идва и името на метода.

И сега се връщаме към друг важен момент: както беше отбелязано по-горе, избраната функция трябва да е доста проста - но има и много такива функции: линеен , хиперболичен, експоненциален, логаритмичен, квадратна и т.н. И, разбира се, тук веднага бих искал да „намаля сферата на дейност“. Какъв клас функции да избера за изследване? Примитивна, но ефективна техника:

- Най-лесният начин за теглене на точки върху чертежа и анализирайте местоположението им. Ако те са склонни да бъдат в права линия, тогава трябва да потърсите уравнение на права линия с оптимални стойности и . С други думи, задачата е да се намерят ТАКИВА коефициенти - така че сумата на квадратите на отклоненията да е най-малка.

Ако точките са разположени, например, по хипербола, тогава е ясно, че линейната функция ще даде лошо приближение. В този случай ние търсим най-„благоприятните“ коефициенти за уравнението на хипербола - тези, които дават минималния сбор от квадрати .

Сега забележете, че и в двата случая говорим функции на две променливи, чиито аргументи са търсени опции за зависимост:

И по същество трябва да решим една стандартна задача - да намерим минимум на функция на две променливи.

Спомнете си нашия пример: да предположим, че точките "магазин" са склонни да бъдат разположени в права линия и има всички основания да се смята, че присъствието линейна зависимостоборот от търговската площ. Нека намерим ТАКИВА коефициенти "a" и "be", така че сумата от квадратите на отклоненията беше най-малкият. Всичко както обикновено - първо частни производни от 1-ви ред. Според правило за линейностможете да разграничите точно под иконата за сума:

Ако искате да използвате тази информация за есе или курсова работа, ще бъда много благодарен за връзката в списъка с източници, няма да намерите толкова подробни изчисления никъде:

Нека направим стандартна система:

Ние намаляваме всяко уравнение с „две“ и в допълнение „разбиваме“ сумите:

Забележка : независимо анализирайте защо "a" и "be" могат да бъдат извадени от иконата за сума. Между другото, формално това може да стане със сумата

Нека пренапишем системата в "приложена" форма:

след което алгоритъмът за решаване на нашия проблем започва да се чертае:

Знаем ли координатите на точките? Ние знаем. Суми можем ли да намерим? Лесно. Ние съставяме най-простите система от две линейни уравнения с две неизвестни("a" и "beh"). Решаваме системата, напр. Методът на Крамер, което води до неподвижна точка. Проверка достатъчно условие за екстремум, можем да проверим, че в този момент функцията достига точно минимум. Проверката е свързана с допълнителни изчисления и затова ще я оставим зад кулисите. (при необходимост може да се види липсващата рамка). Правим окончателното заключение:

функция по най-добрия начин (поне в сравнение с всяка друга линейна функция)сближава експерименталните точки . Грубо казано, неговата графика минава възможно най-близо до тези точки. В традицията иконометрияполучената апроксимираща функция също се нарича уравнение на двойка линейна регресия .

Разглежданият проблем е от голямо практическо значение. В ситуацията с нашия пример, уравнението ви позволява да предвидите какъв оборот ("yig")ще бъде в магазина с една или друга стойност на търговската площ (едно или друго значение на "х"). Да, получената прогноза ще бъде само прогноза, но в много случаи ще се окаже доста точна.

Ще анализирам само една задача с "реални" числа, тъй като в нея няма трудности - всички изчисления са на нивото на училищната програма в 7-8 клас. В 95 процента от случаите ще бъдете помолени да намерите само линейна функция, но в самия край на статията ще покажа, че не е по-трудно да намерите уравненията за оптималната хипербола, експонента и някои други функции.

Всъщност остава да раздадете обещаните екстри - за да се научите как да решавате такива примери не само точно, но и бързо. Ние внимателно изучаваме стандарта:

Задача

В резултат на изследване на връзката между два показателя бяха получени следните двойки числа:

Използвайки метода на най-малките квадрати, намерете линейната функция, която най-добре приближава емпиричната (опитен)данни. Направете чертеж, на който в декартова правоъгълна координатна система нанесете експериментални точки и графика на апроксимиращата функция . Намерете сумата от квадратите на отклоненията между емпиричните и теоретичните стойности. Разберете дали функцията е по-добра (по метода на най-малките квадрати)приблизителни експериментални точки.

Имайте предвид, че стойностите на "x" са естествени стойности и това има характерно смислено значение, за което ще говоря малко по-късно; но те, разбира се, могат да бъдат дробни. Освен това, в зависимост от съдържанието на конкретна задача, стойностите на "X" и "G" могат да бъдат напълно или частично отрицателни. Е, дадена ни е „безлична“ задача и я започваме решение:

Намираме коефициентите на оптималната функция като решение на системата:

За целите на по-компактно записване, променливата „брояч“ може да бъде пропусната, тъй като вече е ясно, че сумирането се извършва от 1 до .

По-удобно е да се изчислят необходимите количества в таблична форма:


Изчисленията могат да се извършват на микрокалкулатор, но е много по-добре да използвате Excel - както по-бързо, така и без грешки; вижте кратко видео:

Така получаваме следното система:

Тук можете да умножите второто уравнение по 3 и извадете 2-то от 1-вото уравнение член по член. Но това е късмет - на практика системите често не са надарени и в такива случаи спестява Методът на Крамер:
, така че системата има уникално решение.

Да направим проверка. Разбирам, че не искам, но защо пропускате грешки, когато абсолютно не можете да ги пропуснете? Заместете намереното решение в лявата част на всяко уравнение на системата:

Получават се правилните части на съответните уравнения, което означава, че системата е решена правилно.

Така желаната апроксимираща функция: – от всички линейни функцииексперименталните данни се апроксимират най-добре с него.

За разлика от прав зависимост на оборота на магазина от неговата площ, установената зависимост е обратен (принцип "колкото повече - толкова по-малко"), и този факт веднага се разкрива от негатива ъглов коефициент. функция ни информира, че при увеличение на даден показател с 1 единица стойността на зависимия показател намалява средно аритметичнос 0,65 единици. Както се казва, колкото по-висока е цената на елдата, толкова по-малко се продава.

За да начертаем апроксимиращата функция, намираме две нейни стойности:

и изпълнете чертежа:


Построената линия се нарича тренд линия (а именно линейна линия на тенденция, т.е. в общия случай тенденцията не е непременно права линия). Всеки е запознат с израза „да си в тенденция“ и смятам, че този термин не се нуждае от допълнителни коментари.

Изчислете сумата на квадратите на отклоненията между емпирични и теоретични стойности. Геометрично това е сумата от квадратите на дължините на "пурпурните" сегменти (две от които са толкова малки, че дори не можете да ги видите).

Нека обобщим изчисленията в таблица:


Те отново могат да се извършват ръчно, за всеки случай ще дам пример за 1-ва точка:

но е много по-ефективно да направите вече познатия начин:

Да повторим: какво е значението на резултата?от всички линейни функциифункция показателят е най-малкият, т.е. това е най-доброто приближение в своето семейство. И тук, между другото, последният въпрос на проблема не е случаен: какво ще стане, ако предложената експоненциална функция ще бъде ли по-добре да се приближат експерименталните точки?

Да намерим съответната сума на квадратите на отклоненията - за да ги различим, ще ги обознача с буквата "епсилон". Техниката е абсолютно същата:


И отново за всяко изчисление на пожар за 1-ва точка:

В Excel използваме стандартната функция EXP (Синтаксисът може да бъде намерен в помощта на Excel).

Заключение: , така че експоненциалната функция приближава експерименталните точки по-лошо от правата линия .

Но тук трябва да се отбележи, че "по-лошо" е още не означава, Какво не е наред. Сега построих графика на тази експоненциална функция - и тя също минава близо до точките - толкова много, че без аналитично изследване е трудно да се каже коя функция е по-точна.

Това завършва решението и се връщам към въпроса за естествените стойности на аргумента. В различни изследвания, като правило, икономически или социологически, месеци, години или други равни интервали от време се номерират с естествено "Х". Помислете например за такъв проблем.

Метод на най-малките квадратисе използва за оценка на параметрите на регресионното уравнение.

Брой линии (първоначални данни)

Един от методите за изследване на стохастичните връзки между характеристиките е регресионният анализ.
Регресионният анализ е извеждането на регресионно уравнение, което се използва за намиране на средната стойност на случайна променлива (характеристика-резултат), ако е известна стойността на друга (или други) променливи (характеристики-фактори). Тя включва следните стъпки:

1. избор на формата на връзката (тип уравнение на аналитична регресия);
2. оценка на параметрите на уравнението;
3. оценка на качеството на аналитичното регресионно уравнение.

Най-често се използва линейна форма за описание на статистическата връзка на характеристиките. Вниманието към линейната връзка се обяснява с ясна икономическа интерпретация на нейните параметри, ограничена от вариацията на променливите и от факта, че в повечето случаи нелинейните форми на връзката се преобразуват (чрез вземане на логаритъм или промяна на променливи) в линейна форма за извършване на изчисления.
В случай на линейна връзка по двойка, регресионното уравнение ще приеме формата: y i =a+b·x i +u i . Параметрите на това уравнение a и b се оценяват от данните от статистическото наблюдение x и y. Резултатът от такава оценка е уравнението: , където , - оценки на параметрите a и b , - стойността на ефективната характеристика (променлива), получена от регресионното уравнение (изчислена стойност).

Най-често използваният за оценка на параметъра е метод на най-малките квадрати (LSM).
Методът на най-малките квадрати дава най-добрите (последователни, ефективни и безпристрастни) оценки на параметрите на регресионното уравнение. Но само ако са изпълнени определени допускания относно произволния член (u) и независимата променлива (x) (вижте допусканията на OLS).

Проблемът за оценка на параметрите на уравнение на линейна двойка по метода на най-малките квадратисе състои в следното: да се получат такива оценки на параметрите , , при които сумата от квадратните отклонения на действителните стойности на ефективната характеристика - y i от изчислените стойности - е минимална.
Формално OLS критерийможе да се напише така: .

Класификация на методите на най-малките квадрати

1. Метод на най-малките квадрати.
2. Метод на максималното правдоподобие (за нормален класически линеен регресионен модел се постулира нормалност на регресионните остатъци).
3. Обобщеният метод на най-малките квадрати на GLSM се използва в случай на автокорелация на грешки и в случай на хетероскедастичност.
4. Метод на претеглени най-малки квадрати (специален случай на GLSM с хетероскедастични остатъци).

Илюстрирайте същността класическият графичен метод на най-малките квадрати. За да направим това, ще изградим точков график според данните от наблюдението (x i, y i, i=1;n) в правоъгълна координатна система (такъв точков график се нарича корелационно поле). Нека се опитаме да намерим права линия, която е най-близо до точките на корелационното поле. По метода на най-малките квадрати линията се избира така, че сумата от квадратите на вертикалните разстояния между точките на корелационното поле и тази права да бъде минимална.

Математическа нотация на този проблем: .
Стойностите на y i и x i =1...n са ни известни, това са данни от наблюдения. Във функцията S те са константи. Променливите в тази функция са необходимите оценки на параметрите - , . За да се намери минимумът на функция от 2 променливи, е необходимо да се изчислят частните производни на тази функция по отношение на всеки от параметрите и да се приравнят на нула, т.е. .
В резултат на това получаваме система от 2 нормални линейни уравнения:
Решавайки тази система, намираме необходимите оценки на параметрите:

Правилността на изчислението на параметрите на регресионното уравнение може да се провери чрез сравняване на сумите (възможно е известно несъответствие поради закръгляване на изчисленията).
За да изчислите оценките на параметрите, можете да съставите таблица 1.
Знакът на регресионния коефициент b показва посоката на връзката (ако b > 0, връзката е пряка, ако b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Формално стойността на параметъра a е средната стойност на y за x равно на нула. Ако знаковият фактор няма и не може да има нулева стойност, тогава горната интерпретация на параметъра a няма смисъл.

Оценка на тясността на връзката между характеристиките се извършва с помощта на коефициента на линейна двойка корелация - r x,y . Може да се изчисли по формулата: . В допълнение, коефициентът на корелация на линейната двойка може да се определи по отношение на коефициента на регресия b: .
Диапазонът на допустимите стойности на линейния коефициент на двойна корелация е от –1 до +1. Знакът на коефициента на корелация показва посоката на връзката. Ако r x, y >0, тогава връзката е директна; ако r x, y<0, то связь обратная.
Ако този коефициент е близък до единица по модул, тогава връзката между характеристиките може да се тълкува като доста близка линейна. Ако неговият модул е ​​равен на едно ê r x , y ê =1, тогава връзката между характеристиките е функционално линейна. Ако характеристиките x и y са линейно независими, тогава r x,y е близо до 0.
Таблица 1 може да се използва и за изчисляване на r x,y.

маса 1

N наблюдения	x i	y i	x i ∙ y i
1	х 1	y 1	x 1 y 1
2	x2	y2	x 2 y 2
...
н	x n	y n	x n y n
Колона Сума	∑x	∑y	∑x y
Средна стойност

За да се оцени качеството на полученото регресионно уравнение, се изчислява теоретичният коефициент на детерминация - R 2 yx:

,
където d 2 е дисперсията y, обяснена от регресионното уравнение;
e 2 - остатъчна (необяснена от регресионното уравнение) дисперсия y ;
s 2 y - обща (обща) дисперсия y .
Коефициентът на детерминация характеризира дела на вариацията (дисперсията) на резултантната характеристика y, обяснена с регресия (и, следователно, фактора x), в общата вариация (дисперсия) y. Коефициентът на определяне R 2 yx приема стойности от 0 до 1. Съответно стойността 1-R 2 yx характеризира съотношението на дисперсията y, причинена от влиянието на други фактори, които не са взети предвид в модела и грешките в спецификацията.
Със сдвоена линейна регресия R 2 yx =r 2 yx .