Metoda celor mai mici pătrate

Metoda celor mai mici pătrate este o metodă matematică de a obține o soluție a unui sistem de ecuații supradeterminat, adică care are mai multe ecuații decât necunoscute. Cele mai mici pătrate înseamnă că soluția obținută minimizează suma pătratelor abaterilor față de valorile ecuațiilor.

Cea mai importantă aplicație este determinarea coeficienților unei funcții matematice care aproximează cât mai bine un set de date. Această cea mai bună aproximație minimizează pătratele abaterilor dintre valorile date și cele calculate cu ajutorul funcției respective.

Există două variante a metodei celor mai mici pătrate:

• Metoda liniară a celor mai mici pătrate, care rezolvă probleme bazate pe sisteme de ecuații liniare. Un exemplu de astfel de aplicație este regresia liniară, mult folosită în statistică și în prelucrarea datelor experimentale. Rezolvarea sistemului de ecuații rezultat se face de obicei prin metode directe.
• Metoda neliniară a celor mai mici pătrate, care rezolvă probleme bazate pe sisteme de ecuații neliniare. Rezolvarea sistemului de ecuații rezultat se face de obicei prin metode iterative, la fiecare iterație folosindu-se însă o liniarizare.

Metoda a fost elaborată pentru prima dată de Carl Friedrich Gauss în jurul anului 1794,

Formularea problemei

Obiectivul constă în ajustarea coeficienților funcției model (funcția de aproximare) astfel ca să se potrivească cel mai bine cu setul de date. Un set de date constă de exemplu din n puncte (perechi de valori) $(x_{i},y_{i})\,$, i = 1, ...,n, unde $x_{i}\,$ este variabila independentă, iar $y_{i}\,$ este variabila dependentă, a cărei valori au fost obținute experimental. Funcția model are forma $f(x,\beta )\,$, care are m parametri (coeficienți), plasați în vectorul ${\boldsymbol {\beta }}\,$. Scopul este de a găsi valorile parametrilor astfel încât valorile calculate cu ajutorul funcției model să se potrivească cel mai bine cu valorile experimentale. Soluția optimă conform metodei celor mai mici pătrate este atunci când suma $S\,$ a pătratelor reziduurilor

$S=\sum _{i=1}^{n}{r_{i}}^{2}$

este minimă. Reziduul este abaterea (diferența) între valoarea variabilei dependente și valoarea dată de funcția model:

$r_{i}=y_{i}-f(x_{i},\beta )\,$

Un exemplu de funcție model este o linie dreaptă. Considerând ordonata la origine $\beta _{0}\,$ și panta $\beta _{1}\,$, funcția model este $f(x,{\boldsymbol {\beta }})=\beta _{0}+\beta _{1}x\,$.

Un punct poate fi în funcție de mai multe variabile independente și dependente. De exemplu, dacă funcția model este un plan care aproximează o serie de înălțimi (z) măsurate, acest plan este în funcție de două variabile, să zicem x și y. Analog se pot da exemple cu mai multe variabile dependente.

Rezolvarea problemei prin metoda celor mai mici pătrate

Un minim al unei funcții (aici al sumei pătratelor abaterilor) este acolo unde derivata funcției se anulează. Deoarece funcția model conține m parametri, se vor putea scrie m ecuații diferențiale:

${\frac {\partial S}{\partial \beta _{j}}}=2\sum _{i}r_{i}{\frac {\partial r_{i}}{\partial \beta _{j}}}=0,\ j=1,\ldots ,m$

și deoarece $r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})\,$ ecuațiile diferențiale devin:

$-2\sum _{i}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}r_{i}=0,\ j=1,\ldots ,m$

Cele m ecuații cu m parametri (necunoscute) formează un sistem de ecuații determinat, care, prin rezolvare, furnizează valorile parametrilor.

Fiecare tip de problemă necesită propria sa funcție model și propriile derivate ale acestei funcții.

Bibliografie suplimentară

• Mădălina Roxana Buneci, Metode numerice - curs - Metoda celor mai mici pătrate
• en Å. Björck, Numerical Methods for Least Squares Problems, SIAM, 1996
• en C.R. Rao, H. Toutenburg, A. Fieger, C. Heumann, T. Nittner and S. Scheid, Linear Models: Least Squares and Alternatives, Springer Series in Statistics, 1999.
• en T. Kariya, H. Kurata, Generalized Least Squares, Wiley, 2004.
• en J. Wolberg, Data Analysis Using the Method of Least Squares: Extracting the Most Information from Experiments, Springer, 2005.

Legături externe

• en Exemplu de regresie a unei funcții de gradul 2 Arhivat în 16 iunie 2009, la Wayback Machine. (Penn State)
• en Power Point Statistics Book^{[nefuncțională]} - Prezentarea unei regresii (University of Texas din Arlington)