1.7 Mellékletek
  1.7.1 melléklet. Legkisebb négyzetek elvén alapuló lineáris regresszió

Tegyük fel, hogy van egy sor megfigyelésünk

Ahol minden egyes megfigyelés egy valós számpár. Tegyük fel, hogy Y változót szeretnénk becsülni X függvényében, mert úgy véljük, hogy valamilyen kapcsolat van X és Y között. Például Y-t megközelíthetjük X egy függvényeként, azaz $Y\approx f(X)$. Tekintsük a legegyszerűbb esetet, amikor f(X) lineáris kombinációja X-nek:

Természetesen azt az egyenest szeretnénk megtalálni, amelyik a legjobban illeszkedik az adatainkra, és az illeszkedés minőségét több módon is meg lehet határozni. A legelterjedtebb megközelítés szerint azt mérjük, hogy  hogyan közelíti meg $Y_{\mathrm{i}}$-t a  négyzetes különbséggel mérve, ami azt jelenti, hogy a megközelítés minőségét globálisan, a veszteség-függvénnyel mérjük (1.30. egyenlet):

A függvényt minimalizálni szeretnénk a $b_0$  és $b_1$ paraméterek minden lehetséges értékeinek figyelembevételével. Az egyenest, ami minimalizálja ezt a veszteséget legkisebb négyzetek egyenesének hívjuk. A kritikus pontok megtaláláshoz a következőképpen írjuk fel (1.31. egyenlet):

Ha bevezetjük a következő jelöléseket (1.33. egyenlet):

akkor a kritikus pontot a követezőképpen írhatjuk át:

ebből   $b_0$ -t és $b_1$ -et kifejezve:

Eddig csak egy függő és egy független változóval dolgoztunk, de ha több változót is bevonunk, és minden egyes   $X_{\mathrm{i}}$ -t egy   $X_i=(X_{i1}\mathrm{,...,}{X}_{ik})$ k dimenziós vektornak tekintünk, akkor megkísérelhetjük   $Y_{\mathrm{i}}$ -t   $X_{\mathrm{i}}$ koordinátáinak lineáris kombinációjaként megközelíteni (1.36. egyenlet):

Ebben az esetben a négyzetes különbségeket, veszteségeket is minimalizálhatjuk, ahogyan az az 1.37. egyenleten is látszik:

ha vesszük a deriváltjaikat és megoldjuk a lineáris egyenletrendszert, hogy megtaláljuk a ${\text{b}}_{\text{0}}{\text{, b}}_{\text{1}}\text{, }\mathrm{...}{\text{, b}}_{\text{k}}$ paramétereket.

Nézzük meg most mindezt egy konkrét példán, egy kisebb adatbázis segítségével Az adatokat az 1/B. táblázat tartalmazza.

A megfigyelésünkhöz tartozó ${\text{(X}}_{\text{i}}{\text{, Y}}_{\text{i}}\text{)}$ számpárok most a következők:

(44;30) (66;45) (89;60) (155;100) (130;85)

És az $\text{elégedettség}=b_0+b_1\text{fizetés}$    egyenlet együtthatóit szeretnénk kiszámolni. Tudjuk, hogy            

Vagyis ki kell még számolnunk a hiányzó értékeket, melyeket az 1.5. táblázat foglal össze.                     

Ekkor a megfelelő értékeket behelyettesítve a képletbe és kiszámíthatjuk értéküket az R-segítségével (1.43-1.44. R-forráskód, illetve R-eredmény):

 [1] 0.627986

 [1] 3.2096

Vagyis a két együttható értéke $b_1$=0,628 és $b_0$=3,2.