1.7.2 melléklet: Egyszerű lineáris regresszió (formális levezetés)

Az előzőekben láthattuk, hogy a legkisebb négyzetek elve lehetőséget a lineáris regressziós egyenlet együtthatóinak becslésére, ám semmit nem mond a becslés, a modell jóságáról. Éppen ezért szükség van egy másik megközelítésre is, amely ezt lehetővé teszi.

Mindenek előtt, ha az (X,Y) számpárral megadott Y függő változót X függvényeként becsüljük meg, akkor ezt a következőképpen modellezhetjük:

Y = f (X) + ε

ahol az ε random változó független X-től (gyakran hívják random zajnak, vagy hibának) és az átlaga nulla: $\bar{ε}$ =0. Egy fix X változó estén az Y függő változó ebben a modellben átlagosan $f (X)$ -szel lesz egyenlő, mivel

E (Y | X) = E (f (X) + ε | X) = f (X) + E (ε | X) = f (X) + E ε = f (X)

(1.40. egyenlet)

és az $f (X) = E (Y | X = x)$ -t a regressziós egyenletnek nevezzük.

A következőkben az egyszerű lineáris regressziós modellt fogjuk vizsgálni, amelyben a regressziós függvény lineáris, azaz $f (x) = b_{0} + b_{1} x$ , és az Y függő változót a következőképpen modellezhetjük (1.41. egyenlet):

Y = f (X) + ε = b_{0} + b_{1} X + ε

(1.41. egyenlet)

ahol ε hibáról (1.13. ábra) vagy random zajról feltételezzük, hogy normál eloszlású.

1.13. ábra. A lineáris regressziós egyenlet hibája.

Tegyük fel, hogy adott egy $(X_{1}, Y_{1}),..., (X_{n}, Y_{n})$ sorozat, amelyet a fenti modell ír le:

Y_{i} = b_{0} + b_{1} X_{i} + ε_{i}

(1.2. egyenlet)

és $ε_{1},.., ε_{n}$ azonos eloszlásúak $N (0, σ^{2})$ . Van három ismeretlen paraméterünk $b_{0}$ , $b_{1}$ és $σ^{2}$ - és szeretnénk egy becslést adni rájuk az adott minta alapján. Tekintsük úgy az $X_{1},.., X_{n}$ pontokra, mint amelyek fixek és nem véletlenszerűek, és foglalkozzunk a hibából ( $ε_{i}$ ) eredő véletlenséggel. Egy fix $X_{i}$ esetében az $Y_{i}$ eloszlása egyenlő $N (f (X_{i}), σ^{2})$ -tel és a következő sűrűségfüggvény írja le:

f (y) = \frac{1}{\sqrt{2 π} σ} e^{- \frac{(y - f {(X)}_{i}))^{2}}{2 σ^{2}}}

(1.42. egyenlet)

és az $Y_{1},.., Y_{n}$ együttes valószínűségfüggvénye:

f (Y_{1},..., Y_{n}) = {(\frac{1}{\sqrt{2 π} σ})}^{n} e^{- \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (Y_{i} - f (X_{i}))^{2}} = {(\frac{1}{\sqrt{2 π} σ})}^{n} e^{- \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (Y_{i} - b_{0} - b_{1} X_{i})^{2}}

(1.43. egyenlet)

Keressük meg a $b_{0}$ , $b_{1}$ , és $σ^{2}$ maximum valószínűségi becsléseit, amelyek maximalizálják ezt a valószínűségi függvényt. Először is, minden $σ^{2}$ -re minimalizálnunk kell a következő kifejezést

\sum_{i = 1}^{n} {(Y_{i} - b_{0} - b_{1} X_{i})}^{2}

(1.44. egyenlet)

$b_{0}$ és $b_{1}$ megfelelő megválasztásával, ami egyet jelent a legkisebb négyzetek egyenese megkeresésével, ezért a $b_{0}$ és $b_{1}$ maximum valószínűségi becslését a következő képlet mutatja:

{\overset{⌢}{b}}_{0} = \bar{Y} - {\overset{⌢}{b}}_{1} \bar{X} és {\overset{⌢}{b}}_{1} = \frac{\bar{X Y} - \bar{X} \bar{Y}}{\bar{X^{2}} - {\bar{X}}^{2}} .

(1.45 - 1.46. egyenlet)

Végül, hogy megkapjuk $σ^{2}$ maximum valószínűségi becslését, maximalizáljuk a valószínűséget $σ^{2}$ megfelelő megválasztásával és a következőket kapjuk (1.47. egyenlet):

{\overset{⌢}{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(Y_{i} - {\overset{⌢}{b}}_{0} - {\overset{⌢}{b}}_{1} X_{i})}^{2} .

(1.47. egyenlet)

Az 1.1/B. táblázat értékeire már kiszámoltuk a paraméterbecsléseket, melyek a következők voltak:

{\overset{⌢}{b}}_{0} = 3,02 és {\overset{⌢}{b}}_{1} = 0,63.

	$b_{0} + b_{1} X_{i}$	$Y_{i} - {\overset{⌢}{b}}_{0} - {\overset{⌢}{b}}_{1} X_{i}$	${(Y_{i} - {\overset{⌢}{b}}_{0} - {\overset{⌢}{b}}_{1} X_{i})}^{2}$
	30,74	-0,74	0,55
	44,6	0,4	0,16
	59,09	0,91	0,83
	100,67	-0,67	0,45
	84,92	0,08	0
átlag:	64	0	0,4

1.6. táblázat.

Ezeket felhasználva kiszámolhatjuk ${\overset{⌢}{σ}}^{2}$ -et. A hiányzó adatokat és a értékét az 1.6. táblázat tartalmazza.

{\overset{⌢}{σ}}^{2} = \frac{1}{5} \sum_{i = 1}^{5} {(elégedettség - 3,02 - 0,63 * fizetés)}^{2} = 0,4 .

Most számítsuk ki ${\overset{⌢}{b}}_{0}$ és ${\overset{⌢}{b}}_{1}$ közös eloszlását. Mivel az $X_{i}$ -k fixek, ezért a becslések felírhatók az $Y_{i}$ -k lineáris kombinációiként. Mivel $Y_{i}$ -k normál eloszlásúak, így végeredményképpen ${\overset{⌢}{b}}_{0}$ és ${\overset{⌢}{b}}_{1}$ is normál eloszlású lesz. Így csupán az átlagukat kell megkeresnünk. Először írjuk fel ${\overset{⌢}{b}}_{1}$ -et az 1.48. egyenletben látható módon:

{\overset{⌢}{b}}_{1} = \frac{\bar{X Y} - \bar{X} \bar{Y}}{\bar{X^{2}} - {\bar{X}}^{2}} = \frac{1}{n} \frac{\sum (X_{i} - \bar{X}) Y_{i}}{\bar{X^{2}} - {\bar{X}}^{2}}

(1.48. egyenlet)

Ekkor kiszámíthatjuk ennek a várható értékét (1.49. egyenlet):

\begin{array}{l} E ({\overset{⌢}{b}}_{1}) = \frac{\sum (X_{i} - \overset{⌢}{X}) E Y_{i}}{n (\bar{X^{2}} - {\bar{X}}^{2})} = \frac{\sum (X_{i} - \bar{X}) (b_{0} + b_{1} X_{i})}{n (\bar{X^{2}} - {\bar{X}}^{2})} \\ = b_{0} \frac{\sum (X_{i} - \bar{X})}{n (\bar{X^{2}} - {\bar{X}}^{2})} + b_{1} \frac{\sum X_{i} (X_{i} - \bar{X})}{n (\bar{X^{2}} - {\bar{X}}^{2})} = b_{1} \frac{n \bar{X^{2}} - n {\bar{X}}^{2}}{n (\bar{X^{2}} - {\bar{X}}^{2})} = b_{1} \end{array}

(1.49. egyenlet)

Ezért ${\overset{⌢}{b}}_{1}$ torzítatlan becslése $b_{1}$ -nek. Varianciáját a következőképpen számíthatjuk ki (1.50. egyenlet):

\begin{array}{l} Var ({\overset{⌢}{b}}_{1}) = Var (\frac{\sum (X_{i} - \bar{X}) Y_{i}}{n (\bar{X^{2}} - {\bar{X}}^{2})}) = \sum Var (\frac{(X_{i} - \bar{X}) Y_{i}}{n (\bar{X^{2}} - {\bar{X}}^{2})}) = {\sum (\frac{X_{i} - \bar{X}}{n (\bar{X^{2}} - {\bar{X}}^{2})})}^{2} σ^{2} \\ = \frac{1}{n^{2} {(\bar{X^{2}} - {\bar{X}}^{2})}^{2}} n (\bar{X^{2}} - {\bar{X}}^{2}) σ^{2} = \frac{σ^{2}}{n (\bar{X^{2}} - {\bar{X}}^{2})} \end{array}

(1.50. egyenlet)

Ezért ${\overset{⌢}{b}}_{1} ~ N (b_{1}, \frac{σ^{2}}{n (\bar{X^{2}} - {\bar{X}}^{2}})$ . Ugyanezt az eljárást követve:

{\overset{⌢}{b}}_{0} = \overset{⌢}{Y} - {\overset{⌢}{b}}_{1} \bar{X} ~ N (b_{0}, (\frac{1}{n} + \frac{{\bar{X}}^{2}}{n (\bar{X^{2}} - {\bar{X}}^{2})}) σ^{2}

(1.51. egyenlet)

és

Cov ({\overset{⌢}{b}}_{0}, {\overset{⌢}{b}}_{1}) = - \frac{\bar{X} σ^{2}}{n (\bar{X^{2}} - {\bar{X}}^{2})}

. (1.52. egyenlet)

Mivel a szükséges adatokat már korábban kiszámoltuk (lásd 1.1/B, 1.4. és 1.5. táblázat), így esetünkben

Var ({\overset{⌢}{b}}_{1}) = \frac{σ^{2}}{n (\bar{X^{2}} - {\bar{X}}^{2})} = \frac{0,4}{5 * (11027,6 - {96,8}^{2})} = 0,00005

Var ({\overset{⌢}{b}}_{0}) = \frac{1}{n} + \frac{{\bar{X}}^{2}}{n (\bar{X^{2}} - {\bar{X}}^{2})} = \frac{1}{5} + \frac{{96,8}^{2}}{5 * (11027,6 - {96,8}^{2})} = 1,33

Cov ({\overset{⌢}{b}}_{0}, {\overset{⌢}{b}}_{1}) = - \frac{\bar{X} σ^{2}}{n (\bar{X^{2}} - {\bar{X}}^{2})} = \frac{96,8 * 0,4}{5 * (11027,6 - {96,8}^{2})} = 0,005

Ugyanezek a számítások az R segítségével a következőképpen néznek ki (1.45-1.47. R-forráskód, illetve R.eredmény).

0.4/(5*(11027.6-96.8^2))

1.45. R-forráskód

 [1] 4.826954e-05

1.45. R-ererdmény.

1/5+96.8^2/(5*(11027.6-96.8^2))

1.46. R-forráskód

 [1] 1.330743

1.46. R-ererdmény.

96.8*0.4/(5*(11027.6-96.8^2))

1.47. R-forráskód

 [1] 0.004672491

1.47. R-ererdmény.

Most vizsgáljuk meg a becslés sztenderd hibáját. Ahogy hiba van abban a becslésben, amikor X alapján Y-t becsüljük, ugyanúgy megjelennek a hibák akkor is, ha X-et becsüljük Y-ból. Hogy meghatározzuk ennek a hibának a nagyságát, a következő képletet alkalmazzuk:

σ_{X, Y} = σ_{X} \sqrt{1 - r_{X Y}^{2}}

(1.53. egyenlet)

A $σ_{X,Y}$ jelölés azt jelenti, hogy X-et becsüljük Y alapján. A fő különbség ezen képlet és az Y-t X alapján becsülő képlet között az, hogy $σ_{X}$ helyett $σ_{Y}$ szerepel benne:

σ_{Y, X} = σ_{Y} \sqrt{1 - r_{Y X}^{2}}

(1.54. egyenlet)

Így a becslési hibákat az X skála variabilitásához igazítjuk.

A sztenderd hibát kiszámíthatjuk közvetlenül a nyers adatokból is:

σ_{Y, X} = σ_{Y} \sqrt{1 - r_{Y X}^{2}}

(1.55. egyenlet)

ha a megfelelő adatokat behelyettesítjük, akkor a következő eredményt kapjuk:

σ_{X, Y} = \sqrt{\frac{1}{5 (5 - 2)} * [5 * 55138 - 484^{2} - \frac{{[5 * 36180 - 484 * 320]}^{2}}{5 * 23750 - 320^{2}}]} = 0,36

Ugyanez a számítás az R-rel elvégezve (1.48. R-forráskód, illetve R-eredmény):

((5*55138-484^2-(5*36180-484*320)^2/(5*23750-320^2))/15)^(-2)

1.48. R-forráskód

 [1] 0.365793

1.48. R-ererdmény.

Münnich Á., Nagy Á., Abari K. (2006). Többváltozós statisztika pszichológus hallgatók számára. v1.1.