2.3 A főkomponens-analízis menete

A főkomponens-analízis kiindulási pontja, egy p változóból és n személyből álló adatbázis, ahogy azt a 2.1. táblázat is mutatja.

Az első főkomponens   $X_1,X_2\mathrm{,...,}{X}_p$  változók

lineáris kombinációja, amely egyénenként változik, az egyetlen feltétel, hogy

Ezáltal $Z_1$ varianciája, $\mathrm{var}(Z_1)$, a lehető legnagyobb lesz az ${\text{a}}_{\text{1j}}$-re adott feltétel mellett. Ha nem szabnánk ilyen feltételt, akkor $\mathrm{var}(Z_1)$-et növelhetnénk egyszerűen azáltal, hogy bármely ${\text{a}}_{\text{1j}}$ értéket növeljük. A második főkomponens,

$Z_2=a_{21}{X}_1+a_{22}{X}_2+\mathrm{...}+a_{2p}{X}_p$ ,

úgy alakul, hogy $\mathrm{var}(Z_2)$ a lehető legnagyobb, azzal a feltétellel, hogy

$a_{21}^2+a_{22}^2+\mathrm{...}+a_{2p}^2=1$ ,

továbbá azzal a feltétellel is, hogy $Z_1$ és $Z_2$ nem korrelálnak egymással. A harmadik főkomponens esetében pedig,

$Z_3=a_{31}{X}_1+a_{32}{X}_2+\mathrm{...}+a_{3p}{X}_p$ ,

$\mathrm{var}(Z_3)$ a lehető legnagyobb amellett a feltétel mellett, hogy

$a_{31}^2+a_{32}^2+\mathrm{...}+a_{3p}^2=1$ ,

és ismét feltétel az is, hogy $Z_3$ nem korrelál $Z_1$ és $Z_2$-vel. A további főkomponenseket is ugyanígy határozzuk meg. Ha p változónk van, akkor akár p főkomponenst is kaphatunk.

A főkomponens-analízis eredményeinek használatához nem kell feltétlenül tudnunk, hogy hogyan kapjuk a főkomponens-analízis egyenleteit. De magukat az egyenleteket hasznos megérteni. Valójában a főkomponens-analízis csupán a minta kovariancia mátrixának (vagy korrelációs mátrixának) a sajátértékeit keresi meg (a sajátértékről és a sajátvektorról részletesebben a 2.3.3 fejezetben lesz szó).

A kovariancia vagy korrelációs mátrix:

Tegyük fel, hogy a sajátértékek sorrendje ${\lambda }_1\ge {\lambda }_2\ge \mathrm{...}\ge {\lambda }_p\ge 0$, és ${\lambda }_i$ az i-edik főkomponenshez kapcsolódik:

$Z_i=a_{i1}{X}_1+a_{i2}{X}_2+\mathrm{...}+$ $a_{ip}{X}_p$ .

A megfelelő sajátvektor elemei az ${\text{a}}_{\text{i1}}{\text{, a}}_{\text{i2}}\text{, }\mathrm{...}{\text{, a}}_{\text{ip}}$ konstansok.

A sajátértékeknek van egy fontos tulajdonságuk, mégpedig az, hogy összegük megegyezik a C mátrix főátlójában elhelyezkedő elemek összegével. Vagyis

${\lambda }_1+{\lambda }_2+\mathrm{...}+{\lambda }_p=c_{11}+c_{22}+\mathrm{...}+c_{pp}$ .

Mivel $c_{ii}$ az $X_{\mathrm{i}}$ változó varianciája és ${\lambda }_i$ a $Z_{\mathrm{i}}$ varianciája, ez azt jelenti, hogy a főkomponensek varianciájának az összege egyenlő az eredeti változók varianciájának összegével. Ezáltal a főkomponensek bizonyos értelemben magyarázzák az eredeti adatok teljes variabilitását.  

Annak érdekében, hogy a változók arányosan fejtsék ki hatásukat a főkomponensekre, az  $X_1,X_2,\mathrm{...},X_p$ változókat sztenderdizáljuk, hogy az elemzés kezdetén az átlaguk nulla, varianciájuk pedig 1 legyen.

A C mátrix ekkor a következőképpen néz ki:

A mátrixban az $X_{\mathrm{i}}$ és $X_{\mathrm{j}}$ változók közötti korreláció  ${\text{c}}_{\text{ij}}{\text{ = c}}_{\text{ji}}$. Más szavakkal, a főkomponens analízist a korrelációs mátrix alapján is el lehet végezni. Ekkor a főátlón elhelyezkedő értékeknek, így a sajátértékeknek is az összege p-vel, a változók számával egyenlő.

Most már leírhatjuk a főkomponens analízis lépéseit is:

1. Első lépésként sztenderdizáljuk az  $X_1,X_2,\mathrm{...},X_p$  változókat úgy, hogy átlaguk nulla, varianciájuk egységnyi legyen. Ez az általános, de bizonyos esetekben elhagyható.
2. Számítsuk ki a C kovariancia mátrixot. Ha az 1. lépést elvégeztük, akkor ez egy korrelációs mátrix.
3. Keressük meg  ${\lambda }_1,{\lambda }_2\mathrm{,...,}{\lambda }_p$  sajátértékeket, és a hozzájuk tartozó  $a_1,a_2\mathrm{...}{a}_p$  sajátvektorokat. Az i-edik főkomponens együtthatóját ${\text{ a}}_{\text{i}}$ adja meg, míg ${\lambda }_i$ a varianciája.
4. Hagyjuk figyelmen kívül azokat a főkomponenseket, amelyek az adatoknak csak csekély arányú varianciáját magyarázzák. Például, ha kezdetben 20 változónk van, akkor előfordulhat, hogy az első három főkomponens a teljes variancia 90%-át magyarázza. Ezáltal a többi 17 főkomponenstől eltekinthetünk.

A következőkben megnézzük a főkomponens-analízis lépéseit részletesebben egy konkrét példán keresztül.