Multipler Korrelationskoeffizient

Der multiple Korrelationskoeffizient ist in der multivariaten Statistik ein Korrelationskoeffizient, welcher die lineare Abhängigkeit zwischen einer Zufallsvariable und einer Menge anderer Zufallsvariablen misst. Konkret bedeutet das für einen Zufallsvektor ${\displaystyle (X_{1},\dots ,X_{n})^{\mathrm {T} }}$, dass der multiple Korrelationskoeffizient die maximale Korrelation zwischen einer Zufallsvariable ${\displaystyle X_{i}}$ für ${\displaystyle i\leq k}$ und jeder beliebigen linearen Funktion von ${\displaystyle X_{k+1},\dots ,X_{n}}$ ist. Als Spezialfall erhält man den multiplen Korrelationskoeffizient zwischen ${\displaystyle X_{1}}$ und ${\displaystyle X_{2},\dots ,X_{n}}$. Im Gegensatz zu den gewöhnlichen Korrelationskoeffizienten liegt der multiple Korrelationskoeffizient zwischen ${\displaystyle 0}$ und ${\displaystyle 1}$. Der multiple Korrelationskoeffizient wird mit ${\displaystyle {\overline {R}}_{i\cdot (k+1\cdots n)}}$ notiert.

Der multiple Korrelationskoeffizient wurde 1896 von Karl Pearson für drei Variablen eingeführt und 1897 von George Udny Yule erweitert.^[1]

Sei ${\displaystyle \mathbf {X} =(X_{1},X_{2},\dots ,X_{n})^{\mathrm {T} }}$ ein Zufallsvektor mit positiv definiter Kovarianzmatrix ${\displaystyle {\boldsymbol {\Sigma }}}$ und ${\displaystyle 1\leq i\leq k<n}$.

Wir machen folgende Zerlegung

${\displaystyle \mathbf {X} ={\begin{pmatrix}\mathbf {X} _{1}\\\mathbf {X} _{2}\end{pmatrix}},\qquad {\boldsymbol {\Sigma }}={\begin{pmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{12}\\{\boldsymbol {\Sigma }}_{21}&{\boldsymbol {\Sigma }}_{22}\end{pmatrix}},\qquad \mathbf {X_{1}} =(X_{1},\dots ,X_{k})^{\mathrm {T} },\quad \mathbf {X_{2}} =(X_{k+1},\dots ,X_{n})^{\mathrm {T} }.}$

Der multiple Korrelationskoeffizient ${\displaystyle {\overline {R}}_{i\cdot (k+1\cdots n)}}$ zwischen ${\displaystyle X_{i}}$ und ${\displaystyle X_{k+1},\dots ,X_{n}}$ ist die maximale Korrelation zwischen ${\displaystyle X_{i}}$ und jeder linearen Funktion ${\displaystyle {\boldsymbol {\alpha }}^{\mathrm {T} }\mathbf {X_{2}} }$.

In mathematischen Formeln ausgedrückt^[2]

${\displaystyle {\overline {R}}_{i\cdot (k+1\cdots n)}:=\max \limits _{\boldsymbol {\alpha }}{\frac {\operatorname {Cov} (X_{i},{\boldsymbol {\alpha }}^{\mathrm {T} }\mathbf {X_{2}} )}{\left(\operatorname {Var} (X_{i})\operatorname {Var} ({\boldsymbol {\alpha }}^{\mathrm {T} }\mathbf {X_{2}} )\right)^{1/2}}}=\max \limits _{\boldsymbol {\alpha }}{\frac {{\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\sigma }}_{i}}{(\sigma _{ii}{\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}{\boldsymbol {\alpha }})^{1/2}}},}$

wobei ${\displaystyle {\boldsymbol {\sigma }}_{i}^{\mathrm {T} }}$ die ${\displaystyle i}$-te Reihe von ${\displaystyle {\boldsymbol {\Sigma }}_{12}}$ ist und ${\displaystyle \operatorname {Var} (X_{i})=\sigma _{ii}}$.

Wendet man die Cauchy-Schwarz-Ungleichung an

${\displaystyle {\frac {{\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\sigma }}_{i}}{(\sigma _{ii}{\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}{\boldsymbol {\alpha }})^{1/2}}}={\frac {{\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}^{1/2}{\boldsymbol {\Sigma }}_{22}^{-1/2}{\boldsymbol {\sigma }}_{i}}{(\sigma _{ii}{\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}{\boldsymbol {\alpha }})^{1/2}}}\leq {\frac {\left({\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}{\boldsymbol {\alpha }}\right)^{1/2}\left({\boldsymbol {\sigma }}_{i}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\sigma }}_{i}\right)^{1/2}}{(\sigma _{ii}{\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}{\boldsymbol {\alpha }})^{1/2}}}=\left({\frac {{\boldsymbol {\sigma }}_{i}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\sigma }}_{i}}{\sigma _{ii}}}\right)^{1/2},}$

so erhält man eine Obergrenze, die erreicht wird, wenn ${\displaystyle {\boldsymbol {\alpha }}={\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\sigma }}_{i}}$.

Daraus folgt

${\displaystyle {\overline {R}}_{i\cdot (k+1\cdots n)}=\left({\frac {{\boldsymbol {\sigma }}_{i}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\sigma }}_{i}}{\sigma _{ii}}}\right)^{1/2}.}$^[2][3]

• Es gilt

${\displaystyle 0\leq {\overline {R}}_{i\cdot (k+1\cdots n)}\leq 1}$

und ${\displaystyle {\overline {R}}_{i\cdot (k+1\cdots n)}=0\iff {\boldsymbol {\Sigma }}_{12}=\mathbf {0} }$.

• Man kann zeigen, dass wenn die Regressionsfunktion ${\displaystyle \mathbb {E} [X_{i}\mid \mathbf {X_{2}} ]}$ eine lineare Funktion ist, dann ist der multiple Korrelationskoeffizient gerade der Korrelationskoeffizient zwischen ${\displaystyle X_{i}}$ und ${\displaystyle \mathbb {E} [X_{i}\mid \mathbf {X_{2}} ]}$.^[3][2]
• Es gilt

${\displaystyle 1-{\overline {R}}_{i\cdot (k+1\cdots n)}^{2}={\frac {\operatorname {det} ({\boldsymbol {\Sigma }}_{i})}{\sigma _{ii}\operatorname {det} ({\boldsymbol {\Sigma }}_{22})}},\quad }$ wobei ${\displaystyle \quad {\boldsymbol {\Sigma }}_{i}:={\begin{pmatrix}\sigma _{ii}&{\boldsymbol {\sigma }}_{i}^{\mathrm {T} }\\{\boldsymbol {\sigma }}_{i}&{\boldsymbol {\Sigma }}_{ii}\end{pmatrix}}.}$^[2]

Möchten wir ${\displaystyle {\overline {R}}_{1\cdot (2\cdots n)}}$ herleiten, das heißt den multiplen Korrelationskoeffizient zwischen ${\displaystyle X_{1}}$ und ${\displaystyle X_{2},\dots ,X_{n}}$, dann machen wir folgende Zerlegung

${\displaystyle \mathbf {X} ={\begin{pmatrix}X_{1}\\\mathbf {X} _{2}\end{pmatrix}},\qquad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{11}&{\boldsymbol {\sigma }}_{12}^{\mathrm {T} }\\{\boldsymbol {\sigma }}_{12}&{\boldsymbol {\Sigma }}_{22}\end{pmatrix}},}$

da ${\displaystyle {\boldsymbol {\sigma }}_{12}}$ ein ${\displaystyle (n-1)\times 1}$-dimensionaler Vektor ist, verzichten wir auf die Notation ${\displaystyle {\boldsymbol {\Sigma }}_{12}}$.

Es gilt dann

${\displaystyle {\overline {R}}_{1\cdot (2\cdots n)}=\left({\frac {{\boldsymbol {\sigma }}_{12}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\sigma }}_{12}}{\sigma _{11}}}\right)^{1/2}.}$

Seien ${\displaystyle \mathbf {X} _{1},\dots ,\mathbf {X} _{N}}$ unabhängige Stichproben von ${\displaystyle \mathbf {X} }$ und

${\displaystyle \mathbf {S} ={\frac {1}{(N-1)}}\sum \limits _{i=1}^{N}(\mathbf {X} _{i}-{\overline {\mathbf {X} }})(\mathbf {X} _{i}-{\overline {\mathbf {X} }})^{\mathrm {T} }}$

die korrigierte Stichprobenkovarianzmatrix. Dann machen wir folgende Zerlegung

${\displaystyle \mathbf {S} ={\begin{pmatrix}\mathbf {S} _{11}&\mathbf {S} _{12}\\\mathbf {S} _{21}&\mathbf {S} _{22}\end{pmatrix}}}$

und der multiple Korrelationskoeffizient einer Stichprobe ist dann

${\displaystyle R_{i\cdot (k+1\cdots n)}=\left({\frac {\mathbf {s} _{i}^{\mathrm {T} }{\boldsymbol {S}}_{22}^{-1}\mathbf {s} _{i}}{s_{ii}}}\right)^{1/2},}$

wobei ${\displaystyle \mathbf {s} _{i}^{\mathrm {T} }}$ die ${\displaystyle i}$-te Reihe von ${\displaystyle \mathbf {S} _{12}}$ ist.

Wenn eine Normalverteilung zugrunde liegt, dann ist ${\displaystyle R_{i\cdot (k+1\cdots n)}}$ der Maximum-Likelihood-Schätzer von ${\displaystyle {\overline {R}}_{i\cdot (k+1\cdots n)}}$.^[3]

• Theodore Wilbur Anderson: Multivariate Analysis and Its Applications. Hrsg.: Wiley. 2003, ISBN 978-0-940600-35-5. 
• Robb J. Muirhead: Aspects of Multivariate Statistical Theory. Hrsg.: Wiley, Deutschland. 2009. 

1. ↑ Theodore Wilbur Anderson: Multivariate Analysis and Its Applications. Hrsg.: Wiley. 2003, ISBN 978-0-940600-35-5, S. 33. 
2. ↑ ^{a b c d} Theodore Wilbur Anderson: Multivariate Analysis and Its Applications. Hrsg.: Wiley. 2003, ISBN 978-0-940600-35-5, S. 38. 
3. ↑ ^{a b c} Robb J. Muirhead: Aspects of Multivariate Statistical Theory. Hrsg.: Wiley, Deutschland. 2009, S. 164–167.