Vektorisierung (Mathematik)

Die Vektorisierung bezeichnet in der linearen Algebra und in der Matrix-Theorie die Transformation einer Matrix oder eines Tensors in einen Vektor. Die Anordnung der Elemente im Vektor erfolgt spaltenweise. Der dazugehörige lineare Operator wird mit ${\displaystyle \operatorname {vec} }$ notiert und ist auf dem Raum der endlichdimensionalen Matrizen definiert.

Als anschauliches Beispiel:

${\displaystyle X={\begin{pmatrix}a_{1}&b_{1}\\a_{2}&b_{2}\end{pmatrix}}\implies \operatorname {vec} (X)={\begin{pmatrix}a_{1}\\a_{2}\\b_{1}\\b_{2}\end{pmatrix}}.}$

Die Notation ${\displaystyle \operatorname {vec} (X)}$ steht für englisch vector of ${\displaystyle X}$ und wird auch mit ${\displaystyle \operatorname {vec} X}$ notiert. Zwei weitere Vektorisierungs-Operatoren sind ${\displaystyle \operatorname {vech} }$ und ${\displaystyle \operatorname {vecp} }$, deren Notation für englisch vector half und englisch vector pattern steht. Der erste Operator liefert einen Vektor mit den Elementen des oberen Dreiecks. Der zweite Operator liefert einen Vektor mit allen eindeutig unterschiedlichen Variablen einer sogenannten gemusterten Matrix, so dass im resultierenden Vektor keine Abhängigkeit zwischen den Variablen besteht. Die Literatur ist nicht immer konsistent in deren Notation.

Die Permutationsmatrix, welche ${\displaystyle \operatorname {vec} (X)}$ in ${\displaystyle \operatorname {vec} (X^{\mathrm {T} })}$ transformiert, nennt man Kommutationsmatrix.

Sei ${\displaystyle X}$ eine ${\displaystyle m\times n}$-Matrix mit endlicher Dimension und seien ${\displaystyle x_{i},i=1,\dots ,n}$ die Spalten von ${\displaystyle X}$, das heißt ${\displaystyle x_{i}={\begin{pmatrix}x_{1i}&x_{2i}&\dots &x_{mi}\end{pmatrix}}^{\mathrm {T} }}$.

Die Vektorisierung ${\displaystyle \operatorname {Vec} (X)}$ ist der ${\displaystyle mn\times 1}$-Vektor

${\displaystyle \operatorname {Vec} (X)={\begin{pmatrix}x_{1}\\x_{2}\\\vdots \\x_{n}\end{pmatrix}}={\begin{pmatrix}x_{11}\\x_{21}\\\vdots \\x_{mn}\end{pmatrix}}.}$^[1]

Die Vektorisierung lässt sich auch direkt auf Tensoren übertragen. Für einen Tensor ${\displaystyle A\in \mathbb {K} ^{I_{1}\times I_{2}\times \cdots \times I_{N}}}$ bedeutet dies, dass das Element ${\displaystyle a_{i_{1},i_{2},\dots ,i_{N}}}$ an die Position

${\displaystyle q=i_{1}+\sum \limits _{n=2}^{N}\left((i_{n}-1)\prod \limits _{k=1}^{n-1}I_{k}\right)}$

des Vektors ${\displaystyle \operatorname {vec} (A)\in \mathbb {K} ^{I_{1}I_{2}\cdots I_{N}\times 1}}$ kommt.^[2]

Seien ${\displaystyle A(p\times m)}$, ${\displaystyle X(m\times n)}$, ${\displaystyle B(n\times q)}$, ${\displaystyle C(q\times m)}$, ${\displaystyle D(q\times n)}$ und ${\displaystyle E(m\times m)}$ fünf Matrizen, deren Dimension dahinter steht, dann gilt^[1]

• ${\displaystyle \operatorname {vec} (AXB)=(B^{\mathrm {T} }\otimes A)\operatorname {vec} (X)}$,
• ${\displaystyle \operatorname {tr} (CXB)=(\operatorname {vec} (C^{\mathrm {T} }))^{\mathrm {T} }(I_{q}\otimes X)\operatorname {vec} (B)}$,
• ${\displaystyle \operatorname {tr} (DX^{\mathrm {T} }EXB)=(\operatorname {vec} (X))^{\mathrm {T} }(D^{\mathrm {T} }B^{\mathrm {T} }\otimes E)\operatorname {vec} (X)=(\operatorname {vec} (X))^{\mathrm {T} }(BD\otimes E')\operatorname {vec} (X).}$

${\displaystyle \otimes }$ ist das Kronecker-Produkt.

Sei ${\displaystyle X}$ eine ${\displaystyle m\times n}$-Matrix, dann ist die Kommutationsmatrix ${\displaystyle K_{(mn)}}$ die Permutationsmatrix der Dimension ${\displaystyle mn\times mn}$, welche folgende Gleichung

${\displaystyle K_{(mn)}\operatorname {vec} (X)=\operatorname {vec} (X^{\mathrm {T} })}$

erfüllt.

Sie kann wie folgt konstruiert werden:^[1]

${\displaystyle K_{(mn)}=\sum _{i=1}^{m}\sum _{j=1}^{n}(H_{ij}\otimes H_{ij}^{\mathrm {T} })}$

wobei die ${\displaystyle H_{ij}}$ Matrizen der Dimension ${\displaystyle m\times n}$ sind, die eine ${\displaystyle 1}$ an der Stelle ${\displaystyle (i,j)}$ besitzen und Null an den restlichen Stellen

${\displaystyle H_{ij}(s,t)={\begin{cases}1&{\text{falls }}s=i,t=j\\0&{\text{sonst}}\end{cases}},}$

was dem Produkt der Einheitsvektoren ${\displaystyle e_{i}\in \mathbb {R} ^{m}}$ und ${\displaystyle e_{j}\in \mathbb {R} ^{n}}$

${\displaystyle H_{ij}=e_{i}e_{j}^{\mathrm {T} }}$

entspricht.

Es gilt

${\displaystyle K_{(mn)}=K_{(nm)}^{\mathrm {T} }=K_{(nm)}^{-1}.}$

Die Literatur ist nicht immer konsistent bezüglich der Notation von ${\displaystyle \operatorname {vecp} }$ und ${\displaystyle \operatorname {vech} }$, so definieren manche Autoren ${\displaystyle \operatorname {vecp} }$ als den Operator ${\displaystyle \operatorname {vech} }$ und umgekehrt. Auch die Anordnung der Elemente kann sich von Autor zu Autor unterscheiden. Wir folgen Henderson und Searle.^[3]

Sei ${\displaystyle X}$ eine symmetrische Matrix der Dimension ${\displaystyle n\times n}$, dann ist ${\displaystyle \operatorname {vech} (X)}$ der ${\displaystyle {\tfrac {1}{2}}n(n+1)}$-dimensionale Vektor, bestehend aus der Diagonalen von ${\displaystyle X}$ und den Elementen darüber. Die Anordnung erfolgt wieder spaltenweise.^[3]

Konkret bedeutet das für

${\displaystyle X={\begin{pmatrix}x_{11}&x_{12}&\cdots &x_{1n}\\x_{21}&x_{22}&\cdots &x_{2n}\\\vdots &\vdots &\vdots &\vdots \\x_{n1}&x_{n2}&\cdots &x_{nn}\\\end{pmatrix}}}$,

dass

${\displaystyle \operatorname {vech} (X)={\begin{pmatrix}x_{11}&x_{12}&x_{22}&x_{13}&x_{23}&x_{33}&\cdots &x_{nn}\end{pmatrix}}^{\mathrm {T} }.}$

Da die Matrix symmetrisch ist, kann man für die Definition auch die Diagonale mit den Elementen darunter nehmen. Die Anordnung der Elemente wird bei einer spaltenweise Anordnung dann aber anders sein.

Wir nennen eine Matrix eine gemusterte Matrix (englisch patterned Matrix), wenn eine oder beide Bedingungen zutreffen:

1. Manche Elemente sind konstant (d. h. sie sind keine Variablen).
2. Manche Elemente sind Funktionen von anderen Elementen.^[4]

Sei ${\displaystyle X}$ eine gemusterte Matrix, dann ist ${\displaystyle \operatorname {vecp} (X)}$ der Vektor bestehend aus allen eindeutigen unterschiedlichen Variablen.^[4][3]

Damit ist gemeint, dass keine Abhängigkeiten unter diesen Variablen gelten soll und jede Variable deshalb auch nur einmal vorkommen kann. Der resultierende Vektor ist dann musterfrei.

Beispiele:

Sei

${\displaystyle X={\begin{pmatrix}1&(ab)^{2}&b\\a&0&dc\\b^{3}&ce&bd\end{pmatrix}},}$

dann ist

${\displaystyle \operatorname {vecp} (X)={\begin{pmatrix}a&b&c&d&e\end{pmatrix}}^{\mathrm {T} }}$

• Arjun K. Gupta, D. K. Nagar: Matrix variate distributions. Chapman & Hall /CRC, 2000, ISBN 1-58488-046-5 (englisch). 
• Harold V. Henderson und S. R. Searle: Vec and Vech Operators for Matrices, with Some Uses in Jacobians and Multivariate Statistics. In: The Canadian Journal of Statistics / La Revue Canadienne de Statistique. Band 7, Nr. 1, 1979, S. 65–81, doi:10.2307/3315017. 

1. ↑ ^{a b c} Arjun K. Gupta, D. K. Nagar: Matrix variate distributions. Chapman & Hall /CRC, 2000, ISBN 1-58488-046-5, S. 9–10 (englisch). 
2. ↑ Xian-Da Zhang: Matrix Analysis and Applications. Hrsg.: Cambridge University Press, Indien. 2017, S. 593. 
3. ↑ ^{a b c} Harold V. Henderson und S. R. Searle: Vec and Vech Operators for Matrices, with Some Uses in Jacobians and Multivariate Statistics. In: The Canadian Journal of Statistics / La Revue Canadienne de Statistique. Band 7, Nr. 1, 1979, S. 65–81, doi:10.2307/3315017. 
4. ↑ ^{a b} D. S. Tracy und K. G. Jinadasa: Patterned Matrix Derivatives. In: The Canadian Journal of Statistics / La Revue Canadienne de Statistique. Band 16, Nr. 4, 1988, S. 411–418, doi:10.2307/3314938.