矩陣分析與多元統計11 Kronecker乘積

• Kronecker乘積
• vec算子與devec算子

Kronecker乘積

定義 數域$F$中，$A=(a_{ij})\in F^{m\times n},B\in F^{p\times q}$，定義Kronecker乘積為
$$\begin{gathered} ?:F^{m\times n}\times F^{p\times q}\to F^{mp\times nq} \\ A?B=?\begin{array}{ccc}{a}_{11}B& ?& a_{1n}B\\ ?& ?& ?\\ a_{m1}B& ?& a_{mn}B\end{array}? \end{gathered}$$

關于Kronecker乘積有一些簡單的性質：

$A?(B?C)=(A?B)?C=A?B?C$

$(A+B)?(C+D)=A?C+A?D+B?C+B?D$

$(A?B)(C?D)=AC?BD$

$(A?B{)}^{\prime }=(A^{\prime }?B^{\prime })$

$rank(A?B)=rank(A)rank(B)$

$tr(A?B)=tr(A)tr(B)$

$\det (A?B)=[\det (A){]}^p[\det (B){]}^n$

$(A?B{)}^{?1}=A^{?1}?B^{?1}$

Kronecker乘積一般是不具有交換性的。這些性質都非常直觀，我就不證明了。

vec算子與devec算子

假設$A\in F^{m\times n}$，$a_j$是它的第$j$列，則vec算子的定義是：
$$\begin{gathered} vec:F^{m\times n}\to F^{mn\times 1} \\ vec(A)=[a_1^{\prime },?,a_n^{\prime }{]}^{\prime } \end{gathered}$$
假設$a^i$是$A$的第$i$行，則devec算子的定義是：
$$\begin{gathered} devec:F^{m\times n}\to F^{1\times mn} \\ devec(A)=[a^1,?,a^m] \end{gathered}$$
下面所有的上標均表示行，下標均表示列。根據這兩個算子的定義，他們有如下關系：
$$[vec(A){]}^{\prime }=devec(A^{\prime }),vec(A^{\prime })=[devec(A){]}^{\prime }$$
下面是vec算子、devec算子與Kronecker乘積的性質：

假設$a,b$是兩個列向量，則$a?b^{\prime }=a{b}^{\prime }=b^{\prime }?a$，進而$$vec(a{b}^{\prime })=b?a,devec(a{b}^{\prime })=a^{\prime }?b^{\prime }$$

假設$A,B,C$是三個矩陣，$?ABC$，$$\begin{gathered} vec(ABC)=(C^{\prime }?A)vec(B) \\ devec(ABC)=[vec(B^{\prime }){]}^{\prime }(A^{\prime }?C)=devec(B)(A^{\prime }?C) \end{gathered}$$

對于矩陣$A\in F^{m\times n}$，$$\begin{gathered} vec(A)=(I_n?A)vec(I_n)=(A^{\prime }?I_m)vec(I_m) \\ devec(A)=devec(I_n)(A^{\prime }?I_n)=devec(I_m)(I_m?A) \end{gathered}$$

對于分塊矩陣$A=[A_1,?,A_p],A_i\in F^{m\times n}$，則$$A(I_p?B)=(A_{1}B,?,A_{p}B)$$

跡可以用用vec算子表示：$$\begin{gathered} tr(AB)=[vec(A^{\prime }){]}^{\prime }vec(B)=devec(A)vec(B) \\ tr(ABC)=devec(A)vec(BC)=devec(AB)vec(C) \end{gathered}$$

證明
性質1與性質4比較直觀，此處略去證明。

性質2。假設$A\in F^{m\times r},B\in F^{r\times l},C\in F^{l\times n}$，則$vec(ABC)\in F^{mn\times 1},C^{\prime }?A\in F^{mn\times rl},vec(B)\in F^{rl\times 1}$。$vec(ABC)$的第$i$個元素是$ABC$的第$[i/m]$列，第$i?[i/m]$行，其中$[i/m]$表示不大于$i/m$的最大整數，所以這個元素可以表示為
$$\sum _{k=1}^l(a^{i?[i/m]}{b}_k)c_{[i/m]}^k$$
$(C^{\prime }?A)vec(B)$的第$i$個元素是$C^{\prime }?A$的第$i$行與$vec(B)$的乘積，
$$\sum _{k=1}^l(c_{[i/m]}^k{a}^{i?[i/m]})b_k=\sum _{k=1}^l(a^{i?[i/m]}{b}_k)c_{[i/m]}^k$$
因此$$vec(ABC)=(C^{\prime }?A)vec(B)$$
類似地，$devec(ABC)\in F^{1\times mn},devec(B)\in F^{1\times rl},A^{\prime }?C\in F^{rl\times mn}$，$devec(ABC)$的第$i$個元素是$ABC$的第$[i/n]$行，第$i?[i/n]$列：
$$\sum _{k=1}^l(a^{[i/n]}{b}_k)c_{i?[i/n]}^k=\sum _{k=1}^l\sum _{j=1}^r(a_{[i/n],j}{b}_k^j)c_{i?[i/n]}^k$$
$devec(B)(A^{\prime }?C)$的$i$個元素是
$$\sum _{j=1}^r\sum _{k=1}^l{b}_k^j(a_{[i/n],j}{c}_{i?[i/n]}^k)=\sum _{k=1}^l\sum _{j=1}^r(a_{[i/n],j}{b}_k^j)c_{i?[i/n]}^k$$
因此$$devec(ABC)=[vec(B^{\prime }){]}^{\prime }(A^{\prime }?C)=devec(B)(A^{\prime }?C)$$

性質3。應用性質2，取$B=C=I_n$，則
$$vec(A)=vec(ABC)=(I_n?A)vec(I_n)$$
或者記$C$為$A$，$A,B$為$I_m$，則
$$vec(A)=vec(I_m{I}_{m}A)=(A^{\prime }?I_m)vec(I_m)$$
devec算子的兩個等式類似。

性質5。假設$A\in F^{m\times n},B\in F^{n\times m}$
$$tr(AB)=\sum _{i=1}^m{a}^i{b}_i$$
根據性質4，
$$devec(A)vec(B)=\sum _{i=1}^m{a}^i{b}_i=tr(AB)$$
假設$A\in F^{m\times r},B\in F^{r\times l},C\in F^{l\times m}$，則
$$tr(ABC)=\sum _{i=1}^m\left(\sum _{k=1}^l(a^i{b}_k)c_i^k\right)=\sum _{i=1}^m\sum _{k=1}^l{a}^i{b}_k{c}_i^k=\sum _{i=1}^m\sum _{k=1}^l\sum _{j=1}^r{a}_j^i{b}_k^j{c}_i^k$$
$devec(A)\in F^{1\times mr},vec(BC)\in F^{rm\times 1},devec(AB)\in F^{1\times ml},vec(C)\in F^{lm\times 1}$，
$$\begin{gathered} devec(A)vec(BC)=\sum _{i=1}^m\sum _{j=1}^r{a}_j^i\sum _{k=1}^l{b}_k^j{c}_i^k=\sum _{i=1}^m\sum _{k=1}^l\sum _{j=1}^r{a}_j^i{b}_k^j{c}_i^k \\ devec(AB)vec(C)=\sum _{i=1}^m\sum _{k=1}^l{c}_i^k\sum _{j=1}^r{a}_j^i{b}_k^j=\sum _{i=1}^m\sum _{k=1}^l\sum _{j=1}^r{a}_j^i{b}_k^j{c}_i^k \end{gathered}$$
因此$$tr(ABC)=devec(A)vec(BC)=devec(AB)vec(C)$$

證畢

總結

以上是生活随笔為你收集整理的矩阵分析与多元统计11 Kronecker乘积的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。