當(dāng)前位置：首頁 >

矩阵的迹与矩阵微商

發(fā)布時間：2024/1/8 41 豆豆

生活随笔收集整理的這篇文章主要介紹了矩阵的迹与矩阵微商小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

矩陣的跡與矩陣微商

最近學(xué)習(xí)多元統(tǒng)計分析，使用的教材是《應(yīng)用多元統(tǒng)計分析》（高惠璇）。在做第二章作業(yè)時遇到一些困難，但在附錄中找到了部分適用結(jié)論，現(xiàn)搬運如下，并對部分關(guān)于跡的結(jié)論嘗試證明。

1.矩陣的跡

定義：設(shè) $A$ 為 $p$ 階方陣，則它的對角線元素之和稱為 $A$ 的跡(trace)，記作 ${\rm tr}(A)$ ，即
${\rm tr}(A)=a_{11}+\cdots+a_{pp}.$
性質(zhì)1：若 $\lambda_1,\cdots,\lambda _p$ 為 $A$ 的特征值，則 ${\rm tr}(A)=\lambda_1+\lambda_2+\cdots+\lambda_p$ 。

矩陣 $A$ 的特征多項式為 $f(\lambda)=|\lambda I-A|$ ，其中必定包含以下一項： $(\lambda -a_{11})(\lambda -a_{22})\cdots(\lambda -a_{pp})$ ，且由行列式的定義，與這一項不同的項至少包含一個 $a_{ij})$ ，從而不能夠包含 $(\lambda -a_{ii})$ 與 $(\lambda -a_{jj})$ ，那么至多只有 $\lambda^{n-2}$ 的次數(shù)。

因此，我們得到 $\lambda^{n-1}$ 項之前的系數(shù)一定是 $-(a_{11}+\cdots+a_{pp})$ 。又因為
$|\lambda I-A|=(\lambda-\lambda_1)\cdots(\lambda -\lambda_n),$
所以 $\lambda^{n-1}$ 項前的系數(shù)一定是 $-(\lambda_1+\cdots+\lambda_n)$ ，所以有
$a_{11}+a_{22}+\cdots+a_{pp}={\rm tr}(A)=\lambda_1+\lambda_2+\cdots+\lambda_n.$

性質(zhì)2：對于 $n$ 階方陣 $A, B$ ， ${\rm tr}(AB)={\rm tr}(BA)$ 。

假設(shè) $A=(a_{ij}),B=(b_{ij})$ ，則
${\rm tr}(AB)=\sum_{k=1}^n (AB)_{kk}=\sum_{k=1}^n\left(\sum_{i=1}^n a_{ki}b_{ik} \right),\\ {\rm tr}(BA)=\sum_{k=1}^n (BA)_{kk}=\sum_{k=1}^n \left(\sum_{i=1}^n b_{ki}a_{ik} \right)=\sum_{i=1}^n \left(\sum_{k=1}^n a_{ik}b_{ki} \right).$
對比兩式就得到結(jié)果。

性質(zhì)3： ${\rm tr}(A)={\rm tr}(A')$ 。

性質(zhì)4： ${\rm tr}(A+B)={\rm tr}(A)+{\rm tr}(B)$ 。

性質(zhì)5： ${\rm tr}(\sum_{\alpha=1}^k A_\alpha)=\sum_{\alpha=1}^n {\rm tr}(A_\alpha)$ 。

以上三條性質(zhì)是顯然的。

性質(zhì)6：若 $A$ 為投影矩陣，則 ${\rm tr}(A)={\rm rank}(A)$ ，投影矩陣指對稱的冪等矩陣。

需要用到的準備知識是，對稱矩陣必定可以正交對角化，冪等矩陣的特征值為 $0$ 或 $1$ 。

由于 $A$ 是對稱矩陣，所以存在一個正交矩陣 $\Gamma$ 和對角矩陣 $V={\rm diag}(\lambda_1,\cdots,\lambda_n)$ ，使得
$A=\Gamma'V\Gamma,{\rm tr}(A)={\rm tr}(\Gamma'V\Gamma)={\rm tr}(V)=\sum_{i=1}^n \lambda_i.$
又因為冪等矩陣的特征值只能為0或1，所以 ${\rm tr}(A)$ 等于特征值中1的個數(shù)，即矩陣 $A$ 的秩。

2.矩陣微商

分為以下幾種情況。

1.自變量是一元變量 $x$

如果 $y=(y_1,\cdots,y_p)'$ 是關(guān)于 $x$ 的向量函數(shù)，則
$\frac {{\rm d}y}{{\rm d}x}=\left( \frac{{\rm d}y_1}{{\rm d}x}, \frac{{\rm d}y_2}{{\rm d}x},\cdots, \frac{{\rm d}y_p}{{\rm d}x} \right)'.$
也就是說， $p$ 維向量 $y$ 對變量 $x$ 的導(dǎo)數(shù)仍然是 $p$ 維向量，稱為導(dǎo)數(shù)向量。

如果 $Y = F (x)$ 是 $x$ 的矩陣函數(shù)， $Y=(y_{ij})$ 是 $p\times q$ 矩陣，則
$\frac{{\rm d}Y}{{\rm d}x}=\left(\frac{{\rm d}y_{ij}}{{\rm d}x}\right)_{p\times q}.$
也就是說， $p\times q$ 矩陣 $Y$ 對變量 $x$ 的導(dǎo)數(shù)仍然是 $p\times q$ 矩陣，稱為導(dǎo)數(shù)矩陣。

2.自變量是 $p$ 維向量 $x=(x_1,\cdots,x_p)'$

如果 $y = f (x)$ 是 $x$ 的一元函數(shù)，令其他為常數(shù)， $x_i$ 為常數(shù)求導(dǎo)可以求得 $y$ 對 $x_i$ 的偏導(dǎo)數(shù)，則
$\frac{\partial f}{\partial x}=\left( \frac{\partial f}{\partial x_1},\cdots ,\frac{\partial f}{\partial x_p} \right)'.$
也就是說，一元函數(shù) $f$ 對向量 $x$ 的導(dǎo)數(shù)是 $p$ 為向量，稱為偏導(dǎo)數(shù)向量。

如果 $y=(y_1,\cdots,y_q)'$ 是向量 $x$ 的 $q$ 維向量函數(shù)，即 $y_i=f_i(x)$ ，則
$\frac{\partial y}{\partial x}=\left( \frac{\partial y_i}{\partial x_j} \right)_{p\times q}= \left[\begin{matrix} \frac{\partial y_1}{\partial x_1}&\cdots&\frac{\partial y_q}{\partial x_1}\\ \vdots&&\vdots\\ \frac{\partial y_1}{\partial x_p}&\cdots&\frac{\partial y_q}{\partial x_p} \end{matrix}\right].$
也就是說， $q$ 維向量 $y$ 對 $p$ 維向量 $x$ 的導(dǎo)數(shù)是 $p\times q$ 矩陣，稱為偏導(dǎo)數(shù)矩陣。特別當(dāng) $p = q$ 時，該矩陣的行列式稱為Jacobian行列式。

如果 $Y$ 是 $n$ 階方陣，即 $Y=(y_{ij})_{n\times n}$ ，則
$\frac{\partial Y}{\partial x}=\left[\begin{matrix} \frac{\partial y_{11}}{\partial x_1}&\frac{\partial y_{12}}{\partial x_2}&\cdots&\frac{\partial y_{1n}}{\partial x_n}\\ \frac{\partial y_{21}}{\partial x_1}&\frac{\partial y_{22}}{\partial x_2}&\cdots&\frac{\partial y_{2n}}{\partial x_n}\\ \vdots&\vdots&&\vdots\\ \frac{\partial y_{n1}}{\partial x_1}&\frac{\partial y_{n2}}{\partial x_2}&\cdots&\frac{\partial y_{nn}}{\partial x_n} \end{matrix}\right].$
也就是說， $n$ 階方陣 $Y$ 對 $n$ 維矩陣 $x$ 的導(dǎo)數(shù)是 $n$ 階方陣。

自變量是矩陣 $X$

如果 $y = f (X)$ 是 $X$ 的一元函數(shù)，則
$\frac{\partial f}{\partial X}=\left[ \frac{\partial f}{\partial X_{ij}} \right].$
也就是說，標量 $y$ 對矩陣 $X$ 的導(dǎo)數(shù)是一個矩陣，稱為梯度矩陣。如果聯(lián)系上矩陣微分，則有
${\rm d}f= \sum_{i=1}^m\sum_{j=1}^n\frac{\partial f}{\partial X_{ij}}{\rm d}X_{ij} ={\rm tr}\left( \frac{\partial f}{\partial X}'{\rm d}X \right)$

常用結(jié)論

這里 $\beta,x$ 是（列）向量， $A, B, C$ 是與 $x$ 無關(guān)的矩陣。

(1)
$\dfrac{\partial \beta'x}{\partial x}=\beta.$
設(shè) $\beta=(b_1,\cdots,b_n)',x=(x_1,\cdots,x_n)$ ，則 $\beta'x=\sum\limits_{i=1}^nb_ix_i$ ，故
$\frac{\partial \beta'x}{\partial x_i}=b_i,\quad \frac{\partial \beta'x}{\partial x}=(b_1,\cdots,b_n)'=\beta.$
(2)
$\frac{\partial x'x}{\partial x}=2x.$
$x'x=\sum_{i=1}^n x_i^2$ ，故
$\frac{\partial x'x}{\partial x_i}=2x_i,\quad \frac{\partial x'x}{\partial x}=2(x_1,\cdots,x_n)'=2x.$
(3)
$\frac{\partial x'Ax}{\partial x}=(A+A')x.$
設(shè) $A=(a_{ij})_{n\times n}$ ，則 $x'Ax=\sum\limits_{i=1}^n\sum\limits_{j=1}^n x_ix_ja_{ij}$ ，所以
$\frac{\partial x'Ax}{\partial x_i}=\sum_{k=1}^n x_ka_{ik}+\sum_{k=1}^nx_ka_{ki} =x'a_{i\cdot}+x'a_{\cdot i},$
于是
$\frac{\partial x'Ax}{\partial x}=\Big(x'[(\begin{matrix}a_{1\cdot}&a_{2\cdot}&\cdots&a_{n\cdot}\end{matrix})+(\begin{matrix}a_{\cdot1}&a_{\cdot2}&\cdots&a_{\cdot n}\end{matrix})]\Big)'=\big(x'(A+A')\big)'=(A+A')x.$

(4)當(dāng) $A$ 為實對稱矩陣時，
$\frac{\partial x'Ax}{\partial A}=xx'.$
由于 $x'Ax=\sum\limits_{i=1}^n\sum\limits_{j=1}^n x_ix_ja_{ij}$ ，所以
$\frac{\partial x'Ax}{\partial a_{ij}}=x_ix_j,$
所以
$\frac{\partial x'Ax}{\partial A}=(x_ix_j)_{n\times n}=xx'.$
(5)當(dāng) $A$ 為實對稱矩陣時，
$\frac{\partial \ln |A|}{\partial A}=A^{-1}.$

這里
${\rm d} \ln |A|=|A|^{-1}d|A|={\rm tr}(A^{-1}{\rm d}A).$

總結(jié)

以上是生活随笔為你收集整理的矩阵的迹与矩阵微商的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

矩阵

上一篇：微商如何玩？微客巴巴告诉你10条超级干货
下一篇： C语言实现扫描文件下所有目录