前言：花了一個(gè)半月時(shí)間學(xué)習(xí)了 北大丘維聲的《高等代數(shù)》、北理史榮昌的《矩陣分析》、清華張賢達(dá)的《矩陣分析與應(yīng)用》；北大與哈工大的網(wǎng)課。

本質(zhì)：（萬物皆矩陣）矩陣論主要研究矩陣，對(duì)于圖像、神經(jīng)網(wǎng)絡(luò)等可表示成矩陣形式，然后結(jié)果矩陣的處理方法，對(duì)其進(jìn)行操作，例如分解，基本運(yùn)算等。

一、矩陣（矩陣表示單個(gè)事物）

1.1矩陣的基本運(yùn)算

基本運(yùn)算：加法；數(shù)乘；矩陣乘法；轉(zhuǎn)置；內(nèi)積；外積

拓展運(yùn)算：直和；Hadamard積（Schur積）；Kronecker積（直積）；Khatri-Rao積（對(duì)應(yīng)列Kronecker積）

注：向量之間的外積可由Kronecker積表示；Khatri-Rao積由兩個(gè)列數(shù)相同的矩陣 對(duì)應(yīng)列Kronecker積構(gòu)成

矩陣結(jié)構(gòu)運(yùn)算：向量化（列向量化vec（A），行向量化revec（A）），矩陣化（分行向量矩陣化與列向量矩陣化）

1.2矩陣的性能指標(biāo)

（實(shí)對(duì)稱矩陣或Hermite矩陣）二次型：

，刻畫矩陣的正定性

（方陣）行列式：刻畫矩陣的奇異性；等于特征值之積

（方陣）特征值：1、刻畫矩陣的奇異性（是否存在0特征值） 2、刻畫矩陣的正定性 3、刻畫對(duì)角元素之和

注：上，下三角矩陣的特征值等于主對(duì)角元素；實(shí)對(duì)稱矩陣不同特征值對(duì)應(yīng)的特征向量是正交的。

（方陣）跡：等于特征值之和

秩：刻畫矩陣的奇異性，行秩等于列秩（對(duì)于張量不一定成立）

奇異值：

的特征值的正平方根，全奇異值分解-》刻畫矩陣的奇異性（是否存在0奇異值）

1.3矩陣的度量（內(nèi)積與范數(shù)）

向量：（常采用典范內(nèi)積

，Lp范數(shù)）

注：L2范數(shù)常稱Euclidean范數(shù)或者Frobenius范數(shù)

矩陣：

矩陣內(nèi)積：

矩陣范數(shù):誘導(dǎo)范數(shù)、元素形式范數(shù)、Schatten范數(shù)

（1）誘導(dǎo)范數(shù)定義：

注：常用的誘導(dǎo)范數(shù)為p-范數(shù)

；誘導(dǎo)L1范數(shù)對(duì)應(yīng)矩陣的列元素絕對(duì)值最大列和；誘導(dǎo)L2范數(shù)（矩陣的譜范數(shù)）對(duì)應(yīng)矩陣A的最大奇異值；誘導(dǎo)L 范數(shù)對(duì)應(yīng)矩陣A的行元素絕對(duì)值最大行和

（2）“元素形式”范數(shù)：

注：當(dāng)p=2時(shí)的范數(shù)稱為L(zhǎng)2范數(shù)，Euclidean范數(shù)，Frobenius范數(shù)

（3）Schatten范數(shù)（用矩陣奇異值定義的范數(shù)）

1.4 逆矩陣

（1）正方滿秩矩陣的逆矩陣

（2）非正方滿（行或列）秩的偽逆矩陣

左逆矩陣

右逆矩陣

注：左偽逆矩陣與超定方程的最小二乘解有關(guān)，右偽逆矩陣與欠定方程的最小二乘解有關(guān)

（3）非正方秩虧損的偽逆矩陣（Moore-Penrose逆矩陣，廣義逆矩陣）

滿足以下4個(gè)條件的矩陣，稱為Moore-Penrose逆矩陣

1.5 特殊矩陣

（1）（方陣）實(shí)對(duì)稱矩陣與復(fù)共軛對(duì)稱矩陣(Hermite矩陣)

（2）（方陣）實(shí)正交矩陣與酉矩陣（復(fù)數(shù)域）

注：酉矩陣的列或者行向量皆為標(biāo)準(zhǔn)正交基；酉矩陣對(duì)應(yīng)的酉變換保內(nèi)積，保長(zhǎng)度

（3）（方陣）正規(guī)矩陣

注：對(duì)稱矩陣hermite矩陣，正交矩陣，酉矩陣皆為正規(guī)矩陣。

（4）置換矩陣：每一行每一列有且僅有一個(gè)非零元素1。（等于初等矩陣的乘積，左乘A表示行變換，右乘A表示列變換，）

注：置換矩陣的三種特殊情況：交換矩陣，互換矩陣，位移矩陣

（5）帶型矩陣（三角矩陣為帶型矩陣的特例）除主對(duì)角線上下幾條斜線以外元素皆為0

（6）求和向量與中心化矩陣（數(shù)理統(tǒng)計(jì)中常用）

求和向量(元素全為1)：n個(gè)標(biāo)量的求和可表示為求和向量與另一向量的內(nèi)積

中心化矩陣：

,其中Jn為元素全為1的n*n矩陣

注：

Cnx向量?jī)?nèi)積等于C的二次型，等于樣本數(shù)據(jù)的協(xié)方差

（7）Vandermonde矩陣，Fourier矩陣，Hadmard矩陣（信號(hào)處理中常用）

1.6 常數(shù)、函數(shù)、隨機(jī)矩陣

注：矩陣元素可為常數(shù)、函數(shù)、隨機(jī)變量

函數(shù)矩陣的極限、導(dǎo)數(shù)、積分等于對(duì)應(yīng)元素求極限、導(dǎo)數(shù)、積分；其余與常數(shù)矩陣類似

1.7 矩陣函數(shù)

（1）利用矩陣冪級(jí)數(shù)定義矩陣函數(shù)（北理數(shù)用解析定義）

（2）常見矩陣函數(shù)（類似利用一元多項(xiàng)式環(huán)的通用性質(zhì)直接得到，與常見函數(shù)的泰勒展開式一致）

（3）矩陣函數(shù)值的計(jì)算

后面少了P逆

由該定理，我們可以實(shí)現(xiàn)降次的目的。

（4）矩陣函數(shù)微分（其中矩陣函數(shù)值根據(jù)f(X)中f的不同，最終結(jié)果可為標(biāo)量、向量、矩陣）（梯度矩陣與Hessian矩陣最優(yōu)化問題中常用）

1、以實(shí)矩陣為變?cè)膶?shí)函數(shù)（梯度矩陣等于Jacobian矩陣的轉(zhuǎn)置）

注1：Jacobian矩陣為按行向量形式定義的偏導(dǎo)矩陣，梯度矩陣（最優(yōu)化問題中常見）為按列向量形式定義的偏導(dǎo)矩陣；Jacobian矩陣也有稱協(xié)(同)梯度矩陣

注2：一階實(shí)矩陣微分是辨識(shí)實(shí)矩陣函數(shù)的梯度矩陣、Jacobian矩陣的有效數(shù)學(xué)工具；（即可通過對(duì)矩陣函數(shù)求一階微分的結(jié)果中直接得到梯度矩陣與Jacobian矩陣，具體表示式見張賢達(dá)書第三章）

注3：二階實(shí)矩陣微分是辨識(shí)實(shí)矩陣函數(shù)的Hessian矩陣(二階偏導(dǎo)矩陣)的有效數(shù)學(xué)工具；（即可通過對(duì)矩陣函數(shù)求二階微分的結(jié)果中直接得到實(shí)函數(shù)的Hessian矩陣，具體表示式見張賢達(dá)書第三章）

2、以復(fù)矩陣為變?cè)膶?shí)函數(shù)（梯度矩陣等于Jacobian矩陣的轉(zhuǎn)置，會(huì)得到梯度&共軛梯度）注：一階復(fù)矩陣微分可以標(biāo)識(shí)梯度矩陣與共軛梯度矩陣，Jacobian矩陣與共軛Jacobian矩陣；二階復(fù)矩陣微分可以標(biāo)識(shí)復(fù)Hessian矩陣

二、代數(shù)系統(tǒng)（矩陣表示兩系統(tǒng)之間的關(guān)系）

2.1 代數(shù)系統(tǒng)（線性空間、環(huán)、域）

線性空間：定義了加法與數(shù)乘，滿足8條

環(huán)：定義了加法與乘法，滿足6條，乘法需要滿足結(jié)合律與左右分配律

注：乘法滿足交換律的環(huán)稱為交換環(huán)，乘法中含有單位元的環(huán)稱為有單位元的環(huán)

舉例：一元多項(xiàng)式環(huán)，n元多項(xiàng)式環(huán)，整數(shù)集

域：含有單位元的交換環(huán)，并且其中每個(gè)非零元都是可逆元

舉例：數(shù)域

2.2 線性映射（描述兩個(gè)線性空間的映射問題）

1、線性映射的矩陣表達(dá)式

線性變換矩陣：

線性映射矩陣：

注：已知向量a在

基下的坐標(biāo)為X，則線性變換后在 基下的坐標(biāo)為Y=AX；則線性映射后在 基下的坐標(biāo)為Y=BX；

2、線性變換的Jordan標(biāo)準(zhǔn)型(方陣，矩陣相似的“最簡(jiǎn)形式”)

證明思路：基于不變子空間可將矩陣塊三角化與塊對(duì)角化，即P1與P2皆為方陣的不變子空間，則實(shí)現(xiàn)矩陣的塊對(duì)角化。若引入一維不變子空間，即特征向量作為P的列向量，當(dāng)存在n個(gè)線性無關(guān)的特征向量（表示滿足P可逆），則實(shí)現(xiàn)矩陣的對(duì)角化。

最終得到最重要的Jordan標(biāo)準(zhǔn)性：

3、特殊的線性變換

注：一個(gè)方陣對(duì)應(yīng)與一個(gè)線性變換，具有特殊性質(zhì)的矩陣對(duì)應(yīng)的線性變換，同樣具有某些特性

(1)酉變換、正交變換（保內(nèi)積，保長(zhǎng)度），屬于保距同構(gòu)映射

注：酉矩陣一定酉相似于對(duì)角矩陣，其主對(duì)角元素為模為1的復(fù)數(shù)（因?yàn)橛暇仃囂卣髦档哪５扔?）；正交變換正交相似于分塊對(duì)角矩陣

(2)Hermite變換、對(duì)稱變換

注：實(shí)對(duì)稱矩陣一定能正交相似于對(duì)角矩陣，n級(jí)Hermite矩陣一定能酉相似于對(duì)角矩陣

(3)正交投影

注：若P即為冪等矩陣又為Hermite矩陣，即可作為一投影算子。I-P則為正交投影算子（往垂線方向投影）

2.3 具有度量的線性空間（內(nèi)積空間、賦范空間、Hilbert空間）

內(nèi)積空間：只要規(guī)定了一個(gè)內(nèi)積(正定的對(duì)稱雙線性函數(shù))的線性空間皆可稱為內(nèi)積空間

注1：有限維實(shí)內(nèi)積空間稱為歐幾里得空間，簡(jiǎn)稱歐式空間；有限維復(fù)內(nèi)積空間稱為酉空間，

注2：（正定性二者皆滿足）復(fù)內(nèi)積與實(shí)內(nèi)積的區(qū)別：1、復(fù)內(nèi)積滿足共軛對(duì)稱性，實(shí)內(nèi)積滿足對(duì)稱性；2、實(shí)內(nèi)積對(duì)兩個(gè)變量都是線性的，復(fù)內(nèi)積對(duì)于一個(gè)變量線性，對(duì)另一個(gè)共軛線性

賦范空間：定義了范數(shù)的空間，可度量向量長(zhǎng)度、距離、領(lǐng)域

注：定義了L2范數(shù)的賦范空間稱為Eculidean空間

完備賦范空間：（完備性）

1、Banach空間：每一個(gè)Cauchy序列極限都存在于空間中

2、Hibert空間：每一個(gè)Cauchy序列的范數(shù)的極限都存在于空間中

，Banach空間不能

3、一個(gè)有限維的賦范空間一定是Banach空間，自動(dòng)滿足Cauchy序列極限收斂的條件

總結(jié)

以上是生活随笔為你收集整理的正交变换在基下的矩阵都是可逆阵_矩阵分析与应用（一，矩阵基础知识）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。