給定一個(gè)二維矩陣

先求出該矩陣的特征值與特征向量，特征值分別獲是：，

對(duì)應(yīng)的特征向量為：

（列向量）PS：此處的U是正交矩陣，根據(jù)正交矩陣的性質(zhì)，可以有

如果從定義來(lái)理解特征向量的化，某一物體經(jīng)過(guò)該矩陣A變換后，該物體在空間內(nèi)沿著特征向量的方向上相當(dāng)于只是發(fā)生了縮放。

借用經(jīng)典的笑臉圖案來(lái)進(jìn)行說(shuō)明：

（為了方便演示笑臉圖案分布在0-1的單位正方形內(nèi)，并將兩個(gè)特征向量在圖中表示出來(lái)，兩個(gè)箭頭的方向表示兩個(gè)特征向量的方向）（以二維矩陣演示，高維類似）

將這個(gè)笑臉圖案經(jīng)過(guò)矩陣A的變換，即用這個(gè)圖案中的每個(gè)點(diǎn)的坐標(biāo)和這個(gè)矩陣做乘法，得到下面圖案：

由上邊變換后的圖案我們可以看到，笑臉圖案沿著兩個(gè)正交的特征向量的方向進(jìn)行了縮放。

根據(jù)特征向量的性質(zhì)我們知道，（下邊有舉例計(jì)算）即，那么可得

特征向量的性質(zhì)：（后邊分析要用到）

• 線性變換的特征向量是是指在變換下方向不變，或者簡(jiǎn)單地乘以一個(gè)縮放因子的非零向量。
• 特征向量對(duì)應(yīng)的特征值是它所乘的那個(gè)縮放因子。
• 特征空間就是由所有有著相同特征值的特征向量組成的空間，還包括零向量，但要注意零向量本身不是特征向量。
• 線性變換的主特征向量是最大特征值對(duì)應(yīng)的特征向量。
• 特征值的幾何重次是相應(yīng)特征空間的維數(shù)。
• 有限維向量空間上的一個(gè)線性變換的譜是其所有特征值的集合。

例如，三維空間中的旋轉(zhuǎn)變換的特征向量是沿著旋轉(zhuǎn)軸的一個(gè)向量，相應(yīng)的特征值是1，相應(yīng)的特征空間包含所有和該軸平行的向量。該特征空間是一個(gè)一維空間，因而特征值1的幾何重次是1。特征值1是旋轉(zhuǎn)變換的譜中唯一的實(shí)特征值。

-----------------總結(jié)--------------

上述笑臉變換的意思就是：

假設(shè)我們把上述的笑臉圖案作為一個(gè)矩陣C，那么矩陣可以理解為把矩陣A作用于C，由上述我們可以知道矩陣A可以拆解為（），所以：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

從上述式子我們可以看出A矩陣是從旋轉(zhuǎn)和沿軸（特征向量作為軸）縮放的角度來(lái)作用于C，分成3步理解：

第一步：（C矩陣先左乘）是把特征向量所指的方向分別轉(zhuǎn)到橫軸和縱軸，即相當(dāng)于用（對(duì)C）進(jìn)行了變換。（圖片旋轉(zhuǎn)）

對(duì)特征向量進(jìn)行旋轉(zhuǎn)相當(dāng)于將圖片即矩陣C也進(jìn)行了旋轉(zhuǎn)。

第二步：（再左乘A）然后把特征值作為縮放倍數(shù)，即乘，利用特征值構(gòu)造一個(gè)縮放矩陣，那么矩陣C分別沿著橫軸和縱軸進(jìn)行縮放。（圖片縮放）

第三步：（再左乘U），由結(jié)果可以看出接下來(lái)把圖案轉(zhuǎn)回去。

PS：所以從旋轉(zhuǎn)和縮放的角度，一個(gè)矩陣變換就是，旋轉(zhuǎn)--->沿坐標(biāo)軸縮放--->旋轉(zhuǎn)回來(lái)，這三步操作。

PS：以上都是左乘，如果右乘呢？？？

上述給的矩陣A是一個(gè)（半）正定矩陣的例子，對(duì)于不正定的矩陣也是可以分解為：旋轉(zhuǎn)--->沿坐標(biāo)軸縮放--->旋轉(zhuǎn)，這三步。（不同的是最后一步和第一步的兩個(gè)旋轉(zhuǎn)不是轉(zhuǎn)回去的關(guān)系了），表達(dá)式如下：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

這個(gè)就是SVD的分解。

-----------矩陣的正定與半正定--------

首先半正定矩陣定義為：，其中X 是向量，M 是變換矩陣

我們換一個(gè)思路看這個(gè)問(wèn)題，矩陣變換中，代表對(duì)向量 X進(jìn)行變換，我們假設(shè)變換后的向量為Y，記做。于是半正定矩陣可以寫(xiě)成：

這個(gè)是不是很熟悉呢？ 他是兩個(gè)向量的內(nèi)積。 同時(shí)我們也有公式：

||X||, ||Y||代表向量 X,Y的長(zhǎng)度，是他們之間的夾角。 于是半正定矩陣意味著

(正定、半正定矩陣的直覺(jué)代表一個(gè)向量經(jīng)過(guò)它的變化后的向量與其本身的夾角小于等于90度。)

向量?jī)?nèi)積的幾何意義

內(nèi)積（點(diǎn)乘）的幾何意義包括：

1. 表征或計(jì)算兩個(gè)向量之間的夾角
2. b向量在a向量方向上的投影

有公式：

判斷兩個(gè)向量是否同一方向或正交(即垂直)等方向關(guān)系，具體對(duì)應(yīng)關(guān)系為：

a?b>0→方向基本相同，夾角在0°到90°之間
a?b=0→ 正交，相互垂直
a?b<0→ 方向基本相反，夾角在90°到180°之間

向量?jī)?nèi)外積的幾何意義：https://www.cnblogs.com/gxcdream/p/7597865.html

（2）從特征值角度理解：

若所有特征值均不小于零，則稱為半正定。
若所有特征值均大于零，則稱為正定。

? ------>左乘可得

半正定的話：，所以：。（向量x轉(zhuǎn)置乘x相當(dāng)于平方肯定大于等于0）

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的机器学习中的数学基础：（1.1）矩阵特征值和特征向量的几何意义的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。