【機器學習中的數學基礎】矩陣特征值、特征向量和特征值分解的幾何意義

在《機器學習》西瓜書中的第十章提到了“多維縮放”（簡稱MDS）方法，該方法是一種經典的的降維方法。此方法的目標是獲得樣本在$d^{{}^{\prime }}$維空間的表示，且任意兩個樣本在$d^{{}^{\prime }}$維空間中的歐式距離等于原始空間中的距離。

在介紹該方法時提到了特征值分解這一概念，在線性代數的課程學習中，重點放在了如何求解特征值和特征值分解，對于其表示的數學含義而不求甚解，因此，本文就矩陣的特征值、特征向量以及特征值的分解所具有的幾何意義做出解釋。

相關的參考：
特征向量與特征值的本質（B站）
機器學習中的數學基礎：(1)實際應用中矩陣特征值與特征向量的幾何意義

1、特征值和特征向量的幾何意義

對于特征值和特征向量的本質不清楚的可觀看上述的b站視頻，實際上，

如果存在某個或某些向量在$A$作用之后，它只是伸長或者縮短，其位置仍停留在其原來張成的直線上，那么稱之為$A$的特征向量，伸長或者縮短的倍數稱為對應特征向量的特征值。

從幾何意義上講，特征向量描述了矩陣對應的線性變換的主要變換方向 。線性變換對向量的作用是伸縮（新的長度）和旋轉（新的方向），旋轉會消減拉伸的作用，特征向量只有伸縮沒有旋轉，它就代表了這個線性變換的主要方向；

那么特征值就是描述該方向上的變換速度（倍數），所以把特征值排序，從大到小的特征值及其特征向量能近似地描述原矩陣的主變換方向和變換速度。

2、特征值分解的幾何意義

特征值分解是找最相似的矩陣：

特征值分解是將一個矩陣分解為如下形式： $A=Q\sum Q^{?1}$，
其中，$Q$是這個矩陣A的特征向量組成的矩陣，$\Sigma$是一個對角矩陣，每一個對角線元素就是一個特征值，里面的特征值是由大到小排列的，這些特征值所對應的特征向量就是描述這個矩陣變化方向（從主要的變化到次要的變化排列）。也就是說矩陣$A$的信息可以由其特征值和特征向量表示。

對于矩陣為高維的情況下，那么這個矩陣就是高維空間下的一個線性變換。可以想象，這個變換也同樣有很多的變換方向，我們通過特征值分解得到的前$N$個特征向量，那么就對應了這個矩陣最主要的$N$個變化方向。我們利用這前$N$個變化方向，就可以近似這個矩陣（變換）。

3、特征值分解在圖像壓縮的應用

具體應用在圖像壓縮上，比如說，有這么一副512×512的圖片（方陣才有特征值），這個圖片可以放到一個矩陣里面去，就是把每個像素的顏色值填入到一個512×512512×512的 A 矩陣中。根據之前的矩陣對角化A=p，其中為對角陣，對角線上是從大到小排列的特征值，我們只保留前面50個的特征值（也就是最大的50個，其實也只占了所有特征值的百分之十），其它的都填0，重新計算矩陣后，利用新得到的矩陣，進行恢復圖像，效果仍然與原圖像差不多。

總結

以上是生活随笔為你收集整理的【机器学习中的数学基础】矩阵特征值、特征向量和特征值分解的几何意义的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。