目錄

1）Motivation 1:Data Compression

2）Motivation 2: Data Visualization

3）Principal Component Analysis problem formulation

4）Principal Component Analysis algorithm

5）Advice for applying PCA

---

1）Motivation 1:Data Compression

無監(jiān)督學(xué)習(xí)第二個算法：降維，降維有兩個目的：1是數(shù)據(jù)壓縮，2是可視化，數(shù)據(jù)壓縮就是減少特征。工業(yè)中我們常常會碰到上萬的特征，這是我們就需要壓縮數(shù)據(jù)，找出其中重要的特征。下面是3維壓縮為2維的例子：

2）Motivation 2: Data Visualization

能將數(shù)據(jù)可視化的話對我們處理問題很有幫助，下面是關(guān)于幾個國家GDP可視化的例子：

3）Principal Component Analysis problem formulation

主成分分析是常見的降維方法。

需要注意的是：主成分分析不是線性回歸。

主成分分析是最小化投射誤差，線性回歸是最小化預(yù)測誤差。下圖左面是線性回歸，右邊是主成分分析。

?

4）Principal Component Analysis algorithm

下面介紹PCA算法：

1）均值歸一化：

2）計算協(xié)方差矩陣：

3）計算協(xié)方差矩陣的特征向量；

5）Advice for applying PCA

使用從訓(xùn)練集得來特征向量；

PCA不宜用來防止過擬合；

PCA不是必要的機器學(xué)習(xí)過程；

總結(jié)

以上是生活随笔為你收集整理的机器学习笔记（十三）：降维的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。