最大方差解釋

1. 問題

     真實的訓練數(shù)據(jù)總是存在各種各樣的問題：

1、 比如拿到一個汽車的樣本，里面既有以“千米/每小時”度量的最大速度特征，也有“英里/小時”的最大速度特征，顯然這兩個特征有一個多余。

2、 拿到一個數(shù)學系的本科生期末考試成績單，里面有三列，一列是對數(shù)學的興趣程度，一列是復習時間，還有一列是考試成績。我們知道要學好數(shù)學，需要有濃厚的興趣，所以第二項與第一項強相關(guān)，第三項和第二項也是強相關(guān)。那是不是可以合并第一項和第二項呢？

3、 拿到一個樣本，特征非常多，而樣例特別少，這樣用回歸去直接擬合非常困難，容易過度擬合。比如北京的房價：假設(shè)房子的特征是（大小、位置、朝向、是否學區(qū)房、建造年代、是否二手、層數(shù)、所在層數(shù)），搞了這么多特征，結(jié)果只有不到十個房子的樣例。要擬合房子特征->房價的這么多特征，就會造成過度擬合。

4、 這個與第二個有點類似，假設(shè)在IR中我們建立的文檔-詞項矩陣中，有兩個詞項為“l(fā)earn”和“study”，在傳統(tǒng)的向量空間模型中，認為兩者獨立。然而從語義的角度來講，兩者是相似的，而且兩者出現(xiàn)頻率也類似，是不是可以合成為一個特征呢？

5、 在信號傳輸過程中，由于信道不是理想的，信道另一端收到的信號會有噪音擾動，那么怎么濾去這些噪音呢？

     回顧我們之前介紹的《模型選擇和規(guī)則化》，里面談到的特征選擇的問題。但在那篇中要剔除的特征主要是和類標簽無關(guān)的特征。比如“學生

總結(jié)

以上是生活随笔為你收集整理的主成分分析（Principal components analysis）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。