1.前言

?之前我們討論的PCA、ICA也好，對樣本數據來言，可以是沒有類別標簽y的。回想我們做回歸時，如果特征太多，那么會產生不相關特征引入、過度擬合等問題。我們可以使用PCA來降維，但PCA沒有將類別標簽考慮進去，屬于無監(jiān)督的。
再舉一個例子，假設我們對一張100*100像素的圖片做人臉識別，每個像素是一個特征，那么會有10000個特征，而對應的類別標簽y僅僅是0/1值，1代表是人臉。這么多特征不僅訓練復雜，而且不必要特征對結果會帶來不可預知的影響，但我們想得到降維后的一些最佳特征（與y關系最密切的），怎么辦呢？

2.二類LDA的數學原理

2.1 問題的引入

首先利用Logistic回歸作鋪墊。給定m個n維特征的訓練樣例x(i)={ x(i,1), x(i,2),...,x(i,n)}；其中，i=1~m。每個數據集x(i)，都會對應一個類標簽y(i)。我們就是要學習出參數θ，使得下式滿足：

y(i) = g(θ)x(i)，其中，g是sigmoid函數

現在，我們只考慮最簡單的二值分類問題，也就是說只有y=0和y=1兩種情況：

為了方便表示，我們對符號進行重新定義，給定特征為d維的N個樣例，x(i)={ x(i,1), x(i,2),...,x(i,n)}，其中有N1個樣例屬于類別w1，另外N2個樣例屬于類別w2。 現在我們覺得原始特征數太多，想將d維特征降到只有一維，而又要保證類別能夠“清晰”地反映在低維數據上，也就是這一維就能決定每個樣例的類別。 我們將這個最佳的向量稱為w（d維），那么樣例x（d維）到w上的投影可以用下式來計算： 這里得到的y值不是0/1值，而是x投影到直線上的點到原點的距離。????? 當x是二維的，我們就是要找一條直線（方向為w）來做投影，然后尋找最能使樣本點分離的直線。如下

應該注意到，這里得到的y值并不是0/1值，而是x投影到直線上的點到原點的距離。

當x是二維特征時，降維后的一維特征應該是一條直線，然后尋找最能使樣本點分離的直線。如下圖所示：

從直觀上來看，右圖比較好，可以很好地將不同類別的樣本點分離。接下來從定量的角度找到這個最佳的w。

2.2 理論推導

首先我們尋找每類樣例的均值（中心點），假設這里i只有兩個：

由于x到w投影后的樣本點均值為：

由此可知，投影后的的均值也就是樣本中心點的投影。
什么是最佳的直線（w）呢？我們首先發(fā)現，能夠使投影后的兩類樣本中心點盡量分離的直線是好的直線，定量表示就是：

J(w)越大越好。但是只考慮J(w)行不行呢？可定不行的，看下圖：

樣本點均勻分布在橢圓里，投影到橫軸x1上時能夠獲得更大的中心點間距J(w)，但是由于有重疊，x1不能分離樣本點。投影到縱軸x2上，雖然J(w)較小，但是能夠分離樣本點。因此我們還需要考慮樣本點之間的方差，方差越大，樣本點越難以分離。

我們使用另外一個度量值，稱作散列值（scatter），對投影后的類求散列值，如下：

感覺這個東西和方差長得好像就對了~~~散列值的幾何意義是樣本點的密集程度，值越大，越分散，反之，越集中。而我們想要的投影后的樣本點的樣子是：不同類別的樣本點越分開越好，同類的越聚集越好，也就是均值差越大越好，散列值越小越好。正好，我們可以使用J(w)和S來度量，最終的度量公式是：

接下來的事就比較明顯了，我們只需尋找使J(w)最大的w即可。

2.3 如何最優(yōu)化評判函數J(w)

先把散列值公式展開:

我們定義上式中中間那部分:

很明顯，這是一個類內的測度，稱為散列矩陣（scatter matrices）。

我們繼續(xù)定義：Sw = S1+S2。那么Sw就定義為類內散射矩陣。

那么回到上面2.3節(jié)最上面的公式，使用Si替換中間部分，得：

? ? ? ??

到此，分母已經搞定，我們開始研究分子。

SB稱為類間散射矩陣，是兩個向量的外積，雖然是個矩陣，但秩為1。

那么J(w)最終可以表示為：

在我們求導之前，需要對分母進行歸一化，因為不做歸一的話，w擴大任何倍，都成立，我們就無法確定w。因此我們打算令，那么加入拉格朗日乘子后，求導：

如果SW可逆，那么將求導后的結果兩邊都乘以SW的逆，得

? ?（λ是largerange參量）

這個可喜的結果就是w就是矩陣的特征向量了。這個公式稱為Fisher linear discrimination。

2.4 其他的發(fā)現

對于前面的類間差別公式（between classes）SB：

左右同時乘以一個w：

帶入最后的特征值公式有：

?由于對w擴大縮小任何倍不影響結果，因此可以約去兩邊的未知常數λ和λW，得到：

這樣，我們完全通過拓撲的方法得到了最終的最優(yōu)變換矩陣，該矩陣確實與類內方差和類間樣本均值相關。所以，我們只需要求出原始樣本的均值和方差就可以求出最佳的方向w，這就是Fisher于1936年提出的線性判別分析。

所以，上面的二維投影圖采用LDA處理后的結果應為：

對于多類的分析方法與之類似。

3.參看資料

http://www.cnblogs.com/jerrylead/archive/2011/04/21/2024384.html

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的线性判别分析LDA的数学原理（一）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。