1、分類原理：

??分類思想：訓練時，設法將訓練樣本投影到一條直線上，這條直線上，同類樣本的投影點盡可能接近，異類樣本點的類別中心盡可能遠離。預測時，將樣本投影到學得的直線上，根據投影點的位置判斷其類別。
??分類過程：一個常見的LDA分類基本思想是假設各個類別的樣本數據符合高斯分布，這樣利用LDA進行投影后，可以利用極大似然估計計算各個類別投影數據的均值和方差，進而得到該類別高斯分布的概率密度函數。當一個新的樣本到來后，我們可以將它投影，然后將投影后的樣本特征分別帶入各個類別的高斯分布概率密度函數，計算它屬于這個類別的概率，最大的概率對應的類別即為預測類別。

1.1 二類問題：

??定義類內散度矩陣和類間散度矩陣。最大化二者的廣義瑞利商，利用拉格朗日乘子法進行優化求解。

1.2 多分類問題：

??多類問題：新定義全局散度矩陣，重定義類內散度矩陣為所有類別的散度矩陣之和，類間散度矩陣直接用總體散度矩陣減去類內散度矩陣便可以，優化目標通過廣義特征值問題求解，得到W的閉式解。

2、降維原理

??降維過程：確定類別數目，然后進行隨機劃分，計算各個類的樣本均值向量，通過均值向量計算類內散度矩陣SB和類內散度矩陣SW。計算矩陣的特征向量和對應的特征值。選擇D個最大特征值對應的矩陣W。使用該矩陣對數據集X進行降維Y=WTX。
??W是K個最大的廣義特征值的特征向量組成的矩陣。將W看成一個投影矩陣，那么實際上就是將原來的特征空間投影到了K維空間中，可以縮小樣本點的維度，而且利用了類別信息，是一種經典的有監督降維方法。
??LDA和PCA之間的區別：
相同點：
兩者均可以對數據進行降維。兩者在降維時均使用了矩陣特征分解的思想。
不同點：
LDA是有監督的降維方法，而PCA是無監督的降維方法
LDA降維最多降到類別數C-1的維數，而PCA沒有這個限制。
LDA除了可以用于降維，還可以用于分類。
LDA選擇分類性能最好的投影方向，而PCA選擇樣本點投影具有最大方差的方向。

總結

以上是生活随笔為你收集整理的线性判别分析LDA的思想的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。