LDA （Linear Discriminant Analysis, 線性判別分析）是一種有監督學習算法，同時經常被用來對數據進行降維。

相比于PCA，LDA可以作為一種有監督的降維算法。在PCA中，算法沒有考慮數據的標簽（類別），PCA只是把原數據映射到一些方差比較大的方向上而已。

LDA是一種監督學習的降維技術，也就是說它的數據集的每個樣本是有類別輸出的。這點和PCA不同。PCA是不考慮樣本類別輸出的無監督降維技術。

LDA的中心思想：投影后類內方差最小，類間方差最大。要將數據在低維度上進行投影，投影后希望每一種類別數據的投影點盡可能的接近，而不同類別的數據的類別中心之間的距離盡可能的大。

上圖中國提供了兩種投影方式，哪一種能更好的滿足我們的標準呢？從直觀上可以看出，右圖要比左圖的投影效果好，因為：

• 右圖的紅色數據和藍色數據各個較為集中，且類別之間的距離明顯。
• 左圖則在邊界處數據混雜。

以上就是LDA的主要思想了，當然在實際應用中，我們的數據是多個類別的，我們的原始數據一般也是超過二維的，投影后的也一般不是直線，而是一個低維的超平面。

一、LDA數學推導

1、“協方差矩陣”、“散度矩陣” 的關系

在機器學習模式識別中，經常需要應用到協方差矩陣C和散布矩陣S。如在PCA主成分分析中，需要計算樣本的散度矩陣，有的論文是計算協方差矩陣。實質上二者意義差不多，散布矩陣（散度矩陣）前乘以系數1/(n-1)就可以得到協方差矩陣了。

在模式識別的教程中，散布矩陣也稱為散度矩陣，有的也稱為類內離散度矩陣或者類內離差陣，用一個等式關系可表示為：

$$\text{散度矩陣=類內離散度矩陣=類內離差陣=協方差矩陣×（n-1）}$$

2、LDA的原理

現在我們首先從比較簡單的二類LDA入手，嚴謹的分析LDA的原理：

• 假設我們的數據集$D=\{(x_1,y_1),(x_2,y_2),...,((x_m,y_m))\}$,其中任意樣本$x_i$為n維向量，$y_i\in \{0,1\}$。我們定義$N_j(j=0,1)$為第j類樣本的個數，$X_j(j=0,1)$為第j類樣本的集合，而${\mu }_j(j=0,1)$為第j類樣本的均值向量，定義${\Sigma }_j(j=0,1)$為第j類樣本的協方差矩陣（嚴格說是缺少分母部分的協方差矩陣）。
• ${\mu }_j$的表達式為：$${\mu }_j=\frac{1}{N_j}\sum _{x\in X_j}x(j=0,1)$$
• ${\Sigma }_j$的表達式為：$${\Sigma }_j=\sum _{x\in X_j}(x?{\mu }_j)(x?{\mu }_j{)}^T(j=0,1)$$
• 由于是兩類數據，因此我們只需要將數據投影到一條直線上即可。假設我們的投影直線是向量$w$,則對任意一個樣本本$x_i$,它在直線$w$的投影為$w^T{x}_i$,對于我們的兩個類別的中心點${\mu }_0,{\mu }_1$,在在直線$w$的投影為$w^T{\mu }_0$和$w^T{\mu }_1$。由于LDA需要讓不同類別的數據的類別中心之間的距離盡可能的大，也就是我們要最大化$||w^T{\mu }_0?w^T{\mu }_1|{|}_2^2$,同時我們希望同一種類別數據的投影點盡可能的接近，也就是要同類樣本投影點的協方差$w^T{\Sigma }_{0}w$和$w^T{\Sigma }_{1}w$盡可能的小，即最小化$w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w$。綜上所述，我們的優化目標為：$$\underset{w}{argmax}J(w)=\frac{||w^T{\mu }_0?w^T{\mu }_1|{|}_2^2}{w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w}=\frac{w^T({\mu }_0?{\mu }_1)({\mu }_0?{\mu }_1{)}^{T}w}{w^T({\Sigma }_0+{\Sigma }_1)w}$$
• 我們一般定義類內散度矩陣$S_w$為：$$S_w={\Sigma }_0+{\Sigma }_1=\sum _{x\in X_0}(x?{\mu }_0)(x?{\mu }_0{)}^T+\sum _{x\in X_1}(x?{\mu }_1)(x?{\mu }_1{)}^T$$
• 同時定義類間散度矩陣$S_b$為：$$S_b=({\mu }_0?{\mu }_1)({\mu }_0?{\mu }_1{)}^T$$
• 這樣我們的優化目標重寫為：$$\underset{w}{argmax}J(w)=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$
• 要最大化 $J(w)$，只需要對 $w$ 求偏導，并令導數等于0：

• 于是得出，
  
• 由于在簡化的二分類問題中ωTSwω和ωTSBω是兩個數，我們令
  
• 于是得：
  
• 整理得：
  
• 從這里我們可以看出，我們最大化的目標對應了一個矩陣的特征值，于是LDA降維變成了一個求矩陣特征向量的問題。J（ω）就對應了矩陣 $S_w^{?1}{S}_B$最大的特征值，而投影方向就是這個特征值對應的特征向量。
• 對于二分類這一問題，由于 $S_B=({\mu }_1?{\mu }_2)({\mu }_1?{\mu }_2{)}^T$，因此 $S_B\omega$的方向始終與$({\mu }_1?{\mu }_2)$一致，如果只考慮ω的方向，不考慮其長度，可以得到

$$\omega =S_w^{?1}({\mu }_1?{\mu }_2)$$

換句話說，我們只需要求 樣本的均值 和 類內方差，就可以馬上得出最佳的投影方向 $\omega$。這便是Fisher在1936年提出的線性判別分析。

二、LDA算法流程

輸入：數據集 $D=\{(x_1,y_1),(x_2,y_2),...,((x_m,y_m))\}$,其中任意樣本 $x_i$ 為 $n$ 維向量，$y_i\in \{C_1,C_2,...,C_k\}$，降維到的維度 $d$。

輸出：降維后的樣本集 $D^{\prime }$

計算類內散度矩陣：$S_w$；

計算類間散度矩陣：$S_b$

計算矩陣：$S_w^{?1}{S}_b$；

計算$S_w^{?1}{S}_b$的最大的 $d$ 個特征值和對應的 $d$ 個特征向量 $(w_1,w_2,...w_d)$，得到投影矩陣 $W$；

對樣本集中的每一個樣本特征 $x_i$ ,轉化為新的樣本 $z_i=W^T{x}_i$；

得到輸出樣本集 $D^{\prime }=\{(z_1,y_1),(z_2,y_2),...,((z_m,y_m))\}$；

以上就是使用LDA進行降維的算法流程。

實際上LDA除了可以用于降維以外，還可以用于分類。

一個常見的LDA分類基本思想是假設各個類別的樣本數據符合高斯分布，這樣利用LDA進行投影后，可以利用極大似然估計計算各個類別投影數據的均值和方差，進而得到該類別高斯分布的概率密度函數。

當一個新的樣本到來后，我們可以將它投影，然后將投影后的樣本特征分別帶入各個類別的高斯分布概率密度函數，計算它屬于這個類別的概率，最大的概率對應的類別即為預測類別。

由于LDA應用于分類現在似乎也不是那么流行，至少我們公司里沒有用過，這里我就不多講了。

三、PCA與LDA對比

首先我們看看相同點：

兩者均可以對數據進行降維。

兩者在降維時均使用了矩陣特征分解的思想。

兩者都假設數據符合高斯分布。

我們接著看看不同點：

LDA是有監督的降維方法，而PCA是無監督的降維方法

LDA降維最多降到類別數k-1的維數，而PCA沒有這個限制。

LDA除了可以用于降維，還可以用于分類。

LDA選擇分類性能最好的投影方向，而PCA選擇樣本點投影具有最大方差的方向。

這點可以從下圖形象的看出，在某些數據分布下LDA比PCA降維較優。

當然，某些某些數據分布下PCA比LDA降維較優，如下圖所示：

1、從數學推導的角度，PCA與LDA有何區別與聯系？

相同點：都轉化為求解矩陣特征值、特征向量的問題。
不同點：

• PCA選擇的是投影后數據方差最大的方向。由于它是無監督的，因此PCA假設方差越大，信息量越多，用主成分來表示原始數據可以去除冗余的維度，達到降維。
• LDA選擇的是投影后類內方差小、類間方差大的方向。其用到了類別標簽信息，為了找到數據中具有判別性的維度，使得原始數據在這些方向上投影后，不同類別盡可能區分開。

2、如何從應用的角度分析其原理的異同？

• 從應用的角度，我們可以掌握一個基本的原則：對無監督的任務使用PCA進行降維，對有監督的則應用LDA。
• LDA是一種監督學習的降維技術，也就是說它的數據集的每個樣本是有類別輸出的。這點和PCA不同。
• PCA是不考慮樣本類別輸出的無監督降維技術。

四、LDA算法小結

LDA算法既可以用來降維，又可以用來分類，但是目前來說，主要還是用于降維。在我們進行圖像識別圖像識別相關的數據分析時，LDA是一個有力的工具。下面總結下LDA算法的優缺點。

LDA算法的主要優點有：

在降維過程中可以使用類別的先驗知識經驗，而像PCA這樣的無監督學習則無法使用類別先驗知識。

LDA在樣本分類信息依賴均值而不是方差的時候，比PCA之類的算法較優。

LDA算法的主要缺點有：

LDA不適合對非高斯分布樣本進行降維，PCA也有這個問題。

LDA降維最多降到類別數-1的維數，如果我們降維的維度大于k-1，則不能使用LDA。當然目前有一些LDA的進化版算法可以繞過這個問題。

LDA在樣本分類信息依賴方差而不是均值的時候，降維效果不好。

LDA可能過度擬合數據。

---

---

---

參考資料：
線性判別分析LDA原理總結
LDA和PCA降維總結
線性判別分析LDA降維只能降到“類別數-1”的原因
用線性判別分析 LDA 降維
協方差矩陣和散布矩陣（散度矩陣）的意義

總結

以上是生活随笔為你收集整理的机器学习-降维方法-有监督学习：LDA算法(线性判别分析)【流程：①类内散度矩阵Sw-＞②类间散度矩阵Sb-＞计算Sw^-1Sb的特征值、特征向量W-＞得到投影矩阵W-＞将样本X通过W投影进行降维】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。