目錄

• 一、線性判別分析介紹
• 二、線性判別分析原理
• • 1. 類內散度矩陣（within-class scatter matrix）
  • 2. 類間散度矩陣（between-class scatter matrix）
  • 3. 廣義瑞利商(generalized Rayleigh quotiet)
• 三、sklearn庫實現線性判別分析LDA
• 四、總結
• 五、參考

一、線性判別分析介紹

??線性判別分析(Linear Discriminant Analysis，簡稱 $LDA$)是一種經典的線性學習方法，亦稱"Fisher 判別分析"。

??線性判別分析思想：給定訓練樣本集，設法將樣例投影到一條直線上。使得同類樣例的投影點盡可能接近、異類樣例的投影點盡可能遠；在對新樣本進行分類時，將其投影到該直線上，再根據投影點的位置來確定新樣本的類別。

二、線性判別分析原理

??給定數據集 $D=\{(x_i\text{xi?}{x}_i,y_i){\}}_{i=1}^m,y_i\in \{0,1\}$ ，令$X_i$、${\mu }_i\text{μi?}{\mu }_i$、${\sum }_i\text{∑i?}{\sum }_i$ 分別表示 $i\in \{0,1\}$ 類示例的集合、均值向量、協方差矩陣。若將數據投影到直線 $\omega \text{ω}\omega$ 上，則兩類樣本的中心在直線上的投影分別為 ${\omega }^T{\mu }_0\text{ωTμ0?}{\omega }^T{\mu }_0$ 和 ${\omega }^T{\mu }_1\text{ωTμ1?}{\omega }^T{\mu }_1$ ；若將所有樣本點都投影到直線上，則兩類樣本的協方差分別為 ${\omega }^T{\sum }_0\omega \text{ωT∑0?ω}{\omega }^T{\sum }_0\omega$ 和 ${\omega }^T{\sum }_1\omega \text{ωT∑1?ω}{\omega }^T{\sum }_1\omega$ 。由于直線處于一維空間，因此 ${\omega }^T{\mu }_0\text{ωTμ0?}{\omega }^T{\mu }_0$、${\omega }^T{\mu }_1\text{ωTμ1?}{\omega }^T{\mu }_1$ 、${\omega }^T{\sum }_0\omega \text{ωT∑0?ω}{\omega }^T{\sum }_0\omega$ 和 ${\omega }^T{\sum }_1\omega \text{ωT∑1?ω}{\omega }^T{\sum }_1\omega$ 均為實數。

??要使得同類樣例的投影點盡可能接近，所以應讓同類樣例投影點的協方差盡可能小，即${\omega }^T{\sum }_0\omega +{\omega }^T{\sum }_1\omega \text{ωT∑0?ω+ωT∑1?ω}{\omega }^T{\sum }_0\omega +{\omega }^T{\sum }_1\omega$ 盡可能小。
??要使得異類樣例的投影點盡可能地遠，則讓類中心之間的距離盡可能大，即 $||{\omega }^T{\mu }_0\text{ωTμ0?}{\omega }^T{\mu }_0?{\omega }^T{\mu }_1|{|}_2^2\text{ωTμ1?∣∣22?}{\omega }^T{\mu }_1|{|}_2^2$ 盡可能大。同時考慮二者，則需要得到的最大化目標為：
$$\begin{array}{rl}J\text{J}J& =\frac{||{\omega }^T{\mu }_0?{\omega }^T{\mu }_1|{|}_2^2}{{\omega }^T{\sum }_0\omega +{\omega }^T{\sum }_1\omega }\\ & =\frac{{\omega }^T({\mu }_0?{\mu }_1)({\mu }_0?{\mu }_1{)}^T\omega }{{\omega }^T({\sum }_0+{\sum }_1)\omega }\end{array}$$

1. 類內散度矩陣（within-class scatter matrix）

??類內散度矩陣用來判斷同類樣例的投影點之間的距離。
$$\begin{array}{rl}{S}_w& =\sum _0+\sum _1\\ & =\sum _{x\in X_0}(x?{\mu }_0)(x?{\mu }_0{)}^T+\sum _{x\in X_1}(x?{\mu }_1)(x?{\mu }_1{)}^T\end{array}$$

2. 類間散度矩陣（between-class scatter matrix）

??類間散度矩陣用來判斷異類樣例的投影點之間的距離。
$$S_b=({\mu }_0?{\mu }_1)({\mu }_0?{\mu }_1{)}^T$$

3. 廣義瑞利商(generalized Rayleigh quotiet)

??廣義瑞利商(generalized Rayleigh quotiet)就是 $LDA$欲最大化的目標。
??使用類內散度矩陣和類間散度矩陣將最大化目標改寫為：
$$J\text{J}J=\frac{{\omega }^T{S}_b\omega }{{\omega }^T{S}_w\omega }$$

??$LDA$ 可從貝葉斯決策理論的角度來闡釋，并可證明，當兩類數據同先驗、滿足高斯分布且協方差相等時，$LDA$可達到最優分類。

三、sklearn庫實現線性判別分析LDA

數據生成

#生成200個三個維度樣本 import numpy as np import pandas as pd import matplotlib.pyplot as plt from matplotlib.colors import ListedColormap from sklearn.datasets import make_classification x, y = make_classification(n_samples=200, n_features=2, n_redundant=0, n_classes=2, n_informative=2,n_clusters_per_class=2,class_sep =1, random_state =0) fig = plt.figure() plt.scatter(x[:, 0], x[:, 1], c=y)

數據處理

#設置分類平滑度 h = .01 #設置X和Y的邊界值 x_min, x_max = x[:, 0].min() - 1, x[:, 0].max() + 1 y_min, y_max = x[:, 1].min() - 1, x[:, 1].max() + 1#使用meshgrid函數返回X和Y兩個坐標向量矩陣 xx, yy = np.meshgrid(np.arange(x_min, x_max,h), np.arange(y_min, y_max,h)) Z = lda.predict(np.c_[xx.ravel(), yy.ravel()])

數據集劃分

from sklearn.model_selection import train_test_split x_train,x_test,y_train,y_test = train_test_split(x, y, random_state=33, test_size=0.25)

LDA分類

#使用LDA進行降維 from sklearn.discriminant_analysis import LinearDiscriminantAnalysis from sklearn.linear_model import LogisticRegression lda = LinearDiscriminantAnalysis(n_components=1)x_train_lda = lda.fit_transform(x_train, y_train) # LDA是有監督方法，需要用到標簽 x_test_lda = lda.fit_transform(x_test, y_test) # 預測時候特征向量正負問題，乘-1反轉鏡像

繪制訓練集分類圖像

#設置colormap顏色 cm_bright = ListedColormap(['#D9E021', '#0D8ECF']) #繪制數據點 plt.scatter(x_train[:, 0], x_train[:, 1], c=y_train, cmap=cm_bright) plt.title('Linear Discriminant Analysis Classifiers') plt.axis('tight') plt.show()

繪制測試集分類圖像

plt.title('Linear Discriminant Analysis Classifiers') plt.scatter(x_test[:, 0], x_test[:, 1], c=y_test, cmap=cm_bright) plt.show()

四、總結

??　LDA算法既可以用來降維，也可以用來分類，但是目前來說，主要還是用于降維，和PCA類似，LDA降維基本也不用調參，只需要指定降維到的維數即可。

五、參考

Python機器學習筆記：線性判別分析（LDA）算法

總結

以上是生活随笔為你收集整理的【机器学习】机器学习之线性判别分析(LDA)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。