文章目錄

• 線性判別函數基本概念
• Fisher線性判別分析基本思想
• 最優方向推導過程
• 轉換為判別函數
• 完整代碼

線性判別函數基本概念

我們主要討論在兩類情況下判別函數為線性的情況，這里給出一般情況：$g(\mathbf{x})={\mathbf{w}}^{\mathbf{T}}\mathbf{x}$+$w_0$
式子中$\mathbf{x}$為d維樣本向量，$\mathbf{w}$為權向量，如下：
$$\mathbf{x}=?\begin{array}{c}{x}_1\\ x_2\\ ?\\ x_d\end{array}?，\mathbf{w}=?\begin{array}{c}{w}_1\\ w_2\\ ?\\ w_d\end{array}?$$
$w_0$為一個常數，稱為閾值權
令
$$g(\mathbf{x})={\mathbf{g}}_1(\mathbf{x})?{\mathbf{g}}_2(\mathbf{x})$$
設${\mathbf{x}}_0$為一個待分類樣本，我們可以通過比較$g({\mathbf{x}}_0)$與0的大小來區分此樣本屬于哪一類

Fisher線性判別分析基本思想

Fisher線性判別分析的基本思想是把所有樣本向某一一維向量上投影，使得同一類樣本的投影點盡可能集中，而不同類的樣本投影點之間距離比較遠，如圖：

而如何定量分析找到這一最佳投影方向則是我們下面需要進行的任務

最優方向推導過程

在原樣本空間中，設共有$N$個樣本，屬于第一類${\Psi }_1$的有$N_1$個，屬于第二類${\Psi }_2$的有$N_2$個，每個樣本都為一個d維向量，如之前所述。為了方便計算我們定義一些量：
類均值向量：
${\mathbf{m}}_{\mathbf{i}}$=$\frac{1}{N_i}{\sum }_{x_j\in {\Psi }_i}^{}{\mathbf{x}}_{\mathbf{j}},$ $i=1,2$
各類的類內離散度矩陣：
${\mathbf{s}}_{\mathbf{i}}={\sum }_{{\mathbf{x}}_{\mathbf{j}}\in {\mathbf{\Psi }}_{\mathbf{i}}}^{}({\mathbf{x}}_{\mathbf{j}}?{\mathbf{m}}_{\mathbf{i}})({\mathbf{x}}_{\mathbf{j}}?{\mathbf{m}}_{\mathbf{i}}{)}^{\mathbf{T}},$ $i=1,2$
總類內離散度矩陣：
${\mathbf{S}}_{\mathbf{w}}={\mathbf{S}}_1+{\mathbf{S}}_2$
類間離散度矩陣：
${\mathbf{S}}_{\mathbf{b}}=({\mathbf{m}}_1?{\mathbf{m}}_2)({\mathbf{m}}_1?{\mathbf{m}}_2{)}^{\mathbf{T}}$
而在投影之后，變為如下各量：
樣本：
$y_i={\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}},$ $i=1,2,?,N$
兩類均值：
$\widetilde{m_i}={\mathbf{w}}^{\mathbf{T}}{\mathbf{m}}_{\mathbf{i}},$ $i=1,2$
內離散度：
$\widetilde{S_i^2}={\sum }_{y_j\in {\Psi }_i}(y_j?\widetilde{m_i}{)}^2,i=1,2$
總類內離散度：
$\widetilde{S_w}=\widetilde{S_1^2}+\widetilde{S_2^2}$
類間離散度：
$\widetilde{S_b}=(\widetilde{m_1}?\widetilde{m_2}{)}^2$
有了以上的定義，我們的目標可以寫為如下：
$$max{J}_F(w)=\frac{\widetilde{S_b}}{\widetilde{S_w}}$$
進一步推導可得：
$$\widetilde{S_b}={\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{b}}\mathbf{w}$$
$$\widetilde{S_w}={\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}$$
由于我們僅僅關心的是$\mathbf{w}$的方向而并不關心其幅值，因此我們可以假定分母為常數而使分子盡量大，也就變為如下準則：
$$max{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{b}}\mathbf{w},\mathbf{s}.\mathbf{t}.{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}=\mathbf{c}=0$$
利用拉格朗日乘子的有關知識，我們可以求解出最優方向的$\mathbf{w}$值：
$$\mathbf{w}={\mathbf{S}}_{\mathbf{w}}^{?1}({\mathbf{m}}_1?{\mathbf{m}}_2)$$

轉換為判別函數

以上我們只是求解出了投影方向，如果要得到分類面，需要在投影之后的一維空間上確定一個分類閾值$w_o$,并采取如下決策規則：
$$若g(\mathbf{x})={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+{\mathbf{w}}_0\ge 0,則\mathbf{x}\in {\mathbf{\Psi }}_1,否則\mathbf{x}\in {\mathbf{\Psi }}_2$$
如果不考慮兩類樣本先驗概率不同的情況，可以進行如下取值：
$w_0=?\frac{1}{2}(\widetilde{m_1}+\widetilde{m_2})$

完整代碼

以下是利用python將以上過程實現的例子

#導入所需庫： import numpy as np from matplotlib import pyplot as plt#創建樣本集： X1 = np.array([[[1.2],[2.8]],[[1.9],[3.7]],[[2.5],[3.8]],[[4.8],[7.9]],[[5.6],[7.8]]]) X2 = np.array([[[9.7],[12.6]],[[10.8],[12.7]],[[13.7],[22.7]],[[7.48],[14.82]],[[11.23],[17.16]]]) N1 = X1.shape[0] N2 = X2.shape[0]#類均值向量： m1 = np.array([[0],[0]]) for i in range(0,N1):m1 =m1+X1[i] m1 = m1/N1 m2 = np.array([[0],[0]]) for i in range(0,N2):m2 =m2+X2[i] m2 = m2/N2#類內離散度矩陣： S1 = np.zeros((2,2)) for i in range(0,N1):S1 = S1+np.dot(X1[i]-m1,np.transpose(X1[i]-m1)) S2 = np.zeros((2,2)) for i in range(0,N2):S2 = S2+np.dot(X2[i]-m2,np.transpose(X2[i]-m2)) Sw = S1+S2#類間離散度矩陣： Sb = np.dot(m1-m2,np.transpose(m1-m2))#方向向量： w = np.dot(np.linalg.inv(Sw),m1-m2) print(w)#投影后均值： m11 = np.dot(np.transpose(w),m1) m21 = np.dot(np.transpose(w),m2) w0 = -(m11+m21)/2#測試樣本： x_test = np.array([[3.42],[5.86]]) g = np.dot(np.transpose(w),x_test)+w0 if g>0:print('測試樣本屬于第一類！') else:print('測試樣本屬于第二類！')#可視化： for i in range(0,N1):plt.scatter(X1[i,0],X1[i,1],c='r') for i in range(0,N2):plt.scatter(X2[i,0],X2[i,1],c='b') plt.scatter(x_test[0],x_test[1],c='g') x = np.arange(0,15,0.01) y = w[1]*x/w[0] plt.plot(x,y,c='black') plt.show()

運行結果如圖：


最終將測試樣本分入第一類，從圖像上來看是合理的

總結

以上是生活随笔為你收集整理的Fisher线性判别分析以及python实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。