文章目錄

• 線(xiàn)性判別函數(shù)基本概念
• Fisher線(xiàn)性判別分析基本思想
• 最優(yōu)方向推導(dǎo)過(guò)程
• 轉(zhuǎn)換為判別函數(shù)
• 完整代碼

線(xiàn)性判別函數(shù)基本概念

我們主要討論在兩類(lèi)情況下判別函數(shù)為線(xiàn)性的情況，這里給出一般情況：$g(\mathbf{x})={\mathbf{w}}^{\mathbf{T}}\mathbf{x}$+$w_0$
式子中$\mathbf{x}$為d維樣本向量，$\mathbf{w}$為權(quán)向量，如下：
$$\mathbf{x}=?\begin{array}{c}{x}_1\\ x_2\\ ?\\ x_d\end{array}?，\mathbf{w}=?\begin{array}{c}{w}_1\\ w_2\\ ?\\ w_d\end{array}?$$
$w_0$為一個(gè)常數(shù)，稱(chēng)為閾值權(quán)
令
$$g(\mathbf{x})={\mathbf{g}}_1(\mathbf{x})?{\mathbf{g}}_2(\mathbf{x})$$
設(shè)${\mathbf{x}}_0$為一個(gè)待分類(lèi)樣本，我們可以通過(guò)比較$g({\mathbf{x}}_0)$與0的大小來(lái)區(qū)分此樣本屬于哪一類(lèi)

Fisher線(xiàn)性判別分析基本思想

Fisher線(xiàn)性判別分析的基本思想是把所有樣本向某一一維向量上投影，使得同一類(lèi)樣本的投影點(diǎn)盡可能集中，而不同類(lèi)的樣本投影點(diǎn)之間距離比較遠(yuǎn)，如圖：

而如何定量分析找到這一最佳投影方向則是我們下面需要進(jìn)行的任務(wù)

最優(yōu)方向推導(dǎo)過(guò)程

在原樣本空間中，設(shè)共有$N$個(gè)樣本，屬于第一類(lèi)${\Psi }_1$的有$N_1$個(gè)，屬于第二類(lèi)${\Psi }_2$的有$N_2$個(gè)，每個(gè)樣本都為一個(gè)d維向量，如之前所述。為了方便計(jì)算我們定義一些量：
類(lèi)均值向量：
${\mathbf{m}}_{\mathbf{i}}$=$\frac{1}{N_i}{\sum }_{x_j\in {\Psi }_i}^{}{\mathbf{x}}_{\mathbf{j}},$ $i=1,2$
各類(lèi)的類(lèi)內(nèi)離散度矩陣：
${\mathbf{s}}_{\mathbf{i}}={\sum }_{{\mathbf{x}}_{\mathbf{j}}\in {\mathbf{\Psi }}_{\mathbf{i}}}^{}({\mathbf{x}}_{\mathbf{j}}?{\mathbf{m}}_{\mathbf{i}})({\mathbf{x}}_{\mathbf{j}}?{\mathbf{m}}_{\mathbf{i}}{)}^{\mathbf{T}},$ $i=1,2$
總類(lèi)內(nèi)離散度矩陣：
${\mathbf{S}}_{\mathbf{w}}={\mathbf{S}}_1+{\mathbf{S}}_2$
類(lèi)間離散度矩陣：
${\mathbf{S}}_{\mathbf{b}}=({\mathbf{m}}_1?{\mathbf{m}}_2)({\mathbf{m}}_1?{\mathbf{m}}_2{)}^{\mathbf{T}}$
而在投影之后，變?yōu)槿缦赂髁?#xff1a;
樣本：
$y_i={\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}},$ $i=1,2,?,N$
兩類(lèi)均值：
$\widetilde{m_i}={\mathbf{w}}^{\mathbf{T}}{\mathbf{m}}_{\mathbf{i}},$ $i=1,2$
內(nèi)離散度：
$\widetilde{S_i^2}={\sum }_{y_j\in {\Psi }_i}(y_j?\widetilde{m_i}{)}^2,i=1,2$
總類(lèi)內(nèi)離散度：
$\widetilde{S_w}=\widetilde{S_1^2}+\widetilde{S_2^2}$
類(lèi)間離散度：
$\widetilde{S_b}=(\widetilde{m_1}?\widetilde{m_2}{)}^2$
有了以上的定義，我們的目標(biāo)可以寫(xiě)為如下：
$$max{J}_F(w)=\frac{\widetilde{S_b}}{\widetilde{S_w}}$$
進(jìn)一步推導(dǎo)可得：
$$\widetilde{S_b}={\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{b}}\mathbf{w}$$
$$\widetilde{S_w}={\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}$$
由于我們僅僅關(guān)心的是$\mathbf{w}$的方向而并不關(guān)心其幅值，因此我們可以假定分母為常數(shù)而使分子盡量大，也就變?yōu)槿缦聹?zhǔn)則：
$$max{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{b}}\mathbf{w},\mathbf{s}.\mathbf{t}.{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}=\mathbf{c}=0$$
利用拉格朗日乘子的有關(guān)知識(shí)，我們可以求解出最優(yōu)方向的$\mathbf{w}$值：
$$\mathbf{w}={\mathbf{S}}_{\mathbf{w}}^{?1}({\mathbf{m}}_1?{\mathbf{m}}_2)$$

轉(zhuǎn)換為判別函數(shù)

以上我們只是求解出了投影方向，如果要得到分類(lèi)面，需要在投影之后的一維空間上確定一個(gè)分類(lèi)閾值$w_o$,并采取如下決策規(guī)則：
$$若g(\mathbf{x})={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+{\mathbf{w}}_0\ge 0,則\mathbf{x}\in {\mathbf{\Psi }}_1,否則\mathbf{x}\in {\mathbf{\Psi }}_2$$
如果不考慮兩類(lèi)樣本先驗(yàn)概率不同的情況，可以進(jìn)行如下取值：
$w_0=?\frac{1}{2}(\widetilde{m_1}+\widetilde{m_2})$

完整代碼

以下是利用python將以上過(guò)程實(shí)現(xiàn)的例子

#導(dǎo)入所需庫(kù)： import numpy as np from matplotlib import pyplot as plt#創(chuàng)建樣本集： X1 = np.array([[[1.2],[2.8]],[[1.9],[3.7]],[[2.5],[3.8]],[[4.8],[7.9]],[[5.6],[7.8]]]) X2 = np.array([[[9.7],[12.6]],[[10.8],[12.7]],[[13.7],[22.7]],[[7.48],[14.82]],[[11.23],[17.16]]]) N1 = X1.shape[0] N2 = X2.shape[0]#類(lèi)均值向量： m1 = np.array([[0],[0]]) for i in range(0,N1):m1 =m1+X1[i] m1 = m1/N1 m2 = np.array([[0],[0]]) for i in range(0,N2):m2 =m2+X2[i] m2 = m2/N2#類(lèi)內(nèi)離散度矩陣： S1 = np.zeros((2,2)) for i in range(0,N1):S1 = S1+np.dot(X1[i]-m1,np.transpose(X1[i]-m1)) S2 = np.zeros((2,2)) for i in range(0,N2):S2 = S2+np.dot(X2[i]-m2,np.transpose(X2[i]-m2)) Sw = S1+S2#類(lèi)間離散度矩陣： Sb = np.dot(m1-m2,np.transpose(m1-m2))#方向向量： w = np.dot(np.linalg.inv(Sw),m1-m2) print(w)#投影后均值： m11 = np.dot(np.transpose(w),m1) m21 = np.dot(np.transpose(w),m2) w0 = -(m11+m21)/2#測(cè)試樣本： x_test = np.array([[3.42],[5.86]]) g = np.dot(np.transpose(w),x_test)+w0 if g>0:print('測(cè)試樣本屬于第一類(lèi)！') else:print('測(cè)試樣本屬于第二類(lèi)！')#可視化： for i in range(0,N1):plt.scatter(X1[i,0],X1[i,1],c='r') for i in range(0,N2):plt.scatter(X2[i,0],X2[i,1],c='b') plt.scatter(x_test[0],x_test[1],c='g') x = np.arange(0,15,0.01) y = w[1]*x/w[0] plt.plot(x,y,c='black') plt.show()

運(yùn)行結(jié)果如圖：


最終將測(cè)試樣本分入第一類(lèi)，從圖像上來(lái)看是合理的

總結(jié)

以上是生活随笔為你收集整理的Fisher线性判别分析以及python实现的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。