原文地址：http://blog.csdn.net/htyang725/article/details/6571550

Fisher 線性分類器由R.A.Fisher在1936年提出，至今都有很大的研究意義，下面介紹Fisher分類器的Fisher準則函數

?

Fisher準則函數

在模式識別的分類算法中，大概可以分為兩類，一種是基于貝葉斯理論的分類器，該類型分類器也稱為參數判別方法，根據是基于貝葉斯理論的分類器必須根據所提供的樣本數據求出先驗概率和類概率密度函數的類型和參數；另一種是非參數判別方法，它傾向于由所提供樣本數據直接求出在某一準則函數下的最優參數，這種方法必須由分類器設計者首先確定準則函數，并根據樣本數據和該函數最優的原理求出函數的參數。基于貝葉斯理論的分類器對于設計者來說比較死板和原則，它必須知道類概率密度函數和先驗概率才能估算出判別函數，但是實際上樣本數據的類概率密度函數的類型和參數都是不知道的，這給參數判別方法帶來了麻煩；而非參數方法的優點在于，當設計者設計好準則函數之后，便可用樣本數據優化分類器參數，難點在于準則函數的設計，因此，兩種方法各有千秋，互為補充！

?

設樣本d維特征空間中描述，則兩類別問題中線性判別函數的一般形式可表示成

　　　

，其中WT表示垂直于超平面的法向量，在二維的情況下，便是判別直線的法向量，W0稱為閾權值，它只決定超平面在空間上的上下或者左右平移的位置。

在使用線性分類器時，樣本的分類由其判別函數值決定，而每個樣本的判別函數值是其各分量的線性加權和再加上一閾值w₀。如果我們只考慮各分量的線性加權和，則它是各樣本向量與向量W的向量點積。如果向量W的幅度為單位長度，則線性加權和又可看作各樣本向量在向量W上的投影。顯然樣本集中向量投影的分布情況與所選擇的W向量有關。如下圖：

圖1

紅色跟藍色分別為兩類樣本，顯然，從分類的角度來看，W1要比W2要好，因此，Fisher準則函數的基本思路是向量W的方向選擇應能使兩類樣本投影的均值之差盡可能大些，而使類內樣本的離散程度盡可能小。

?

為了給出Fisher準則函數的數學定義，我們必須定義一些基本參量，如下：

1 樣本在d維特征空間的一些描述量。

　　(1) 各類樣本均值向量m_i

?

(2) 樣本類內離散度矩陣S_i與總類內離散度矩陣S_w

注釋：類內離散矩陣S_i在形式上與協方差矩陣很相似，但協方差矩陣是一種期望值，而類內離散矩陣只是表示有限個樣本在空間分布的離散程度

2 在一維Y空間

　　(1) 各類樣本均值

? ? ? (2) 樣本類內離散度和總類內離散度

?

在定義了上述一系列描述量后，可以用這些量給出Fisher準則的函數形式。根據Fisher選擇投影方向W的原則，即使原樣本向量在該方向上的投影能兼顧類間分布盡可能分開，類內樣本投影盡可能密集的要求，用以評價投影方向W的函數為：

顯然，準則函數的函數值跟總類內離散度成反比，跟樣本差值的均方成正比，也就說，兩類樣本的均值相差越大，函數值越大，反之，則越小，類內離散度越小，函數值越大，反之則越小。同一類的樣本，離散度應該要小。

轉載于:https://www.cnblogs.com/davidwang456/articles/5586220.html

總結

以上是生活随笔為你收集整理的Fisher 线性分类器--转的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。