????????線性判別分析可用于處理二分類問題，其過程是尋找一個最佳的投影方向，使得樣本點在該方向上的投影符合類內小、類間大的思想（“低耦合，高內聚”），具體指的是類內的方差之和小，類間的均值之差大。

1 、數據

????????

2 目標函數?

2.1 均值&方差

? ? ?——>這個是兩個類放到一塊的數據集的均值和方差

? ? ?

? ?

?2.2 目標函數

?定義目標函數

2.2.1 分子

分子是類間均值的距離（中心點之間的距離），越大表示類“分得越快”?

?

?2.2.2 分母

分母是兩個類方差的和，越小表示每個類“內部越緊”

先看S1

S2 同理，所以有：

?2.2.3 目標函數整體

結合2.2.1和2.2.2，我們有：

?極大化J(w)就可以使得類內的方差之和小，類間的均值之差大。

3 線性判別分析的求解

為了方便起見，我們令：

于是

?對J(w)關于w求導數：

?

?參考內容：機器學習-白板推導系列筆記（四）-線性分類_scu-liu的博客-CSDN博客

?

總結

以上是生活随笔為你收集整理的机器学习笔记：线性判别分析（Fisher）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。