1 模型概述

假設有如下數據：

其中樣本數據的類別y在給定的情況下服從伯努利分布

?不同類別的樣本數據又分別服從不同的多元高斯分布（這里假設兩個高斯分布具有同樣的方差）

?2 損失函數

高斯判別模型的損失函數為其log似然，要估計的參數θ為

?然后用極大似然估計

3 參數估計

為了方便起見，?定義標簽為1的樣本個數為N1，標簽為0的樣本個數為N2，則有N1+N2=N

3.1 估計 Φ

?只存在于③式中，因此求解?只需要看③式即可：

?3.2 求解μ1

μ1只存在于①式中，因此求解μ1只需要看①式即可：

?

?

?3.3 求解μ2

求解μ2和μ1 類似

3.4 求解Σ

我們令

?和Σ有關的是①和②：

?先看通項

?

?導數為0，于是有：

在線性代數筆記：標量、向量、矩陣求導_UQI-LIUWJ的博客-CSDN博客?中，我們有：

?

?于是

兩邊同時左乘&右乘一個?，有：?

即：

4 總結?

對于一組樣本數據?

當我們知道樣本數據的類別y在給定的情況下服從伯努利分布，

同時不同類別的樣本數據又分別服從不同的多元高斯分布（這里假設兩個高斯分布具有同樣的方差）時

?

y落入分類1的概率Φ為，即屬于分類1的y的占比

屬于分類1的x的均值為：，即屬于分類1的那些xi向量的均值

屬于分類0的x的均值為：，即屬于分類0的那些xi向量的均值

不同分類的x的協方差為：即屬于分類1和0的向量xi的協方差的平均

參考資料：機器學習-白板推導系列筆記（四）-線性分類_scu-liu的博客-CSDN博客

總結

以上是生活随笔為你收集整理的机器学习笔记：高斯判别分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。