生成模型和判別模型

監督學習一般學習的是一個決策函數$y=f(x)$或者是條件概率分布$p(y|x)$。

判別模型直接用數據學習這個函數或分布，例如Linear Regression和Logistic Regression。
生成模型是先用數據學習聯合概率分布$p(x,y)$，然后使用貝葉斯公式求$p(y|x)$
$$p(y|x)=\frac{p(y)p(x|y)}{p(x)}$$
$$y=\arg \underset{y}{\max }p(y|x)$$
又$y$不影響$p(x)$，故
$$y=\arg \underset{y}{\max }p(y)p(x|y)$$

高斯判別分析

假設：
$$\begin{gathered} y～Bernoulli(?) \\ x|y=0～\mathcal{N}({\mu }_0,\Sigma ) \\ x|y=1～\mathcal{N}({\mu }_1,\Sigma ) \end{gathered}$$
那么$$\begin{gathered} p(y)={?}^y(1??{)}^{(1?y)} \\ p(x|y=0)=\frac{1}{2{\pi }^{n/2}|\Sigma {|}^{1/2}}\exp \left(?\frac{1}{2}(x?{\mu }_0{)}^T{\Sigma }^{?1}(x?{\mu }_0)\right) \\ p(x|y=1)=\frac{1}{2{\pi }^{n/2}|\Sigma {|}^{1/2}}\exp \left(?\frac{1}{2}(x?{\mu }_1{)}^T{\Sigma }^{?1}(x?{\mu }_1)\right) \end{gathered}$$
于是使用極大似然估計求得參數${\mu }_0,{\mu }_1,\Sigma ,?$
最終GDA模型如下：

樸素貝葉斯模型

在樸素貝葉斯模型中我們假設給定$y$，所有的特征$x_1,x_2,\dots ,x_n$都是獨立的，這是一個非常重要的假設。有了這個假設，我們就可以很方便的求解$p(x|y)$了，而$y$服從伯努利分布，$p(x,y)$也就有了。
$$p(x|y)=p(x_1|y)p(x_2|y)\dots p(x_n|y)$$
對于離散情況，我們假定$p(x_i|y)$服從多項式分布(包括二項式分布)。
對于連續情況，我們假定$p(x_i|y)$服從高斯分布。
然后使用極大似然估計求解模型中參數，最后使用$y=\arg {\max }_{y}p(x,y)$求得$y$。

在連續情況下，我們一般使用高斯判別分析；在離散情況下，則使用樸素貝葉斯模型。

轉載博客：高斯判別分析(GDA)和樸素貝葉斯(NB)

總結

以上是生活随笔為你收集整理的高斯判别分析(GDA)和朴素贝叶斯(NB)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。