生成模型和判別模型

監(jiān)督學(xué)習(xí)一般學(xué)習(xí)的是一個(gè)決策函數(shù)$y=f(x)$或者是條件概率分布$p(y|x)$。

判別模型直接用數(shù)據(jù)學(xué)習(xí)這個(gè)函數(shù)或分布，例如Linear Regression和Logistic Regression。
生成模型是先用數(shù)據(jù)學(xué)習(xí)聯(lián)合概率分布$p(x,y)$，然后使用貝葉斯公式求$p(y|x)$
$$p(y|x)=\frac{p(y)p(x|y)}{p(x)}$$
$$y=\arg \underset{y}{\max }p(y|x)$$
又$y$不影響$p(x)$，故
$$y=\arg \underset{y}{\max }p(y)p(x|y)$$

高斯判別分析

假設(shè)：
$$\begin{gathered} y～Bernoulli(?) \\ x|y=0～\mathcal{N}({\mu }_0,\Sigma ) \\ x|y=1～\mathcal{N}({\mu }_1,\Sigma ) \end{gathered}$$
那么$$\begin{gathered} p(y)={?}^y(1??{)}^{(1?y)} \\ p(x|y=0)=\frac{1}{2{\pi }^{n/2}|\Sigma {|}^{1/2}}\exp \left(?\frac{1}{2}(x?{\mu }_0{)}^T{\Sigma }^{?1}(x?{\mu }_0)\right) \\ p(x|y=1)=\frac{1}{2{\pi }^{n/2}|\Sigma {|}^{1/2}}\exp \left(?\frac{1}{2}(x?{\mu }_1{)}^T{\Sigma }^{?1}(x?{\mu }_1)\right) \end{gathered}$$
于是使用極大似然估計(jì)求得參數(shù)${\mu }_0,{\mu }_1,\Sigma ,?$
最終GDA模型如下：

樸素貝葉斯模型

在樸素貝葉斯模型中我們假設(shè)給定$y$，所有的特征$x_1,x_2,\dots ,x_n$都是獨(dú)立的，這是一個(gè)非常重要的假設(shè)。有了這個(gè)假設(shè)，我們就可以很方便的求解$p(x|y)$了，而$y$服從伯努利分布，$p(x,y)$也就有了。
$$p(x|y)=p(x_1|y)p(x_2|y)\dots p(x_n|y)$$
對(duì)于離散情況，我們假定$p(x_i|y)$服從多項(xiàng)式分布(包括二項(xiàng)式分布)。
對(duì)于連續(xù)情況，我們假定$p(x_i|y)$服從高斯分布。
然后使用極大似然估計(jì)求解模型中參數(shù)，最后使用$y=\arg {\max }_{y}p(x,y)$求得$y$。

在連續(xù)情況下，我們一般使用高斯判別分析；在離散情況下，則使用樸素貝葉斯模型。

轉(zhuǎn)載博客：高斯判別分析(GDA)和樸素貝葉斯(NB)

總結(jié)

以上是生活随笔為你收集整理的高斯判别分析(GDA)和朴素贝叶斯(NB)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。