作者：politer
鏈接：https://www.zhihu.com/question/20446337/answer/256466823
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。

其實機器學習的任務是從屬性X預測標記Y，即求概率P(Y|X)；

對于判別式模型來說求得P(Y|X)，對未見示例X，根據P(Y|X)可以求得標記Y，即可以直接判別出來，如上圖的左邊所示，實際是就是直接得到了判別邊界，所以傳統的、耳熟能詳的機器學習算法如線性回歸模型、支持向量機SVM等都是判別式模型，這些模型的特點都是輸入屬性X可以直接得到Y（對于二分類任務來說，實際得到一個score，當score大于threshold時則為正類，否則為反類）~（根本原因個人認為是對于某示例X_1，對正例和反例的標記的條件概率之和等于1，即P(Y_1|X_1)+P(Y_2|X_1)=1）

而生成式模型求得P(Y,X)，對于未見示例X，你要求出X與不同標記之間的聯合概率分布，然后大的獲勝，如上圖右邊所示，并沒有什么邊界存在，對于未見示例（紅三角），求兩個聯合概率分布（有兩個類），比較一下，取那個大的。機器學習中樸素貝葉斯模型、隱馬爾可夫模型HMM等都是生成式模型，熟悉Naive Bayes的都知道，對于輸入X，需要求出好幾個聯合概率，然后較大的那個就是預測結果~（根本原因個人認為是對于某示例X_1，對正例和反例的標記的聯合概率不等于1，即P(Y_1,X_1)+P(Y_2,X_1)<1，要遍歷所有的X和Y的聯合概率求和，即sum(P(X,Y))=1，具體可參見樓上woodyhui提到的維基百科Generative model里的例子）

博文機器學習之判別式模型和生成式模型 - nolonely - 博客園 舉了一個例子：

判別式模型舉例：要確定一個羊是山羊還是綿羊，用判別模型的方法是從歷史數據中學習到模型，然后通過提取這只羊的特征來預測出這只羊是山羊的概率，是綿羊的概率。

生成式模型舉例：利用生成模型是根據山羊的特征首先學習出一個山羊的模型，然后根據綿羊的特征學習出一個綿羊的模型，然后從這只羊中提取特征，放到山羊模型中看概率是多少，在放到綿羊模型中看概率是多少，哪個大就是哪個。

細細品味上面的例子，判別式模型是根據一只羊的特征可以直接給出這只羊的概率（比如logistic regression，這概率大于0.5時則為正例，否則為反例），而生成式模型是要都試一試，最大的概率的那個就是最后結果~

補充20180524：

在機器學習中任務是從屬性X預測標記Y，判別模型求的是P(Y|X)，即后驗概率；而生成模型最后求的是P(X,Y)，即聯合概率。從本質上來說：

判別模型之所以稱為“判別”模型，是因為其根據X“判別”Y；

而生成模型之所以稱為“生成”模型，是因為其預測的根據是聯合概率P(X,Y)，而聯合概率可以理解為“生成”(X,Y)樣本的概率分布（或稱為 依據）；具體來說，機器學習已知X，從Y的候選集合中選出一個來，可能的樣本有(X,Y_1), (X,Y_2), (X,Y_3),……，(X,Y_n),實際數據是如何“生成”的依賴于P(X,Y)，那么最后的預測結果選哪一個Y呢？那就選“生成”概率最大的那個吧~

總結

以上是生活随笔為你收集整理的生成模型和判别模型的区别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。