1、機器學習的任務

機器學習的任務是從屬性 X 預測標記 Y，即求概率P(Y|X)

2、判別式模型

對未見示例 X，判別式模型根據 P(Y|X)可以求得標記 Y，即可以直接判別出來
對于二分類任務來說，實際得到一個score，當score大于threshold時則為正類，否則為反類
如上圖的左邊所示，實際是就是直接得到了判別邊界
判別模型之所以稱為“判別”模型，是因為其根據X“判別”Y
常見判別式模型

線性回歸模型
支持向量機（SVM）
邏輯回歸（LR）
神經網絡（NN）
高斯過程（Gaussian process）
條件隨機場 CRF
CART （Classification and regression tree）
Boosting

3、生成式模型

對于未見示例 X，生成式模型需要先求出 X與不同標記之間的聯合概率分布，概率大的獲勝
如上圖右邊所示，并沒有什么邊界存在，對于未見示例（紅三角），求兩個聯合概率分布（有兩個類），比較一下，概率大的作為預測類別
生成模型之所以稱為“生成”模型，是因為其預測的根據是聯合概率 P(Y|X)

聯合概率可以理解為“生成”(Y|X) 樣本的概率分布（或稱為 依據）

具體來說

機器學習已知 X，從 Y的候選集合中選出一個來
可能的樣本有 (X|Y_1)， (X|Y_2)， (X|Y_3)，……，
實際數據是如何“生成”的依賴于P(Y|X)
那么最后的預測結果選“生成”概率最大的那個 Y_i

熟悉 Naive Bayes 的都知道，對于輸入 X，需要求出好幾個聯合概率，然后較大的那個就是預測結果 Y
常見生成式模型

判別式分析：高斯判別模型
樸素貝葉斯（Naive Bayes）
混合高斯模型（Gaussians）
K 近鄰（KNN）
隱馬爾科夫模型（HMM）
貝葉斯網絡
Sigmoid 信念網絡（sigmoid belief networks）
馬爾科夫隨機場（Markov random fields）
深度信念網絡 DBN
隱含狄利克雷分布（LDA，Latent Dirichlet allocation）
多專家模型（the mixture of experts model）

4、類比案例

判斷一只羊是山羊還是綿羊
判別模型：

從歷史數據中學習到模型
提取這只羊的特征來預測出這只羊是山羊還是綿羊
也就是說根據一只羊的特征可以直接給出這只羊是山羊的概率

生成式模型：

根據山羊的特征首先學習出一個山羊的模型
據綿羊的特征學習出一個綿羊的模型
從這只羊中提取特征，放到山羊模型中看概率是多少，放到綿羊模型中看概率是多少
概率大的模型類別即這只羊所屬的類別
也就是說，生成式模型對每一類要都試一試，所得最大概率的那個就是最后結果

參考博客：

https://www.zhihu.com/question/20446337（機器學習“判定模型”和“生成模型”有什么區別）

https://blog.csdn.net/u010358304/article/details/79748153（生成模型 VS 判別模型）

https://www.nowcoder.com/questionTerminal/e7ac0572b29a490da333d2c7ff8623ac?orderByHotValue=0&done=0&pos=1&mutiTagIds=631&onlyReference=false（判別式模型與生成式模型）

總結

以上是生活随笔為你收集整理的机器学习系列——绪论（二）生成式/判别式模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。