從概率分布的角度考慮，對于一堆樣本數據，每個均有特征Xi對應分類標記yi。生成模型：學習得到聯合概率分布P(x,y)，即特征x和標記y共同出現的概率，然后求條件概率分布。能夠學習到數據生成的機制。判別模型：學習得到條件概率分布P(y|x)，即在特征x出現的情況下標記y出現的概率。數據要求：生成模型需要的數據量比較大，能夠較好地估計概率密度；而判別模型對數據樣本量的要求沒有那么多。兩者的優缺點如下圖，摘自知乎生成模型：以統計學和Bayes作為理論基礎1、樸素貝葉斯：通過學習先驗概率分布和條件概率分布，得到聯合概率分布，然后對應分類時的后驗概率為：使用極大似然估計（使用樣本中的數據分布來擬合數據的實際分布概率）得到先驗概率。2、混合高斯模型：3、隱馬爾可夫模型 (HMM)由隱藏的馬爾可夫鏈隨機生成觀測序列，是生成模型。HMM是關于時序的概率模型，描述由一個隱藏的馬爾可夫鏈隨機生成不可觀測的狀態隨機序列，再由各個狀態生成一個觀測而產生觀測隨機序列的過程。包含三要素：初始狀態概率向量pie，狀態轉移概率矩陣A，觀測概率矩陣B。判別模型1、感知機 (線性分類模型)輸入空間為，輸出空間為，使用的映射函數為，其中sign為符號函數 (輸入大于等于1時輸出為1；否則為0)。使用的損失函數為誤分類點到超平面的總距離，即：其中M為所有誤分類點的集合，||w||可以不考慮。可以使用隨機梯度下降得到最后的分類超平面。2、k近鄰法基于已知樣本，對未知樣本進行預測時，找到對應的K個最近鄰，通過多數表決進行預測。沒有顯式的學習過程。3、決策樹決策樹在每個單元定義一個類的概率分布，形成一個條件概率分布。決策樹中遞歸地選擇最優特征，所謂最優特征即分類效果最好的特征，算法中使用信息增益 (information gain)來衡量，對應公式為：其中D為訓練集，A為待測試的特征，H(D)為熵 (經驗熵)，H(D|A)為條件熵，兩者的計算為但是以信息增益為劃分，存在偏向于選擇取值較多的特征，因此使用信息增益比來校正，其中n為特征A的取值個數。4、邏輯斯蒂回歸模型使用條件概率分布表示，可以使用極大似然估計法估計模型參數，對優化目標使用梯度下降法或者擬牛頓法。5、最大熵模型原理：概率模型中，熵最大的模型是最好的模型，可以使用拉格朗日函數求解對偶問題解決。6、支持向量機 (SVM)SVM分為線性可分支持向量機 (硬間隔最大化)、線性支持向量機 (軟間隔最大化)、非線性支持向量機 (核函數)三種。目的是最大化間隔，這是和感知機最大的區別。7、boosting方法 (AdaBoost等)通過改變訓練樣本的權重，訓練多個分類器，將分類器進行線性組合，提升分類性能。AdaBoost采用加權多數表決的方法。8、條件隨機場 (conditional random field, CRF)給定一組輸入隨機變量條件下另一組輸出隨機變量的條件概率分布模型，其特點是假設輸出隨機變量構成馬爾可夫隨機場。可應用于標注問題。9、CNN訓練過程中，每一個中間層都有其功能，但其具體的功能無法知道。
————————————————
版權聲明：本文為CSDN博主「CAM-TAY」的原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/u010358304/article/details/79748153

總結

以上是生活随笔為你收集整理的生成模型和判别模型对比的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。