---

分類問題用回歸來解決？

---

當有右圖所示的點時，這些點會大幅改變分類線的位置。這時候就會導致整體的回歸結果變差。當把多分類當成回歸問題，類別分別為1，2,3,4……，因為回歸的問題是預測具體的值，這樣定義類別就默認這些數據之間有相應的關系。如果數據間沒有具體的這些數字關系，就會導致最后的回歸結果變差。

---

概率生產模型

---

對比學習見 李宏毅機器學習課程12~~~半監督學習

概率生成模型

概率生成模型示例

假設所有采樣點來自于高斯分布。這樣就需要確定高斯分布的參數：均值和協方差矩陣。

如果從這79個點預測出高斯分布的均值和協方差矩陣，比如說圖中的標記點，如果隨機的一個點離標記點比較近的話，那么該點來自于該高斯分布的幾率應該會比較大，否則反之。

使用最大似然來估計高斯函數的分布。對于這79個點，可以來自于不同的高斯分布，不同的高斯分布給出的采樣這79個點概率是不同的。

---

改進模型

---

對于不同的均值和協方差來確定高斯分布，這樣會有更多的參數，參數越多，就可以導致預測結果有高的方差，說白了就是，參數越多，就會容易導致過擬合，那么最后的結果就會不大理想。所以改進的方法是減少參數。

不同的均值，相同的協方差可以減少參數。加權平均是個策略。

---

不同的分布模型

---

不同的分布模型，參數不一樣。復雜的分布模型，參數多，就會導致較大的方差，較小的bias偏差。

假設參數是獨立不同分布的，多個高斯分布對應多個參數，這樣有時候效果不大好。對于二值分布，可以考慮Bernoulli distribution。如果假設所有變元是是獨立分布的，可以考慮Naive Bayes classifier。

---

后驗概率

---

sigmoid函數可以來自于貝葉斯函數

我們最終要找的是一個w，b，來確定不同的分布模型。

---

參考文獻

---

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

總結

以上是生活随笔為你收集整理的李宏毅机器学习课程４~~~分类：概率生成模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。