文章目錄

• 玄乎的“最大熵原理”
• 最大熵原理
• 最大熵模型
• 對特征函數的進一步理解
• 一種簡單的特征函數設計
• 最大熵模型小結

玄乎的“最大熵原理”

下面我來嘗試解釋一下這個概念。

我們了解：熵，就是混亂的意思。

在面對未知時，我們眼前的情況是十分混亂的 - 這個時候的熵值極大。然后我們會通過慢慢地收集數據和信息，慢慢地去分析，來一點一點地將熵降低。

最大熵模型 (maximization entropy model) 也是經典的分類算法，和邏輯回歸模型一樣，最大熵模型也屬于對數線性模型。最大熵模型的學習和支持向量機類似，都轉化為約束最優化問題。

最大熵原理

最大熵的思想很樸素，即將已知事實以外的未知部分看做“等

總結

以上是生活随笔為你收集整理的【机器学习算法专题（蓄力计划）】十五、机器学习中玄乎的最大熵原理及模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。