ML與Information：機器學習與Information信息論之間那些七七八八、亂七八糟、剪不斷理還亂的關系攻略

?

?

目錄

ML與信息論

ML與熵

1、熵的基礎知識

2、熵與分布的關系

3、最大熵模型與Logistic/Softmax回歸

相關文獻推薦

---

?

?

?

ML與信息論

更新……

?

ML與熵

1、熵的基礎知識

(1)、相對熵：兩個KL散度的區別：
1)、綠色曲線是真實分布p的等高線；紅色曲線是使用近似p(z1,z2)=p(z1)p(z2)得到的等高線。
2)、藍色曲線是真實分布p的等高線；紅色曲線是單模型近似分布q的等高線。

(2)各種熵之間的關系圖

?

2、熵與分布的關系

(1)、兩點分布的熵

(2)、三點分布的熵

?

3、最大熵模型與Logistic/Softmax回歸

Logistic/Softmax回歸的后驗概率

最大熵模型的后驗概率

?

相關文獻推薦

《A Brief MaxEnt Tutorial》 Adam Berger
《A simple Introduction to Maximum Entropy Models for Natural Language Processing》Adwait Ratnaparkhi
《Learning to parse natural language with maximum entropy models》 Adwait Ratnaparkhi
《統計學習方法》李航，清華大學出版社，2012年
《Elements of Information Theory》 Cover & Thomas
《A maximum entropy approach to natural language processing 》Adam Berger

?

?

總結

以上是生活随笔為你收集整理的ML与Information：机器学习与Information信息论之间那些七七八八、乱七八糟、剪不断理还乱的关系攻略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。