根據我的第一篇關于DBM的博文，明白了一個道理，1. v 和h 互相能推測出彼此，表示同一組特征的兩種形式，就像時域頻域一樣。接下來又看了 http://www.cnblogs.com/tianchi/archive/2013/03/14/2959716.html 以熱力學分子隨機取值變化對整體能量影響的概念理解DBM中能量函數的概念。理解為 2. 整體的能量被各個隨機節點以一定的概率朝著某個方向走而帶來變化但仍然不理解這個能量函數和訓練中似然函數該怎樣使用，于是又看了解釋能量函數和Gibbs采樣的 http://m.blog.csdn.net/article/details?id=7768833

?http://www.cnblogs.com/tornadomeet/archive/2013/03/26/2982694.html

隨機模擬問題的Gibbs采樣上面講的還不是很清楚，于是參照

http://blog.163.com/lipse_huang/blog/static/191657545201341021645737/

幾個可以學習gibbs sampling的方法
1，讀Bishop的Pattern Recognition and Machine Learning，講的很清楚，但是我記得好像沒有例子。
2，讀artificial Intelligence，2、3版，都有。但是我沒讀過。
3，最方便的，查wiki，這個說的最清楚。

這里通俗點的解釋一下。首先，什么是sampling。sampling就是以一定的概率分布，看發生什么事件。舉一個例子。甲只能E：吃飯、學習、打球，時間T：上午、下午、晚上，天氣W：晴朗、刮風、下雨。現在要一個sample，這個sample可以是：打球+下午+晴朗。。。

問題是我們不知道p(E,T,W)，或者說，不知道三件事的聯合分布。當然，如果知道的話，就沒有必要用gibbs sampling了。但是，我們知道三件事的conditional distribution。也就是說，p(E|T,W),p(T|E,W),p(W|E,T)。現在要做的就是通過這三個已知的條件分布，再用gibbs sampling的方法，得到joint distribution。

具體方法。首先隨便初始化一個組合,i.e. 學習+晚上+刮風，然后依條件概率改變其中的一個變量。具體說，假設我們知道晚上+刮風，我們給E生成一個變量，比如，學習-》吃飯。我們再依條件概率改下一個變量，根據學習+刮風，把晚上變成上午。類似地，把刮風變成刮風（當然可以變成相同的變量）。這樣學習+晚上+刮風-》吃飯+上午+刮風。

同樣的方法，得到一個序列，每個單元包含三個變量，也就是一個馬爾可夫鏈。然后跳過初始的一定數量的單元（比如100個），然后隔一定的數量取一個單元（比如隔20個取1個）。這樣sample到的單元，是逼近聯合分布的。

詳細：http://en.wikipedia.org/wiki/Gibbs_sampling 相關：1.slicing sampling:?http://en.wikipedia.org/wiki/Slice_sampling;? ? ? ? ? ? ? ? ? ? 2.?Adaptive rejection sampling?for Gibbs?sampling;http://www.jstor.org/stable/2347565? seq=1#page_scan_tab_contents ? ? ? ? ? 3.?Markov chain Monte Carlo?https://en.wikipedia.org/wiki/Markov_chain_Monte_Carlo ? ? ? ? ? 4.?

MCMC算法簡介，一個很好的“百度貼吧”帖子

總結

以上是生活随笔為你收集整理的Boltzmann Machine 入门(1)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。