發(fā)現(xiàn)RBM 中的能量函數(shù)概念需要從Hopfield網(wǎng)絡(luò)的角度理解，于是找到

http://blog.csdn.net/roger__wong/article/details/43374343

和關(guān)于BM的最經(jīng)典論文

http://www.cs.toronto.edu/~hinton/papers.html#1983-1976

一、限制玻爾茲曼機(jī)的感性認(rèn)識

要回答這個問題大概還要從神經(jīng)網(wǎng)絡(luò)說起。 （1）人工神經(jīng)網(wǎng)絡(luò)（artificial neural network）
一言以蔽之，人工神經(jīng)網(wǎng)絡(luò)用于學(xué)習(xí)一個輸入到輸出的映射，通常由三層組成，輸入層，隱層和輸出層。 各層之間的每個連接都有一個權(quán)值，人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程就是學(xué)習(xí)這個權(quán)值。典型的，可以使用隨機(jī)梯度下降法。 （2）遞歸人工神經(jīng)網(wǎng)絡(luò)（recurrent neural network）
遞歸人工神經(jīng)網(wǎng)絡(luò)的關(guān)鍵在于“遞歸”二字，其表現(xiàn)為各節(jié)點(diǎn)可以形成一個有向環(huán)。 可以看到，遞歸神經(jīng)網(wǎng)絡(luò)和普通的人工神經(jīng)網(wǎng)絡(luò)最大不同為各隱層節(jié)點(diǎn)之間也可以相互聯(lián)系了，并組成有向環(huán) 的形式。 遞歸神經(jīng)網(wǎng)絡(luò)的種類有很多，上圖所示為"simple recurrent networks" (SRN)。 Hopfield網(wǎng)絡(luò)也是一種遞歸神經(jīng)網(wǎng)絡(luò)。 （3）玻爾茲曼機(jī)
如圖所示為一個玻爾茲曼機(jī)，其藍(lán)色節(jié)點(diǎn)為隱層，白色節(jié)點(diǎn)為輸入層。 玻爾茲曼機(jī)和遞歸神經(jīng)網(wǎng)絡(luò)相比，區(qū)別體現(xiàn)在以下幾點(diǎn)： 1、遞歸神經(jīng)網(wǎng)絡(luò)本質(zhì)是學(xué)習(xí)一個函數(shù)，因此有輸入和輸出層的概念，而玻爾茲曼機(jī)的用處在于學(xué)習(xí)一組數(shù)據(jù)的“內(nèi)在表示”，因此其沒有輸出層的概念。 2、遞歸神經(jīng)網(wǎng)絡(luò)各節(jié)點(diǎn)鏈接為有向環(huán)，而玻爾茲曼機(jī)各節(jié)點(diǎn)連接成無向完全圖。 （4）限制玻爾茲曼機(jī)
限制玻爾茲曼機(jī)和玻爾茲曼機(jī)相比，主要是加入了“限制”（這不是廢話么）。 所謂的限制就是，將完全圖變成了二分圖。如圖所示，限制玻爾茲曼機(jī)由三個顯層節(jié)點(diǎn)和四個隱層節(jié)點(diǎn)組成。 限制玻爾茲曼機(jī)可以用于降維（隱層少一點(diǎn)），學(xué)習(xí)特征（隱層輸出就是特征），深度信念網(wǎng)絡(luò)（多個RBM堆疊而成）等。

二、Hopfield網(wǎng)絡(luò)及能量函數(shù)

再談RBM之前，必須說一下Hopfield網(wǎng)絡(luò)。 Hopfield網(wǎng)絡(luò)是一種循環(huán)型神經(jīng)網(wǎng)絡(luò)，如下圖：
對于Hopfield神經(jīng)網(wǎng)絡(luò)來說，當(dāng)信號輸入后，各神經(jīng)元的狀態(tài)會不斷變化，最后趨于穩(wěn)定，或呈現(xiàn)周期性震蕩。 假設(shè)神經(jīng)元i連接其它神經(jīng)元j的權(quán)重為w(i,j)，則在Hopfield中，有W(i,i)=0，即神經(jīng)元不與自己連接，W(i,j)=W(j,i)，即權(quán)重矩陣對稱。 以上圖所示，假設(shè)輸入的變量為（a1,a2,a3,a4)，而在每一輪t神經(jīng)元i的狀態(tài)用y(i,t)來表示，再假設(shè)神經(jīng)元激發(fā)函數(shù)為sigmod，其中激發(fā)界用t(i)表示，則容易得到以下遞推式 y(i,0)=sigmod(ai-t(i)) （公式1） 這個公式什么意思呢？簡而言之就是這個神經(jīng)元在下一輪是否激發(fā)，依賴原始的輸入和其它神經(jīng)元的反饋輸入，這樣整個神經(jīng)元的狀態(tài)就呈現(xiàn)一個隨著時間進(jìn)行變化的過程，而如果權(quán)值給定、輸入給定，這個變化過程是確定的。 假設(shè)對于任意輸入，對于任意節(jié)點(diǎn)i我們在有限的時刻內(nèi)能得到y(tǒng)(i,t+1)=y(i,t)，我們就說這個神經(jīng)網(wǎng)絡(luò)是穩(wěn)定的，可以證明，當(dāng)神經(jīng)元激發(fā)函數(shù)是有界連續(xù)的，且神經(jīng)網(wǎng)絡(luò)各節(jié)點(diǎn)連接權(quán)重對陣，則Hopfield網(wǎng)絡(luò)一定是穩(wěn)定的。 對于一個穩(wěn)定的神經(jīng)網(wǎng)絡(luò)。 我們定義“能量”的增量為以下式子：
則根據(jù)公式1可以推導(dǎo)出來，節(jié)點(diǎn)j的能量增量是小于0的。（如何證明？考慮y取值只能是0或1，再考慮sigmod函數(shù)特性很容易得到） 所以我們就能把能量的增量再時間域上進(jìn)行積分，得到每個節(jié)點(diǎn)的能量，再把所有節(jié)點(diǎn)的能量加起來，看得到這個神經(jīng)網(wǎng)絡(luò)的能量。 推導(dǎo)出來的結(jié)果是這樣子的：
可以看到，神經(jīng)網(wǎng)絡(luò)的變化過程，實(shí)質(zhì)是一個能量不斷減少的過程，最終達(dá)到能量的極小值點(diǎn)，也就是穩(wěn)態(tài)。
總結(jié)一下就是：遞歸神經(jīng)網(wǎng)絡(luò)由于其結(jié)構(gòu)特性，神經(jīng)元狀態(tài)可隨時間而變化，將此過程可以抽象成能量遞減過程，變化最終會導(dǎo)致穩(wěn)態(tài)，此穩(wěn)態(tài)為能量極小值點(diǎn)

總結(jié)

以上是生活随笔為你收集整理的Boltzmann Machine 入门(2)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。