轉載自：http://blog.sciencenet.cn/blog-110554-889016.html

DBN的學習一般都是從Hinton的論文A Fast Learning Algorithm for Deep Belief Nets開始。如果沒有相關的背景知識，不知道問題的來由，這篇論文讀起來是相當費勁的。

學習過程中主要參考了三篇文獻，尤其是其中第二篇文獻。這篇論文被我忽視了很久，造成了學習中很大的困惑。

1、A Fast Learning Algorithm for Deep Belief Nets
2、The wake-sleep algorithm for unsupervised neural networks ? ?
3、An Introduction to Restricted Boltzmann Machines

文獻【1】總體描述了DBN算法的實現。
我認為DBN算法就是Wake-Sleep算法+RBM，文中討論了Explaining away，complementary prior兩個重要概念。討論了RBM與Infinite directed model with tied weights的等價性。

但是論文對Wake-Sleep算法解釋特別少，因此，我對為什么討論Explaining away，complementary prior兩個概念非常不理解，云里霧里。使得我對為什么要用Wake-Sleep算法+RBM來學習多層神經網絡非常難以理解。
文獻【2】研究了Wake-Sleep算法。

多層神經網絡有很好的特征表達能力，但許多學習算法效率不高。
Wake-Sleep算法是一種有效的多層神經網絡學習算法。

它使得訓練數據的表示最經濟，同時能夠準確地重構訓練數據。
訓練數據的表示分布(representation)記為，訓練數據的生成分布(generation)記為。
學習的目標是：使得描述長度(description length)最小。即:

在Wake階段使得逼近，在Sleep階段使得逼近。
但是，由于為因子形式分布(factorial distribution)，很難準確地匹配。因為的公式為：

在一般情況下是不具備因子形式的分布。因此 難以匹配 ，從而加大了學習誤差。

為了改善Wake-Sleep算法，需要使得似然分布對應的后驗分布具有因子形式分布。

算法使得高層權值能夠影響低層權值。

互補先驗分布（Complementary Prior）就能夠保證因子形式的似然分布具有因子形式的后驗分布。這點在文獻【1】的附錄中討論得很清楚。
RBM的作用就是用來生成似然分布的互補先驗分布，使得其后驗分布具有因子形式。
因此，DBN算法解決了Wake-Sleep算法表示分布難以匹配生成分布的難題，通過RBM使得訓練數據的生成分布具有因子形式，從而提高了學習效率。

總結

以上是生活随笔為你收集整理的DBN训练学习-A fast Learning algorithm for deep belief nets的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。