Authors

G. E. Hinton , N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov

Hinton

Abstract

訓練時隨機忽略一半的feature detectors 能夠防止因訓練集太小帶來的過擬合問題。這能夠防止一些detectors聯合在一起才起作用的情況，每個神經元預測一個特征有利于提高準確率，這種dropout的方法能提高很多benchmark的成績。

Dropout每一個單元都以0.5的概率被忽略，所以使得神經元們不能相互依賴另外一個角度：模型平均（融合），相當于權重共享的模型的平均。

使用標準的隨機梯度下降法，但是修改了loss的懲罰項，將L2設定為只有upper bound L2，只有當超過upper bound的時候才被懲罰，也就是約束代替了懲罰，使得可以以較大的learning rate，也就增大了搜索空間。

測試的時候使用了“mean network”結果取1/2，相當于很多很多的網絡的平均，結果比用dropout之后再平均的結果要好。

一般來說提高訓練效果的措施：
1. 使用transformed image
2. wiring knowledge about spatial transformations into a convnet
3. 使用預訓練模型提取訓練圖片的特征
這里什么都沒有用，再MNIST沒有dropout時160個錯誤，50%的dropout得到130個錯誤，在輸入加入20%的dropout得到110個錯誤。

在與訓練模型上可以使用dropout只是需要減小lr，去掉weight約束，比如在deep belief net上微調之前118個錯誤，微調后92個錯誤。
才外在boltzmann機，陰馬爾客服的語音識別上也有較好的應用：

其他放方面的應用也挺好，對于全鏈接層網絡，把所有的隱含層都dropout，比單獨dropout一層要好，對于輸入也可以適當的dropout一點。
此外作者還與bayes/bagging/naive bayes/evolution等相比較，認為每次訓練都可以看成基因的重組，bagging，naive bayes中的單獨對特征的判斷。
不得不佩服作者的推斷與解說。
另外還有一片文章《Dropout: A Simple Way to Prevent Neural Networks from overfitting》分析的更詳細，有興趣的可以看看。
還有一副比較dropout前后特征的圖：

總結

以上是生活随笔為你收集整理的论文笔记 | Improving neural networks by preventing co-adaptation of feature detectors的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。