一.文獻名字和作者

? ??Improving neural networks by preventing?co-adaptation of feature detectors，?G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov ? ?

二.閱讀時間

? ? 2014年11月7日

三.文獻的貢獻點

? ? ?這篇文章主要提出了Dropout技術，用于神經網絡出現過擬合的情況。

3.1主要過程

? ? ?Dropout的主要過程如下： ? ? ?1.在訓練過程中，對于每一個訓練樣本，隱藏層的每一個神經元能夠保持激活的概率為0.5,； ? ? ?2.在測試過程中，每一個隱藏層的神經元都能保持激活，但是，必須將輸出值乘以0.5，這是因為在測試的過程中，相比于訓練過程，增加了一倍的神經元數目，因此，需要將神經元的輸出乘以0.5。

3.2 Dropout的好處

? ? ?1.Dropout的過程可以看做是一個在不同訓練樣本時網絡結構不同的神經網絡，但是這些網絡都是用相同的權值； ? ? 2.Dropout使得能夠在一個合適的時間能訓練大量的結構不同的神經網絡，雖然權值都是相同的； ? ? 3.使用L2模的權值梯度上限而不是使用L2模的權值懲罰項，使得神經網絡能夠從一個大的學習速率開始學習，同時也允許神經網絡在一個大的權值空間進行搜索； ? ? 4.使用Dropout能夠獲得一個“平均網絡”，使用“平均網絡”能夠獲得比使用多個單個的dropout神經網絡進行平均能夠獲得更好的效果。

3.3 與預訓練相結合

? ? 在和預訓練進行結合的時候，需要將學習速率設置得比較小，同時，要將權值梯度的最大值設置取消，這樣可以避免破壞了預訓練過程中學習到的特征提取器。

3.4 與CNN結合

? ? 對于CNN來說，dropout主要用于全連接層，在所有的全連接層都是用Dropout能夠獲得更好的效果。在輸入層是用dropout也能獲得比較好的效果，但是，必須保證輸入的激活概率要在50%以上。

3.5 其他

? ? 對于那些需要大量不同的“制度”來獲得輸入和輸出關系的系統，其性能可以通過一個課學習的dropout概率來獲得提升。

總結

以上是生活随笔為你收集整理的Improving neural networks by preventing co-adaptation of feature detectors的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。