學習筆記，僅供參考，有錯必糾

---

文章目錄

• • Improving neural networks by preventing co-adaptation of feature detectors
  • • Abstract
    • 實驗闡述

---

Improving neural networks by preventing co-adaptation of feature detectors

Abstract

一個大型前饋神經網絡在一個樣本量較少的數據集中可能會出現訓練集結果非常好，測試集結果較差的情況，這就是出現了【過擬合】. 通過隨機的將特征檢測器(隱藏層神經元)丟棄(dropout)，可以減緩過擬合的情況.

實驗闡述

使用dropout的神經網絡模型，由于每次訓練會隨機丟棄一些隱藏層神經元，所以每次訓練的模型都是不同的. 最終得到的網絡結構(測試集中使用的結構)，是訓練時所有子網絡的權值共享后的結果.

在MNIST數據集中進行實驗，可以使用很多技巧提高模型性能. 當我們不使用已有的技巧時，在測試集中，最好的結果是160個錯誤. 當使用50%的dropout對隱藏層進行修正時，錯誤數降低到了130個，在數據的輸入層再增加20%的dropout時，錯誤會進一步減少到110.

使用dropout對原始模型進行預訓練，則錯誤數可以降低到118，如果再使用50%的dropout對隱藏層進行修正，則錯誤數可以降低到92.

使用各個模型在MNIST數據集上進行實驗，可以發現dropout對模型有不錯的提升.

在語音識別數據集TIMIT中，對各個模型進行比較，發現加入dropout的模型有更好的性能.

在CIFAR-10數據集中進行實驗，原始的模型結果為16.6%，但是通過dropout方法之后，模型的結果提高到15.4%.

在ImageNet數據集中進行實驗，原始的模型結果為48.6%，但是通過dropout方法之后，模型的結果提高到42.4%.

總結

以上是生活随笔為你收集整理的经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。