DL之DNN優化技術：利用Dropout(簡介、入門、使用)優化方法提高DNN模型的性能

?

?

?

?

?

目錄

Dropout簡介

Dropout使用

Dropout應用

---

?

?

?

?

?

?

?

?

Dropout簡介

? ? ? ? 隨機失活（dropout）是對具有深度結構的人工神經網絡進行優化的方法，在學習過程中通過將隱含層的部分權重或輸出隨機歸零，降低節點間的相互依賴性（co-dependence ）從而實現神經網絡的正則化（regularization），降低其結構風險（structural risk）。

? ? ? ? 在2012年，Hinton在其論文《Improving neural networks by preventing co-adaptation of feature detectors》中提出Dropout。當一個復雜的前饋神經網絡被訓練在小的數據集時，容易造成過擬合。為了防止過擬合，可以通過阻止特征檢測器的共同作用來提高神經網絡的性能。
?? ? ? ?在2012年，Alex、Hinton在其論文《ImageNet Classification with Deep Convolutional Neural Networks》中用到了Dropout算法，用于防止過擬合。并且，這篇論文提到的AlexNet網絡模型引爆了神經網絡應用熱潮，并贏得了2012年圖像識別大賽冠軍，使得CNN成為圖像分類上的核心算法模型。

1、左邊是一般的神經網絡，右邊是應用了Dropout的網絡。Dropout通過隨機選擇并刪除神經元，停止向前傳遞信號。

?

參考文獻

1、《Improving neural networks by preventing co-adaptation of feature detectors》

? ? ? ?Hinton G E , Srivastava N , Krizhevsky A , et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science, 2012.
https://arxiv.org/pdf/1207.0580.pdf

?

?

2、《 Dropout: A simple way to prevent neural networks from overfitting》

? ? N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov（2014）: Dropout: A simple way to prevent neural networks from overfitting. The Journal of Machine Learning Research, pages 1929 – 1958, 2014.

?

?

Dropout使用

后期更新……

?

?

Dropout應用

后期更新……

?

?

?

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的DL之DNN优化技术：利用Dropout(简介、使用、应用)优化方法提高DNN模型的性能的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。