drop方法從一開始提出的時候，就用來當作正則化使用，提升模型的魯棒性。近年來drop方法被玩出花來，drop方法有兩種明顯的趨勢:

隨機drop-> 自適應(yīng)drop

像素級drop -> 區(qū)域級drop

本文主要介紹Dropout、DropBlock、AttentionDrop和TargetDrop四篇文章。

01

Dropout

在2012年，Hinton提出Dropout。當一個復(fù)雜的前饋神經(jīng)網(wǎng)絡(luò)被訓(xùn)練在小的數(shù)據(jù)集時，容易造成過擬合。為了防止過擬合，可以通過阻止特征檢測器的共同作用來提高神經(jīng)網(wǎng)絡(luò)的性能。

Dropout可以作為訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的一種trick供選擇。在每個訓(xùn)練批次中，通過忽略一半的特征檢測器（讓一半的隱層節(jié)點值為0），可以明顯地減少過擬合現(xiàn)象。這種方式可以減少特征檢測器（隱層節(jié)點）間的相互作用，檢測器相互作用是指某些檢測器依賴其他檢測器才能發(fā)揮作用。

Dropout說的簡單一點就是：我們在前向傳播的時候，讓某個神經(jīng)元的激活值以一定的概率p停止工作，這樣可以使模型泛化性更強，因為它不會太依賴某些局部的特征，如圖所示。

對于feature map來說，相當于隨機mask掉像素。

總結(jié)

以上是生活随笔為你收集整理的神经网络Drop大法真香定律的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。