導讀

深入了解DNNs，CNNs以及RNNs中的Dropout來進行正則化，蒙特卡洛不確定性和模型壓縮的方法。

動機

在深度機器學習中訓練一個模型的主要挑戰之一是協同適應。這意味著神經元是相互依賴的。他們對彼此的影響相當大，相對于他們的輸入還不夠獨立。我們也經常發現一些神經元具有比其他神經元更重要的預測能力的情況。換句話說，我們會過度依賴于個別的神經元的輸出。

這些影響必須避免，權重必須具有一定的分布，以防止過擬合。某些神經元的協同適應和高預測能力可以通過不同的正則化方法進行調節。其中最常用的是Dropout。然而，dropout方法的全部功能很少被使用。

取決于它是DNN，一個CNN或一個RNN，不同的dropout方法可以被應用。在實踐中，我們只(或幾乎)使用一個。我認為這是一個可怕的陷阱。所以在本文中，我們將從數學和可視化上深入到dropouts的世界中去理解：

• 標準的Dropout方法

• 標準Dropout的變體

• 用在CNNs上的dropout方法

• 用在RNNs上的dropout方法

• 其他的dropout應用(蒙特卡洛和壓縮)

符號

總結

以上是生活随笔為你收集整理的12种主要的Dropout方法：如何应用于DNNs，CNNs，RNNs中的数学和可视化解释的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。