?

　　BN或Dropout單獨使用能加速訓練速度并且避免過擬合

　　但是倘若一起使用，會產生負面效果。

　　BN在某些情況下會削弱Dropout的效果

　　

　　對此，BN與Dropout最好不要一起用，若一定要一起用，有2中方法：

　　　　1 在所有BN層后使用Dropout

　　　　2 修改Dropout公式（如使用高斯Dropout）使得它對方差不是那么敏感

　　　　總體思路是降低方差偏移

?

reference

　　https://zhuanlan.zhihu.com/p/33101420

轉載于:https://www.cnblogs.com/cbattle/p/9475361.html

總結

以上是生活随笔為你收集整理的Batch Normalization 与Dropout 的冲突的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。