轉自https://blog.csdn.net/xxy0118/article/details/84333635

Xavier初始化:

• 條件：正向傳播時，激活值的方差保持不變；反向傳播時，關于狀態值的梯度的方差保持不變。
• 初始化方法：
  W～U[?6√ni+ni+1√,6√ni+ni+1√]

W～U[?ni?+ni+1??6??,ni?+ni+1??6

• ??]
• 假設激活函數關于0對稱，且主要針對于全連接神經網絡。適用于tanh和softsign
• 論文地址：Understanding the difficulty of training deep feedforward neural networks
• 參考資料：
  深度學習之參數初始化（一）——Xavier初始化

He初始化：

• 條件：正向傳播時，狀態值的方差保持不變；反向傳播時，關于激活值的梯度的方差保持不變。
• 適用于ReLU的初始化方法：
  W～N[0,2ni???√]

W～N[0,ni?^?2?

• ?]
• 適用于Leaky ReLU的初始化方法：
  W～N[0,2(1+α2)ni????????√]
• W～N[0,(1+α2)ni?^?2??]
  ni?=hi?wi?dini?^?=hi??wi??di?
  其中，hihi?、wiwi?分別表示卷積層中卷積核的高和寬，而didi?當前層卷積核的個數。
  • 疑問：在論文里，當前層卷積核個數di
  di?與當前層輸出通道個數outiouti?（下一層輸入通道個數ini+1ini+1?）是一致的，即di=outi?1=ini+1di?=outi?1?=ini+1?。但是在tensorflow的實現中，di=ini?outi
• • di?=ini??outi?。在用tensorflow實現He初始化時，應該以哪個為準？（個人傾向前者）
• 論文地址：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
• 參考資料：
  深度學習之參數初始化（二）——Kaiming初始化
  He初始化論文閱讀筆記與實現

總結

以上是生活随笔為你收集整理的Xavier初始化和He初始化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。