轉(zhuǎn)自https://blog.csdn.net/xxy0118/article/details/84333635

Xavier初始化:

• 條件：正向傳播時(shí)，激活值的方差保持不變；反向傳播時(shí)，關(guān)于狀態(tài)值的梯度的方差保持不變。
• 初始化方法：
  W～U[?6√ni+ni+1√,6√ni+ni+1√]

W～U[?ni?+ni+1??6??,ni?+ni+1??6

• ??]
• 假設(shè)激活函數(shù)關(guān)于0對(duì)稱(chēng)，且主要針對(duì)于全連接神經(jīng)網(wǎng)絡(luò)。適用于tanh和softsign
• 論文地址：Understanding the difficulty of training deep feedforward neural networks
• 參考資料：
  深度學(xué)習(xí)之參數(shù)初始化（一）——Xavier初始化

He初始化：

• 條件：正向傳播時(shí)，狀態(tài)值的方差保持不變；反向傳播時(shí)，關(guān)于激活值的梯度的方差保持不變。
• 適用于ReLU的初始化方法：
  W～N[0,2ni???√]

W～N[0,ni?^?2?

• ?]
• 適用于Leaky ReLU的初始化方法：
  W～N[0,2(1+α2)ni????????√]
• W～N[0,(1+α2)ni?^?2??]
  ni?=hi?wi?dini?^?=hi??wi??di?
  其中，hihi?、wiwi?分別表示卷積層中卷積核的高和寬，而didi?當(dāng)前層卷積核的個(gè)數(shù)。
  • 疑問(wèn)：在論文里，當(dāng)前層卷積核個(gè)數(shù)di
  di?與當(dāng)前層輸出通道個(gè)數(shù)outiouti?（下一層輸入通道個(gè)數(shù)ini+1ini+1?）是一致的，即di=outi?1=ini+1di?=outi?1?=ini+1?。但是在tensorflow的實(shí)現(xiàn)中，di=ini?outi
• • di?=ini??outi?。在用tensorflow實(shí)現(xiàn)He初始化時(shí)，應(yīng)該以哪個(gè)為準(zhǔn)？（個(gè)人傾向前者）
• 論文地址：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
• 參考資料：
  深度學(xué)習(xí)之參數(shù)初始化（二）——Kaiming初始化
  He初始化論文閱讀筆記與實(shí)現(xiàn)

總結(jié)

以上是生活随笔為你收集整理的Xavier初始化和He初始化的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。