深入理解BatchNorm

https://www.cnblogs.com/guoyaohua/p/8724433.html

https://www.cnblogs.com/tangweijqxx/p/10678935.html

合bn的原因

在訓(xùn)練深度網(wǎng)絡(luò)模型時(shí)，BN（Batch Normalization）層能夠加速網(wǎng)絡(luò)收斂，并且能夠控制過擬合，一般放在卷積層之后。BN 層將數(shù)據(jù)歸一化后，能夠有效解決梯度消失與梯度爆炸問題。雖然 BN 層在訓(xùn)練時(shí)起到了積極作用，然而，在網(wǎng)絡(luò)前向推斷時(shí)多了一些層的運(yùn)算，影響了模型的性能，且占用了更多的內(nèi)存或者顯存空間。目前，很多先進(jìn)的網(wǎng)絡(luò)模型（ResNet，MobileNet，Xception，ShuffleNet 等）都使用了BN技術(shù)，因此，我們有必要將 BN 層的參數(shù)合并到卷積層，來提升模型前向推斷的速度。

BN層與卷積層合并的公式推導(dǎo)

?

?

?

總結(jié)

以上是生活随笔為你收集整理的深入理解BN、合并conv+BN公式推导的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。