神經網絡有各種歸一化算法，BN，LN，IN,GN。

1. Batch Normalization

實現流程：對Tensor為[N, C, H, W], 把第1個樣本的第1個通道，加上第2個樣本的第1個通道， 加上第N個樣本的第1個通道，求平均，得到通道1的均值。（注意是將累加和除以NxHxW,得到均值）

計算方差過程類似。

對于N本書，BN相當于把所有書的第x頁加起來，計算平均值。

2. Layer Normalization

BN的一個缺點是需要較大的batchsize才能合理估計出訓練數據的均值和方差，可能導致內存的大量消耗。

而layer Normalization 的一個優勢是不需要批訓練，在單條數據內部就能歸一化。

LN對于每個樣本的C、H、W維度上的數據求均值和方差。

對于N本書，LN相當于把每一本書的所有字加起來，計算平均值。

3. Instance Normalization

IN是對每一個樣本上的一個通道計算平均值，只在channel 內部求均值。

對于N本書，相當于把一頁書中的所有字加起來，再除以該頁的總字數。

4. Group Normalization

GN相當于把一本C頁的書，平均分成G份， 每份稱為有若干頁的小冊子，求每個小冊子的均值和方差。

轉載于:https://www.cnblogs.com/yeran/p/11289879.html

總結

以上是生活随笔為你收集整理的几种Normalization算法.md的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。