MXnet LayerNorm

?

pytorch LayerNorm

說(shuō)明

LayerNorm中不會(huì)像BatchNorm那樣跟蹤統(tǒng)計(jì)全局的均值方差，因此train()和eval()對(duì)LayerNorm沒(méi)有影響。

LayerNorm參數(shù)

torch.nn.LayerNorm(normalized_shape: Union[int, List[int], torch.Size],eps: float = 1e-05,elementwise_affine: bool = True)

normalized_shape

如果傳入整數(shù)，比如4，則被看做只有一個(gè)整數(shù)的list，此時(shí)LayerNorm會(huì)對(duì)輸入的最后一維進(jìn)行歸一化，這個(gè)int值需要和輸入的最后一維一樣大。

• 假設(shè)此時(shí)輸入的數(shù)據(jù)維度是[3, 4]，則對(duì)3個(gè)長(zhǎng)度為4的向量求均值方差，得到3個(gè)均值和3個(gè)方差，分別對(duì)這3行進(jìn)行歸一化（每一行的4個(gè)數(shù)字都是均值為0，方差為1）；LayerNorm中的weight和bias也分別包含4個(gè)數(shù)字，重復(fù)使用3次，對(duì)每一行進(jìn)行仿射變換（仿射變換即乘以weight中對(duì)應(yīng)的數(shù)字后，然后加bias中對(duì)應(yīng)的數(shù)字），并會(huì)在反向傳播時(shí)得到學(xué)習(xí)。

如果輸入的是個(gè)list或者torch.Size，比如[3, 4]或torch.Size([3, 4])，則會(huì)對(duì)網(wǎng)絡(luò)最后的兩維進(jìn)行歸一化，且要求輸入數(shù)據(jù)的最后兩維尺寸也是[3, 4]。

• 假設(shè)此時(shí)輸入的數(shù)據(jù)維度也是[3, 4]，首先對(duì)這12個(gè)數(shù)字求均值和方差，然后歸一化這個(gè)12個(gè)數(shù)字；weight和bias也分別包含12個(gè)數(shù)字，分別對(duì)12個(gè)歸一化后的數(shù)字進(jìn)行仿射變換（仿射變換即乘以weight中對(duì)應(yīng)的數(shù)字后，然后加bias中對(duì)應(yīng)的數(shù)字），并會(huì)在反向傳播時(shí)得到學(xué)習(xí)。
• 假設(shè)此時(shí)輸入的數(shù)據(jù)維度是[N, 3, 4]，則對(duì)著N個(gè)[3,4]做和上述一樣的操作，只是此時(shí)做仿射變換時(shí)，weight和bias被重復(fù)用了N次。
• 假設(shè)此時(shí)輸入的數(shù)據(jù)維度是[N, T, 3, 4]，也是一樣的，維度可以更多。

注意：顯然LayerNorm中weight和bias的shape就是傳入的normalized_shape。

eps

歸一化時(shí)加在分母上防止除零。

elementwise_affine

如果設(shè)為False，則LayerNorm層不含有任何可學(xué)習(xí)參數(shù)。

如果設(shè)為T(mén)rue（默認(rèn)是True）則會(huì)包含可學(xué)習(xí)參數(shù)weight和bias，用于仿射變換，即對(duì)輸入數(shù)據(jù)歸一化到均值0方差1后，乘以weight，即bias。

LayerNorm前向傳播（以normalized_shape為一個(gè)int舉例）

如下所示輸入數(shù)據(jù)的shape是(3, 4)，此時(shí)normalized_shape傳入4（輸入維度最后一維的size），則沿著最后一維（沿著最后一維的意思就是對(duì)最后一維的數(shù)據(jù)進(jìn)行操作）求和，并用這兩個(gè)結(jié)果把batch沿著最后一維歸一化，使其均值為0，方差為1。歸一化公式用到了eps()，即。 tensor = torch.FloatTensor([[1, 2, 4, 1],[6, 3, 2, 4],[2, 4, 6, 1]]) 此時(shí)，（有偏樣本方差），歸一化后的值如下，舉例說(shuō)明：第0行第2列的數(shù)字4，減去第0行的均值2.0等于2，然后除以即2/1.224749≈1.6330。 [[-0.8165, 0.0000, 1.6330, -0.8165],[ 1.5213, -0.5071, -1.1832, 0.1690],[-0.6509, 0.3906, 1.4321, -1.1717]]

?

如果elementwise_affine==True，則對(duì)歸一化后的batch進(jìn)行仿射變換，即乘以模塊內(nèi)部的weight（初值是[1., 1., 1., 1.]）然后加上模塊內(nèi)部的bias（初值是[0., 0., 0., 0.]），這兩個(gè)變量會(huì)在反向傳播時(shí)得到更新。

如果elementwise_affine==False，則LayerNorm中不含有weight和bias兩個(gè)變量，只做歸一化，不會(huì)進(jìn)行仿射變換。

?

內(nèi)容部分來(lái)自 ：https://blog.csdn.net/weixin_39228381/article/details/107939602

總結(jié)

以上是生活随笔為你收集整理的LayerNorm的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。