1 函數(shù)的增益值

torch.nn.init.calculate_gain(nonlinearity, param=None)提供了對(duì)非線性函數(shù)增益值的計(jì)算。

增益值gain是一個(gè)比例值，來(lái)調(diào)控輸入數(shù)量級(jí)和輸出數(shù)量級(jí)之間的關(guān)系。

常見(jiàn)的非線性函數(shù)的增益值（gain）有：

?2?fan_in和fan_out

?以下是pytorch計(jì)算fan_in和fan_out的源碼

def _calculate_fan_in_and_fan_out(tensor):dimensions = tensor.ndimension()if dimensions < 2:raise ValueError("Fan in and fan out can not be computed for tensor with fewer than 2 dimensions")#如果tensor的維度小于兩維，那么報(bào)錯(cuò)if dimensions == 2: # Linearfan_in = tensor.size(1)fan_out = tensor.size(0)else:num_input_fmaps = tensor.size(1)num_output_fmaps = tensor.size(0)receptive_field_size = 1if tensor.dim() > 2:receptive_field_size = tensor[0][0].numel()#tensor[0][0].numel()：tensor[0][0]元素的個(gè)數(shù)fan_in = num_input_fmaps * receptive_field_sizefan_out = num_output_fmaps * receptive_field_sizereturn fan_in, fan_out

• 對(duì)于全連接層，fan_in是輸入維度，fan_out是輸出維度；
• 對(duì)于卷積層，設(shè)其維度為,其中H × W為kernel規(guī)模。則fan_in是,fan_out是

3 Xavier初始化

????????xavier初始化可以使得輸入值x的方差和經(jīng)過(guò)網(wǎng)絡(luò)層后的輸出值y的方差一致。

3.1?xavier均勻分布

torch.nn.init.xavier_uniform_(tensor,gain=1)

?填充一個(gè)tensor，使得這個(gè)tensor滿足

其中

?

import torch w = torch.empty(3, 5) torch.nn.init.xavier_uniform_(w, gain=torch.nn.init.calculate_gain('relu')) w ''' tensor([[-0.3435, -0.4432, 0.1063, 0.6324, 0.3240],[ 0.6966, 0.6453, -1.0706, -0.9017, -1.0325],[ 1.2083, 0.5733, 0.7945, -0.6761, -0.9595]]) '''

?3.2?xavier正態(tài)分布

torch.nn.init.xavier_normal_(tensor, gain=1)

填充一個(gè)tensor，使得這個(gè)tensor滿足
其中，std滿足

?

import torch w = torch.empty(3, 5) torch.nn.init.xavier_normal_(w, gain=torch.nn.init.calculate_gain('relu')) w ''' tensor([[ 0.2522, -1.3404, -0.7371, -0.0280, -0.9147],[-0.1330, -1.4434, -0.2913, -0.1084, -0.9338],[ 0.8631, 0.1877, 0.8003, -0.0865, 0.9891]]) '''

4 Kaiming 分布

????????Xavier在tanh中表現(xiàn)的很好，但在Relu激活函數(shù)中表現(xiàn)的很差，所何凱明提出了針對(duì)于relu的初始化方法。

????????pytorch默認(rèn)使用kaiming正態(tài)分布初始化卷積層參數(shù)。??????

4.1 kaiming均勻分布??

torch.nn.init.kaiming_uniform_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')

填充一個(gè)tensor，使得這個(gè)tensor滿足U(?bound,bound)

?其中，bound滿足

?

a	激活函數(shù)的負(fù)斜率（對(duì)于leaky_relu來(lái)說(shuō)） 如果激活函數(shù)是relu的話，a為0
mode	默認(rèn)為fan_in模式，可以設(shè)置為fan_out模式 fan_in可以保持前向傳播的權(quán)重方差的數(shù)量級(jí)，fan_out可以保持反向傳播的權(quán)重方差的數(shù)量級(jí)

import torch w = torch.empty(3, 5) torch.nn.init.kaiming_uniform_(w, mode='fan_in', nonlinearity='relu')''' tensor([[ 0.8828, 0.0301, 0.9511, -0.0795, -0.9353],[ 1.0642, 0.8425, 0.1968, 0.9409, -0.7710],[ 0.3363, 0.9057, -0.1552, 0.5057, 1.0035]]) '''import torch w = torch.empty(3, 5) torch.nn.init.kaiming_uniform_(w, mode='fan_out', nonlinearity='relu') w ''' tensor([[-0.0280, -0.5491, -0.4809, -0.3452, -1.1690],[-1.1383, 0.6948, -0.3656, 0.8951, -0.3688],[ 0.4570, -0.5588, -1.0084, -0.8209, 1.1934]]) '''

?4.2 kaiming正態(tài)分布

torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')

參數(shù)的意義同4.1 kaiming均勻分布

填充一個(gè)tensor，使得這個(gè)tensor滿足
其中，std滿足

?

import torch w = torch.empty(3, 5) torch.nn.init.kaiming_normal_(w, mode='fan_out', nonlinearity='relu') w ''' tensor([[ 0.9705, 1.6935, -0.4261, 1.1065, 1.0238],[-0.3599, -0.8007, 1.3687, 0.1199, 0.4077],[ 0.5240, -0.5721, -0.2794, 0.3618, -1.1206]]) '''

?

總結(jié)

以上是生活随笔為你收集整理的pytorch学习：xavier分布和kaiming分布的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。