當前位置：首頁 >

pytorch学习：xavier分布和kaiming分布

發布時間：2025/4/5 36 豆豆

生活随笔收集整理的這篇文章主要介紹了 pytorch学习：xavier分布和kaiming分布小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1 函數的增益值

torch.nn.init.calculate_gain(nonlinearity, param=None)提供了對非線性函數增益值的計算。

增益值gain是一個比例值，來調控輸入數量級和輸出數量級之間的關系。

常見的非線性函數的增益值（gain）有：

?2?fan_in和fan_out

?以下是pytorch計算fan_in和fan_out的源碼

def _calculate_fan_in_and_fan_out(tensor):dimensions = tensor.ndimension()if dimensions < 2:raise ValueError("Fan in and fan out can not be computed for tensor with fewer than 2 dimensions")#如果tensor的維度小于兩維，那么報錯if dimensions == 2: # Linearfan_in = tensor.size(1)fan_out = tensor.size(0)else:num_input_fmaps = tensor.size(1)num_output_fmaps = tensor.size(0)receptive_field_size = 1if tensor.dim() > 2:receptive_field_size = tensor[0][0].numel()#tensor[0][0].numel()：tensor[0][0]元素的個數fan_in = num_input_fmaps * receptive_field_sizefan_out = num_output_fmaps * receptive_field_sizereturn fan_in, fan_out

對于全連接層，fan_in是輸入維度，fan_out是輸出維度；
對于卷積層，設其維度為,其中H × W為kernel規模。則fan_in是,fan_out是

3 Xavier初始化

????????xavier初始化可以使得輸入值x的方差和經過網絡層后的輸出值y的方差一致。

3.1?xavier均勻分布

torch.nn.init.xavier_uniform_(tensor,gain=1)

?填充一個tensor，使得這個tensor滿足

其中

import torch w = torch.empty(3, 5) torch.nn.init.xavier_uniform_(w, gain=torch.nn.init.calculate_gain('relu')) w ''' tensor([[-0.3435, -0.4432, 0.1063, 0.6324, 0.3240],[ 0.6966, 0.6453, -1.0706, -0.9017, -1.0325],[ 1.2083, 0.5733, 0.7945, -0.6761, -0.9595]]) '''

?3.2?xavier正態分布

torch.nn.init.xavier_normal_(tensor, gain=1)

填充一個tensor，使得這個tensor滿足
其中，std滿足

import torch w = torch.empty(3, 5) torch.nn.init.xavier_normal_(w, gain=torch.nn.init.calculate_gain('relu')) w ''' tensor([[ 0.2522, -1.3404, -0.7371, -0.0280, -0.9147],[-0.1330, -1.4434, -0.2913, -0.1084, -0.9338],[ 0.8631, 0.1877, 0.8003, -0.0865, 0.9891]]) '''

4 Kaiming 分布

????????Xavier在tanh中表現的很好，但在Relu激活函數中表現的很差，所何凱明提出了針對于relu的初始化方法。

????????pytorch默認使用kaiming正態分布初始化卷積層參數。??????

4.1 kaiming均勻分布??

torch.nn.init.kaiming_uniform_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')

填充一個tensor，使得這個tensor滿足U(?bound,bound)

?其中，bound滿足

激活函數的負斜率（對于leaky_relu來說）

如果激活函數是relu的話，a為0

mode

默認為fan_in模式，可以設置為fan_out模式

fan_in可以保持前向傳播的權重方差的數量級，fan_out可以保持反向傳播的權重方差的數量級

import torch w = torch.empty(3, 5) torch.nn.init.kaiming_uniform_(w, mode='fan_in', nonlinearity='relu')''' tensor([[ 0.8828, 0.0301, 0.9511, -0.0795, -0.9353],[ 1.0642, 0.8425, 0.1968, 0.9409, -0.7710],[ 0.3363, 0.9057, -0.1552, 0.5057, 1.0035]]) '''import torch w = torch.empty(3, 5) torch.nn.init.kaiming_uniform_(w, mode='fan_out', nonlinearity='relu') w ''' tensor([[-0.0280, -0.5491, -0.4809, -0.3452, -1.1690],[-1.1383, 0.6948, -0.3656, 0.8951, -0.3688],[ 0.4570, -0.5588, -1.0084, -0.8209, 1.1934]]) '''

?4.2 kaiming正態分布

torch.nn.init.kaiming_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')

參數的意義同4.1 kaiming均勻分布