CNN中最重要的就是參數(shù)了，包括W,b。 我們訓(xùn)練CNN的最終目的就是得到最好的參數(shù)，使得目標(biāo)函數(shù)取得最小值。參數(shù)的初始化也同樣重要，因此微調(diào)受到很多人的重視，那么tf提供了哪些初始化參數(shù)的方法呢，我們能不能自己進(jìn)行初始化呢？

所有的初始化方法都定義在tensorflow/python/ops/init_ops.py

1、tf.constant_initializer()

也可以簡寫為tf.Constant()

初始化為常數(shù)，這個非常有用，通常偏置項就是用它初始化的。

由它衍生出的兩個初始化方法：

a、 tf.zeros_initializer()， 也可以簡寫為tf.Zeros()

b、tf.ones_initializer(), 也可以簡寫為tf.Ones()

例：在卷積層中，將偏置項b初始化為0，則有多種寫法：

1. conv1 = tf.layers.conv2d(batch_images,
2. filters=64,
3. kernel_size=7,
4. strides=2,
5. activation=tf.nn.relu,
6. kernel_initializer=tf.TruncatedNormal(stddev=0.01)
7. bias_initializer=tf.Constant(0),
8. )

或者：

1. bias_initializer=tf.constant_initializer(0)

或者：

1. bias_initializer=tf.zeros_initializer()

或者：

1. bias_initializer=tf.Zeros()

例：如何將W初始化成拉普拉斯算子？

1. value = [1, 1, 1, 1, -8, 1, 1, 1，1]
2. init = tf.constant_initializer(value)
3. W= tf.get_variable('W', shape=[3, 3], initializer=init)

2、tf.truncated_normal_initializer()

或者簡寫為tf.TruncatedNormal()

生成截斷正態(tài)分布的隨機(jī)數(shù)，這個初始化方法好像在tf中用得比較多。

它有四個參數(shù)（mean=0.0,?stddev=1.0,?seed=None,?dtype=dtypes.float32)，分別用于指定均值、標(biāo)準(zhǔn)差、隨機(jī)數(shù)種子和隨機(jī)數(shù)的數(shù)據(jù)類型，一般只需要設(shè)置stddev這一個參數(shù)就可以了。

例：

1. conv1 = tf.layers.conv2d(batch_images,
2. filters=64,
3. kernel_size=7,
4. strides=2,
5. activation=tf.nn.relu,
6. kernel_initializer=tf.TruncatedNormal(stddev=0.01)
7. bias_initializer=tf.Constant(0),
8. )

或者：

1. conv1 = tf.layers.conv2d(batch_images,
2. filters=64,
3. kernel_size=7,
4. strides=2,
5. activation=tf.nn.relu,
6. kernel_initializer=tf.truncated_normal_initializer(stddev=0.01)
7. bias_initializer=tf.zero_initializer(),
8. )

3、tf.random_normal_initializer()

可簡寫為 tf.RandomNormal()

生成標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)數(shù)，參數(shù)和truncated_normal_initializer一樣。

4、random_uniform_initializer?= RandomUniform()

可簡寫為tf.RandomUniform()

生成均勻分布的隨機(jī)數(shù)，參數(shù)有四個（minval=0,?maxval=None,?seed=None,?dtype=dtypes.float32)，分別用于指定最小值，最大值，隨機(jī)數(shù)種子和類型。

5、tf.uniform_unit_scaling_initializer()

可簡寫為tf.UniformUnitScaling()

和均勻分布差不多，只是這個初始化方法不需要指定最小最大值，是通過計算出來的。參數(shù)為（factor=1.0,?seed=None,?dtype=dtypes.float32)

1. max_val = math.sqrt(3 / input_size) * factor

這里的input_size是指輸入數(shù)據(jù)的維數(shù)，假設(shè)輸入為x, 運算為x * W，則input_size=?W.shape[0]

它的分布區(qū)間為[ -max_val, max_val]

6、tf.variance_scaling_initializer()

可簡寫為tf.VarianceScaling()

參數(shù)為（scale=1.0,mode="fan_in",distribution="normal",seed=None，dtype=dtypes.float32)

scale: 縮放尺度（正浮點數(shù)）

mode:??"fan_in", "fan_out", "fan_avg"中的一個，用于計算標(biāo)準(zhǔn)差stddev的值。

distribution：分布類型，"normal"或“uniform"中的一個。

當(dāng)?distribution="normal"?的時候，生成truncated normal???distribution（截斷正態(tài)分布）?的隨機(jī)數(shù)，其中stddev = sqrt(scale / n)?，n的計算與mode參數(shù)有關(guān)。

????? 如果mode = "fan_in"， n為輸入單元的結(jié)點數(shù)；?????????

????? 如果mode = "fan_out"，n為輸出單元的結(jié)點數(shù)；

?????? 如果mode = "fan_avg",n為輸入和輸出單元結(jié)點數(shù)的平均值。

當(dāng)distribution="uniform”的時候 ，生成均勻分布的隨機(jī)數(shù)，假設(shè)分布區(qū)間為[-limit, limit]，則

????? limit = sqrt(3 * scale / n)

7、tf.orthogonal_initializer()

簡寫為tf.Orthogonal()

生成正交矩陣的隨機(jī)數(shù)。

當(dāng)需要生成的參數(shù)是2維時，這個正交矩陣是由均勻分布的隨機(jī)數(shù)矩陣經(jīng)過SVD分解而來。

8、tf.glorot_uniform_initializer()

也稱之為Xavier uniform initializer，由一個均勻分布（uniform distribution)來初始化數(shù)據(jù)。

假設(shè)均勻分布的區(qū)間是[-limit, limit],則

limit=sqrt(6 / (fan_in + fan_out))

其中的fan_in和fan_out分別表示輸入單元的結(jié)點數(shù)和輸出單元的結(jié)點數(shù)。

9、glorot_normal_initializer（）

也稱之為?Xavier normal initializer. 由一個?truncated normal distribution來初始化數(shù)據(jù).

stddev = sqrt(2 / (fan_in + fan_out))

其中的fan_in和fan_out分別表示輸入單元的結(jié)點數(shù)和輸出單

總結(jié)

以上是生活随笔為你收集整理的tf.variance_scaling_initializer() tensorflow学习：参数初始化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。