tensorflow 在實(shí)現(xiàn) Batch Normalization（各個(gè)網(wǎng)絡(luò)層輸出的歸一化）時(shí)，主要用到以下兩個(gè) api：

• tf.nn.moments(x, axes, name=None, keep_dims=False) ? mean, variance：
  
  • 統(tǒng)計(jì)矩，mean 是一階矩，variance 則是二階中心矩
• tf.nn.batch_normalization(x, mean, variance, offset, scale, variance_epsilon, name=None)
  
  • tf.nn.batch_norm_with_global_normalization(t, m, v, beta, gamma, variance_epsilon, scale_after_normalization, name=None)
  • 由函數(shù)接口可知，tf.nn.moments 計(jì)算返回的 mean 和 variance 作為 tf.nn.batch_normalization 參數(shù)進(jìn)一步調(diào)用；

1. tf.nn.moments，矩

tf.nn.moments 返回的 mean 表示一階矩，variance 則是二階中心矩；

如我們需計(jì)算的 tensor 的 shape 為一個(gè)四元組 [batch_size, height, width, kernels]，一個(gè)示例程序如下：

import tensorflow as tf shape = [128, 32, 32, 64] a = tf.Variable(tf.random_normal(shape)) # a：activations axis = list(range(len(shape)-1)) # len(x.get_shape()) a_mean, a_var = tf.nn.moments(a, axis)

這里我們僅給出 a_mean, a_var 的維度信息，

sess = tf.Session() sess.run(tf.global_variables_initalizer())sess.run(a_mean).shape # (64, ) sess.run(a_var).shape # (64, ) ? 也即是以 kernels 為單位，batch 中的全部樣本的均值與方差

references

• 談?wù)凾ensorflow的Batch Normalization

轉(zhuǎn)載于:https://www.cnblogs.com/mtcnn/p/9421623.html

總結(jié)

以上是生活随笔為你收集整理的tensorflow 的 Batch Normalization 实现（tf.nn.moments、tf.nn.batch_normalization）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。