TensorFlow全連接層函數(shù)tf.layers.dense()原理 - jian shu https://www.jianshu.com/p/3855908b4c29

最近在用TensorFlow實現(xiàn)CNN網(wǎng)絡(luò)時用到了全連接層，在網(wǎng)上看了很多有關(guān)全連接層實現(xiàn)的代碼，發(fā)現(xiàn)相當(dāng)一部分人都還是傾向于自己構(gòu)造權(quán)重矩陣W和偏移矩陣b，利用矩陣乘法實現(xiàn)全連接層。
而TensorFlow中封裝了全連接層函數(shù)tf.layers.dense()，但是官方文檔中并沒有解釋其詳細(xì)原理。網(wǎng)上有部分博客對此提及，但也少有涉及到內(nèi)部實現(xiàn)原理的。于是今天自己動手做了個對比試驗，來探究一下tf.layers.dense()函數(shù)的詳細(xì)原理。

先貼結(jié)論：tf.layers.dense( input, units=k )會在內(nèi)部自動生成一個權(quán)矩陣kernel和偏移項bias，
各變量具體尺寸如下：對于尺寸為**[m, n]的二維張量input輸入時，
tf.layers.dense()會生成：
尺寸為[n, k]的 權(quán)矩陣kernel，
尺寸為[m, k]**的 偏移項bias。
內(nèi)部的 “計算過程” 為 y = input * kernel + bias，
輸出值y 的維度為 [m, k]。

以下是實驗代碼。

import tensorflow as tf# 1. 調(diào)用tf.layers.dense計算 input = tf.reshape(tf.constant([[1., 2.], [2., 3.]]), shape=[4, 1]) b1 = tf.layers.dense(input,units=2,kernel_initializer=tf.constant_initializer(value=2), # shape: [1,2]bias_initializer=tf.constant_initializer(value=1)) # shape: [4,2]# 2. 采用矩陣相乘的方式計算 kernel = tf.reshape(tf.constant([2., 2.]), shape=[1, 2]) bias = tf.reshape(tf.constant([1., 1., 1., 1., 1., 1., 1., 1.]), shape=[4, 2]) b2 = tf.add(tf.matmul(input, kernel), bias)with tf.Session()as sess:sess.run(tf.global_variables_initializer())print(sess.run(b1))print(sess.run(b2))

計算的結(jié)果如圖所示，兩種方法得到的結(jié)果相同。

——————————————————————
以上為轉(zhuǎn)載他人博客
——————————————————————

tf.layers.dense()參數(shù)及其含義：

tf.layers.dense用于添加一個全連接層。
函數(shù)如下：

tf.layers.dense(inputs, #層的輸入units, #該層的輸出維度activation=None, #激活函數(shù)use_bias=True, kernel_initializer=None, # 卷積核的初始化器bias_initializer=tf.zeros_initializer(), # 偏置項的初始化器kernel_regularizer=None, # 卷積核的正則化bias_regularizer=None, # 偏置項的正則化activity_regularizer=None, kernel_constraint=None,bias_constraint=None,trainable=True,name=None, # 層的名字reuse=None # 是否重復(fù)使用參數(shù) )

參數(shù)的詳細(xì)解釋見如下網(wǎng)址：
TensorFlow函數(shù)：tf.layers.Dense_w3cschool https://www.w3cschool.cn/tensorflow_python/tensorflow_python-rn6a2tps.html

參數(shù)：

• units：整數(shù)或長整數(shù),輸出空間的維數(shù).
• activation：激活功能(可調(diào)用),將其設(shè)置為“None”以保持線性激活.
• use_bias：Boolean,表示該層是否使用偏差.
• kernel_initializer：權(quán)重矩陣的初始化函數(shù)；如果為None(默認(rèn)),則使用tf.get_variable使用的默認(rèn)初始化程序初始化權(quán)重.
• bias_initializer：偏置的初始化函數(shù).
• kernel_regularizer：權(quán)重矩陣的正則化函數(shù).
• bias_regularizer：正規(guī)函數(shù)的偏差.
• activity_regularizer：輸出的正則化函數(shù).
• kernel_constraint：由Optimizer更新后應(yīng)用于內(nèi)核的可選投影函數(shù)(例如,用于實現(xiàn)層權(quán)重的范數(shù)約束或值約束).該函數(shù)必須將未投影的變量作為輸入,并且必須返回投影變量(必須具有相同的形狀).在進(jìn)行異步分布式訓(xùn)練時,使用約束是不安全的.
• bias_constraint：由Optimizer更新后應(yīng)用于偏置的可選投影函數(shù).
• trainable：Boolean,如果為True,還將變量添加到圖集合GraphKeys.TRAINABLE_VARIABLES中(請參閱參考資料tf.Variable).
• name：String,圖層的名稱；具有相同名稱的圖層將共享權(quán)重,但為了避免錯誤,在這種情況下,我們需要reuse=True.
• reuse：Boolean,是否以同一名稱重用前一層的權(quán)重.

總結(jié)

以上是生活随笔為你收集整理的【tensorflow】全连接层函数tf.layers.dense()原理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。