Introduce

• 全連接層也是一種卷積層。
• 它的參數(shù)基本和卷積層的參數(shù)一樣，只是它的卷積核大小和原數(shù)據(jù)大小一致。
• 起到將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間的作用。
• 用 global average pooling 取代 FC，已經(jīng)成為了大勢(shì)所趨。

Defect

摘自 全連接層的作用是什么：

目前由于全連接層參數(shù)冗余（僅全連接層參數(shù)就可占整個(gè)網(wǎng)絡(luò)參數(shù)80%左右），近期一些性能優(yōu)異的網(wǎng)絡(luò)模型如ResNet和GoogLeNet等均用全局平均池化（global average pooling，GAP）取代FC來(lái)融合學(xué)到的深度特征，最后仍用softmax等損失函數(shù)作為網(wǎng)絡(luò)目標(biāo)函數(shù)來(lái)指導(dǎo)學(xué)習(xí)過(guò)程。需要指出的是，用GAP替代FC的網(wǎng)絡(luò)通常有較好的預(yù)測(cè)性能。

Note：

• 那么為什么 全連接層參數(shù)冗余（僅全連接層參數(shù)就可占整個(gè)網(wǎng)絡(luò)參數(shù)80%左右） 呢？
  因?yàn)槿B接層的卷積核橫截面做得和 輸入的 feature map 一樣大。而常規(guī)卷積層的卷積核橫截面只有一個(gè)小滑窗那么大。很明顯，二者的參數(shù)數(shù)量級(jí)根本就不在一個(gè)level上。

Inner Product

在 Caffe 中，全連接層 的 type (層類型) 為 Inner Product 。
輸出一個(gè)簡(jiǎn)單向量（把輸入數(shù)據(jù)blobs的width和height全變?yōu)?）。

Caffe學(xué)習(xí)系列(5)：其它常用層及參數(shù)：

layer {name: "ip1"type: "InnerProduct"bottom: "pool2"top: "ip1"param {lr_mult: 1}param {lr_mult: 2}inner_product_param {num_output: 500weight_filler {type: "xavier"}bias_filler {type: "constant"}} }

• lr_mult: 學(xué)習(xí)率的系數(shù)，最終的學(xué)習(xí)率是這個(gè)數(shù)乘以solver.prototxt配置文件中的base_lr。如果有兩個(gè)lr_mult, 則第一個(gè)表示權(quán)值的學(xué)習(xí)率，第二個(gè)表示偏置項(xiàng)的學(xué)習(xí)率。一般偏置項(xiàng)的學(xué)習(xí)率是權(quán)值學(xué)習(xí)率的兩倍。

必須設(shè)置的參數(shù)：

• num_output: 過(guò)濾器（filfter)的個(gè)數(shù)

其它參數(shù)：

• weight_filler: 權(quán)值初始化。 默認(rèn)為“constant",值全為0，很多時(shí)候我們用"xavier"算法來(lái)進(jìn)行初始化，也可以設(shè)置為”gaussian"
• bias_filler: 偏置項(xiàng)的初始化。一般設(shè)置為"constant",值全為0。
• bias_term: 是否開(kāi)啟偏置項(xiàng)，默認(rèn)為true, 開(kāi)啟

Note：

• slim.fully_connected 無(wú)法顯示最終結(jié)果為1X1，而更像是降維，所以必須要先reshape到一個(gè) [batch_size, -1] 的尺寸：x = tf.reshape(x, [input_shape[0], -1]) _pred = slim.fully_connected(x, num_outputs=output_num, activation_fn=None, scope='fc_final')

總結(jié)

以上是生活随笔為你收集整理的【深度学习】全连接层 (Full Connection，FC)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。