一、概念

全連接層一般在網絡的最后部分做分類輸出，全連接層的有m個輸入和n個輸出，每一個輸出都和所有的輸入相連，相連的權重w都是不一樣的，同時每一個輸出還有一個bias。

二、前向全連接

假設輸入是4，輸出是4，每個輸出點都有一個輸入點的參數，一共4x4=16個w參數，每個輸出點都有一個b參數，一共4個b參數。

前向全連接的定量分析如下

算力：

Flops

BPE byte per element

input feature M*bpe

output feature N*bpe

w參數

*bpe

b參數 N*bpe

可以看到全連接層的w參數是input feature的N倍，輸入帶寬主要被參數占據。

三、反向全連接gradient傳遞

反向全連接是有兩個2部分，一個是gradient的傳遞，已知

,求 ，為前一層的參數gradient求解準備。

另外是參數gradient求解，已知

,求 和 ，從而得到參數的更新值。

假設輸入是4，輸出是4，每個輸出點都有一個輸入點的參數，一共4x4=16個w參數，每個輸出點都有一個b參數，一共4個b參數。

反向全連接gradient傳遞的過程如下：（根據前向公式和求導法則很容易得出）

可以看到weight矩陣進行了轉置

記為

=

算力為 2MN Flops

三、反向全連接參數gradient求解

參數w gradient求解，已知

,求

為

，其中input feature進行了轉置

算力為 MN mul

參數b gradient求解，已知

,求

為

兩者就是相等的關系

總結

以上是生活随笔為你收集整理的神经网络的全连接层_深度神经网络全连接层的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。