CNN結構：

卷積層：特征提取；
采樣層：特征選擇；
全連接層：根據特征進行分類。

采樣層（pooling）:

max-pooling：克服卷積層權值參數誤差；
average-pooling：克服卷積核鄰域大小受限。

全連接層（Fully Connected Layer）：

全連接層（FC） 可以看為和上一個采樣層（pooling） 中存在一個卷積操作。如：上一個采樣層維數為3*3*5，而全連接層維數為1*4096。那么中間可以看做存在一個3*3*5*4096的卷積層進行了卷積操作。

這一步操作相當于把前面提取出的分布式特征映射到樣本標記空間。即忽略特征之間的相對位置信息（空間結構特性），把所有特征整合到一起輸出為一個值。

FC 的層數越多，越能表達非線性問題。但由于參數量大，會降低學習效率。因此，新提出的網絡模型如 ResNet 和 GoogLeNet 采用全局平均池化（global average pooling，GAP）取代 FC 來融合學習到的特征，這樣得到的網絡通常具有更好的預測性能。

Zero-padding作用：

方便提取更加細致的特征；

控制卷積層輸出的特征圖的大小，達到控制網絡結構的作用。

激活函數：

在CNN中激活函數的引入，為了解決以下幾個問題：

通過疊加簡單的神經網絡，無法解決非線性分類問題；

在CNN中需要根據神經網絡輸出值進行分類；

誤差反向傳播時，X過大會導致error過大，這樣更新權值沒有意義；

線性分類器在誤差反向傳播過程中，梯度的計算和輸入無關。

因此激活函數的引入有如下作用：

提高模型魯棒性；

使網絡具有非線性表達能力；

緩解梯度消失問題；

將特征圖映射到新的特征空間有利于訓練；

加速模型收斂。

Dropout要點：

Dropout_rate一般設置為0.3~0.5之間。
在訓練時要對沒有被Dropout的神經元權值做一個rescale：
$$rescale\_rate=\frac{1}{1?dropout\_rate}$$
因此訓練過程中前向傳播公式可以寫為：
$$r^{(l)}=Bernoulli(p)$$
$${\tilde{y}}^{(l)}=r^{(l)}?y^{(l)}$$
$$Z_i^{(l+1)}=W_i^{l+1}?{\tilde{y}}^{(l)}+b_i^{l+1}$$
$$y_i^{(l+1)}=f(z_i^{(l+1)})$$

總結

以上是生活随笔為你收集整理的卷积神经网络CNN要点：CNN结构、采样层、全连接层、Zero-padding、激活函数及Dropout的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。