簡單介紹和總結(jié)卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks）的基本組成網(wǎng)絡層和常用的網(wǎng)絡結(jié)構(gòu)。

參考文章/書籍：

An Intuitive Explanation of Convolutional Neural Networks

對CNN中pooling的理解

《深度學習輕松學：核心算法與視覺實踐》

ResNet解析

簡介

CNN可以應用在場景分類，圖像分類，現(xiàn)在還可以應用到自然語言處理(NLP)方面的很多問題，比如句子分類等。

LeNet是最早的CNN結(jié)構(gòu)之一，它是由大神Yann LeCun所創(chuàng)造的，主要是用在字符分類問題。

下面是一個簡單的CNN結(jié)構(gòu)，圖來自參考文章1。這個網(wǎng)絡結(jié)構(gòu)是用于一個四類分類的問題，分別是狗、貓、船和鳥，圖中的輸入圖片是屬于船一類。

該結(jié)構(gòu)展示了四種運算，也可以說是由四種不同的層，分別是卷積層，非線性層(也就是使用了ReLU函數(shù))，Pooling層，全連接層，下面將一一介紹這幾種網(wǎng)絡層。

---

卷積層

卷積簡介

CNN的名字由來就是因為其使用了卷積運算的緣故。卷積的目的主要是為了提取圖片的特征。卷積運算可以保持像素之間的空間關(guān)系。

每張圖片可以當做是一個包含每個像素值的矩陣，像素值的范圍是0~255,0表示黑色，255是白色。下面是一個$5\times 5$大小的矩陣例子，它的值是0或者1。

接下來是另一個$3\times 3$矩陣：

上述兩個矩陣通過卷積，可以得到如下圖右側(cè)粉色的矩陣結(jié)果。

黃色的矩陣在綠色的矩陣上從左到右，從上到下，每次滑動的步進值是1個像素，所以得到一個$3\times 3$的矩陣。

在CNN中，黃色的矩陣被叫做濾波器(filter)或者核(kernel)或者是特征提取器，而通過卷積得到的矩陣則是稱為**“特征圖(Feature Map)”或者“Activation Map”**。

另外，使用不同的濾波器矩陣是可以得到不同的 Feature Map ，例子如下圖所示：

上圖通過濾波器矩陣，實現(xiàn)了不同的操作，比如邊緣檢測，銳化以及模糊操作等。

在實際應用中，CNN是可以在其訓練過程中學習到這些濾波器的值，不過我們需要首先指定好濾波器的大小，數(shù)量以及網(wǎng)絡的結(jié)構(gòu)。使用越多的濾波器，可以提取到更多的圖像特征，網(wǎng)絡也就能夠有更好的性能。

Feature Map的尺寸是由以下三個參數(shù)來決定的：

• 深度(Depth)： 深度等于濾波器的數(shù)量。
• 步進(Stride): 步進值是在使用濾波器在輸入矩陣上滑動的時候，每次滑動的距離。步進值越大，得到的Feature Map的尺寸越小。
• Zero-padding: 有時候可以在輸入矩陣的邊界填補0，這樣就可以將濾波器應用到邊緣的像素點上，一個好的Zero-padding是能讓我們可以控制好特征圖的尺寸的。使用該方法的卷積稱為wide convolution，沒有使用的則是narrow convolution。

卷積公式和參數(shù)量

上一小節(jié)簡單介紹了卷積的操作和其實現(xiàn)的效果，接下來將介紹卷積運算的公式，以及CNN中卷積層的參數(shù)數(shù)量。

卷積是大自然中最常見的運算，一切信號觀測、采集、傳輸和處理都可以用卷積過程實現(xiàn)，其用公式表達如下：
KaTeX parse error: No such environment: align at position 8: \begin{?a?l?i?g?n?}? Y(m,n) & =X(m,…
上述公式中$H(m,n)$表示卷積核。

在CNN中的卷積層的計算步驟與上述公式定義的二維卷積有點差異，首先是維度升至三維、四維卷積，跟二維卷積相比多了一個**“通道”(channel)**，每個通道還是按照二維卷積方式計算，而多個通道與多個卷積核分別進行二維卷積，得到多通道輸出，需要“合并”為一個通道；其次是卷積核在卷積計算時沒有“翻轉(zhuǎn)”，而是與輸入圖片做滑動窗口“相關(guān)”計算。用公式重新表達如下：
$$Y^l(m,n)=X^k(m,n)?H^{kl}(m,n)=\sum _{k=0}^{K?1}\sum _{i=0}^{I?1}\sum _{j=0}^{J?1}{X}^k(m+i,n+j)H^{kl}(i,j)$$
這里假定卷積層有$L$個輸出通道和$K$個輸入通道，于是需要有$KL$個卷積核實現(xiàn)通道數(shù)目的轉(zhuǎn)換。其中$X^k$表示第$k$個輸入通道的二維特征圖，$Y^l$表示第$l$個輸出通道的二維特征圖，$H^{kl}$表示第$k$行、第$l$列二維卷積核。假定卷積核大小是$I?J$,每個輸出通道的特征圖大小是$M?N$，則該層每個樣本做一次前向傳播時卷積層的計算量是$Calculations(MAC)=I?J?M?N?K?L$。

卷積層的學習參數(shù)，也就是卷積核數(shù)目乘以卷積核的尺寸–$Params=I?J?K?L$。

這里定義計算量-參數(shù)量之比是CPR=$Calculations/Params=M?N$。

因此可以得出結(jié)論：卷積層的輸出特征圖尺寸越大，CPR越大，參數(shù)重復利用率越高。若輸入一批大小為B的樣本，則CPR值可提高B倍。

優(yōu)點

卷積神經(jīng)網(wǎng)絡通過**『參數(shù)減少』與『權(quán)值共享』**大大減少了連接的個數(shù)，也即需要訓練的參數(shù)的個數(shù)。

假設我們的圖像是1000*1000的，則有10^{6個隱層神經(jīng)元，那么它們?nèi)B接的話，也就是每個隱層神經(jīng)元都連接圖像的每個像素點，就有10}12個連接，也即10^{12個權(quán)值參數(shù)需要訓練，這顯然是不值得的。但是對于一個只識別特定feature的卷積核，需要大到覆蓋整個圖像的所有像素點嗎？通常是不需要的，**一個特定feature，尤其是第一層需要提取的feature，通常都相當基礎，只占圖像很小的一部分。所以我們設置一個較小的局部感受區(qū)域，比如`10*10`，也即每個神經(jīng)元只需要和這`10*10`的局部圖像相連接，所以10}6個神經(jīng)元也就有10^8個連接。這就叫參數(shù)減少。**

那什么叫權(quán)值共享呢？在上面的局部連接中，10^{6個神經(jīng)元，每個神經(jīng)元都對應100個參數(shù)，所以是10}8個參數(shù)，那如果每個神經(jīng)元所對應的參數(shù)都是相同的，那需要訓練的參數(shù)就只有100個了。

這后面隱含的道理在于，這100個參數(shù)就是一個卷積核，而卷積核是提取feature的方式，與其在圖像上的位置無關(guān)，圖像一個局部的統(tǒng)計特征與其他局部的統(tǒng)計特征是一樣的，我們用在這個局部抽取feature的卷積核也可以用在圖像上的其它任何地方。

而且這100個參數(shù)只是一種卷積核，只能提取一種feature，我們完全可以采用100個卷積核，提取100種feature，而所需要訓練的參數(shù)也不過10^{4，最開始我們訓練10}12個參數(shù)，還只能提取一種特征。選取100個卷積核，我們就能得到100張FM，每張FM可以看做是一張圖像的不同通道。

CNN主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形。由于CNN特征檢測層通過訓練數(shù)據(jù)進行學習，在使用CNN時，避免了顯式的特征抽取，而隱式地從訓練數(shù)據(jù)中進行學習；再者，由于同一FM上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡可以并行學習，這也是卷積網(wǎng)絡相對于神經(jīng)元彼此相連網(wǎng)絡的一大優(yōu)勢。卷積神經(jīng)網(wǎng)絡以其局部權(quán)值共享的特殊結(jié)構(gòu)在語音識別和圖像處理方面有著獨特的優(yōu)越性，其布局更接近于實際的生物神經(jīng)網(wǎng)絡，權(quán)值共享降低了網(wǎng)絡的復雜性，避免了特征提取和分類過程中數(shù)據(jù)重建的復雜度。

---

非線性層(ReLU)

非線性修正函數(shù)**ReLU(Rectified Linear Unit)**如下圖所示：

這是一個對每個像素點實現(xiàn)點乘運算，并用0來替換負值像素點。其目的是在CNN中加入非線性，因為使用CNN來解決的現(xiàn)實世界的問題都是非線性的，而卷積運算是線性運算，所以必須使用一個如ReLU的非線性函數(shù)來加入非線性的性質(zhì)。

其他非線性函數(shù)還包括tanh和Sigmoid,但是ReLU函數(shù)已經(jīng)被證明在大部分情況下性能最好。

Pooling層

**空間合并（Spatial Pooling)**也可以叫做子采樣或者下采樣，可以在保持最重要的信息的同時降低特征圖的維度。它有不同的類型，如最大化，平均，求和等等。

對于Max Pooling操作，首先定義一個空間上的鄰居，比如一個$2\times 2$的窗口，對該窗口內(nèi)的經(jīng)過ReLU的特征圖提取最大的元素。除了提取最大的元素，還可以使用窗口內(nèi)元素的平均值或者是求和的值。不過，Max Pooling的性能是最好的。例子可以如下圖所示：

上圖中使用的步進值是2。

根據(jù)相關(guān)理論，特征提取的誤差主要來自兩個方面：

鄰域大小受限造成的估計值方差增大；

卷積層參數(shù)誤差造成估計均值的偏移。

一般來說，mean-pooling能減小第一種誤差，更多的保留圖像的背景信息，max-pooling能減小第二種誤差，更多的保留紋理信息。

使用Pooling的原因有如下幾點：

• 不變性，更關(guān)注是否存在某些特征而不是特征具體的位置。可以看作加了一個很強的先驗，讓學到的特征要能容忍一些的變化。
• 減小下一層輸入大小，減小計算量和參數(shù)個數(shù)。
• 獲得定長輸出。（文本分類的時候輸入是不定長的，可以通過池化獲得定長輸出）
• 防止過擬合或有可能會帶來欠擬合

---

全連接層

全連接層就是一個傳統(tǒng)的多層感知器，它在輸出層使用一個softmax激活函數(shù)。其主要作用就是將前面卷積層提取到的特征結(jié)合在一起然后進行分類。Softmax函數(shù)可以將輸入是一個任意實數(shù)分數(shù)的向量變成一個值的范圍是0~1的向量，但所有值的總和是1。

在CNN出現(xiàn)之前，最早的深度學習網(wǎng)絡計算類型都是全連接形式的。

全連接層的主要計算類型是**矩陣-向量乘（GEMV)。**假設輸入節(jié)點組成的向量是$x$，維度是$D$,輸出節(jié)點組成的向量是$y$,維度是$V$,則全連接層計算可以表示為$y=Wx$。

其中$W$是$V?D$的權(quán)值矩陣。

全連接層的參數(shù)量為$Params=V?D$,其單個樣本前向傳播的計算量也是$Calculations(MAC)=V?D$，也就是$CPR=Calculations/Params=1$。也就是其權(quán)值利用率很低。

可以將一批大小為$B$的樣本$x_i$逐列拼接成矩陣$X$，一次性通過全連接層，得到一批輸出向量構(gòu)成的矩陣$Y$，相應地前面的矩陣-向量乘運算升為矩陣-矩陣乘計算（GEMM)：$Y=WX$。

這樣全連接層前向計算量提高了$B$倍，CPR相應提高了$B$倍，權(quán)重矩陣在多個樣本之間實現(xiàn)了共享，可提高計算速度。

比較卷積層和全連接層，卷積層在輸出特征圖維度實現(xiàn)了權(quán)值共享，這是降低參數(shù)量的重要舉措，同時，卷積層局部連接特性（相比全連接）也大幅減少了參數(shù)量。因此卷積層參數(shù)量占比小，但計算量占比大，而全連接層是參數(shù)量占比大，計算量占比小。所以在進行計算加速優(yōu)化時，重點放在卷積層；在進行參數(shù)優(yōu)化、權(quán)值剪裁時，重點放在全連接層。

激活函數(shù)

激活函數(shù)是給網(wǎng)絡提供非線性的特性，在每個網(wǎng)絡層中對輸入數(shù)據(jù)進行非線性變換的作用，這有兩個好處。

• 對數(shù)據(jù)實現(xiàn)歸一化操作

激活函數(shù)都有各自的取值范圍，比如Sigmoid函數(shù)取值范圍是[0,1]，Tanh函數(shù)取值范圍是[-1,1]，這種好處對網(wǎng)絡的正反向訓練都有好處：

（1）正向計算網(wǎng)絡的時候，由于輸入數(shù)值的大小沒有限制，其數(shù)值差距會非常大，第一個壞處是大數(shù)值會更被重視，而小數(shù)值的重要性會被忽視，其次，隨著層數(shù)加深，這種大數(shù)值會不斷累積到后面的網(wǎng)絡層，最終可能導致數(shù)值爆炸溢出的情況；

（2）反向計算網(wǎng)絡的時候，每層數(shù)值大小范圍不同，有的在[0,1]，有的在[0,10000]，這在模型優(yōu)化時會對設定反向求導的優(yōu)化步長增加難度，設置過大會讓梯度較大的維度因為過量更新而造成無法預期的結(jié)果；設置過小，梯度較小的維度會得不到充分的更新，就無法有所提升。

• 打破之前的線性映射關(guān)系。

如果網(wǎng)絡只有線性部分，那么疊加多個網(wǎng)絡層是沒有意義的，因為多層神經(jīng)網(wǎng)絡可以退化為一層神經(jīng)網(wǎng)絡。

---

反向傳播Backpropagation

CNN的整個訓練過程如下所示：

首先是隨機初始化所有濾波器以及其他參數(shù)和權(quán)重值；

輸入圖片，進行前向傳播，也就是經(jīng)過卷積層，ReLU和pooling運算，最后到達全連接層進行分類，得到一個分類的結(jié)果，也就是輸出一個包含每個類預測的概率值的向量；

計算誤差，也就是代價函數(shù)，這里代價函數(shù)可以有多種計算方法，比較常用的有平方和函數(shù)，即$實際值預測值Error=\frac{1}{2}\sum (實際值?預測值{)}^2$；

使用反向傳播來計算網(wǎng)絡中對應各個權(quán)重的誤差的梯度，一般是使用梯度下降法來更新各個濾波器的權(quán)重值，目的是為了讓輸出的誤差，也就是代價函數(shù)的值盡可能小。

重復上述第二到第四步，直到訓練次數(shù)達到設定好的值。

---

網(wǎng)絡結(jié)構(gòu)

這里簡單介紹比較有名的網(wǎng)絡結(jié)構(gòu)。

1.LeNet（1990s）

在開頭介紹了，這是最早使用的CNN網(wǎng)絡結(jié)構(gòu)之一，主要是用于字符分類；

特點如下：

• 卷積神經(jīng)網(wǎng)絡使用3層架構(gòu)：卷積、下采樣、非線性激活函數(shù)
• 使用卷積提取圖像空間特征
• 下采樣使用了圖像平均稀疏性
• 激活函數(shù)采用了tanh或者sigmoid函數(shù)
• 多層神經(jīng)網(wǎng)絡（MLP）作為最后的分類器
• 層之間使用稀疏連接矩陣，以避免大的計算成本

2. AlexNet（2012）

這是在2012年的ImageNet視覺挑戰(zhàn)比賽上獲得第一名所使用的網(wǎng)絡結(jié)構(gòu)，這也是使得許多視覺問題取得重大突破，讓CNN變得非常熱門的原因?？偨Y(jié)下其改進地方：

• 使用ReLU函數(shù)作為激活函數(shù)，降低了Sigmoid類函數(shù)的計算量
• 利用dropout技術(shù)在訓練期間選擇性地剪掉某些神經(jīng)元，避免模型過度擬合
• 引入max-pooling技術(shù)
• 利用雙GPU NVIDIA GTX 580顯著減少訓練時間

3. ZF Net（2013）

這是2013年ImageNet比賽的勝者，對AlexNet的結(jié)構(gòu)超參數(shù)做出了調(diào)整。

####4. GoogleNet（2014）
2014年ImageNet比賽的勝者，其主要貢獻是使用了一個Inception Module，可以大幅度減少網(wǎng)絡的參數(shù)數(shù)量，其參數(shù)數(shù)量是4M，而AlexNet的則有60M。

5.VGGNet（2014）

這是一個更深的網(wǎng)絡，使用了16層的結(jié)構(gòu)。**它是對原始圖像進行3×3卷積，然后再進行3×3卷積，連續(xù)使用小的卷積核對圖像進行多次卷積。**VGG一開始提出的時候剛好與LeNet的設計原則相違背，**因為LeNet相信大的卷積核能夠捕獲圖像當中相似的特征（權(quán)值共享）。**AlexNet在淺層網(wǎng)絡開始的時候也是使用9×9、11×11卷積核，并且盡量在淺層網(wǎng)絡的時候避免使用1×1的卷積核。但是VGG的神奇之處就是在于使用多個3×3卷積核可以模仿較大卷積核那樣對圖像進行局部感知。后來多個小的卷積核串聯(lián)這一思想被GoogleNet和ResNet等吸收。

VGG相信如果使用大的卷積核將會造成很大的時間浪費，減少的卷積核能夠減少參數(shù)，節(jié)省運算開銷。雖然訓練的時間變長了，但是總體來說預測的時間和參數(shù)都是減少的了。

6.ResNets（2015）

隨著網(wǎng)絡的加深，出現(xiàn)了訓練集準確率下降的現(xiàn)象，我們可以確定這不是由于Overfit過擬合造成的(過擬合的情況訓練集應該準確率很高)；所以作者針對這個問題提出了一種全新的網(wǎng)絡，叫深度殘差網(wǎng)絡，它允許網(wǎng)絡盡可能的加深，其中引入了全新的結(jié)構(gòu)如下圖；

殘差指的是什么？
其中ResNet提出了兩種mapping：一種是identity mapping，指的就是上圖中”彎彎的曲線”，另一種residual mapping，指的就是除了”彎彎的曲線“那部分，所以最后的輸出是 y=F(x)+x
identity mapping顧名思義，就是指本身，也就是公式中的x，而residual mapping指的是“差”，也就是y?x，所以殘差指的就是F(x)部分。
為什么ResNet可以解決“隨著網(wǎng)絡加深，準確率不下降”的問題？
理論上，對于“隨著網(wǎng)絡加深，準確率下降”的問題，Resnet提供了兩種選擇方式，也就是identity mapping和residual mapping，如果網(wǎng)絡已經(jīng)到達最優(yōu)，繼續(xù)加深網(wǎng)絡，residual mapping將被push為0，只剩下identity mapping，這樣理論上網(wǎng)絡一直處于最優(yōu)狀態(tài)了，網(wǎng)絡的性能也就不會隨著深度增加而降低了。
?

總結(jié)

以上是生活随笔為你收集整理的卷积神经网络(CNN)介绍的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。