CNN的概念与原理
文章轉自：https://blog.csdn.net/yunpiao123456/article/details/52437794###
一、卷積神經網絡的基本概念
? ? ? ?受Hubel和Wiesel對貓視覺皮層電生理研究啟發，有人提出卷積神經網絡（CNN），Yann Lecun 最早將CNN用于手寫數字識別并一直保持了其在該問題的霸主地位。近年來卷積神經網絡在多個方向持續發力，在語音識別、人臉識別、通用物體識別、運動分析、自然語言處理甚至腦電波分析方面均有突破。
? ? ? ?卷積神經網絡與普通神經網絡的區別在于，卷積神經網絡包含了一個由卷積層和子采樣層構成的特征抽取器。在卷積神經網絡的卷積層中，一個神經元只與部分鄰層神經元連接。在CNN的一個卷積層中，通常包含若干個特征平面(featureMap)，每個特征平面由一些矩形排列的的神經元組成，同一特征平面的神經元共享權值，這里共享的權值就是卷積核。卷積核一般以隨機小數矩陣的形式初始化，在網絡的訓練過程中卷積核將學習得到合理的權值。共享權值（卷積核）帶來的直接好處是減少網絡各層之間的連接，同時又降低了過擬合的風險。子采樣也叫做池化（pooling），通常有均值子采樣（mean pooling）和最大值子采樣（max pooling）兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡化了模型復雜度，減少了模型的參數。
二、卷積神經網絡的應用場景
三、卷積神經網絡的原理
3.1 神經網絡
? ? ? ?首先介紹神經網絡，這一步的詳細可以參考資源1。簡要介紹下。神經網絡的每個單元如下：
? ? ? ?其對應的公式如下：
? ? ? ?其中，該單元也可以被稱作是Logistic回歸模型。當將多個單元組合起來并具有分層結構時，就形成了神經網絡模型。下圖展示了一個具有一個隱含層的神經網絡。
? ? ? ? 其對應的公式如下：
? ? ? ?比較類似的，可以拓展到有2,3,4,5，…個隱含層。
? ? ? ?神經網絡的訓練方法也同Logistic類似，不過由于其多層性，還需要利用鏈式求導法則對隱含層的節點進行求導，即梯度下降+鏈式求導法則，專業名稱為反向傳播。關于訓練算法，本文暫不涉及。
3.2 卷積神經網絡
? ? ? ?受Hubel和Wiesel對貓視覺皮層電生理研究啟發，有人提出卷積神經網絡（CNN），Yann Lecun 最早將CNN用于手寫數字識別并一直保持了其在該問題的霸主地位。近年來卷積神經網絡在多個方向持續發力，在語音識別、人臉識別、通用物體識別、運動分析、自然語言處理甚至腦電波分析方面均有突破。
? ? ? ?卷積神經網絡與普通神經網絡的區別在于，卷積神經網絡包含了一個由卷積層和子采樣層構成的特征抽取器。在卷積神經網絡的卷積層中，一個神經元只與部分鄰層神經元連接。在CNN的一個卷積層中，通常包含若干個特征平面(featureMap)，每個特征平面由一些矩形排列的的神經元組成，同一特征平面的神經元共享權值，這里共享的權值就是卷積核。卷積核一般以隨機小數矩陣的形式初始化，在網絡的訓練過程中卷積核將學習得到合理的權值。共享權值（卷積核）帶來的直接好處是減少網絡各層之間的連接，同時又降低了過擬合的風險。子采樣也叫做池化（pooling），通常有均值子采樣（mean pooling）和最大值子采樣（max pooling）兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡化了模型復雜度，減少了模型的參數。卷積神經網絡的基本結構如圖所示：
? ? ? ?卷積神經網絡由三部分構成。第一部分是輸入層。第二部分由n個卷積層和池化層的組合組成。第三部分由一個全連結的多層感知機分類器構成。
3.2.1局部感受野
? ? ? ?卷積神經網絡有兩種神器可以降低參數數目，第一種神器叫做局部感知野。一般認為人對外界的認知是從局部到全局的，而圖像的空間聯系也是局部的像素聯系較為緊密，而距離較遠的像素相關性則較弱。因而，每個神經元其實沒有必要對全局圖像進行感知，只需要對局部進行感知，然后在更高層將局部的信息綜合起來就得到了全局的信息。網絡部分連通的思想，也是受啟發于生物學里面的視覺系統結構。視覺皮層的神經元就是局部接受信息的（即這些神經元只響應某些特定區域的刺激）。如下圖所示：左圖為全連接，右圖為局部連接。
? ? ? ? 在上右圖中，假如每個神經元只和10×10個像素值相連，那么權值數據為1000000×100個參數，減少為原來的萬分之一。而那10×10個像素值對應的10×10個參數，其實就相當于卷積操作。
3.2.3 權值共享
? ? ? ?但其實這樣的話參數仍然過多，那么就啟動第二級神器，即權值共享。在上面的局部連接中，每個神經元都對應100個參數，一共1000000個神經元，如果這1000000個神經元的100個參數都是相等的，那么參數數目就變為100了。
? ?? ? 怎么理解權值共享呢？我們可以這100個參數（也就是卷積操作）看成是提取特征的方式，該方式與位置無關。這其中隱含的原理則是：圖像的一部分的統計特性與其他部分是一樣的。這也意味著我們在這一部分學習的特征也能用在另一部分上，所以對于這個圖像上的所有位置，我們都能使用同樣的學習特征。
? ? ? ?更直觀一些，當從一個大尺寸圖像中隨機選取一小塊，比如說 8x8 作為樣本，并且從這個小塊樣本中學習到了一些特征，這時我們可以把從這個 8x8 樣本中學習到的特征作為探測器，應用到這個圖像的任意地方中去。特別是，我們可以用從 8x8 樣本中所學習到的特征跟原本的大尺寸圖像作卷積，從而對這個大尺寸圖像上的任一位置獲得一個不同特征的激活值。
? ? ? ?如下圖所示，展示了一個3×3的卷積核在5×5的圖像上做卷積的過程。每個卷積都是一種特征提取方式，就像一個篩子，將圖像中符合條件（激活值越大越符合條件）的部分篩選出來。
3.2.4 多卷積核
? ? ? ?上面所述只有100個參數時，表明只有1個10*10的卷積核，顯然，特征提取是不充分的，我們可以添加多個卷積核，比如32個卷積核，可以學習32種特征。在有多個卷積核時，如下圖所示：
? ? ? ?上圖右，不同顏色表明不同的卷積核。每個卷積核都會將圖像生成為另一幅圖像。比如兩個卷積核就可以將生成兩幅圖像，這兩幅圖像可以看做是一張圖像的不同的通道。如下圖所示，下圖有個小錯誤，即將w1改為w0，w2改為w1即可。下文中仍以w1和w2稱呼它們。
? ? ? 下圖展示了在四個通道上的卷積操作，有兩個卷積核，生成兩個通道。其中需要注意的是，四個通道上每個通道對應一個卷積核，先將w2忽略，只看w1，那么在w1的某位置（i,j）處的值，是由四個通道上（i,j）處的卷積結果相加然后再取激活函數值得到的。
? ? ? ?所以，在上圖由4個通道卷積得到2個通道的過程中，參數的數目為4×2×2×2個，其中4表示4個通道，第一個2表示生成2個通道，最后的2×2表示卷積核大小。
3.2.5?Down-pooling
? ? ? ?在通過卷積獲得了特征 (features) 之后，下一步我們希望利用這些特征去做分類。理論上講，人們可以用所有提取得到的特征去訓練分類器，例如 softmax 分類器，但這樣做面臨計算量的挑戰。例如：對于一個 96X96 像素的圖像，假設我們已經學習得到了400個定義在8X8輸入上的特征，每一個特征和圖像卷積都會得到一個 (96 ? 8 + 1) × (96 ? 8 + 1) = 7921 維的卷積特征，由于有 400 個特征，所以每個樣例 (example) 都會得到一個 7921 × 400 = 3,168,400 維的卷積特征向量。學習一個擁有超過 3 百萬特征輸入的分類器十分不便，并且容易出現過擬合 (over-fitting)。
? ? ? ?為了解決這個問題，首先回憶一下，我們之所以決定使用卷積后的特征是因為圖像具有一種“靜態性”的屬性，這也就意味著在一個圖像區域有用的特征極有可能在另一個區域同樣適用。因此，為了描述大的圖像，一個很自然的想法就是對不同位置的特征進行聚合統計，例如，人們可以計算圖像一個區域上的某個特定特征的平均值 (或最大值)。這些概要統計特征不僅具有低得多的維度 (相比使用所有提取得到的特征)，同時還會改善結果(不容易過擬合)。這種聚合的操作就叫做池化 (pooling)，有時也稱為平均池化或者最大池化 (取決于計算池化的方法)。
? ? ? ??
? ? ? ?子采樣有兩種形式，一種是均值子采樣（mean-pooling），一種是最大值子采樣（max-pooling）。兩種子采樣看成特殊的卷積過程，如圖下圖所示：
? ? ? ?(1)均值子采樣的卷積核中每個權重都是0.25，卷積核在原圖inputX上的滑動的步長為2。均值子采樣的效果相當于把原圖模糊縮減至原來的1/4。
? ? ? ?(2)最大值子采樣的卷積核中各權重值中只有一個為1，其余均為0，卷積核中為1的位置對應inputX被卷積核覆蓋部分值最大的位置。卷積核在原圖inputX上的滑動步長為2。最大值子采樣的效果是把原圖縮減至原來的1/4，并保留每個2*2區域的最強輸入。
? ? ? ? 至此，卷積神經網絡的基本結構和原理已經闡述完畢。
3.2.6 多卷積層
? ? ? ?在實際應用中，往往使用多層卷積，然后再使用全連接層進行訓練，多層卷積的目的是一層卷積學到的特征往往是局部的，層數越高，學到的特征就越全局化。
四、卷積神經網絡的訓練
? ? ? 本文的主要目的是介紹CNN參數在使用bp算法時該怎么訓練，畢竟CNN中有卷積層和下采樣層，雖然和MLP的bp算法本質上相同，但形式上還是有些區別的，很顯然在完成CNN反向傳播前了解bp算法是必須的。
4.1 Forward前向傳播
? ? ? ?前向過程的卷積為典型valid的卷積過程，即卷積核kernalW覆蓋在輸入圖inputX上，對應位置求積再求和得到一個值并賦給輸出圖OutputY對應的位置。每次卷積核在inputX上移動一個位置，從上到下從左到右交疊覆蓋一遍之后得到輸出矩陣outputY(如圖4.1與圖4.3所示)。如果卷積核的輸入圖inputX為Mx*Nx大小，卷積核為Mw*Nw大小，那么輸出圖Y為（Mx-Mw+1）*（Nx-Nw+1）大小。
4.2 BackForward反向傳播
? ? ? ?在錯誤信號反向傳播過程中，先按照神經網絡的錯誤反傳方式得到尾部分類器中各神經元的錯誤信號，然后錯誤信號由分類器向前面的特征抽取器傳播。錯誤信號從子采樣層的特征圖（subFeatureMap）往前面卷積層的特征圖（featureMap）傳播要通過一次full卷積過程來完成。這里的卷積和上一節卷積的略有區別。如果卷積核kernalW的長度為Mw*Mw的方陣，那么subFeatureMap的錯誤信號矩陣Q_err需要上下左右各拓展Mw-1行或列，與此同時卷積核自身旋轉180度。subFeatureMap的錯誤信號矩陣P_err等于featureMap的誤差矩陣Q_err卷積旋轉180度的卷積核W_rot180。
? ? ? ?下圖錯誤信號矩陣Q_err中的A，它的產生是P中左上2*2小方塊導致的，該2*2的小方塊的對A的責任正好可以用卷積核W表示，錯誤信號A通過卷積核將錯誤信號加權傳遞到與錯誤信號量為A的神經元所相連的神經元a、b、d、e中，所以在下圖中的P_err左上角的2*2位置錯誤值包含A、2A、3A、4A。同理，我們可以論證錯誤信號B、C、D的反向傳播過程。綜上所述，錯誤信號反向傳播過程可以用下圖中的卷積過程表示。
4.3 權值更新過程中的卷積
? ? ? ?卷積神經網絡中卷積層的權重更新過程本質是卷積核的更新過程。由神經網絡的權重修改策略我們知道一條連接權重的更新量為該條連接的前層神經元的興奮輸出乘以后層神經元的輸入錯誤信號，卷積核的更新也是按照這個規律來進行。
? ? ? ?在前向卷積過程中，卷積核的每個元素（鏈接權重）被使用過四次，所以卷積核每個元素的產生四個更新量。把前向卷積過程當做切割小圖進行多個神經網絡訓練過程，我們得到四個4*1的神經網絡的前層興奮輸入和后層輸入錯誤信號，如圖所示。
? ? ? ? 根據神經網絡的權重修改策略，我們可以算出如圖所示卷積核的更新量W_delta。權重更新量W_delta可由P_out和Q_err卷積得到，如圖下圖所示。
五、常見網絡結構
5.1 ImageNet-2010網絡結構
ImageNet LSVRC是一個圖片分類的比賽，其訓練集包括127W+張圖片，驗證集有5W張圖片，測試集有15W張圖片。本文截取2010年Alex Krizhevsky的CNN結構進行說明，該結構在2010年取得冠軍，top-5錯誤率為15.3%。值得一提的是，在今年的ImageNet LSVRC比賽中，取得冠軍的GoogNet已經達到了top-5錯誤率6.67%。可見，深度學習的提升空間還很巨大。
下圖即為Alex的CNN結構圖。需要注意的是，該模型采用了2-GPU并行結構，即第1、2、4、5卷積層都是將模型參數分為2部分進行訓練的。在這里，更進一步，并行結構分為數據并行與模型并行。數據并行是指在不同的GPU上，模型結構相同，但將訓練數據進行切分，分別訓練得到不同的模型，然后再將模型進行融合。而模型并行則是，將若干層的模型參數進行切分，不同的GPU上使用相同的數據進行訓練，得到的結果直接連接作為下一層的輸入。
上圖模型的基本參數為：
- 輸入：224×224大小的圖片，3通道
- 第一層卷積：11×11大小的卷積核96個，每個GPU上48個。
- 第一層max-pooling：2×2的核。
- 第二層卷積：5×5卷積核256個，每個GPU上128個。
- 第二層max-pooling：2×2的核。
- 第三層卷積：與上一層是全連接，3*3的卷積核384個。分到兩個GPU上個192個。
- 第四層卷積：3×3的卷積核384個，兩個GPU各192個。該層與上一層連接沒有經過pooling層。
- 第五層卷積：3×3的卷積核256個，兩個GPU上個128個。
- 第五層max-pooling：2×2的核。
- 第一層全連接：4096維，將第五層max-pooling的輸出連接成為一個一維向量，作為該層的輸入。
- 第二層全連接：4096維
- Softmax層：輸出為1000，輸出的每一維都是圖片屬于該類別的概率。
5.2 DeepID網絡結構
? ? ? ? DeepID網絡結構是香港中文大學的Sun Yi開發出來用來學習人臉特征的卷積神經網絡。每張輸入的人臉被表示為160維的向量，學習到的向量經過其他模型進行分類，在人臉驗證試驗上得到了97.45%的正確率，更進一步的，原作者改進了CNN，又得到了99.15%的正確率。
如下圖所示，該結構與ImageNet的具體參數類似，所以只解釋一下不同的部分吧。
? ? ? ?上圖中的結構，在最后只有一層全連接層，然后就是softmax層了。論文中就是以該全連接層作為圖像的表示。在全連接層，以第四層卷積和第三層max-pooling的輸出作為全連接層的輸入，這樣可以學習到局部的和全局的特征。
參考資源
- [1] http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B 梔子花對Stanford深度學習研究團隊的深度學習教程的翻譯
- [2] http://blog.csdn.net/zouxy09/article/details/14222605 csdn博主zouxy09深度學習教程系列
- [3] http://deeplearning.net/tutorial/ theano實現deep learning
- [4] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.
- [5] Sun Y, Wang X, Tang X. Deep learning face representation from predicting 10,000 classes[C]//Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on. IEEE, 2014: 1891-1898.
- [6]?http://blog.csdn.net/stdcoutzyx/article/details/41596663
總結
- 上一篇： Python + Neo4j（安装）可视
- 下一篇： 如何成为一名合格的自动驾驶工程师