轉載自：http://blog.csdn.net/niuwei22007/article/details/47399913

《CNN基礎知識點》From：Convolutional Neural Networks (LeNet)

原文鏈接可以查看更多信息：http://blog.csdn.net/niuwei22007/article/details/47399913

神經認知機。?
　卷積神經網絡是受生物靈感的多層感知機的變體。從Hubel和Wiesel的早期對貓的視覺皮層的研究工作中得出，視覺皮層包含一組復雜的細胞排列。這些細胞會對很小的子區域敏感，稱作Receptive Field（感受野細胞）。根據這個概念提出了神經認知機。它的主要作用就是Recept部分圖像信息（或特征），然后通過分層局部相連，將各個局部特征組合成整個圖像特征。 需要仔細閱讀的論文包括：?
　(1)?第一篇關于感受野功能的論文Receptive fields and functional architecture of monkey striate cortex,1968?
　(2)?the NeoCognitron?A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position,1980?
　(3)?HMAX?Robust object recog-nition with cortex-like mechanisms,2007?
　(4)?非常重要的LeNet-5?Gradient-based learning applied to document recognition,1998?
　

稀疏連接。?
　CNN層與層之間的連接并不全是全連接，而是局部連接，它的作用就是大幅度減少參數。?

圖1 層間連接示意圖

權值共享。?
　在CNNs中，每一種過濾器都可以通過重復堆疊而覆蓋整個視野。這種堆疊就是復制自己，因此它們的單元共享同一個權值和偏置值，從而形成一張特征圖。?
　?
　圖2中m層是由3個隱層單元構成的一張特征圖。相同顏色的權值是共享的。梯度下降法仍然可以用來訓練它們所共享的參數，不過需要在原算法基礎上進行小的改動。共享權值的梯度就是簡單的對每個共享參數的梯度求和得到。?

圖2 權值共享圖

詳細計算說明。?
　為了更豐富的表示數據特征，每個隱藏層會包含多個特征圖。?
　定義?hk代表某層的第k個特征圖。?
　公式?hkij=tanh((Wk?x)ij+bk)?用來計算hk?；其中?是卷積操作。?
　以上公式是如何計算特征圖的呢？是通過針對整個圖像中不同的子區域數據，重復的調用同一個函數，最終覆蓋整幅圖像時，就得到了一張特征圖。換句話說，就是用帶有偏置項(bk)的線性濾波器(Wk)與輸入圖像(x)進行卷積運算(?)，再將結果通過一個非線性函數(tanh)所得到的結果(hk)。?
　
圖3 舉例，一層中含4個特征圖
　　圖3中的CNN含有2層，m?1層包含4個特征圖，m層包含2個特征圖，記為h0和h1，h0和h1是由不同的卷積核在前一層所有map上作卷積并將對應元素累加后加一個偏置，再求sigmod得到的(假設m與m-1層全連接，則m層共有4*2=8個卷積核)。其中，h0和h1的權值W0和W1是一個3維張量，第一維表示前一層特征圖的下標，后兩維表示該特征圖的坐標。綜合起來，Wklij表示m層第k個特征圖的每一個像素點的權重與m?1層第l個特征圖的(i,j)像素點的權重相連接。?
　　

卷積運算。?
　　用的是著名的Python庫Theano. ConvOp。具體如何使用及運行效果，見我的另外一篇博客Python之Theano.ConvOp，講的很詳細。?
　　

最大池化。?
　　CNN中另外一個很重的概念就是最大池化。它是一種非線性的下采樣（個人理解其作用類似于降維）方法。最大池化把輸入圖像劃分不相重疊的圖像矩陣塊，每一個子區域輸出其最大值。最大池化方法在視覺處理問題中非常有效的兩個原因是：?
　(1) 通過減少非最大值來降低對上層的計算復雜度。?
　(2) 池化結果支持平移不變性。在卷積層中，每個像素點有8個方向可以平移。當最大池化窗口為2?2區域時，其中有3個方向會產生相同結果；當最大池化窗口為3?3區域時，則會有5個方向會產生相同的結果。?
　在Theano中的應用舉例就不介紹了。?
　

至此，CNN的基本知識點基本介紹完畢。下一節學習一個完整的CNN模型–LeNet

參考資料?
(1)?http://deeplearning.net/tutorial/lenet.html?
(2)?Deep Learning（深度學習）學習筆記整理系列之（七）?
(3)?Deep learning with Theano 官方中文教程（翻譯）（四）—— 卷積神經網絡（CNN）

總結

以上是生活随笔為你收集整理的深度学习(DL)与卷积神经网络(CNN)学习笔记随笔-01-CNN基础知识点的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。