卷積神經網絡

之前的一些都是考慮多層感知器算法設計相關的問題，這次是說一個多層感知器結構布局相關的問題。來總結卷積神經網絡。對于模式分類非常合適。網絡的提出所隱含的思想收到了神經生物學的啟發。

第一個卷積網絡是為了識別二維形狀而特殊設計的一個多層感知器，這種二維形狀對平移、比例縮放、傾斜或者其他形式的變形具有高度不變性。這個艱巨的任務是通過如下網絡在監督方式下學會的，網絡的結構包括如下形式的約束。

特征提取。每一個神經元從上一層的局部接收域得到突觸輸入，因而迫使它提取局部特征。一旦一個特征被提取出來，只要它相對于其他特征的位置被近似保留下來，他的精確位置就變得沒有那么重要了。

特征映射。網絡的每一個計算層都是由多個特征映射組成的，每個特征映射都是平面形式的，平面中單獨的神經元在約束下共享相同的突觸權值。這種結構約束的第二種形式具有如下的有益效果：

平移不變性，強迫特征映射的執行使用具有小尺度核的卷積，再接著用一個sigmoid函數。

自由參數數量的減縮，通過權值共享實現。

子抽樣。每個卷積網層跟著一個實現局部平均和子抽樣的計算層，由此特征映射的分辨率降低。這種操作具有使特征映射的輸出對平移和其他形式的變形的敏感度下降作用。

注意，在一個卷積網絡所有層中的所有權值都是通過訓練來學習的。此外，網絡自動地學習提取它自身的特征。

?

用于圖像處理如手寫識別的卷積網絡:

?

上面是一個由一個輸入層和四個隱藏層與一個輸出層組成的卷積網絡的體系結構布局。這個網絡被設計用于實現圖像處理（如手寫識別）。輸入層由28x28個感知節點組成，接收已經近似處于中心位置和在大小上規整化的不同字符的圖像。然后，計算流程在卷積和子抽樣之間交替：

第一隱藏層進行卷積。它由四個特征映射組成，每個特征映射由24x24個神經元組成。每個神經元指定一個5x5的接收域；

第二隱藏層實現了子抽樣和局部平均。他同樣由四個特征映射組成。但其每個特征映射由12x12個神經元組成。每個神經元具有一個2x2的接收域，一個可訓練系數，一個可訓練偏置和一個sigmoid激活函數。可訓練系數和偏置控制神經元的操作點；例如，如果系數很小，該神經元以擬線性方式操作。

第三個隱藏層進行第二次卷積。它由12個特征映射組成，每個特征映射由8x8個神經元組成。該隱藏層中的每個神經元可能具有和上一個隱藏層幾個特征映射相連的突觸連接。否則，它以第一個卷積層相似的方式操作。

第四個隱藏層進行第二次子抽樣和局部平均計算。它由12個特征映射組成，但每個特征映射由4x4個神經元組成。否則它以第一次抽樣相似的方式操作。

輸出層實現卷積的最后階段。它由26個神經元組成，每個神經元指定為26個可能的字符中的一個。跟前面一樣，每個神經元指定一個4x4的接收域。

相繼的計算層在卷積和抽樣之間的連續交替，得到一個“雙尖塔”的效果。也就是在每個卷積或抽樣層，隨著空間分辨率下降，與相應的前一層相比特征映射的數量增加。卷積之后進行子抽樣的思想是受到H和W首先提出的“簡單的”細胞后面跟著“復雜的”細胞的概念啟發而產生的。

上面的多層感知器包含近似100000個突觸連接，但只有大約2600個自由參數。自由參數在數量上顯著減少是通過權值共享實現的。機器學習的能力因而下降，這有提高了它的泛化能力。甚至更值得注意的事實是對自由參數的調整通過反向傳播學習的隨機形式實現。

另一個顯著的特點是使用權值共享使得以并行形式實現卷積網絡成為可能。這是卷積網絡對完全連接的多層感知器而言的另一個優點。

卷積也說明了兩點。首先，通過結合當前任務的先驗知識約束其設計，一個可調整大小的多層感知器能夠學習一個復雜的、高維的和非線性的映射。其次，突觸權值和偏置水平可以周而復始地執行通過訓練集的簡單反向傳播算法進行學習。

?

總結

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—卷积神经网络（CNN）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。