1.卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network）

當(dāng)處理圖片的時(shí)候，第一層全連接層將會(huì)非常大。為什么呢？想像一下，對(duì)于一個(gè)100 * 100 * 3的圖片，如果第一層神經(jīng)元個(gè)數(shù)為1000個(gè)，那么將會(huì)需要3*10^7+1000個(gè)參數(shù)，這是很大的一個(gè)數(shù)字，各位可以感受下。

神經(jīng)元需要知道整個(gè)圖片的信息去找到它的模式么？
答案是否定的，一般來說，對(duì)于一類圖片，有一些特征可以唯一標(biāo)識(shí)這一個(gè)種類。好比據(jù)說人的耳朵有個(gè)部位是一個(gè)人的標(biāo)識(shí)，而且不會(huì)隨著年齡的增大而變化。而且對(duì)于輸入的圖片，我們不能擔(dān)保它可用對(duì)象一定能出現(xiàn)在某個(gè)位置，因?yàn)槲覀冃枰覍み@個(gè)位置（這也是很熱門的一個(gè)領(lǐng)域，detection）。一旦我們找到這樣一個(gè)小范圍，我們可以輸入這個(gè)小范圍的圖片信息，減少了各層次間連接的參數(shù)。

卷積神經(jīng)有哪些結(jié)構(gòu)
卷積、池化、卷積、池化、卷積、池化、……、flatten
我們來看一個(gè)好看的圖，讓我們更形象的去理解卷積神經(jīng)網(wǎng)絡(luò)。這是卷積神經(jīng)網(wǎng)絡(luò)算法的一個(gè)實(shí)現(xiàn)中的一張圖片

該圖的輸入是一張28*28大小的圖像，在C1層有6個(gè)5＊5的卷積核，因?yàn)镃1層輸出6個(gè)(28-5+1)(28-5+1)大小的feature map。然后經(jīng)過子采樣層，這里假設(shè)子采樣層是對(duì)卷積層的均值處理(mean pooling), 其實(shí)一般還會(huì)有加偏置和激活的操作，為了簡化，省略了這兩步，只是對(duì)卷積層進(jìn)行一個(gè)采樣的操作。因此S2層輸出的6個(gè)feature map大小為(24/2)(24/2).在卷積層C3中，它的輸入是6個(gè)feature map，與C1不一樣（C1只有一個(gè)feature map，如果是RGB的話，C1會(huì)有三個(gè)channel）。C3層有12個(gè)5＊5卷積核，每個(gè)卷積核會(huì)與上一層的6個(gè)feature map分別做卷積（事實(shí)上，一般是選擇幾種輸入feature map來做卷積，而不是全部的feature map），然后對(duì)這6個(gè)卷積結(jié)果求和組成一個(gè)新的feature map，即該層會(huì)有12個(gè)大小為(12-5+1)*(12-5+1)的feature map，這個(gè)feature map是經(jīng)過sigmod 函數(shù)處理然后結(jié)果下一層S4。

再來一張動(dòng)態(tài)圖，讓你們更清楚了解CNN卷積過程

以上代碼塊中的卷積和中的參數(shù)是需要學(xué)習(xí)的，也就是說會(huì)給定一個(gè)初始值，然后在反復(fù)訓(xùn)練的過程中更新參數(shù)。另外想說的是，如果存在全0填充的話，圖片經(jīng)過巻積層后維度不會(huì)降低；沒有的話，就會(huì)根據(jù)步長大小維度減少。

池化層才是維度降低的關(guān)鍵位置，簡單的例子看下圖，池化層的步長和大小決定了維度降低的數(shù)量。

flatten見下圖，就是做了一個(gè)reshape操作，數(shù)據(jù)不變，維度改變。

參考文獻(xiàn)：
1. http://blog.csdn.net/zhongkeli/article/details/51854619
2. http://blog.sina.com.cn/s/blog_8e5ce7190102wspj.html
3. http://www.cnblogs.com/hunttown/p/6830581.html

總結(jié)

以上是生活随笔為你收集整理的一天搞懂深度学习—学习笔记2（CNN）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。