1.C1層是一個(gè)卷積層（為什么是卷積？卷積運(yùn)算一個(gè)重要的特點(diǎn)就是，通過(guò)卷積運(yùn)算，可以使原信號(hào)特征增強(qiáng)，并且降低噪音），由6個(gè)特征圖Feature Map構(gòu)成。特征圖中每個(gè)神經(jīng)元與輸入中5*5的鄰域相連。特征圖的大小為28*28，這樣能防止輸入的連接掉到邊界之外（是為了BP反饋時(shí)的計(jì)算，不致梯度損失，個(gè)人見(jiàn)解）。C1有156個(gè)可訓(xùn)練參數(shù)（每個(gè)濾波器5*5=25個(gè)unit參數(shù)和一個(gè)bias參數(shù)，一共6個(gè)濾波器，共(5*5+1)*6=156個(gè)參數(shù)），共156*(28*28)=122,304個(gè)連接。---->這一段作者說(shuō)的很清楚,不用多說(shuō)了

2.S2層是一個(gè)下采樣層（為什么是下采樣？利用圖像局部相關(guān)性的原理，對(duì)圖像進(jìn)行子抽樣，可以減少數(shù)據(jù)處理量同時(shí)保留有用信息），有6個(gè)14*14的特征圖。特征圖中的每個(gè)單元與C1中相對(duì)應(yīng)特征圖的2*2鄰域相連接。S2層每個(gè)單元的4個(gè)輸入相加，乘以一個(gè)可訓(xùn)練參數(shù)，再加上一個(gè)可訓(xùn)練偏置。結(jié)果通過(guò)sigmoid函數(shù)計(jì)算。可訓(xùn)練系數(shù)和偏置控制著sigmoid函數(shù)的非線性程度。如果系數(shù)比較小，那么運(yùn)算近似于線性運(yùn)算，亞采樣相當(dāng)于模糊圖像。如果系數(shù)比較大，根據(jù)偏置的大小亞采樣可以被看成是有噪聲的“或”運(yùn)算或者有噪聲的“與”運(yùn)算。每個(gè)單元的2*2感受野并不重疊，因此S2中每個(gè)特征圖的大小是C1中特征圖大小的1/4（行和列各1/2）。S2層有12個(gè)可訓(xùn)練參數(shù)和5880個(gè)連接。

---->6個(gè)2*2的小方框,每個(gè)有一個(gè)參數(shù),加上一個(gè)偏置,也就是(1+1)*6=12個(gè)可訓(xùn)練參數(shù)

---->對(duì)于S2層的每一個(gè)圖的每一個(gè)點(diǎn),連接數(shù)是(2*2+1)=5,總共是14*14*6*(2*2+1)=5880個(gè)連接

3.C3層也是一個(gè)卷積層，它同樣通過(guò)5x5的卷積核去卷積層S2，然后得到的特征map就只有10x10個(gè)神經(jīng)元，但是它有16種不同的卷積核，所以就存在16個(gè)特征map了。這里需要注意的一點(diǎn)是：C3中的每個(gè)特征map是連接到S2中的所有6個(gè)或者幾個(gè)特征map的，表示本層的特征map是上一層提取到的特征map的不同組合（這個(gè)做法也并不是唯一的）。

例如，存在的一個(gè)方式是：C3的前6個(gè)特征圖以S2中3個(gè)相鄰的特征圖子集為輸入。接下來(lái)6個(gè)特征圖以S2中4個(gè)相鄰特征圖子集為輸入。然后的3個(gè)以不相鄰的4個(gè)特征圖子集為輸入。最后一個(gè)將S2中所有特征圖為輸入。這樣C3層有1516個(gè)可訓(xùn)練參數(shù)和151600個(gè)連接。

---->這里的參數(shù)和連接數(shù)最不好理解啦

---->從C3的角度看,它有16個(gè)圖.把每個(gè)圖對(duì)應(yīng)的參數(shù)加起來(lái)就行了:

6*(3*25+1) + 6*(4*25+1) + 3*(4*25+1)+ 1*(6*25+1)=1516個(gè)可訓(xùn)練參數(shù)

---->上面的1516*10*10=151600個(gè)連接

4.S4層是一個(gè)下采樣層，由16個(gè)5*5大小的特征圖構(gòu)成。特征圖中的每個(gè)單元與C3中相應(yīng)特征圖的2*2鄰域相連接，跟C1和S2之間的連接一樣。S4層有32個(gè)可訓(xùn)練參數(shù)（每個(gè)特征圖1個(gè)因子和一個(gè)偏置）和2000個(gè)連接。

---->16個(gè)2*2的小方框,每個(gè)有一個(gè)參數(shù),加上一個(gè)偏置,也就是(1+1)*16=32個(gè)可訓(xùn)練參數(shù)

---->對(duì)于S4層的每一個(gè)圖的每一個(gè)點(diǎn),連接數(shù)是(2*2+1)=5,總共是5*5*16*(2*2+1)=2000個(gè)連接

5.?C5層是一個(gè)卷積層，有120個(gè)特征圖。每個(gè)單元與S4層的全部16個(gè)單元的5*5鄰域相連。由于S4層特征圖的大小也為5*5（同濾波器一樣），故C5特征圖的大小為1*1：這構(gòu)成了S4和C5之間的全連接。之所以仍將C5標(biāo)示為卷積層而非全相聯(lián)層，是因?yàn)槿绻鸏eNet-5的輸入變大，而其他的保持不變，那么此時(shí)特征圖的維數(shù)就會(huì)比1*1大。C5層有48120個(gè)可訓(xùn)練連接。

---->120*(5*5*16+1)=48120個(gè)可訓(xùn)練連接

6.?F6層有84個(gè)單元（之所以選這個(gè)數(shù)字的原因來(lái)自于輸出層的設(shè)計(jì)），與C5層全相連。有10164個(gè)可訓(xùn)練參數(shù)。如同經(jīng)典神經(jīng)網(wǎng)絡(luò)，F6層計(jì)算輸入向量和權(quán)重向量之間的點(diǎn)積，再加上一個(gè)偏置。然后將其傳遞給sigmoid函數(shù)產(chǎn)生單元i的一個(gè)狀態(tài)。

---->84*(120+1)=10164個(gè)可訓(xùn)練連接

深入理解卷積：

http://blog.csdn.net/zouxy09/article/details/9993371

http://blog.csdn.net/celerychen2009/article/details/8973218

總結(jié)

以上是生活随笔為你收集整理的Convolutional Neurons Network 训练参数与连接数计算过程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。