一、卷積神經(jīng)網(wǎng)絡(luò)參數(shù)計(jì)算

CNN一個(gè)牛逼的地方就在于通過(guò)感受野和權(quán)值共享減少了神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)的個(gè)數(shù)，所謂權(quán)值共享就是同一個(gè)Feature Map中神經(jīng)元權(quán)值共享，該Feature Map中的所有神經(jīng)元使用同一個(gè)權(quán)值。因此參數(shù)個(gè)數(shù)與神經(jīng)元的個(gè)數(shù)無(wú)關(guān)，只與卷積核的大小及Feature Map的個(gè)數(shù)相關(guān)。但是共有多少個(gè)連接個(gè)數(shù)就與神經(jīng)元的個(gè)數(shù)相關(guān)了，神經(jīng)元的個(gè)數(shù)也就是特征圖的大小。

???????下面以最經(jīng)典的LeNet-5例子來(lái)逐層分析各層的參數(shù)及連接個(gè)數(shù)。

?????????

????????C1層是一個(gè)卷積層，由6個(gè)特征圖Feature Map構(gòu)成。特征圖中每個(gè)神經(jīng)元與輸入為5*5的鄰域相連。特征圖的大小為28*28，這樣能防止輸入的連接掉到邊界之外（32-5+1=28）。C1有156個(gè)可訓(xùn)練參數(shù)（每個(gè)濾波器5*5=25個(gè)unit參數(shù)和一個(gè)bias參數(shù)，一共6個(gè)濾波器，共(5*5+1)*6=156個(gè)參數(shù)），共156*(28*28)=122,304個(gè)連接。

????????S2層是一個(gè)下采樣層，有6個(gè)14*14的特征圖。特征圖中的每個(gè)單元與C1中相對(duì)應(yīng)特征圖的2*2鄰域相連接。S2層每個(gè)單元的4個(gè)輸入相加，乘以一個(gè)可訓(xùn)練參數(shù)，再加上一個(gè)可訓(xùn)練偏置。每個(gè)單元的2*2感受野并不重疊，因此S2中每個(gè)特征圖的大小是C1中特征圖大小的1/4（行和列各1/2）。S2層有12（6*（1+1）=12）個(gè)可訓(xùn)練參數(shù)和5880（14*14*（2*2+1）*6=5880）個(gè)連接。

??????????C3層也是一個(gè)卷積層，它同樣通過(guò)5x5的卷積核去卷積層S2，然后得到的特征map就只有10x10個(gè)神經(jīng)元，但是它有16種不同的卷積核，所以就存在16個(gè)特征map了。 C3中每個(gè)特征圖由S2中所有6個(gè)或者幾個(gè)特征map組合而成。為什么不把S2中的每個(gè)特征圖連接到每個(gè)C3的特征圖呢？原因有2點(diǎn)。第一，不完全的連接機(jī)制將連接的數(shù)量保持在合理的范圍內(nèi)。第二，也是最重要的，其破壞了網(wǎng)絡(luò)的對(duì)稱性。由于不同的特征圖有不同的輸入，所以迫使他們抽取不同的特征（希望是互補(bǔ)的）。

????? 例如，存在的一個(gè)方式是：C3的前6個(gè)特征圖以S2中3個(gè)相鄰的特征圖子集為輸入。接下來(lái)6個(gè)特征圖以S2中4個(gè)相鄰特征圖子集為輸入。然后的3個(gè)以不相鄰的4個(gè)特征圖子集為輸入。最后一個(gè)將S2中所有特征圖為輸入。這樣C3層有1516（6*（3*25+1）+6*（4*25+1）+3*（4*25+1）+（25*6+1）=1516）個(gè)可訓(xùn)練參數(shù)和151600（10*10*1516=151600）個(gè)連接。

????? ?S4層是一個(gè)下采樣層，由16個(gè)5*5大小的特征圖構(gòu)成。特征圖中的每個(gè)單元與C3中相應(yīng)特征圖的2*2鄰域相連接，跟C1和S2之間的連接一樣。S4層有32個(gè)可訓(xùn)練參數(shù)（每個(gè)特征圖1個(gè)因子和一個(gè)偏置16*（1+1）=32）和2000（16*（2*2+1）*5*5=2000）個(gè)連接。

??????? C5層是一個(gè)卷積層，有120個(gè)特征圖。每個(gè)單元與S4層的全部16個(gè)單元的5*5鄰域相連。由于S4層特征圖的大小也為5*5（同濾波器一樣），故C5特征圖的大小為1*1（5-5+1=1）：這構(gòu)成了S4和C5之間的全連接。之所以仍將C5標(biāo)示為卷積層而非全相聯(lián)層，是因?yàn)槿绻鸏eNet-5的輸入變大，而其他的保持不變，那么此時(shí)特征圖的維數(shù)就會(huì)比1*1大。C5層有48120（120*（16*5*5+1）=48120由于與全部16個(gè)單元相連，故只加一個(gè)偏置）個(gè)可訓(xùn)練連接。

???????F6層有84個(gè)單元（之所以選這個(gè)數(shù)字的原因來(lái)自于輸出層的設(shè)計(jì)），與C5層全相連。有10164（84*(120*(1*1)+1)=10164）個(gè)可訓(xùn)練參數(shù)。如同經(jīng)典神經(jīng)網(wǎng)絡(luò)，F6層計(jì)算輸入向量和權(quán)重向量之間的點(diǎn)積，再加上一個(gè)偏置。然后將其傳遞給sigmoid函數(shù)產(chǎn)生單元i的一個(gè)狀態(tài)。

????? 最后，輸出層由歐式徑向基函數(shù)（Euclidean Radial Basis Function）單元組成，每類一個(gè)單元，每個(gè)有84個(gè)輸入。

?

二、神經(jīng)網(wǎng)絡(luò)時(shí)間復(fù)雜度和空間復(fù)雜度（參數(shù)量計(jì)算和計(jì)算量計(jì)算）

?

三、卷積層輸出尺寸計(jì)算

先定義幾個(gè)參數(shù)

• 輸入圖片大小?W×W
• Filter大小?F×F
• 步長(zhǎng)?S
• padding的像素?cái)?shù)?P

則輸出為N*N，其中N = (W ? F?+ 2P?)/S+1。具體計(jì)算如下：

卷積中的特征圖大小計(jì)算方式有兩種，分別是‘VALID’和‘SAME’，卷積和池化都適用，除不盡的結(jié)果都向上取整。

1.如果計(jì)算方式采用'VALID'，則：

?

其中為輸出特征圖的大小，為輸入特征圖的大小，F為卷積核大小，stride為卷積步長(zhǎng)。

2.如果計(jì)算方式采用'SAME'，輸出特征圖的大小與輸入特征圖的大小保持不變，

?

其中padding為特征圖填充的圈數(shù)。若采用'SAME'方式，kernel_size=1時(shí)，padding=0；kernel_size=3時(shí)，padding=1；kernel_size=5時(shí)，padding=3，以此類推。

?

轉(zhuǎn)自：

https://blog.csdn.net/gloriazhang2013/article/details/71426871

https://blog.csdn.net/gubenpeiyuan/article/details/81561262

https://blog.csdn.net/HelloZEX/article/details/81109136

轉(zhuǎn)載于:https://www.cnblogs.com/CJT-blog/p/10562819.html

總結(jié)

以上是生活随笔為你收集整理的卷积神经网络参数计算及卷积层输出尺寸计算的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。