為了比較3*3卷積核 和 5*5卷積核在性能上到底有多大區(qū)別設(shè)計了兩個網(wǎng)絡(luò)去進行對比，

1.兩個3*3的卷積核，2個池化層，2個全連接層

2.兩個5*5的卷積核，2個池化層，2個全連接層

兩個網(wǎng)絡(luò)的收斂標(biāo)準(zhǔn)，權(quán)重的初始化方式都是一樣，學(xué)習(xí)率都是0.5不變，輸入的都是一張28*28的圖片，通過改變?nèi)B接層的節(jié)點數(shù)觀察效果：

?

?

為了方便秒速將 288*120*80*10的網(wǎng)絡(luò)稱為n1*n2*n3*n4 , n1為288 ，12851表明經(jīng)過12851次迭代以后收斂

對比明顯表明無論兩個網(wǎng)絡(luò)的卷積核是5*5還是3*3，在n3=200時性能都有很大的提升。

所以將n3=200的情況分別做了計算

?

?

?

計算表明3*3的卷積核在參數(shù)為400*200*10的時候性能最優(yōu)，5*5的卷積核在參數(shù)200*200*10的時候性能最優(yōu)

?

但10次計算畢竟還是太少了，分別針對真兩個參數(shù)每個做了50次運算

?

?

經(jīng)過50次運算3*3的卷積核在參數(shù)400*200*10時平均迭代次數(shù)1841次，

5*5的卷積核在參數(shù)200*200*10的時候平均迭代次數(shù)2001次，性能提升了7.9%。

所以對于28*28的小圖片3*3的卷積核的收斂速度更快，性能提升顯著。

?

?

*** ***

在2018年12月29日《神經(jīng)網(wǎng)絡(luò)收斂標(biāo)準(zhǔn)與準(zhǔn)確率之間的數(shù)學(xué)關(guān)系》

得到了對應(yīng)一個帶卷積核，分類0和2的網(wǎng)絡(luò)。迭代次數(shù)n，收斂標(biāo)準(zhǔn)δ，神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率p-max之間的一組數(shù)學(xué)表達式

?

可用于推算對應(yīng)準(zhǔn)確率p-max小于0.995時需要的迭代次數(shù)和時間。
?

總結(jié)

以上是生活随笔為你收集整理的3*3卷积核 5*5卷积核到底有多大区别的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。