[深度学习]CNN--卷积神经网络中用1*1 卷积有什么作用
生活随笔
收集整理的這篇文章主要介紹了
[深度学习]CNN--卷积神经网络中用1*1 卷积有什么作用
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
1*1卷積過濾器 和正常的過濾器一樣,唯一不同的是它的大小是1*1,沒有考慮在前一層局部信息之間的關(guān)系。最早出現(xiàn)在 Network In Network的論文中 ,使用1*1卷積是想加深加寬網(wǎng)絡(luò)結(jié)構(gòu) ,在Inception網(wǎng)絡(luò)( Going Deeper with Convolutions )中用來降維.
由于3*3卷積或者5*5卷積在幾百個filter的卷積層上做卷積操作時相當(dāng)耗時,所以1*1卷積在3*3卷積或者5*5卷積計算之前先降低維度。那么,1*1卷積的主要作用有以下幾點(diǎn):
1、降維( dimension reductionality )
某次卷積之后的結(jié)果是W*H*100的特征,現(xiàn)在需要用1*1的卷積核將其降維成W*H*10,即100個通道變成10個通道:
通過一次卷積操作,W*H*100將變?yōu)閃*H*1,這樣的話,使用10個1*1的卷積核,顯然可以卷積出10個W*H*1,再做通道的串接操作,就實(shí)現(xiàn)了W*H*5。
2. 升維
? 比如某次卷積之后的結(jié)果是W*H*6的特征,現(xiàn)在需要用1*1的卷積核將其降維成W*H*7,即6個通道變成7個通道:? 通過一次卷積操作,W*H*6將變成W*H*1,這樣的話,使用7個1*1的卷積核,顯然可以卷積出7個W*H*1,再做銅套串接操作,就實(shí)現(xiàn)了W*H*7。
3、加入非線性。卷積層之后經(jīng)過激勵層,1*1的卷積在前一層的學(xué)習(xí)表示上添加了非線性激勵( non-linear activation ),提升網(wǎng)絡(luò)的表達(dá)能力;
總結(jié)
以上是生活随笔為你收集整理的[深度学习]CNN--卷积神经网络中用1*1 卷积有什么作用的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: TensorFlow学习笔记(1):va
- 下一篇: 深度学习之卷积神经网络(1)什么是卷积