[深度学习]CNN--卷积神经网络中用1*1 卷积有什么作用
生活随笔
收集整理的這篇文章主要介紹了
[深度学习]CNN--卷积神经网络中用1*1 卷积有什么作用
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1*1卷積過濾器 和正常的過濾器一樣,唯一不同的是它的大小是1*1,沒有考慮在前一層局部信息之間的關系。最早出現在 Network In Network的論文中 ,使用1*1卷積是想加深加寬網絡結構 ,在Inception網絡( Going Deeper with Convolutions )中用來降維.
由于3*3卷積或者5*5卷積在幾百個filter的卷積層上做卷積操作時相當耗時,所以1*1卷積在3*3卷積或者5*5卷積計算之前先降低維度。那么,1*1卷積的主要作用有以下幾點:
1、降維( dimension reductionality )
某次卷積之后的結果是W*H*100的特征,現在需要用1*1的卷積核將其降維成W*H*10,即100個通道變成10個通道:
通過一次卷積操作,W*H*100將變為W*H*1,這樣的話,使用10個1*1的卷積核,顯然可以卷積出10個W*H*1,再做通道的串接操作,就實現了W*H*5。
2. 升維
? 比如某次卷積之后的結果是W*H*6的特征,現在需要用1*1的卷積核將其降維成W*H*7,即6個通道變成7個通道:? 通過一次卷積操作,W*H*6將變成W*H*1,這樣的話,使用7個1*1的卷積核,顯然可以卷積出7個W*H*1,再做銅套串接操作,就實現了W*H*7。
3、加入非線性。卷積層之后經過激勵層,1*1的卷積在前一層的學習表示上添加了非線性激勵( non-linear activation ),提升網絡的表達能力;
總結
以上是生活随笔為你收集整理的[深度学习]CNN--卷积神经网络中用1*1 卷积有什么作用的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: TensorFlow学习笔记(1):va
- 下一篇: 深度学习之卷积神经网络(1)什么是卷积