論文題目：Dynamic Convolution: Attention over Convolution Kernels

論文下載：

Dynamic Convolution: Attention over Convolution Kernels?arxiv.org

簡介:

輕量級卷積神經網絡(CNNs)由于計算預算較低，不僅限制了其卷積層的深度(即卷積層的數量)，還限制了其信道的寬度(即信道的數量)，從而導致其性能下降。為了解決這個問題，我們提出了動態卷積，一種新的設計，增加模型的復雜性而不增加網絡的深度或寬度。動態卷積不是每層使用一個卷積核，而是根據與輸入相關的階次卷積核的性質動態地聚合多個階次卷積核。由于核的尺寸較小，配置多個內核不僅具有較高的計算效率，而且由于這些內核采用非線性的聚合方式，因此具有更強的表示能力。通過對最先進的MobileNetV3-Small簡單地使用動態卷積，僅增加4%的延遲，將ImageNet分類的最高一級精度提高了2.9%，在COCO關鍵點檢測上獲得了2.9的AP增益。

動態卷用K個平行卷積代替了單個卷積，沒有正增加網絡的深度或寬度

Dynamic Convolutional Neural Networks

對于不同的輸入圖像，這些內核的符號是不同的，動態卷積就是從這里得名的。

Preliminary: Dynamic Perceptron

傳統的靜態感知：

K個線性集成的動態感知：

計算約束可以表示為:

動態卷積：

主要思想：其實就是channel attention， 根據輸入數據來為每個通道分配不同權重，而且同一通道上的權重都相等，缺失空間性（個人觀點）類似SEnet。

訓練深度DY-CNNs的兩個見解：

約束：

約束注意輸出可以促進注意模型的學習

在mobilenetv2下的性能對比：

實驗結果：

總結：

本文引入了動態卷積，即根據多個卷積核對每個輸入的關注程度，動態地對它們進行聚合。與靜態算法(每層只有一個卷積核)相比，該算法顯著提高了網絡的表示能力，但增加了大量的計算開銷，對高效的網絡神經網絡更加友好。我們的動態卷積可以很容易地集成到現有的CNN架構中。通過簡單地將MobileNet (V2和V3)中的每個卷積核替換為動態卷積，我們在im- age分類和人體姿態估計方面都取得了實質性的改進。我們希望動態卷積成為一個有用的組成部分，為更多的網絡架構。

總結

以上是生活随笔為你收集整理的单元格自适应宽度_Dynamic Conv:自适应卷积内核有效提升网络模型的表征能力不增加模型深度和宽度，牺牲一点延迟...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。