論文：Rethinking Depthwise Separable Convolutions: How Intra-Kernel Correlations Lead to Improved MobileNets

https://arxiv.org/pdf/2003.13549.pdf?arxiv.org

代碼地址：

zeiss-microscopy/BSConv?github.com

一、背景

一些輕量級的網絡，如MobileNet中，會有深度可分離卷積Depthwise Separable Convolution（DSCs），由depthwise(DW)和pointwise(PW)兩個部分結合起來，用來提取特feature map，相比常規的卷積操作，其參數數量和運算成本比較低。

Joe.Zhao：深度可分離卷積?zhuanlan.zhihu.com

作者對其進一步的研究，發現基于深度可分離卷積的體系結構，例如MobileNets隱式地依賴于跨內核的相關性。作者經過定性和定量的研究發現基于核內部的相關性可以更有效地分離標準卷積。

二、啟發來源

定性分析：作者可視化了三個基礎網絡VGG-19、Inception V2、ResNet-50的卷積核，將128*3*3的卷積核沿深度軸劃分成128張小圖片，每張都是3*3（如圖）。圖中可以看出，很多卷積核呈現相同的“視覺結構”。就好比這些卷積核是照著一個模子，然后加點線性變換產生的。然后作者就將這個模子稱為“藍圖”（高大上的名字）。

定量研究：

為了進一步說明沿深度軸卷積核的相關性，作者用以下方式分析了幾個訓練過的CNNs:

把M*K*K的卷積核劃分成M個K*K的樣本；

對這M個樣本進行PCA分析

確定由第一個主成分(PC1)解釋的過濾器的方差

可以看到，平均每個過濾器內核的方差的50%左右可以用這個簡單的模型來解釋，這表明使用“藍圖”改進的潛力很大。

三、“藍圖”卷積

“藍圖”即一個卷積核的模板，那么一個普通的卷積核就可以從一個藍圖卷積的各種線性變換而來。

如圖第一行，是一個標準卷積，卷積核大小是K*K*M；

第二行是藍圖卷積，卷積核由藍圖（一個K*K的卷積核）和一個M*1的權重向量組成。

四、“藍圖”卷積的兩種變形和實現

作者是對深度可分離卷積的一個再思考，那么到底與深度可分離卷積有什么不同呢？

Unconstrained BSConv (BSConv-U):無限制藍圖卷積

從上圖的第二列和第三列可以看出，

深度可分離卷積是先逐通道卷積，再對深度方向上加權組合。

無限制藍圖卷積是先對深度方向上加權組合，再卷積。

簡單說，就是交換了depthwise(DW)和pointwise(PW)的順序。

那么這個簡單的交換有什么作用？

如下圖，DSCs隱式地假設一個用于所有內核的3d藍圖，而BSConv則是依賴于每個內核的單獨2d藍圖。

所以，深度可分卷積實際上執行的是跨內核的相關性，而不是內核內部的相關性。而研究發現內核內部的相關性占主導地位，因此有更大的潛力進行有效分離。

Subspace BSConv (BSConv-S) ：子空間藍圖卷積

作者進一步研究發現，在BSConv-U中1*1卷積層所使用的參數矩陣W=（Wn,M）行與行之間存在高度關聯。（注：每一行有M個參數，對應一個輸出通道）。

所以作者進一步將這個卷積核矩陣分解，即因式分解來實現W的低秩近似，然后通過添加正交約束來減少參數之間的相互關聯。

上述的結果就是，1個1*1卷積被分解成兩個1*1卷積。

五、實驗

1、作者在CIFAR10、CIFAR100、StanforDogs、StanforCars等多個數據集上，使用MobileNetV1-V3網絡，進行了實驗，發現使用藍圖卷積代替標準卷積后，分類準確率都有所提升。

2、作者在CIFAR10、CIFAR100等數據集上，使用ResNet作為基礎網絡，發現參數量明顯減少，性能也有所提升。

在大規模和細粒度分類數據集上的大量實驗表明，BSConvs可以很好地改進MobileNets等網絡結構，而不會引入任何復雜性。

六、總結

本論文提出了一種新的卷積核的分離方法BSConv，該方法是基于核內部的相關性，因此可以更有效地分離標準卷積。大量實驗表明，該方法在減少參數量，提升模型性能方面有明顯效果。

總結

以上是生活随笔為你收集整理的2d 蓝图_“蓝图”卷积--对深度可分离卷积的再思考的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。