當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

论文笔记：MobileNet v1

發布時間：2025/3/21 编程问答 12 豆豆

生活随笔收集整理的這篇文章主要介紹了论文笔记：MobileNet v1 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

原文：MobileNets: Efficient Convolutional Neural Networks for MobileVision Applications

MobileNet v1

1、四個問題

要解決什么問題？

在現實場景下，諸如移動設備、嵌入式設備、自動駕駛等等，計算能力會受到限制，所以本文的目標就是構建一個小且快速（small and low latency）的模型。

用了什么辦法解決？

提出了MobileNet架構，使用深度可分離卷積（depthwise separable convolutions）替代傳統卷積。
在MobileNet網絡中還引入了兩個收縮超參數（shrinking hyperparameters）：寬度乘子（width multiplier）和分辨率乘子（resolution multiplier）。

效果如何？

在一系列視覺任務如ImageNet分類、細粒度分類、目標檢測等等上，顯著降低模型大小的同時也取得了不錯的效果。

還存在什么問題？（參考自知乎）

MobileNet v1的結構過于簡單，是類似于VGG的直筒結構，導致這個網絡的性價比其實不高。如果引入后續的一系列ResNet、DenseNet等結構（復用圖像特征，添加shortcuts）可以大幅提升網絡的性能。

Depthwise Convolution存在潛在問題，訓練后部分kernel的權值為0。

2、網絡結構

2.1、Depthwise Separable Convolution

Depthwise Separable Convolution實質上是將標準卷積分成了兩步：depthwise卷積和pointwise卷積，其輸入與輸出都是相同的。
假設輸入特征圖維度為： $DF×DF×MD_F \times D_F \times M$ ， $D_F$ 為輸入的寬/高， $M$ 為輸入通道數。
假設輸出特征圖維度為： $DG×DG×ND_G \times D_G \times N$ ， $D_G$ 為輸出的寬/高， $N$ 為輸出通道數。
假設卷積核尺寸為： $Dk×DkD_k \times D_k$ ， $D_k$ 為卷積核的寬/高。

2.1.1、標準卷積

卷積核參數量： $DK×Dk×M×ND_K \times D_k \times M \times N$ 。
計算量（只計算乘法）： $Dk×Dk×M×N×DF×DFD_k \times D_k \times M \times N \times D_F \times D_F$ 。
計算量（FLOPS，包括乘法和加法）： $(Dk×Dk×M+Dk×Dk×M?1)×N×DF×DF(D_k \times D_k \times M + D_k \times D_k \times M -1)\times N \times D_F \times D_F$ 。
注：為簡化起見，后面求解計算量時只考慮乘法，不考慮加法。

2.1.2、深度可分離卷積

分為兩部分：depthwise卷積和pointwise卷積。
depthwise卷積：對每個輸入通道單獨使用一個卷積核處理。
pointwise卷積： $\times 1$ 卷積，用于將depthwise卷積的輸出組合起來。

depthwise卷積：

輸入： $DF×DF×MD_F \times D_F \times M$ ，輸出： $DF×DF×MD_F \times D_F \times M$ ，卷積核尺寸： $Dk×DkD_k \times D_k$ 。
卷積核參數：分開為 $M$ 個通道看，每個通道都是 $Dk×Dk×1×1D_k \times D_k \times 1 \times 1$ ，共 $Dk×Dk×MD_k \times D_k \times M$ 。
計算量： $Dk×Dk×M×DF×DFD_k \times D_k \times M \times D_F \times D_F$ 。
理解：將輸入的特征圖（維度為： $DF×DF×MD_F \times D_F \times M$ ）看做是 $M$ 個 $DF×DF×1D_F \times D_F \times 1$ 的特征圖；對這 $M$ 個 $DF×DF×1D_F \times D_F \times 1$ 的特征圖分別進行普通卷積（卷積核為： $Dk×DkD_k \times D_k$ ，輸入通道數為 $1$ ，輸出通道數也為 $1$ ）。實質上，這就是對卷積的通道數進行分組，然后對每組的特征圖分別進行卷積，是組卷積（group convolution）的一種擴展，每組只有一個特征圖。

pointwise卷積：

輸入： $DF×DF×MD_F \times D_F \times M$ ，輸出： $DF×DF×ND_F \times D_F \times N$ ，卷積核尺寸： $1×11\times 1$ 。
卷積核參數： $\times 1 \times M \times N$ 。
計算量： $\times 1 \times M \times N \times D_F \times D_F$ 。
理解：就是 $\times 1$ 卷積，是普通的卷積操作。

總計算量：

$Dk×Dk×M×DF×DF+1×1×M×N×DF×DF=(Dk×Dk+N)×M×DF×DFD_k \times D_k \times M \times D_F \times D_F + 1 \times 1 \times M \times N \times D_F \times D_F \\ = (D_k \times D_k + N) \times M \times D_F \times D_F$

2.1.3、標準卷積與深度可分離卷積計算量的比較

只計算乘法操作：
標準卷積計算量： $Dk×Dk×M×N×DF×DFD_k \times D_k \times M \times N \times D_F \times D_F$ 。
深度可分離卷積計算量： $(Dk×Dk+N)×M×DF×DF(D_k \times D_k + N) \times M \times D_F \times D_F$ 。
兩者之比：

通常MobileNet會使用卷積核為 $\times 3$ 的深度可分離卷積，上面這個式子的結果就接近于 $19\frac{1}{9}$ ，大約可以比普通卷積減少了8到9倍的計算量。

2.2、MobileNet結構

2.3、網絡參數、計算量分布

MobileNet的大多數計算量（約95%）和參數（約75%）都在 $\times 1$ 卷積中，剩余的大多數參數（約24%）都在全連接層中。
由于模型較小，可以減少正則化手段和數據增強，因為小模型相對不容易過擬合。

2.4、控制MobileNet模型大小的兩個超參數

Width Multiplier: Thinner Models

用 $α\alpha$ 表示，該參數用于控制特征圖的維數，即通道數。
對于深度可分離卷積，其計算量為： $Dk×Dk×αM×DF×DF+1×1×αM×αN×DF×DFD_k \times D_k \times \alpha M \times D_F \times D_F + 1 \times 1 \times \alpha M \times \alpha N \times D_F \times D_F$

Resolution Multiplier: Reduced Representation

用 $ρ\rho$ 表示，該參數用于控制特征圖的寬/高，即分辨率。
對于深度可分離卷積，其計算量為： $Dk×Dk×αM×ρDF×ρDF+1×1×αM×αN×ρDF×ρDFD_k \times D_k \times \alpha M \times \rho D_F \times \rho D_F + 1 \times 1 \times \alpha M \times \alpha N \times \rho D_F \times \rho D_F$

總結

以上是生活随笔為你收集整理的论文笔记：MobileNet v1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：论文笔记：孪生神经网络(Siamese
下一篇：论文笔记：PPFNet