1、動(dòng)機(jī)

MobileNet是為移動(dòng)和嵌入式設(shè)備提出的高效模型，使用深度可分離卷積(depthwise separable convolutions,即Xception變體結(jié)構(gòu))來構(gòu)建輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)。

2、核心技術(shù)

depthwise separable卷積

depthwise separable convolution可以進(jìn)一步拆分成depthwise卷積和pointwise卷積，如下圖所示為普通卷積和depthwise separable卷積的對(duì)比

優(yōu)點(diǎn)：既增加了網(wǎng)絡(luò)的非線性，又極大的減少了計(jì)算量。大約變成了 1? / （K_h * K_w） 的計(jì)算量。對(duì)于3*3的卷積核，差不多減少了9倍。然而在實(shí)際的使用中，dw卷積加速?zèng)]有那么快，一是加速庫支持的不好，另外就是dw卷積對(duì)訪存性能要求比較高。

Relu6

使用relu6.? 對(duì)relu輸出的最大值進(jìn)行clip。Relu在x>0的區(qū)域使用x進(jìn)行線性激活，有可能造成激活后的值太大，影響模型的穩(wěn)定性，為抵消ReLU激勵(lì)函數(shù)的線性增長部分，可以使用Relu6函數(shù)。

另外一種解釋：主要是為了在移動(dòng)端設(shè)備float16/int8的低精度時(shí)也能有很好的數(shù)值分辨率，如果對(duì)普通relu函數(shù)的激活范圍不加限制，輸出的范圍為0到正無窮，如果激活值非常大，分布在一個(gè)很大的范圍內(nèi)，則低精度的loat16/int8就無法良好地精確描述如此大范圍地?cái)?shù)值，從而帶來精度地?fù)p失。

網(wǎng)絡(luò)大小控制

MobileNetV1引入了兩個(gè)超參數(shù)來進(jìn)一步平衡模型大小以及準(zhǔn)確率：通道系數(shù)α∈(0,1]與分辨率系數(shù)ρ∈(0,1]。所有層的 通道數(shù)（channel） 乘以 α 參數(shù)(四舍五入)，模型大小近似下降到原來的 α^2倍，計(jì)算量下降到原來的 α^2 倍；輸入層的 分辨率（resolution） 乘以 ρ 參數(shù) (四舍五入)，等價(jià)于所有層的分辨率乘 ρ ，模型大小不變，計(jì)算量下降到原來的 ρ^2倍

3、網(wǎng)絡(luò)結(jié)構(gòu)

?

4、網(wǎng)絡(luò)性能

Model	Million MACs	Million Parameters	Top-1 Accuracy	Top-5 Accuracy
MobileNet_v1_1.0_224	569	4.24	70.9	89.9
MobileNet_v1_1.0_192	418	4.24	70.0	89.2
MobileNet_v1_1.0_160	291	4.24	68.0	87.7
MobileNet_v1_1.0_128	186	4.24	65.2	85.8
MobileNet_v1_0.75_224	317	2.59	68.4	88.2
MobileNet_v1_0.75_192	233	2.59	67.2	87.3
MobileNet_v1_0.75_160	162	2.59	65.3	86.0
MobileNet_v1_0.75_128	104	2.59	62.1	83.9
MobileNet_v1_0.50_224	150	1.34	63.3	84.9
MobileNet_v1_0.50_192	110	1.34	61.7	83.6
MobileNet_v1_0.50_160	77	1.34	59.1	81.9
MobileNet_v1_0.50_128	49	1.34	56.3	79.4
MobileNet_v1_0.25_224	41	0.47	49.8	74.2
MobileNet_v1_0.25_192	34	0.47	47.7	72.3
MobileNet_v1_0.25_160	21	0.47	45.5	70.3
MobileNet_v1_0.25_128	14	0.47	41.5	66.3

?

5、參考資料

MobileNet 進(jìn)化史： 從 V1 到 V3（V1篇）

來自 <https://blog.csdn.net/kuweicai/article/details/103267230>

來自 <https://github.com/tensorflow/models/blob/master/research/slim/nets/mobilenet_v1.md>

總結(jié)

以上是生活随笔為你收集整理的轻量级网络之mobilenet_v1的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。