作者丨安靜怡

學(xué)校丨吉林大學(xué)

研究方向丨神經(jīng)網(wǎng)絡(luò)模型壓縮

近日，小米?AI?實(shí)驗(yàn)室?AutoML?團(tuán)隊(duì)展示了最新成果?MoGA?（作者：初祥祥，張勃，許瑞軍），超過由?Google Brain?和?Google AI?強(qiáng)強(qiáng)聯(lián)合的代表作?MobileNetV3?，并且公布了?MoGA?源碼和預(yù)訓(xùn)練模型。MoGA?將真實(shí)場景的使用設(shè)備移動端?GPU?作為考量，模型可以直接服務(wù)于手機(jī)端視覺產(chǎn)品。

作為?Google Brain?首席科學(xué)家?Quoc Le?團(tuán)隊(duì)聯(lián)合Google AI?的一流團(tuán)隊(duì)頂級成果，MobileNet?三部曲最新番?MobileNetV3，5?月份一出江湖便備受矚目，Github?上復(fù)現(xiàn)者層出不窮，但高質(zhì)量精準(zhǔn)復(fù)現(xiàn)可謂寥寥。
截止發(fā)稿，谷歌還未公布?V3?的模型代碼，小米?AutoML?團(tuán)隊(duì)此時推出?MoGA，在?ImageNet 1K?分類任務(wù)?200M?量級從移動端?GPU?維度超過?MobileNetV3。可以說，該方法基于?FairNAS?改進(jìn)，且結(jié)果也超過了?FairNAS。
源碼：https://github.com/xiaomi-automl/MoGA

MoGA?這篇文章第一個新穎點(diǎn)是?Mobile GPU-Aware（MoGA），即從實(shí)際使用角度，設(shè)計(jì)移動端?GPU?敏感的模型。過去的研究普遍只考慮移動端?CPU?的延遲，但實(shí)際使用的時候往往都運(yùn)行在?GPU?上，兩者的延遲并非簡單的線性，不僅和硬件相關(guān)，還是框架實(shí)現(xiàn)相關(guān)，參見?Fig2?根據(jù)采用的搜索空間中隨機(jī)采樣的?100?個模型對應(yīng)的?CPU/GPU?運(yùn)行時間繪制的散點(diǎn)圖。?

另外，搜索空間（Search Space，SS）是基于最新版的?MnasNet，融入了?squeeze-and-excitation?模塊。值得注意的是，MobileNetV3?也采用這個??SS，而且加入?Hswish?非線性激活，MoGA?因此保持了V3?的各層輸入輸出和激活單元。
在?FairNAS?基礎(chǔ)上，MoGA?每層的可選擇運(yùn)算模塊（choice block）從?6?個增加到了?12?個，超網(wǎng)的訓(xùn)練依然很快收斂。

文章的第二個觀點(diǎn)來自于對?MobileNet?三部曲的分析，從V1?到?V3，各項(xiàng)指標(biāo)均在提升，但模型參數(shù)量反而增多。這對設(shè)計(jì)多目標(biāo)的優(yōu)化條件給出了方向。文章認(rèn)為，除了業(yè)務(wù)指標(biāo)?Top-1 Acc，模型在設(shè)備端的運(yùn)行時間是作為衡量模型的關(guān)鍵指標(biāo)，而非乘加數(shù)，所以在目標(biāo)中剔除乘加數(shù)。
另外，之前的方法都是在盡量壓縮參數(shù)量，這對多目標(biāo)優(yōu)化極為不利。在非損人不能利己的帕累托邊界上，必須有舍才有得。文章認(rèn)為，參數(shù)量是模型能力的表征，所以選擇鼓勵增加參數(shù)量反而能增大搜索范圍，從而獲得高參數(shù)但低時延的模型。

文章定量地比較了?MoGA?三款模型在移動端?CPU?和?GPU?的各算子占比統(tǒng)計(jì)，證實(shí)了相同模型對不同的硬件上表現(xiàn)并不相同，Depthwise?和普通卷積在?CPU?上要花更多的比重，而?Elementwise?操作在?GPU?上要花更多時間。

文章的第三個不同指出是用加權(quán)的?NSGA-2?處理多目標(biāo)優(yōu)化。從實(shí)際使用角度出發(fā)，第一業(yè)務(wù)指標(biāo)和運(yùn)行速度是最重要的，所以對于多個目標(biāo)也需要區(qū)別對待。本文采用了?2:2:1?的比重（acc, latency, params）。

NAS?方法基于先前的?FairNAS，引入了查表方式的?GPU latency，加權(quán)?NSGA-II，對?FairNAS?進(jìn)行了迭代更新。

表?2?給出了?MoGA-A?的結(jié)構(gòu)，可以看出在各層輸入輸出，還有下采樣點(diǎn)及激活單元的使用上是對齊了?MobileNetV3。

圖?9?給出了三款模型?MoGA-A,B,C?的可視化展示。

表?3?是對當(dāng)前同量級?SOTA?模型的對比。MoGA-C?比?MobileNetV3 Large?有更高的精度，更短的移動端?GPU?時延（SNPE、MACE?結(jié)果一致），從?SNPE?結(jié)果看，MoGA-B?也超過了?V3，所以本文揭示了不僅要?GPU-Aware，還需要?Framework-aware，不同的框架對模型也有不同的要求。另外?300M?模型?MoGA-A?也是再次刷新記錄，達(dá)到了?75.9%。

消去實(shí)驗(yàn)

由于三個目標(biāo)難以調(diào)和，所以可以觀察到帕累托邊界開始上揚(yáng)，在加了目標(biāo)權(quán)重之后，此現(xiàn)象有所緩解，但仍不能避免。

作者對比了?MoreMNAS、隨機(jī)變異和只有兩目標(biāo)的情形。佐證強(qiáng)化+演化的加權(quán)NSGA2?優(yōu)于隨機(jī)變異的加權(quán)?NSGA2，也說明只采用兩個目標(biāo)（acc，latency）會極大削弱搜索能力，鼓勵增大?params?的三目標(biāo)優(yōu)化是所有方案中最優(yōu)的。

總結(jié)

綜上所述，MoGA?提出了移動端?GPU?敏感的?NAS，對多目標(biāo)進(jìn)行加權(quán)處理，鼓勵增大參數(shù)量，使用了更新版?MnasNet?的搜索空間，融合了?V3?的激活單元和結(jié)構(gòu)，方法是對?FairNAS?的改進(jìn)和提升，在?ImageNet 1k?任務(wù)上刷新了?SOTA，最重要的是直接面向落地，而且模型代碼和預(yù)訓(xùn)練權(quán)重都已開源。

有同學(xué)擔(dān)心通用任務(wù)上的模型能否直接應(yīng)用于業(yè)務(wù)呢？谷歌?Brain?最新的系統(tǒng)性研究 [7] 給出的答案是肯定的：在?ImageNet?上表現(xiàn)好的?16?個經(jīng)典結(jié)構(gòu)在?12?個常用數(shù)據(jù)集上均表現(xiàn)出穩(wěn)定的排名。

▲?16個主流網(wǎng)絡(luò)在12個數(shù)據(jù)集上的遷移表現(xiàn), Google Brain

參考文獻(xiàn)

[1] Chu et al. MoGA: Searching Beyond MobileNetV3 http://arxiv.org/abs/1908.01314?[2] MoGA 模型開源地址：https://github.com/xiaomi-automl/MoGA[3]?Chu et al., FairNAS: Rethinking Evaluation Fairness of Weight Sharing Neural Architecture Search https://arxiv.org/abs/1907.01845?[4] FairNAS 模型開源地址：https://github.com/xiaomi-automl/FairNAS[5]?Chu et al., Multi-Objective Reinforced Evolution in Mobile Neural Architecture Search https://arxiv.org/abs/1901.01074?[6]?Andrew Howard et al., Searching for MobileNetV3, https://arxiv.org/abs/1905.02244?[7]?Kornblith et al., Do Better ImageNet Models Transfer Better https://arxiv.org/pdf/1805.08974.pdf

點(diǎn)擊以下標(biāo)題查看更多往期內(nèi)容：?

• KDD Cup 2019 AutoML Track冠軍團(tuán)隊(duì)技術(shù)分享

• 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）綜述 | 附資料推薦
  

• 小米拍照黑科技：基于NAS的圖像超分辨率算法
  

• 深度解讀：小米AI實(shí)驗(yàn)室最新成果FairNAS

• 自動機(jī)器學(xué)習(xí)（AutoML）最新綜述

• NAS-FPN：基于自動架構(gòu)搜索的特征金字塔網(wǎng)絡(luò)

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。

PaperWeekly 鼓勵高校實(shí)驗(yàn)室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標(biāo)準(zhǔn)：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請?jiān)谕陡鍟r提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨(dú)在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機(jī)），以便我們在編輯發(fā)布時和作者溝通

?

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 下載論文 & 源碼

總結(jié)

以上是生活随笔為你收集整理的解读小米MoGA：超过MobileNetV3的移动端GPU敏感型搜索的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。