作者丨安靜怡

學校丨吉林大學

研究方向丨神經網絡模型壓縮

近日，小米?AI?實驗室?AutoML?團隊展示了最新成果?MoGA?（作者：初祥祥，張勃，許瑞軍），超過由?Google Brain?和?Google AI?強強聯合的代表作?MobileNetV3?，并且公布了?MoGA?源碼和預訓練模型。MoGA?將真實場景的使用設備移動端?GPU?作為考量，模型可以直接服務于手機端視覺產品。

作為?Google Brain?首席科學家?Quoc Le?團隊聯合Google AI?的一流團隊頂級成果，MobileNet?三部曲最新番?MobileNetV3，5?月份一出江湖便備受矚目，Github?上復現者層出不窮，但高質量精準復現可謂寥寥。
截止發稿，谷歌還未公布?V3?的模型代碼，小米?AutoML?團隊此時推出?MoGA，在?ImageNet 1K?分類任務?200M?量級從移動端?GPU?維度超過?MobileNetV3。可以說，該方法基于?FairNAS?改進，且結果也超過了?FairNAS。
源碼：https://github.com/xiaomi-automl/MoGA

MoGA?這篇文章第一個新穎點是?Mobile GPU-Aware（MoGA），即從實際使用角度，設計移動端?GPU?敏感的模型。過去的研究普遍只考慮移動端?CPU?的延遲，但實際使用的時候往往都運行在?GPU?上，兩者的延遲并非簡單的線性，不僅和硬件相關，還是框架實現相關，參見?Fig2?根據采用的搜索空間中隨機采樣的?100?個模型對應的?CPU/GPU?運行時間繪制的散點圖。?

另外，搜索空間（Search Space，SS）是基于最新版的?MnasNet，融入了?squeeze-and-excitation?模塊。值得注意的是，MobileNetV3?也采用這個??SS，而且加入?Hswish?非線性激活，MoGA?因此保持了V3?的各層輸入輸出和激活單元。
在?FairNAS?基礎上，MoGA?每層的可選擇運算模塊（choice block）從?6?個增加到了?12?個，超網的訓練依然很快收斂。

文章的第二個觀點來自于對?MobileNet?三部曲的分析，從V1?到?V3，各項指標均在提升，但模型參數量反而增多。這對設計多目標的優化條件給出了方向。文章認為，除了業務指標?Top-1 Acc，模型在設備端的運行時間是作為衡量模型的關鍵指標，而非乘加數，所以在目標中剔除乘加數。
另外，之前的方法都是在盡量壓縮參數量，這對多目標優化極為不利。在非損人不能利己的帕累托邊界上，必須有舍才有得。文章認為，參數量是模型能力的表征，所以選擇鼓勵增加參數量反而能增大搜索范圍，從而獲得高參數但低時延的模型。

文章定量地比較了?MoGA?三款模型在移動端?CPU?和?GPU?的各算子占比統計，證實了相同模型對不同的硬件上表現并不相同，Depthwise?和普通卷積在?CPU?上要花更多的比重，而?Elementwise?操作在?GPU?上要花更多時間。

文章的第三個不同指出是用加權的?NSGA-2?處理多目標優化。從實際使用角度出發，第一業務指標和運行速度是最重要的，所以對于多個目標也需要區別對待。本文采用了?2:2:1?的比重（acc, latency, params）。

NAS?方法基于先前的?FairNAS，引入了查表方式的?GPU latency，加權?NSGA-II，對?FairNAS?進行了迭代更新。

表?2?給出了?MoGA-A?的結構，可以看出在各層輸入輸出，還有下采樣點及激活單元的使用上是對齊了?MobileNetV3。

圖?9?給出了三款模型?MoGA-A,B,C?的可視化展示。

表?3?是對當前同量級?SOTA?模型的對比。MoGA-C?比?MobileNetV3 Large?有更高的精度，更短的移動端?GPU?時延（SNPE、MACE?結果一致），從?SNPE?結果看，MoGA-B?也超過了?V3，所以本文揭示了不僅要?GPU-Aware，還需要?Framework-aware，不同的框架對模型也有不同的要求。另外?300M?模型?MoGA-A?也是再次刷新記錄，達到了?75.9%。

消去實驗

由于三個目標難以調和，所以可以觀察到帕累托邊界開始上揚，在加了目標權重之后，此現象有所緩解，但仍不能避免。

作者對比了?MoreMNAS、隨機變異和只有兩目標的情形。佐證強化+演化的加權NSGA2?優于隨機變異的加權?NSGA2，也說明只采用兩個目標（acc，latency）會極大削弱搜索能力，鼓勵增大?params?的三目標優化是所有方案中最優的。

總結

綜上所述，MoGA?提出了移動端?GPU?敏感的?NAS，對多目標進行加權處理，鼓勵增大參數量，使用了更新版?MnasNet?的搜索空間，融合了?V3?的激活單元和結構，方法是對?FairNAS?的改進和提升，在?ImageNet 1k?任務上刷新了?SOTA，最重要的是直接面向落地，而且模型代碼和預訓練權重都已開源。

有同學擔心通用任務上的模型能否直接應用于業務呢？谷歌?Brain?最新的系統性研究 [7] 給出的答案是肯定的：在?ImageNet?上表現好的?16?個經典結構在?12?個常用數據集上均表現出穩定的排名。

▲?16個主流網絡在12個數據集上的遷移表現, Google Brain

參考文獻

[1] Chu et al. MoGA: Searching Beyond MobileNetV3 http://arxiv.org/abs/1908.01314?[2] MoGA 模型開源地址：https://github.com/xiaomi-automl/MoGA[3]?Chu et al., FairNAS: Rethinking Evaluation Fairness of Weight Sharing Neural Architecture Search https://arxiv.org/abs/1907.01845?[4] FairNAS 模型開源地址：https://github.com/xiaomi-automl/FairNAS[5]?Chu et al., Multi-Objective Reinforced Evolution in Mobile Neural Architecture Search https://arxiv.org/abs/1901.01074?[6]?Andrew Howard et al., Searching for MobileNetV3, https://arxiv.org/abs/1905.02244?[7]?Kornblith et al., Do Better ImageNet Models Transfer Better https://arxiv.org/pdf/1805.08974.pdf

點擊以下標題查看更多往期內容：?

• KDD Cup 2019 AutoML Track冠軍團隊技術分享

• 神經網絡架構搜索（NAS）綜述 | 附資料推薦
  

• 小米拍照黑科技：基于NAS的圖像超分辨率算法
  

• 深度解讀：小米AI實驗室最新成果FairNAS

• 自動機器學習（AutoML）最新綜述

• NAS-FPN：基于自動架構搜索的特征金字塔網絡

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文 & 源碼

總結

以上是生活随笔為你收集整理的解读小米MoGA：超过MobileNetV3的移动端GPU敏感型搜索的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。