作者丨孫明珊

學校丨哈爾濱工業大學（深圳）碩士生

研究方向丨目標檢測

研究動機

當前目標檢測網絡中采用特征金字塔網絡（FPN）結構解決多尺度的問題，但是這些 FPN 都是人工事先設計，并不一定是最優的結構。為了更靈活地獲得更優的 FPN 結構，該文章首創性地提出了采用神經架構搜索（NAS）的方式定制化地構建 FPN，該結構又稱 NAS-FPN。

設計 FPN 結構的最大困難在于它巨大的設計空間，在不同尺度上融合特征的組合數會隨著網絡層數的增長而增大。由此該文先設計了一個能覆蓋所有跨尺度連接產生多尺度特征的搜索空間，然后采用強化學習訓練一個 RNN 控制器來選出最優的 FPN 結構。該方法采用 RetinaNet 的框架，其結構如下圖所示：

研究方法

搜索空間?

FPN 的眾多跨連接構成了很大的搜索空間。在搜索空間中，一個 FPN 由很多 merging cells 組成，然后合并一些來自不同層融合的特征表示。一個 merging cell 將兩個來自不同特征層的特征連接融合產生一個特征輸出，這樣的單元結構就構成了 FPN 的元結構，同時所有的可能的特征層組合由 merging cells 組建化的表示，這也就構成了我們的搜索空間（模塊化）。一個 merging cell 的結構如下：

構建 merging cell 是由控制器 RNN 來做決定，它不僅要決定選取哪兩個特征層，還要決定采用那種特征融合方式？

每個 merging cell 有 4 個預測步驟：首先選一個特征層，然后再選一個特征層，隨后決定輸出特征的維度，最后決定采用何種特征融合方式將兩個特征層合并到特定尺度。這里的特征融合方式分為兩種 sum 和 global pooling。?

NAS-FPN 的優勢之一是搜索空間的設計，覆蓋所有可能的跨尺度連接，用來生成多尺度特征表示。在搜索過程中，研究者的目標是發現具有相同輸入和輸出特征級別并且可以被重復應用的微粒架構。模塊化搜索空間使得搜索金字塔架構變得易于管理。

模塊化金字塔架構的另一個好處是可以隨時檢測目標，雖然這種方法已出現，但手動設計這種架構依舊相當困難。固定分類和回歸的網絡進行深度監督訓練。搜索的終止并不是非要全部搜索完，隨時都可以退出。因為分辨率不變，所以 FPN 可以隨意擴展。?

模型搜索?

NAS 利用強化學習訓練控制器在給定的搜索空間中選擇最優的模型架構。控制器利用子模型在搜索空間中的準確度作為獎勵信號來更新參數。因此，通過反復試驗，控制器逐漸學會了如何生成更好的架構。由于不知道 FPN 的跨連接情況，NAS-FPN 采用 RNN 作為控制器，使用該控制器來產生一串信息，用于構建不同的連接。其宏觀結構如下圖所示：

其搜索得到的最優 FPN 結構如下圖，其控制器收斂得到的最終 FPN 結構如 (f) 所示，并且其精度最高。從中可得訓練時間越長其軌跡越曲折混亂：其搜索得到的最優 FPN 結構如下圖，其控制器收斂得到的最終 FPN 結構如 (f) 所示，并且其精度最高。從中可得訓練時間越長其軌跡越曲折混亂：

每個點代表一個特征層。同一行的特征層具有相同的分辨率。分辨率在自底向上下降。箭頭表示內部層之間的連接。圖中左側是輸入層。金字塔網絡的輸入用綠色圓圈標記，輸出用紅色圓圈標記。

最終收斂的 FPN 網絡結構如下圖：

實驗內容及分析

實驗中使用了 RetinaNet 的開源實現。模型在 COCO train2017 上訓練，大部分實驗采用 COCO val2017 進行評估。結果如下：?

總體對比結果如下表所示：

總結

本文提出利用神經架構搜索進一步優化用于目標檢測的特征金字塔網絡的設計過程。在 COCO 數據集上的實驗表明，神經結構搜索發現的架構，名為 NAS-FPN，具有良好的靈活性和高性能，可用于構建精確的檢測模型。在廣泛的精度和速度權衡方面，NAS-FPN 在許多檢測任務的主干架構上產生了顯著改進。

點擊以下標題查看更多往期內容：?

• 最新Anchor-Free目標檢測模型—FoveaBox

• 論文盤點：CVPR 2019 - 文本檢測專題

• 近期值得讀的10篇GAN進展論文

• 天秤座R-CNN：全面平衡的目標檢測器
  

• 萬字綜述之生成對抗網絡（GAN）

• CVPR 2019 | 基于高清表示網絡的人體姿態估計

• PoolNet：基于池化技術的顯著性目標檢測

• 全新缺失圖像數據插補框架—CollaGAN

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文 & 源碼

總結

以上是生活随笔為你收集整理的CVPR 2019 | NAS-FPN：基于自动架构搜索的特征金字塔网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。