轉自：https://www.jianshu.com/p/d8f2130b9d1b

前言

? ? 純屬個人學習，不做商用，如有侵權請聯系作者。此外也并非完全翻譯，那沒有意義，同時也摻雜了挺多個人的理解，不到位的可以互相交流。

? ? 這是開源不久的單階段目標檢測器，主要工作在于特征金字塔方面，北大和達摩的作品，AAAI2019收錄，論文地址：https://arxiv.org/abs/1811.04533，Github地址：https://github.com/qijiezhao/M2Det。

摘要

? ? 為了解決物體的多尺度問題，單階段和雙階段的檢測器均采用了特征金字塔結構。盡管結果感人，但仍存在一定的限制，因為它們均只是簡單地使用了backbone生成的天然的多尺度特征金字塔，這些backbone是為分類任務設計的（意思是適用于分類的不一定很好的適用于檢測）。本文中，為了構造更加有利于檢測多尺度物體的特征金字塔架構，作者提出了多層級的FPN(MLFPN)，分三步：

1. 融合backbone提取的多層特征圖作為basic feature。

2. 利用TUM和FVM的模塊交替生成一系列的特征金字塔。

3.利用SFAM模塊將第2步生成的金字塔中的尺度相同的特征層concat起來。

將該結構稱之為M2Det并集成進SSD結構。COCO數據集上，測試時單尺度下，M2Det 取得了41，0的mAP,11.8幀，多尺度下取得了 44.2的mAP，達到了SOTA的結果。

介紹

????解決尺度不變性有兩個方法，第一個是傳統的圖像金字塔，毫無疑問費時費力，要用的話也只是在測試的時候，多尺度的測試其實也就是利用了圖像金字塔。第二個就是現在流行的特征金字塔啦，圖一中說明了幾種風格的特征金字塔，簡單說就是SSD獨立地利用了最后兩層地特征，并額外的構造了四個金字塔層級，FPN加入了橫向和自頂向下地連接，STDN只是利用了最后一個block的特征。

作者diss圖1中a,b,c三種方法的缺陷是：

1. backbone是為分類而設計的網絡，提取的特征不一定適合于檢測。

2. single-level information,個人理解的意思是金字塔的每一層的feature map幾乎均是來自于同一層，信息單一(但是FPN也有頂層的啊，作者也沒說明，不過大致應該是這個意思)

圖1 特征金字塔結構比

通常意義上認為深層的特征有助于分類而淺層任務有助于回歸，而且，淺層特征適合于表征外觀簡單的物體，而深層特征適合于表征外觀復雜的物體。實際中，相同大小的物體的外觀復雜度可能完全不同，比如近處的紅綠燈相比于遠處的人體，在現有的結構中這兩者應該是在同一層級被檢測到，但是這兩者需要的特征語義深度是不一樣的，人體需要更深的語義而紅綠燈則只需要淺層的語義特征，所以有損現有的檢測器的性能。

? ? 因此本文旨在提出一個更加有效的適合于檢測的特征金字塔結構。

Method

? ? 相關工作就不說了，畢竟論文也需要湊字數。下面的才是本文的工作，也是重點。圖2是整體架構圖，其中FFM1，TUM，FFMv2以及SFAM均是該文提出的，以下分別介紹：

?

圖2 M2Det架構 尺度表示特征圖的分辨率，層級可以理解為語義層級，即每個尺度的金字塔均由來自于8個不同語義深度的特征組成（shallow-->medium-->deep）

1. FFMv1

見圖3(a)，有兩個輸入，來自于圖2的最后兩個stage的卷積層（SSD結構），1024*20*20輸出512*20*20上采樣得到512*40*40與256*40*40concat得到768*40*40。

2. TUM

見圖3(c)，U型decoder結構，輸出6個尺度的特征圖。有8個層級，表示有8個TUM結構，一個TUM表示一個層級。仔細一看應該是類似于FPN的那個top-down和橫向連接的方式

3. FFMv2

兩個輸入，一個是FFMv1的輸出，另一個是上一個TUM的尺度最大的輸出(128,40,40)，cancat一波得到256*40*40,構成當前層級的TUM的輸入。

圖3 (a)FFMv1 (b)FFMv2 (c)TUM

除了第一個TUM的輸入是直接來自于FFMv1的輸出，剩下的TUM均是來自于FFMv2的輸出。而FFMv2又是來自于FFMv1和上一個TUM的輸出，加入FFMv1應該是類似于殘差的想法。

4. SFAM結構

由圖2可知有了8個層級的TUM的輸出，每個TUM均會輸出6個尺度（圖3c），SFAM就負責這些不同層級不同尺度的融合：對每一個尺度而言，從8個層級抽取該尺度的特征圖concat到一起（128*8=1024），語義也就實現了從淺到深，再利用SE block對channel做了一個Attention。之后就得到了6個尺度的特征金字塔，金字塔的每一層均是來自于8個從淺到深的語義層級，也就是所謂的Multi-level。這就是不同于現有的金字塔的結構的地方。

圖4 SFAM結構

最后再利用了兩個卷積層進行分類和回歸就能得到最后的結果。很明顯，個人感覺8個TUM應該會引入較大的參數量，但是從結果來看卻又還行，參數比retinanet要少，精度也更高。

?

圖5 結果圖對比

Discussion

? ? 作者指出，最后結果的提升在于引入了本文提出的MLFPN，支撐點有兩：

1. 得到了多尺度多層級的特征金字塔

2. 金字塔每一層有不同語義層級的特征。

說實話這不就是同一個理由嘛，就是好就好在用了多尺度多層級的特征金字塔結構。可視化激活圖如下：

?

圖6 可視化激活圖

這張圖挺有意思的，說明一下，原圖中有一大一小兩人和兩車以及一個紅綠燈，小車小人以及紅綠燈尺度相差不大，從圖中可以看出來：
1. 對比與小車和小人，大車和大人在小尺度的特征圖上激活值更大（原論文筆誤）

2. 小人、小車和紅綠燈在同一尺度上被激活（可以很直觀的理解，因為尺度一致）

3. 紅綠燈、小車以及小人在由淺到深的特征圖上被激活（這就印證了作者的假設，由于其復雜性，相同尺度的物體需要的語義信息不一定相同）

后話

????該文章還是很細致的，易懂。感覺能把FPN和本文的工作細致的區分開就更好了，FPN也是利用了多層的語義信息，但是融合卻沒有本文這么復雜，說明了在構造特征金字塔上仔細的研究也能取得不錯的成果。

作者：Zliang_hhh
鏈接：https://www.jianshu.com/p/d8f2130b9d1b
來源：簡書
簡書著作權歸作者所有，任何形式的轉載都請聯系作者獲得授權并注明出處。

總結

以上是生活随笔為你收集整理的M2Det论文解读和开源代码的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。