?

論文地址：https://arxiv.org/pdf/1811.04533.pdf

目前，在目標檢測領域，為了應對不同尺度的檢測目標，特征金字塔是必不可少的工具。一提到特征金字塔，大家第一時間想到的想到的一定是FPN，這一經典之作，已成為目前主流目標的檢測網絡的基本結構，得到了廣泛的應用，想要了解的同學，可以去閱讀相關的文獻，這里就不分享了，其網絡結構如下所示：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

這篇文章，主要是在構造特征金字塔方面提出了自己的見解，這是一個非常根本的問題，如果構建更加魯棒的特征，那么無論對單階段還是雙階段的目標檢測網絡都具有十分重要的意義。在這里作者提出了一個MLFPN的結構（很多同學認為這是FPN的plus版，不過了解過之后還是覺得和FPN在思想上具有很大的差別，見仁見智吧），其中MLFPN有三部分組成，下面我們將逐一介紹這三個子結構。在介紹各個子結構之前，我們先來看一下網絡的整體結構：

?

首先第一個結構是FFM（Feture fusion moudle)，該結構的作用是為了提供后面特征提取過程中要使用的base feaure。它的結構非常的簡單，但卻具有很重要的意義。其實看到這里，并結合上面的圖，如果之前對FPN有所了解的同學，就可以發現出不一樣的地方來了。這也是作者在摘要部分提出的一個點。首先我們展示一下FFM1的結構：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

FFM1的結構如上圖所時，其結構其實和FPN中 融合不同resulution的特征時所用的結構是極其相似的，從某種意義上說，最后得到的Base feature,就是FPN網絡中特征最豐富的那個特征。在摘要中，作者提到，FPN（舉例說明）中提取的特征可能不適用于目標檢測，給出的理由是FPN是使用從識別網絡backbone中直接提取的特征。不同于識別任務，目標檢測任務中，不同階段的特征都是具有重要意義的（語義特征幫助判斷區域屬性，細節特征幫助準確判定區域的位置與邊界）。說到這里，我們回頭去看一下FPN甚至之前存在的其他特征金字塔結構，金字塔的單一尺度特征都沒有包含特征提取backbone中的各個階段的特征（FPN一般只融合到原圖1/4大小的特征圖）。不過我們可以看到FFM1得到的Base feature是一個非常豐富的原始特征，他包含特征提取網絡中各個階段的特征。后面的操作就是對該特征的進一步提純和利用。這里我們就將FFM1的結構和作用介紹清楚了。這里我們暫時不介紹FFM2,當網絡中需要使用它的時候，我們再作介紹。

?

下面我們要介紹的結構是TUM(Thinned U-shape Module). 從上面的整體結構圖我們可以看到TUM是一個堆疊的結構，首先我們看一下單個TUM的結構：

? ? ? ? ? ? ? ? ??

看到TUM的結構，我們很容易聯想到U-net這個網絡結構，雖然該結構是用于語義分割領域的，但是可以有助于我們理解TUM的功能和作用。該結構，分為兩個過程，一個下采樣，一個上采樣。我們來看一下這兩個過程，首先是下采樣，這里使用了3×3，stride = 2的卷積操作實現下采樣，下采樣的主要作用是為了提取特征中對于任務反應明顯的特征（個人理解，不準確），同時再縮小了resolution之后，便于感受野的擴大，有利于抽象特征的提取（也挺好理解的，下采樣后，讓原本遠離的特征，能夠相互交互）。然后是上采樣過程，上采樣的過程是結合下采樣各層信息和上采樣的輸入信息來還原細節信息。這樣我們就了解了單個TUM的工作了。通過單個TUM,我們就可以得到一個feature pyramid。

下面，我們再來討論一下，堆疊的TUM是如何工作的，首先通過上面介紹的TUM，我們得到一個feature pyramid，這里面resolution和base feature 相同的特征圖，我們把他看做pyramid中特征最豐富的特征圖，同時他（我們稱之為f_i）通過TUM之后，相較base feature特征更加抽象和純凈。但如果我們還想獲取更加抽象的特征，我們就可以將特征f_i繼續過TUM結構，這就是堆疊TUM產生的原因。但是這里作者考慮到了一點就是在TUM的過程中,細節信息或者說一些我們可能需要的信息會丟失，所以讓不完整的特征去過TUM將會得到更加不完整的特征，這樣是不可行的。所以，我們需要將丟失的細節信息進行補充，我們使用base feature來補充f_i，說到這里，可能會有擔心加入base_feature會不會污染f_i，其實不必有這種擔心，完全可以從另一個角度去理解，那就是f_i完全可以引導base_feature的提純的過程，從而得到一個比f_i更加抽象的f_i+1，這樣理解的話，通過一個又一個的TUM，我們可以得到抽象程度越來越高的特征（不過也不是越多越好，作者在后面會有討論和驗證）。下面是FFM2的結構用于base_feature和f_i的融合：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

說道這里，MLFPN的結構，我們大體就介紹完畢了，還剩下最后一部分，不過這一部分，大家理解起來特別容易，就是一個channel attention，下面就是其結構：

將使用堆疊TUM得到的feature pyramid中尺度相同的特征concat到一起，然后過一個channel attention，非常地簡單易懂。經過以上的操作之后，我們便可以得到一個擁有豐富且路棒的feature pyramid。我的論文筆記就到這里了，后面的實驗部分就不介紹了，感興趣的可以自己去看一下論文。內容全是個人理解，如果有錯誤的地方，希望大家能夠及時指正，不要對大家造成誤導，感謝大家。

總結

以上是生活随笔為你收集整理的M2Det 论文阅读心得[目标检测领域]的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。