作者丨孫明珊

學校丨哈爾濱工業大學（深圳）碩士生

研究方向丨目標檢測

研究動機

Grid R-CNN 是一種將傳統兩階段檢測算法中對于矩形框坐標回歸轉換成由 FCN 構建物體網格點的方法，由于同一水平線上網格點的互相糾正作用以及相鄰網格點空間信息的融合，其探測結果質量高。然而，其速度并不理想，因此 plus 版本在該基礎上作了速度和精度提升。

在 Grid R-CNN 中對于一個物體來說，它所有的網格點共享一個相同的特征表達區域，并且此區域過于冗余。為此，Grid R-CNN Plus 將網格分支的輸入尺度從原來的 56x56 降低為 28x28，對于每個網格點，新的輸出代表了原來大概四分之一的區域，該方法較 Grid R-CNN 不僅提升了速度還提升了精度，除此之外，還從網格分支網絡的結構減重、RoI 采樣策略以及 NMS 等方面下手來提升模型速度。

研究方法

Grid R-CNN回顧

Grid R-CNN 這篇論文由商湯提出，主要對 Faster R-CNN 框架中定位框回歸支路的更改，將以往通過回歸方式實現 proposal 位置修正的方法，改為通過全卷積網絡來實現目標定位框的精確修正。
如上圖 (b) 的 3x3 個點，網格點的位置由像素級確定。因此，較之前的回歸算法，網絡就可以獲得更多監督信息。但是由于點位置的預測和局部特征沒有直接的關系，比如矩形框左上角的點和其相鄰的背景區域點擁有類似的特征，也就是超出物體的角點像素的局部特征相似性。
針對上述問題，采用了多點監督的方式，通過在一個網格中定義目標點，可以獲得更多信息來減少一些由于單點監督導致的不準確性。比如左上角的點可以由上邊界中點和左邊界中點進行校準。
除此之外，為了充分利用網格點的信息，提出了一種信息融合的策略。具體來說，對一個網格點來說，其多個相鄰點的特征會被融合成一個特征圖，這個融合后的特征圖用于相應網格點的預測，使網格點的位置更加精準。
最后，為了彌補真實網格點超出 proposal 范圍的問題，將 proposal 區域擴大以包含絕大多數網格點，擴大的計算公式由下圖左邊方式轉換成右邊方式：

總而言之，Grid R-CNN 的三個創新點：

• 多點監督策略

• 網格點特征融合策略

• 增大區域映射

網格點特定表示區域

對于 Grid RCNN Plus 來說，對速度提升效果最明顯的就是網格點的特征表達區域，只有正樣本（IOU>0.5）才會被送入 Grid branch，因此有些真實標簽會被限制在監督圖的一個小區域內。如下圖所示：

在一個 3x3 的 grid point中，真實標簽只會出現在監督熱圖的左上方區域，但這樣是不對的，對于一個物體來說，它的所有的 grid points 共享一個相同的特征表達區域。
為了解決這個特征表達區域的問題，首先，將 grid branch 的輸入尺度從原來的 56x56 降低為 28x28，對于每個 grid point，新的輸出代表了原來大概四分之一的區域。經過這樣處理后，每個 grid point 的表達可以近似的視為一個歸一化的過程。

輕量網格分支

由于最后的輸出尺度降低一半，那我們可以同時將 grid branch 中的其他特征圖分辨率也降低，比如 14x14 到 7x7。細節來說，通過前面的 RPN+ROI Align 產生一個固定的 feature map 14x14，接著使用一個步長為 2 的 3x3 卷積核，然后再使用 7 個步長為 1 的 3x3 卷積核從而產生 7x7 分辨率的特征圖。緊接著我們將這個特征分成 N 組（默認為 9 ），每一組關聯一個 grid point，接著使用兩個組反卷積將特征圖尺度變為 28x28，注意 group deconvolution 可以加速上采樣的過程。
另外一個好處是，由于我們對每個 grid point 的表達進行了歸一化，因此他們變得更加 closer, 導致在特征融合時不需要使用很多的卷積層來覆蓋這個間隙。在 Plus 版本，只使用了一個 5x5 depth-wise 卷積層來代替原來的 3 個連續的卷積層。

跨圖片采樣策略

由于 grid branch 在訓練時只使用正樣本，所以不同采樣 batch 正樣本數量也會不同，這種差異性會對精度產生影響，比如，有些圖像的正樣本很多，但有些圖像的正樣本數很少。
在 Plus 版本，作者使用了跨圖片的采樣策略，具體講，從兩個圖片中一共采集 192 個 positive proposal，而不再是每張圖片采集 96 個 positive proposal。這樣就會使訓練更具有魯棒性。

一次性 NMS?

原來的 Grid RCNN 需要兩次 NMS，第一次是 proposal 的生成，只選擇前 125 個樣本進行邊框矯正，第二次是做最后的分類，盡管只是一小部分的 proposal，進行 80 類的 NMS 還是很慢，所以在 Plus 版本，直接移除了第二個 NMS，同時將第一個 NMS 的 IOU 閾值設置為 0.3，分類閾值設置為 0.03，只選擇前 100 個 proposal 進行進一步的分類和回歸。

實驗結果

與 Faster R-CNN, Grid R-CNN 在 COCO 數據集上的結果如上表所示，可見精度和速度都有提升，可見這些策略是有效果的。

總結

原版的 Grid R-CNN 對 Faster RCNN 做了很多精度上的優化，但是速度卻慢于 Faster R-CNN，于是 Grid R-CNN Plus 就速度優化在四個方面進行了改進：

• 網格點特定表示區域

• 輕量網格分支

• 跨圖片采樣策略

• 一次性 NMS

點擊以下標題查看更多往期內容：?

• 全新缺失圖像數據插補框架—CollaGAN

• 盤點：悉尼科技大學入選CVPR 2019的8篇論文
  

• 最新Anchor-Free目標檢測模型—FoveaBox

• 天秤座R-CNN：全面平衡的目標檢測器

• PFLD：簡單高效的實用人臉關鍵點檢測算法
  

• DCGAN到SELF-MOD：GAN的模型架構發展一覽

• 基于骨架表達的單張圖片三維物體重建方法

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文 & 源碼

總結

以上是生活随笔為你收集整理的从Grid R-CNN到Grid R-CNN Plus：基于网格的目标检测演化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。