圖像實(shí)例分割：CenterMask

CenterMask: single shot instance segmentation with point
representation

論文鏈家：

https://arxiv.org/abs/2004.04446

摘要

本文提出了一種簡單、快速、準(zhǔn)確的單鏡頭實(shí)例分割方法。單階段實(shí)例分割面臨兩個(gè)主要挑戰(zhàn)：對象實(shí)例區(qū)分和像素級特征對齊。相應(yīng)地，本文將實(shí)例分割分解為兩個(gè)子任務(wù)：局部形狀預(yù)測（即使在重疊的情況下也可以分離實(shí)例）和全局顯著性生成（以像素到像素的方式分割整個(gè)圖像）。兩個(gè)分支的輸出被組合起來形成最終的實(shí)例掩碼。為了實(shí)現(xiàn)這一點(diǎn)，從物體中心點(diǎn)的表示中提取局部形狀信息。完全從頭開始訓(xùn)練，沒有任何鈴聲和口哨聲，提出的中心掩碼達(dá)到34.5掩碼AP，速度為12.3 fps，使用單一模型，在具有挑戰(zhàn)性的COCO數(shù)據(jù)集上進(jìn)行單尺度訓(xùn)練/測試。除速度慢5倍的TensorMask方法外，該方法的精度高于其他所有一級實(shí)例分割方法，說明了中心模板的有效性。此外，該方法還可以方便地嵌入到FCOS等單級目標(biāo)檢測器中，具有良好的性能，體現(xiàn)了中心掩模的通用性。

1. Introduction

為了解決這些問題，本文建議打破mask表示為兩個(gè)平行組件：

（1）一種局部形狀表示法，它為每個(gè)局部區(qū)域預(yù)測一個(gè)粗略的遮罩，可以自動(dòng)分離不同的實(shí)例。

（2）一種全局顯著性地圖，它可以分割整個(gè)圖像，提供顯著性細(xì)節(jié)，并實(shí)現(xiàn)像素級對齊。為了實(shí)現(xiàn)這一點(diǎn)，從目標(biāo)中心的點(diǎn)表示中提取局部形狀信息。建模對象作為其中心點(diǎn)是由一級中心網(wǎng)[30]檢測器驅(qū)動(dòng)的，因此本文稱之為方法中心掩碼。建議的中心遮罩的圖示如圖1所示。給定輸入圖像，根據(jù)關(guān)鍵點(diǎn)估計(jì)管道預(yù)測目標(biāo)中心點(diǎn)位置。然后提取中心點(diǎn)的特征表示，形成局部形狀，局部形狀由一個(gè)粗掩模表示，該粗掩模將物體與近距離物體分開。同時(shí)，完全卷積的主干線生成了整個(gè)圖像的全局顯著性圖，在像素級將前景與背景分離。最后，將粗糙但感知實(shí)例的局部形狀和精確但不感知實(shí)例的全局顯著性映射組合起來，形成最終的實(shí)例掩碼。

為了驗(yàn)證中心掩模的魯棒性并分析其核心因素的影響，進(jìn)行了大量的實(shí)驗(yàn)，比較了多個(gè)基本實(shí)例的融合性能。可視化結(jié)果表明，僅使用局部形狀分支的中心mask可以很好地分離對象，而僅使用全局自性分支的模型在對象不重疊的情況下表現(xiàn)良好。在復(fù)雜和對象重疊的情況下，這兩個(gè)分支的結(jié)合可以區(qū)分實(shí)例，同時(shí)實(shí)現(xiàn)像素級的分割。COCO[20]測試集圖像的中心掩碼結(jié)果如圖2所示。

總之，本文的主要貢獻(xiàn)如下：

?提出了一種無錨定盒的一階段實(shí)例分割方法，該方法簡單、快速、快速準(zhǔn)確。完全從零開始訓(xùn)練，提出的中心掩模達(dá)到34.5掩模AP，速度為12.3 fps對具有挑戰(zhàn)性的可可，顯示出良好的速度精度權(quán)衡。此外，該方法還可以方便地嵌入到FCOS[27]等單級目標(biāo)檢測器中，具有良好的性能，體現(xiàn)了中心掩模的推廣性。

?提出對象遮罩的局部形狀表示，以區(qū)分無錨箱條件下的實(shí)例。局部形狀分支使用對象中心點(diǎn)的表示，即使在重疊的情況下，也能有效地預(yù)測粗糙遮罩和分離對象。

?提出了全局顯著性映射，實(shí)現(xiàn)自然的像素級特征對齊。與以前的特征對齊操作（例如分割）不同，該模塊更簡單、更快、更精確。全局顯著性生成的行為類似于語義分割[23]，希望這項(xiàng)工作能夠激勵(lì)未來的一階段全景分割[16]。

2. Related Work

兩段式分割：兩段式分割方法，先進(jìn)行包圍盒檢測，再對包圍盒區(qū)域的像素進(jìn)行分類，得到最終的掩模。

一階段實(shí)例分割：目前最先進(jìn)的一階段實(shí)例分割方法大致可以分為兩類：基于全局區(qū)域的方法和基于局部區(qū)域的方法。基于全局區(qū)域的方法首先基于整個(gè)圖像生成中間和共享的特征地圖，然后將提取的特征集合起來形成每個(gè)實(shí)例的最終遮罩。

3. CenterMask

本文的目標(biāo)是建立一種單階段的實(shí)例分割方法。一個(gè)階段意味著沒有預(yù)先定義的興趣區(qū)域（roi）用于掩模預(yù)測，這需要同時(shí)定位、分類和分割對象。為了實(shí)現(xiàn)這一點(diǎn)，本文將實(shí)例分割分解為兩個(gè)簡單且并行的子任務(wù)，并將它們的結(jié)果集合起來形成最終的掩碼。第一個(gè)分支從每個(gè)對象的中心點(diǎn)表示預(yù)測粗糙形狀，這可以約束每個(gè)對象的局部區(qū)域并自然區(qū)分實(shí)例。

第二個(gè)分支預(yù)測整個(gè)圖像的顯著性圖，實(shí)現(xiàn)精確分割并保留精確的空間位置。最后，通過將兩個(gè)分支的輸出相乘來構(gòu)造每個(gè)實(shí)例的掩碼。

4. Experiments

在MS-COCO實(shí)例分割基準(zhǔn)上對所提出的中心掩碼的性能進(jìn)行了評估[20]。該模型在115k個(gè)trainval 35k圖像上進(jìn)行訓(xùn)練，并在5k個(gè)minival圖像上進(jìn)行測試。最終結(jié)果在20k測試設(shè)備上進(jìn)行評估。

5. Conclusion

本文提出了一種簡單、快速、準(zhǔn)確的單鏡頭錨箱自由實(shí)例分割方法。將掩模預(yù)測分解為兩個(gè)關(guān)鍵模塊：有效分離不同實(shí)例的局部形狀分支和明智地實(shí)現(xiàn)精確分割像素的全局顯著分支。大量的融合實(shí)驗(yàn)和可視化圖像證明了該中心掩模的有效性。本文希望本文的工作能夠幫助簡化更多的實(shí)例級識(shí)別任務(wù)。

總結(jié)

以上是生活随笔為你收集整理的图像实例分割：CenterMask的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。