這是專欄《圖像分割模型》的第12篇文章。在這里，我們將共同探索解決分割問題的主流網絡結構和設計思想。

本文是專欄的最后一篇文章，見識過了分割任務中的大量模型，也了解了語義分割與實例分割，這篇文章我們一起來看一下新概念“全景分割”。

作者 | 孫叔橋

編輯 | 言有三

本期論文《Panoptic Segmentation》

?

1 全景分割

與之前介紹的語義分割與實例分割不同，全景分割任務（Panoptic Segmentation）要求圖像中的每個像素點都必須被分配給一個語義標簽和一個實例id。其中，語義標簽指的是物體的類別，而實例id則對應同類物體的不同編號。

目前，分割任務大多按照不可數目標（stuff類別）和可數目標（things類別）進行單獨的分割。造成二者無法統一在同一分割任務下的主要原因是缺少合適的度量矩陣。

除此之外，全景分割的實現也面臨著其他難題。比如，與語義分割相比，全景分割的困難在于要優化全連接網絡的設計，使其網絡結構能夠區分不同類別的實例；而與實例分割相比，由于全景分割要求每個像素只能有一個類別和id標注，因此不能出現實例分割中的重疊現象。

全景分割效果示例

全景分割的具體分割形式有以下兩點要求：

圖像中的每個像素點都有一個對應的語義類別和一個實例id，如果無法確定可以給予空標注。

所有語義類別要么屬于stuff，要么屬于things，不能同時屬于二者；且stuff類別沒有實例id（即id統一為一個）。

全景分割與語義分割的關系：

如果所有的類別都是stuff，那么全景分割除了度量與語義分割不同外，其它相同。

全景分割與實例分割的關系：

全景分割中不允許重疊，但實例分割可以；此外，實例分割需要每個分割的置信概率，但全景分割不需要。盡管如此，全景分割內為了輔助機器的辨識，也是可以引入置信概率的概念的。

?

2 度量矩陣

為了將stuff類別和things類別統一在一個分割任務下，全景分割的度量應當具有以下三個性質：

完整性：對stuff和things類別一視同仁，包含任務中的所有方面。

可解釋性：度量需要具有能夠可定義、可理解、可交流的性質。

簡單：有效的度量應當簡潔、可復現。

基于此，全景分割的度量被分為了分割匹配（segment matching）和全景質量計算（panoptic quality computation）兩個部分。

分割匹配：要求IoU（Intersection over Union）嚴格大于0.5才算匹配，且不可以有重疊區域，限制一個像素只能對應一個標簽。

全景質量計算：對每個類別的全景分割質量的單獨計算結果取平均，從而保證分割結果對類別不敏感。

其中，第二項將每個類別分為三類：true positives（TP）、false positives（FP）和false negative （FN），分別對應配對的分割、不配對的分割和不配對的真值分割。下圖中給出了一個示例，分別展示了person類別是如何被劃分進上述三類中的。

?

綜上，全景分割質量的度量由下式定義：

其中，分子是對所有匹配上的分割求平均IoU；分母后兩項是懲罰匹配錯誤的點，即通過增加分母使得分割質量下降。

全景分割與現有分割度量的比較：

與語義分割度量的比較：語義分割度量（像素準確度、平均準確度、IoU）只關注像素級的正確率，而沒有考慮實例正確性，因此無法適應things類別的分割任務。

與實例分割度量的比較：標準的實例分割度量考察平均精度，即每個目標分割的置信概率用于估計precision或recall；然而，這類度量無法適應語義分割和全景分割任務的要求。

?

3 數據庫及實驗結果

目前就作者已知的全景分割數據庫只有Cityscapes、ADE20k和Mapillary Vistas。

下面是三個數據庫的鏈接，有需要可以自取：

Cityscapes：https://www.cityscapes-dataset.com/

ADE20k：http://groups.csail.mit.edu/vision/datasets/ADE20K/

Mapillary Vistas：

https://blog.mapillary.com/product/2017/05/03/mapillary-vistas-dataset.html

下圖是在Cityscapes下的分割結果：

?

總結

《圖像分割模型》專欄到這里就全部結束了，希望通過這12期的介紹，能夠讓大家對圖像分割有一個基本的了解。更多信息可以加入星球繼續學習和探討。就這樣啦，再見！

本專欄文章：

第一期：【圖像分割模型】從FCN說起

第二期：【圖像分割模型】編解碼結構SegNet

第三期：【圖像分割模型】感受野與分辨率的控制術—空洞卷積

第四期：【圖像分割模型】快速道路場景分割—ENet

第五期：【圖像分割模型】以RNN形式做CRF后處理—CRFasRNN

第六期：【圖像分割模型】多感受野的金字塔結構—PSPNet

第七期：【圖像分割模型】全局特征與局部特征的交響曲—ParseNet

第八期：【圖像分割模型】多分辨率特征融合—RefineNet

第九期：【圖像分割模型】用BRNN做分割—ReSeg

第十期：【圖像分割模型】BRNN下的RGB-D分割—LSTM-CF

第十一期：【圖像分割模型】實例分割模型—DeepMask

第十二期：【圖像分割模型】全景分割是什么？

感謝各位看官的耐心閱讀，不足之處希望多多指教。后續內容將會不定期奉上，歡迎大家關注有三公眾號 有三AI！

總結

以上是生活随笔為你收集整理的【图像分割模型】全景分割是什么？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。