DL之PanopticFPN：Panoptic FPN算法的簡(jiǎn)介(論文介紹)、架構(gòu)詳解、案例應(yīng)用等配圖集合之詳細(xì)攻略

?

?

?

目錄

PanopticFPN算法的簡(jiǎn)介(論文介紹)

0、實(shí)驗(yàn)結(jié)果

1、不同架構(gòu)比較

PanopticFPN算法的架構(gòu)詳解

PanopticFPN算法的案例應(yīng)用

---

?

?

?

?

?

相關(guān)文章
DL之PanopticFPN：Panoptic FPN算法的簡(jiǎn)介(論文介紹)、架構(gòu)詳解、案例應(yīng)用等配圖集合之詳細(xì)攻略
DL之PanopticFPN：Panoptic FPN算法的架構(gòu)詳解

PanopticFPN算法的簡(jiǎn)介(論文介紹)

更新……

Abstract ?
? ? ? The recently introduced panoptic segmentation task has ?renewed our community’s interest in unifying the tasks of ?instance segmentation (for thing classes) and semantic segmentation ?(for stuff classes). However, current state-ofthe-art ?methods for this joint task use separate and dissimilar ?networks for instance and semantic segmentation, ?without performing any shared computation. In this work, ?we aim to unify these methods at the architectural level, ?designing a single network for both tasks. Our approach ?is to endow Mask R-CNN, a popular instance segmentation ?method, with a semantic segmentation branch using ?a shared Feature Pyramid Network (FPN) backbone. Surprisingly, ?this simple baseline not only remains effective for ?instance segmentation, but also yields a lightweight, topperforming ?method for semantic segmentation. In this work, ?we perform a detailed study of this minimally extended version ?of Mask R-CNN with FPN, which we refer to as Panoptic ?FPN, and show it is a robust and accurate baseline for ?both tasks. Given its effectiveness and conceptual simplicity, ?we hope our method can serve as a strong baseline and ?aid future research in panoptic segmentation.
? ? ? 最近引入的泛光分割任務(wù)重新喚起了我們團(tuán)隊(duì)對(duì)統(tǒng)一實(shí)例分割(對(duì)象類)和語(yǔ)義分割(對(duì)象類)任務(wù)的興趣。然而，目前用于這個(gè)聯(lián)合任務(wù)的最先進(jìn)的方法使用分離和不同的網(wǎng)絡(luò)，例如語(yǔ)義分割，而不執(zhí)行任何共享計(jì)算。在這項(xiàng)工作中，我們的目標(biāo)是在體系結(jié)構(gòu)級(jí)別統(tǒng)一這些方法，為這兩個(gè)任務(wù)設(shè)計(jì)一個(gè)單一的網(wǎng)絡(luò)。我們的方法是賦予流行的實(shí)例分割方法掩模R-CNN一個(gè)使用共享特征金字塔網(wǎng)絡(luò)(FPN)主干的語(yǔ)義分割分支。令人驚訝的是，這個(gè)簡(jiǎn)單的基線不僅在實(shí)例分割方面仍然有效，而且還產(chǎn)生了一個(gè)輕量級(jí)的、性能最好的語(yǔ)義分割方法。在這項(xiàng)工作中，我們使用FPN對(duì)這個(gè)最小擴(kuò)展版本的Mask R-CNN進(jìn)行了詳細(xì)的研究，我們將其稱為Panoptic ?FPN，并表明它對(duì)于這兩個(gè)任務(wù)來(lái)說(shuō)都是一個(gè)健壯和準(zhǔn)確的基線。鑒于其有效性和概念的簡(jiǎn)單性，我們希望我們的方法可以作為一個(gè)強(qiáng)大的基線，并幫助未來(lái)的研究全光分割。
Conclusion ?
? ? ? We introduce a conceptually simple yet effective baseline ?for panoptic segmentation. The method starts with ?Mask R-CNN with FPN and adds to it a lightweight semantic ?segmentation branch for dense-pixel prediction. We ?hope it can serve as a strong foundation for future research.
? ? ? 我們介紹了一個(gè)概念簡(jiǎn)單但有效的全光分割基線。該方法以帶FPN的Mask R-CNN為起點(diǎn)，在此基礎(chǔ)上增加了一個(gè)輕量級(jí)的語(yǔ)義分割分支，用于密集像素預(yù)測(cè)。希望為今后的研究打下堅(jiān)實(shí)的基礎(chǔ)。

?

論文
Alexander Kirillov Ross GirshickKaimingHe Piotr Dollár? 2019
Panoptic Feature Pyramid Networks
https://arxiv.org/pdf/1901.02446.pdf

0、實(shí)驗(yàn)結(jié)果

1、使用一個(gè)單一的ResNet-101-FPN網(wǎng)絡(luò)，在COCO(頂部)和Cityscapes(底部)上生成Panoptic?FPN結(jié)果
Panoptic FPN results on COCO (top) and Cityscapes (bottom) using a single ResNet-101-FPN network.

2、Cityscapes Semantic FPN

3、Multi-Task Training

4、Panoptic Segmentation

Panoptic R50-FPN vs. R50-FPN×2
使用單個(gè)FPN網(wǎng)絡(luò)同時(shí)解決這兩個(gè)任務(wù)，與兩個(gè)獨(dú)立FPN網(wǎng)絡(luò)分別產(chǎn)生實(shí)例分割和語(yǔ)義分割相當(dāng)?shù)木?#xff0c;但計(jì)算量只有一半。

?

1、不同架構(gòu)比較

?

?

?

?

?

?

PanopticFPN算法的架構(gòu)詳解

更新……

?

?

?

?

PanopticFPN算法的案例應(yīng)用

更新……

?

?

?

?

?

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的DL之PanopticFPN：Panoptic FPN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。