?

Instance-aware Semantic Segmentation via Multi-task Network Cascades

Jifeng Dai Kaiming He Jian Sun

?

本文的出發(fā)點(diǎn)是做Instance-aware Semantic Segmentation，但是為了做好這個(gè)，作者將其分為三個(gè)子任務(wù)來(lái)做：

1) Differentiating instances. 實(shí)例區(qū)分

2) Estimating masks.　　　　掩膜估計(jì)

3) Categorizing objects.　　 分類目標(biāo)

?

通過(guò)這種分解，作者提出了如下的多任務(wù)學(xué)習(xí)框架，即：Multi-task?Network Cascades (MNCs)，示意流程如下：

?

下面詳細(xì)的介紹下這個(gè)流程，即：

1. Multi-task Network Cascades

1).?Regressing Box-level?Instances?

　　第一個(gè)階段是回歸出物體的bbox，這是一個(gè)全卷積的子網(wǎng)絡(luò)。本文follow了Faster R-CNN的提取proposal的方法Region Proposal Networks (RPNs)。在共享feature之前，作者先用了一個(gè) 3*3的Conv 用于降維，緊跟著用2個(gè)1*1的Conv層回歸出其位置，并且對(duì)目標(biāo)進(jìn)行分類。該階段的loss function是：

其中，B是該階段的輸出，是一系列的box，B = { Bi },?Bi = { xi; yi; wi; hi; pi }，box的中心點(diǎn)和長(zhǎng)寬分別是：xi yi wi hi, yi是物體的概率。

?

2).?Regressing Mask-level?Instances?

　　該階段的輸出是對(duì)每一個(gè)box的proposal進(jìn)行像素級(jí)的mask分割。

　　 ?Given a box predicted by stage 1, we extract a feature of?this box by Region-of-Interest (RoI) pooling?. The?purpose of RoI pooling is for producing a fixed-size feature?from an arbitrary box, which is set as 14*

總結(jié)

以上是生活随笔為你收集整理的论文笔记之：Instance-aware Semantic Segmentation via Multi-task Network Cascades的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。