CVPR2020：點(diǎn)云弱監(jiān)督三維語(yǔ)義分割的多路徑區(qū)域挖掘

Multi-Path Region Mining for Weakly Supervised 3D Semantic Segmentation on Point Clouds

論文地址：

https://openaccess.thecvf.com/content_CVPR_2020/papers/Wei_Multi-Path_Region_Mining_for_Weakly_Supervised_3D_Semantic_Segmentation_on_CVPR_2020_paper.pdf

摘要

點(diǎn)云為場(chǎng)景理解提供了內(nèi)在的幾何信息和表面環(huán)境。現(xiàn)有的點(diǎn)云分割方法需要大量的全標(biāo)記數(shù)據(jù)。利用先進(jìn)的深度傳感器，采集大規(guī)模三維數(shù)據(jù)集不再是一個(gè)繁瑣的過(guò)程。然而，在大規(guī)模數(shù)據(jù)集上手工生成點(diǎn)級(jí)標(biāo)簽是一項(xiàng)費(fèi)時(shí)費(fèi)力的工作。本文提出了一種在三維點(diǎn)云上利用弱標(biāo)簽預(yù)測(cè)點(diǎn)級(jí)結(jié)果的弱監(jiān)督方法。我們引入多徑區(qū)域挖掘模塊，從訓(xùn)練了弱標(biāo)簽的分類網(wǎng)絡(luò)中生成偽點(diǎn)級(jí)標(biāo)簽。它使用不同的注意模塊從網(wǎng)絡(luò)特征的各個(gè)方面挖掘每個(gè)類的定位線索。然后，利用點(diǎn)級(jí)偽標(biāo)簽對(duì)點(diǎn)云分割網(wǎng)絡(luò)進(jìn)行全監(jiān)督訓(xùn)練。據(jù)我們所知，這是第一種在原始三維空間上使用云級(jí)弱標(biāo)簽來(lái)訓(xùn)練點(diǎn)云語(yǔ)義分割網(wǎng)絡(luò)的方法。在我們的設(shè)置中，3D弱標(biāo)簽只指示在輸入示例中出現(xiàn)的類。我們討論了在原始三維點(diǎn)云數(shù)據(jù)上的場(chǎng)景級(jí)和亞云級(jí)的弱標(biāo)簽，并對(duì)它們進(jìn)行了深入的實(shí)驗(yàn)。在ScanNet數(shù)據(jù)集上，我們的訓(xùn)練結(jié)果與一些完全監(jiān)督的方法是兼容的。

1．介紹

與2D圖像相比，3D數(shù)據(jù)作為現(xiàn)實(shí)世界的投影，帶來(lái)了物體和場(chǎng)景的幾何和周?chē)h(huán)境以及它們的RGB信息。這些額外的暗示最近引起了人們的注意。隨著深度學(xué)習(xí)在二維圖像視覺(jué)任務(wù)中的巨大成功，研究人員提出了許多基于深度學(xué)習(xí)的點(diǎn)云識(shí)別任務(wù)方法。然而，基于深度學(xué)習(xí)的方法通常需要大量的數(shù)據(jù)。近年來(lái)，重建算法的進(jìn)步和更為經(jīng)濟(jì)實(shí)惠的消費(fèi)者級(jí)深度傳感器為三維數(shù)據(jù)采集提供了方便和廉價(jià)的途徑。然而，對(duì)這些數(shù)據(jù)的注釋仍然需要耗費(fèi)大量的人力和時(shí)間。特別是對(duì)于三維數(shù)據(jù)，需要對(duì)重建的三維網(wǎng)格或分組點(diǎn)進(jìn)行直接標(biāo)記。例如，ScanNet[8]是一個(gè)流行的真實(shí)室內(nèi)環(huán)境的大型RGBD數(shù)據(jù)集，它提供了來(lái)自70個(gè)獨(dú)特室內(nèi)場(chǎng)景的1513次三維掃描，包含超過(guò)250萬(wàn)個(gè)RGB-D圖像。然后利用RGB-D掃描重建三維網(wǎng)格和點(diǎn)云。使用可以連接到智能手機(jī)和ipad等移動(dòng)設(shè)備上的Structure sensor[31]，只有20人參與了1513次3D掃描的收集。盡管數(shù)據(jù)收集方便，但注釋過(guò)程卻是非常費(fèi)時(shí)費(fèi)力的。據(jù)統(tǒng)計(jì)，共有500余部作品參與了語(yǔ)義標(biāo)注過(guò)程。為了保證注釋的準(zhǔn)確性，每個(gè)場(chǎng)景由2到3名參與者進(jìn)行注釋。總的來(lái)說(shuō)，每次掃描標(biāo)注的中位和平均時(shí)間分別為16.8min和22.3min。本文提出了一種基于弱監(jiān)督學(xué)習(xí)的三維點(diǎn)云語(yǔ)義分割方法。為了減少數(shù)據(jù)注釋中的人工成本，我們使用了弱標(biāo)簽，這些標(biāo)簽只指示在輸入點(diǎn)云示例中出現(xiàn)的類。因此，我們只能訓(xùn)練一個(gè)標(biāo)簽較弱的分類網(wǎng)絡(luò)。為了尋找分類網(wǎng)絡(luò)的目標(biāo)區(qū)域，我們將類激活圖（CAM）[45]引入到三維點(diǎn)云中，這是一種有效的二維圖像中類特定區(qū)域定位方法。然而，CAM通常只在最具歧視性的區(qū)域工作。為了在點(diǎn)云中的所有點(diǎn)上生成精確的偽標(biāo)簽，我們提出了一個(gè)多路徑區(qū)域挖掘（MPRM）模塊，從訓(xùn)練了弱標(biāo)簽的分類網(wǎng)絡(luò)中挖掘不同的區(qū)域信息。在我們的MPRM模塊中，我們?cè)诜诸愔鞲删W(wǎng)之后附加了各種注意模塊。我們提出了一個(gè)空間注意模塊來(lái)收集沿空間域的遠(yuǎn)程上下文信息，一個(gè)用于探索信道相互依賴性的信道注意模塊，以及一個(gè)用于將全局信息聚合為局部特征的點(diǎn)態(tài)空間注意模塊。每個(gè)注意模塊產(chǎn)生一個(gè)分類預(yù)測(cè)，并用弱標(biāo)簽進(jìn)行訓(xùn)練。通過(guò)對(duì)每個(gè)路徑和原始特征映射應(yīng)用點(diǎn)類激活映射（PCAM），可以收集從網(wǎng)絡(luò)特征的各個(gè)方面挖掘出的目標(biāo)區(qū)域并生成點(diǎn)級(jí)偽掩碼。為了利用點(diǎn)云的低層表示和成對(duì)關(guān)系，我們使用denseCRF[20]來(lái)定義偽標(biāo)簽。最后，我們使用我們的點(diǎn)級(jí)偽標(biāo)簽訓(xùn)練一個(gè)點(diǎn)云分割網(wǎng)絡(luò)。

雖然弱標(biāo)簽的獲取成本很低，但它們可能太差，無(wú)法為網(wǎng)絡(luò)提供生成本地化提示的監(jiān)督。為了在勞動(dòng)力成本和表現(xiàn)能力之間找到一個(gè)平衡點(diǎn)，我們討論了兩個(gè)弱標(biāo)記策略。在圖1中，我們展示了（A）場(chǎng)景級(jí)標(biāo)簽，表示場(chǎng)景中出現(xiàn)的類，這是我們可以為點(diǎn)云場(chǎng)景獲得的最便宜的標(biāo)簽；（B）常用的點(diǎn)級(jí)別標(biāo)簽；（C）次云級(jí)別標(biāo)簽，我們從場(chǎng)景中獲取球形子樣本，并用出現(xiàn)在子云中的類對(duì)其進(jìn)行標(biāo)記。為了確保人工成本保持較低的次云級(jí)別標(biāo)簽，我們只為每個(gè)場(chǎng)景選擇有限數(shù)量的次云。在ScanNet中，平均亞云數(shù)為18.4。場(chǎng)景中場(chǎng)景級(jí)標(biāo)簽的估計(jì)注釋時(shí)間約為15秒，而場(chǎng)景中子云的注釋時(shí)間小于3分鐘，這仍然比點(diǎn)級(jí)注釋便宜得多。我們使用場(chǎng)景級(jí)標(biāo)簽和亞云級(jí)標(biāo)簽對(duì)MPRM進(jìn)行了詳細(xì)的實(shí)驗(yàn)。我們闡述了我們的方法提供了一種可行的方法來(lái)訓(xùn)練一個(gè)使用弱標(biāo)簽的點(diǎn)云分割網(wǎng)絡(luò)。我們的結(jié)果優(yōu)于一些流行的全監(jiān)督點(diǎn)云識(shí)別模型，如PointNet++[28]和[33]。此外，我們還發(fā)現(xiàn)使用子云級(jí)別標(biāo)簽訓(xùn)練的模型比使用場(chǎng)景級(jí)別標(biāo)簽訓(xùn)練的模型性能有較大幅度的提高。本文的主要貢獻(xiàn)可以概括為：

?我們提出了一種弱監(jiān)督學(xué)習(xí)方法，用于僅使用場(chǎng)景和次云級(jí)別標(biāo)簽的三維點(diǎn)云語(yǔ)義分割任務(wù)。據(jù)我們所知，這是第一個(gè)從原始3D數(shù)據(jù)上的云級(jí)弱標(biāo)簽學(xué)習(xí)點(diǎn)云場(chǎng)景分割網(wǎng)絡(luò)的方法。

?我們提出了一個(gè)多路徑區(qū)域挖掘模塊來(lái)生成偽點(diǎn)級(jí)標(biāo)簽。利用MPRM中的空間注意模塊、通道注意模塊和點(diǎn)態(tài)空間注意模塊，通過(guò)從網(wǎng)絡(luò)特征中挖掘遠(yuǎn)程空間上下文、通道相互依賴性和全局上下文來(lái)挖掘各種目標(biāo)定位區(qū)域線索。

2．相關(guān)工作

二維圖像弱監(jiān)督語(yǔ)義分割：研究了各種監(jiān)督方法，以減輕圖像密集標(biāo)注的人工成本。分割任務(wù)中采用了Bounding box[18, 32], scribble[23], point[3]。雖然這些類型的監(jiān)控仍然需要一定的人工成本，但圖像級(jí)的注釋要便宜得多。圖像級(jí)監(jiān)控任務(wù)的一個(gè)常見(jiàn)做法是生成類激活映射（CAM）[45]。其核心思想是從每個(gè)類的分類網(wǎng)絡(luò)中提取本地化線索。然后，以CAM作為偽標(biāo)簽訓(xùn)練分割網(wǎng)絡(luò)。然而，由于CAM常常無(wú)法找到整個(gè)對(duì)象區(qū)域，許多工作[19，17，20，40，1，9]被提出來(lái)提高偽標(biāo)簽的準(zhǔn)確性。雖然有很多弱監(jiān)督的圖像分割方法，但由于點(diǎn)云的無(wú)序結(jié)構(gòu)和密度的變化，很難直接應(yīng)用到點(diǎn)云上。點(diǎn)云的深度學(xué)習(xí)：為了在點(diǎn)云上應(yīng)用深度學(xué)習(xí)技術(shù)，一些方法將三維點(diǎn)云投影到圖像上，并在二維圖像上進(jìn)行處理[5,34,35]，但是由于遮擋和密度的變化，這種方法在分割任務(wù)中常常會(huì)遇到很多不足。將點(diǎn)云體素化為3D網(wǎng)格并使用密集的3D CNN對(duì)其進(jìn)行處理也很流行[26,4]。由于3D cnn消耗大量的計(jì)算資源，稀疏卷積使用散列映射[11,7]來(lái)提高基于體素的方法的性能和效率。為了減少量化的工作量，提出了點(diǎn)網(wǎng)類方法[27,28,24,21]直接處理原始的無(wú)序點(diǎn)云數(shù)據(jù)。這種方法在考慮相鄰局部信息方面存在不足。點(diǎn)卷積網(wǎng)絡(luò)[2,16,12,41,37,25,6,14,15]將卷積運(yùn)算直接引入原始點(diǎn)云數(shù)據(jù)。然而，上述方法都是在完全監(jiān)督下訓(xùn)練的，因此需要大量的全注釋數(shù)據(jù)。少監(jiān)督點(diǎn)云識(shí)別[30]提出了一種自監(jiān)督方法，通過(guò)重新組合隨機(jī)分割的點(diǎn)云部分來(lái)學(xué)習(xí)點(diǎn)云表示。MortonNet[36]使用Z階來(lái)學(xué)習(xí)具有自我監(jiān)督的特征。然而，這兩種模型不能直接使用自監(jiān)督學(xué)習(xí)特性來(lái)完成對(duì)象分類、零件分割和語(yǔ)義分割等任務(wù)。使用學(xué)習(xí)到的特征對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練有助于提高性能并使用較少的完全注釋標(biāo)簽，這將問(wèn)題轉(zhuǎn)化為半監(jiān)督設(shè)置。[38]提出在三維點(diǎn)云語(yǔ)義分割任務(wù)中使用二維語(yǔ)義標(biāo)注，將三維點(diǎn)云上的分割預(yù)測(cè)重新投影到二維，但是需要密集的二維標(biāo)注，代價(jià)仍然昂貴。因此，這些方法仍然需要大量昂貴的注釋，而且目前還沒(méi)有直接使用弱3D標(biāo)簽進(jìn)行3D場(chǎng)景分割的方法。

3.我們的弱監(jiān)督環(huán)境

我們將介紹和討論場(chǎng)景級(jí)弱標(biāo)簽和子云弱標(biāo)簽。

場(chǎng)景級(jí)注釋：在2D圖像的弱標(biāo)簽中，圖像級(jí)標(biāo)簽是最便宜的。在3D的情況下，場(chǎng)景級(jí)標(biāo)簽也是最經(jīng)濟(jì)的。它只指示每個(gè)場(chǎng)景中出現(xiàn)的類。雖然研究者們已經(jīng)開(kāi)發(fā)了許多成功的二維弱監(jiān)督圖像分割方法，但是在三維弱監(jiān)督場(chǎng)景分割中使用場(chǎng)景級(jí)標(biāo)簽有兩個(gè)主要的挑戰(zhàn)：（1）從RGB-D序列中重建三維數(shù)據(jù)，這些序列通常包含比單個(gè)圖像更多的信息。因此，大場(chǎng)景的單個(gè)標(biāo)簽相當(dāng)粗糙；（2）對(duì)于室內(nèi)場(chǎng)景，有幾個(gè)常見(jiàn)的類以高頻出現(xiàn)。像墻和地板這樣的類幾乎出現(xiàn)在每一個(gè)場(chǎng)景中，它們通常在每個(gè)場(chǎng)景中都有一個(gè)占主導(dǎo)地位的點(diǎn)數(shù)。由于這個(gè)嚴(yán)重的類不平衡問(wèn)題，分類網(wǎng)絡(luò)可能無(wú)法學(xué)習(xí)區(qū)分特征，這使得我們很難找到類區(qū)域定位線索。亞云級(jí)標(biāo)注：為了解決上述問(wèn)題，同時(shí)保持低的標(biāo)注成本，我們提出了室內(nèi)場(chǎng)景點(diǎn)云數(shù)據(jù)的亞云級(jí)標(biāo)注。我們將種子點(diǎn)均勻地放置在空間中，取半徑r內(nèi)的所有相鄰點(diǎn)組成一個(gè)亞云。



4. 我們的框架

4.1．基線法：PCAM

CAM[45]作為一種類特定的對(duì)象定位工具，在2D圖像的弱監(jiān)督語(yǔ)義分割任務(wù)中起著至關(guān)重要的作用。提出了一種點(diǎn)類激活圖（PCAM），將CAM應(yīng)用到點(diǎn)卷積網(wǎng)絡(luò)中，生成點(diǎn)云數(shù)據(jù)的定位線索。我們使用帶有ResNet[13]塊的KPConv[37]分類網(wǎng)絡(luò)作為我們的主干網(wǎng)。KPConv是一種直接以無(wú)序點(diǎn)為輸入的點(diǎn)卷積網(wǎng)絡(luò)。提出了一種核卷積運(yùn)算，它利用索引字典對(duì)三維空間核半徑內(nèi)的一點(diǎn)及其所有鄰域進(jìn)行卷積。如圖2所示，我們向分類網(wǎng)絡(luò)提供點(diǎn)云/子云和相應(yīng)的弱標(biāo)簽。然后，從卷積層中提取輸出特征映射。附加1×1卷積層作為分類器，將特征維數(shù)減少到類的數(shù)量，從而得到PCAM特征圖。在訓(xùn)練過(guò)程中，我們使用全局平均池層獲取預(yù)測(cè)向量，并使用弱標(biāo)簽計(jì)算sigmoid交叉熵?fù)p失。

4.2．多路徑區(qū)域挖掘

在我們的弱監(jiān)督學(xué)習(xí)框架中，我們訓(xùn)練了一個(gè)帶有分類標(biāo)簽的分類網(wǎng)絡(luò)，并嘗試從該網(wǎng)絡(luò)中找到類區(qū)域定位線索。然而，分類網(wǎng)絡(luò)僅用于預(yù)測(cè)輸入點(diǎn)云的類標(biāo)簽。從最具區(qū)別性的特征中學(xué)習(xí)就足夠完成分類任務(wù)了。因此，在非區(qū)分區(qū)域使用pcam很難確定類信息。因此，我們希望利用不同的注意機(jī)制從網(wǎng)絡(luò)中挖掘出更多有區(qū)別的區(qū)域。由于每一種注意機(jī)制關(guān)注的是網(wǎng)絡(luò)特征的不同方面，因此我們可以產(chǎn)生不同的區(qū)分區(qū)域，并將它們聚合起來(lái)生成我們的點(diǎn)級(jí)偽標(biāo)簽。如圖3所示，我們的多路徑區(qū)域挖掘模塊由KPConv ResNet層之后的四個(gè)不同路徑組成。第一個(gè)路徑是4.1中引入的普通PCAM。同時(shí)，我們有空間注意模塊、通道注意模塊和點(diǎn)方向注意模塊。每個(gè)路徑后面都有一個(gè)1×1的卷積層作為分類器來(lái)生成一個(gè)單獨(dú)的PCAM。然后，我們使用一個(gè)全局平均池層來(lái)生成預(yù)測(cè)向量，并使用每個(gè)路徑的弱標(biāo)簽計(jì)算sigmoid交叉熵?fù)p失。所有的損失都會(huì)反向傳播到主干網(wǎng)。為了生成偽標(biāo)簽，我們從每個(gè)路徑中提取PCAM，通過(guò)元素最大值合并它們，并通過(guò)最近的上采樣將PCAM上采樣到原始大小。通過(guò)獲取最大值，我們可以從分類網(wǎng)絡(luò)的各個(gè)方面收集不同路徑的鑒別特征。因此，我們可以產(chǎn)生更精確的點(diǎn)級(jí)偽標(biāo)簽。

4.3．學(xué)習(xí)語(yǔ)義分割網(wǎng)絡(luò)

在獲得四個(gè)不同的pcam之后，我們使用元素最大值來(lái)獲得每個(gè)位置的最大值，并對(duì)其進(jìn)行上采樣以生成偽掩模。然后，為了利用低層次的上下文信息和點(diǎn)之間的成對(duì)關(guān)系，我們使用dCRF[20]來(lái)定義偽標(biāo)簽。到我們提供了一個(gè)全尺度的網(wǎng)絡(luò)分割模型。此外，盡管偽標(biāo)簽分類錯(cuò)誤，深層卷積神經(jīng)網(wǎng)絡(luò)仍能學(xué)習(xí)更多的特征表示，并產(chǎn)生更好的結(jié)果。在這里，我們使用了KPConv U-Net[29]類結(jié)構(gòu)化細(xì)分模型作為最終模型。

5.實(shí)驗(yàn)測(cè)試




為了說(shuō)明效果，我們比較了我們的PCAM基線和MPRM與場(chǎng)景和亞云級(jí)別標(biāo)簽。表2顯示了類特定的偽標(biāo)簽性能。在這兩種情況下，使用亞云級(jí)別標(biāo)簽的性能都處于領(lǐng)先地位。具體地說(shuō)，我們可以觀察到使用場(chǎng)景級(jí)標(biāo)簽時(shí)，對(duì)小對(duì)象的分割性能非常差，尤其是那些通常放置在墻附近的對(duì)象。

如表2所示，我們?cè)谟?xùn)練集中展示了偽標(biāo)簽的類特定分割結(jié)果。結(jié)果表明，多路徑區(qū)域挖掘模塊可以同時(shí)使用場(chǎng)景級(jí)和次云級(jí)標(biāo)簽來(lái)提高分割性能。通過(guò)場(chǎng)景級(jí)監(jiān)控，我們觀察到我們的基線方法很難找到與主要類（如門(mén)、窗、圖片）相鄰的類的任何信息，而我們的MPRM模塊在這些類上的性能大大提高。它表明，使用我們的MPRM，網(wǎng)絡(luò)學(xué)習(xí)將小對(duì)象從主類中分離出來(lái)。從圖5可以看出，MPRM從主要類生成更多的小對(duì)象區(qū)域，并在空間上生成更好的平滑度。

在這一部分，我們進(jìn)行了詳細(xì)的實(shí)驗(yàn)來(lái)評(píng)估我們的多路徑區(qū)域挖掘模塊。如表3所示，我們?cè)u(píng)估每個(gè)路徑的性能以及它們與原始PCAM的組合。同時(shí)，我們比較了兩種不同的融合方法。請(qǐng)注意，使用所有四條路徑的損耗同時(shí)訓(xùn)練網(wǎng)絡(luò)。與基線結(jié)果相比，我們?cè)贛PRM中的PCAM路徑比僅僅訓(xùn)練一個(gè)分支要好。因此，我們可以了解到，不同路徑的損失確實(shí)有助于分類主干產(chǎn)生更好的特性。在這四條路徑中，空間注意路徑單獨(dú)表現(xiàn)最好，并且三個(gè)模塊都比原始PCAM產(chǎn)生更好的效果。此外，每?jī)蓚€(gè)分支的組合都優(yōu)于各自分支的組合，這證明了我們不同的路徑確實(shí)在從分類網(wǎng)絡(luò)中學(xué)習(xí)各種特征。由于四條路徑的合并結(jié)果比其他任何組合都要高，因此我們證明這四條路徑都有助于生成更好的偽標(biāo)簽。

在表4中，我們展示了在驗(yàn)證集上使用子云級(jí)別注釋的分段性能。我們可以觀察到MPRM在驗(yàn)證集上的性能優(yōu)于基線方法。我們還發(fā)現(xiàn)，重新訓(xùn)練一個(gè)全尺寸分割網(wǎng)絡(luò)可以提供比原始特征圖更好的結(jié)果，因?yàn)橐粋€(gè)更深的網(wǎng)絡(luò)可以比我們的淺層網(wǎng)絡(luò)學(xué)習(xí)更多的表示。此外，通過(guò)再培訓(xùn)，我們可以將dCRF生成的低層特征聚合到最終模型中，并將后處理步驟合并到端到端網(wǎng)絡(luò)中。我們將我們的最終結(jié)果與表5中的一些完全監(jiān)督的方法進(jìn)行了比較。我們的弱監(jiān)督方法與現(xiàn)有的方法相比還有很大的性能差距，但是我們的弱監(jiān)督方法與一些完全監(jiān)督的方法是兼容的。我們還在圖6中顯示了定性結(jié)果。

總結(jié)

以上是生活随笔為你收集整理的CVPR2020：点云弱监督三维语义分割的多路径区域挖掘的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。