真實(shí)場(chǎng)景中的鏡面/玻璃檢測(cè)和語(yǔ)義分割

Charmve | English | Chinese

https://github.com/Charmve/Mirror-Glass-Detection

在這個(gè)項(xiàng)目中，我正在學(xué)習(xí)反射鏡和玻璃檢測(cè)/分段技術(shù)。鏡子是反射表面，可以反射前面的場(chǎng)景，而玻璃是透明表面，可以從背面透射場(chǎng)景，通常也可以反射前面的場(chǎng)景。通常，鏡子和玻璃都沒(méi)有自己的視覺(jué)外觀，它們僅反射/透射周圍環(huán)境的外觀。

由于鏡子和玻璃沒(méi)有自己的外觀，因此開(kāi)發(fā)自動(dòng)算法進(jìn)行檢測(cè)和分段并不是一件容易的事。但是，由于它們?cè)谖覀兊娜粘Ｉ钪袩o(wú)處不在，因此如果我們無(wú)法可靠地檢測(cè)到它們，可能會(huì)出現(xiàn)問(wèn)題。例如，基于視覺(jué)的深度傳感器可能會(huì)錯(cuò)誤地估計(jì)一塊鏡子/玻璃的深度，因?yàn)樗鼉?nèi)部的物體的深度，機(jī)器人可能沒(méi)有意識(shí)到鏡子/玻璃墻的存在以及無(wú)人機(jī)可能碰撞成高樓（請(qǐng)注意，這些天大多數(shù)高樓都被玻璃遮蓋了）。

到目前為止，盡管香港城大實(shí)驗(yàn)室是第一個(gè)開(kāi)發(fā)用于自動(dòng)檢測(cè)和分割鏡面和透明玻璃表面的計(jì)算模型的研究團(tuán)隊(duì)，有了一些研究調(diào)查透明玻璃物體的工作，但是這些方法主要集中在檢測(cè)酒杯和小玻璃物體上，它們具有一些可用于檢測(cè)的特殊視覺(jué)特性。與這些作品不同，我對(duì)檢測(cè)可能不具有任何特殊屬性的普通玻璃表面更感興趣。

我也有興趣探索鏡子/玻璃檢測(cè)方法在自主導(dǎo)航中的應(yīng)用。視頻：https://www.zhihu.com/zvideo/1302257849481818112

漸進(jìn)鏡檢測(cè)Progressive Mirror Detection

[paper] | [suppl]| [code] | [dataset]
Jiaying Lin, Guodong Wang, and Rynson LauProc. IEEE CVPR, June 2020

圖 1. 將從單個(gè)圖像識(shí)別鏡子的漸進(jìn)方法可視化。通過(guò)查找鏡子內(nèi)部和外部對(duì)象之間的對(duì)應(yīng)關(guān)系，然后明確定位鏡子邊緣，可以更可靠地檢測(cè)鏡子區(qū)域。

輸入-輸出:給定一個(gè)輸入圖像，網(wǎng)絡(luò)將輸出一個(gè)二進(jìn)制掩碼，以指示鏡像的位置。

摘要： 鏡子檢測(cè)問(wèn)題很重要，因?yàn)殓R子會(huì)影響許多視覺(jué)任務(wù)的性能。并且也是一個(gè)難題，因?yàn)樗枰私馊謭?chǎng)景語(yǔ)義。 文中作者提出了一種通過(guò)學(xué)習(xí)鏡子內(nèi)部和外部之間的多級(jí)上下文對(duì)比來(lái)檢測(cè)鏡子的方法，該方法有助于隱式定位鏡子邊緣。 他們觀察到鏡子的內(nèi)容反映了其周圍的內(nèi)容，被鏡子的邊緣分開(kāi)。因此，作者在本文中提出了一個(gè)模型，以逐步學(xué)習(xí)鏡子內(nèi)部和外部之間的內(nèi)容相似性，同時(shí)明確檢測(cè)鏡子邊緣。 他們的工作有兩個(gè)主要貢獻(xiàn)。 首先，作者提出了一種新的關(guān)系上下文對(duì)比局部（RCCL）模塊來(lái)提取和比較鏡像特征及其對(duì)應(yīng)的上下文特征，以及一種邊緣檢測(cè)和融合（EDF）模塊以通過(guò)顯式監(jiān)督來(lái)學(xué)習(xí)復(fù)雜場(chǎng)景中的鏡像邊緣特征。 其次，他們構(gòu)建了一個(gè)具有挑戰(zhàn)性的基準(zhǔn)數(shù)據(jù)集，包含6,461幅鏡像圖像。與現(xiàn)有的MSD數(shù)據(jù)集（多樣性有限）不同，作者的數(shù)據(jù)集涵蓋了各種場(chǎng)景，并且規(guī)模更大。 實(shí)驗(yàn)結(jié)果表明，該模型優(yōu)于相關(guān)的最新方法。

Don’t Hit Me! 真實(shí)場(chǎng)景中的玻璃檢測(cè)

[paper] | [suppl] | [code] | [dataset]

Haiyang Mei, Xin Yang, Yang Wang, Yuanyuan Liu, Shengfeng He, Qiang Zhang, Xiaopeng Wei, and Rynson LauProc. IEEE CVPR, June 2020

圖 2. 現(xiàn)有視覺(jué)任務(wù)中的玻璃問(wèn)題。在深度預(yù)測(cè)中，現(xiàn)有方法[16]錯(cuò)誤地預(yù)測(cè)了場(chǎng)景在玻璃后面的深度，而不是到玻璃的深度（（b）的第一行）。 例如，Mask-RCNN [9]僅將實(shí)例分割在玻璃后面，而不知道它們實(shí)際上在玻璃后面（（b）的第二行）。 此外，如果我們直接將現(xiàn)有的單一圖像反射消除（SIRR）方法[36]應(yīng)用于僅部分被玻璃覆蓋的圖像，則非玻璃區(qū)域可能會(huì)損壞（（b）的第三行）。 GDNet可以檢測(cè)到玻璃（c），然后糾正這些故障情況（d）。

輸入-輸出:給定輸入圖像，作者的網(wǎng)絡(luò)將輸出一個(gè)二進(jìn)制遮罩，以指示透明玻璃區(qū)域的位置。

摘要： 透明玻璃在我們的日常生活中非常普遍。 現(xiàn)有的計(jì)算機(jī)視覺(jué)系統(tǒng)忽略了它，因此可能產(chǎn)生嚴(yán)重的后果，例如：機(jī)器人可能會(huì)撞入玻璃墻。 但是，檢測(cè)玻璃的存在并不容易。關(guān)鍵挑戰(zhàn)在于，任意物體/場(chǎng)景都可能出現(xiàn)在玻璃后面，并且玻璃區(qū)域內(nèi)的內(nèi)容通常類似于玻璃后面的內(nèi)容。在本文中，作者提出了一個(gè)從單個(gè)RGB圖像檢測(cè)玻璃的重要問(wèn)題。 為了解決這個(gè)問(wèn)題，作者構(gòu)建了一個(gè)大規(guī)模的玻璃檢測(cè)數(shù)據(jù)集（GDD），并設(shè)計(jì)了一個(gè)名為GDNet的玻璃檢測(cè)網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用新穎的大視野上下文特征集成（LCFI）模塊探索了用于可靠的玻璃檢測(cè)的大量上下文線索。 大量實(shí)驗(yàn)表明，與針對(duì)玻璃檢測(cè)進(jìn)行微調(diào)的最先進(jìn)方法相比，該方法在GDD測(cè)試儀上可獲得更好的玻璃檢測(cè)結(jié)果。

Where is My Mirror?

[paper] | [suppl]| [code and updated] | [dataset]

Xin Yang*, Haiyang Mei*, Ke Xu, Xiaopeng Wei, Baocai Yin, and Rynson Lau (* joint first authors)Proc. IEEE ICCV, Oct. 2019

圖 3.現(xiàn)有視覺(jué)任務(wù)中的鏡子檢測(cè)問(wèn)題。在深度預(yù)測(cè)中，NYU-v2數(shù)據(jù)集[32]使用Kinect捕獲深度作為地面真實(shí)情況。它錯(cuò)誤地預(yù)測(cè)了反射內(nèi)容的深度，而不是鏡面深度（b）。 在實(shí)例語(yǔ)義分割中，Mask RCNN [12]錯(cuò)誤地檢測(cè)到鏡像內(nèi)部的對(duì)象（c）。 借助MirrorNet，作者首先檢測(cè)并屏蔽了鏡像（d）。 然后，通過(guò)對(duì)反射鏡周圍像素和分割圖（f）進(jìn)行插值，獲得正確的深度（e）。

輸入-輸出:給定一個(gè)輸入圖像，網(wǎng)絡(luò)將輸出一個(gè)二進(jìn)制掩碼，以指示鏡像的位置。

摘要： 鏡子在我們的日常生活中無(wú)處不在。現(xiàn)有的計(jì)算機(jī)視覺(jué)系統(tǒng)不考慮鏡子，因此可能會(huì)被鏡子內(nèi)部的反射內(nèi)容弄糊涂，從而導(dǎo)致嚴(yán)重的性能下降。然而，將鏡外的真實(shí)內(nèi)容與鏡內(nèi)的反射內(nèi)容分開(kāi)，對(duì)計(jì)算機(jī)而言是有很大挑戰(zhàn)的。 關(guān)鍵的挑戰(zhàn)是，鏡子通常會(huì)反射與其周圍環(huán)境相似的內(nèi)容，因此很難區(qū)分兩者。在本文中，作者提出了一種從輸入圖像中分割鏡子的新穎方法。據(jù)作者表述，這是使用計(jì)算方法解決鏡像分割問(wèn)題的第一項(xiàng)工作。

他們做出了以下貢獻(xiàn)：

• 首先，構(gòu)建了一個(gè)大型鏡像數(shù)據(jù)集，其中包含帶有相應(yīng)的手動(dòng)注釋蒙版的鏡像。該數(shù)據(jù)集涵蓋了各種日常生活場(chǎng)景，并將公開(kāi)提供以供將來(lái)研究。
• 其次，通過(guò)對(duì)鏡子內(nèi)部和外部?jī)?nèi)容之間的語(yǔ)義和低級(jí)顏色/紋理不連續(xù)性進(jìn)行建模，提出了一種稱為MirrorNet的新型網(wǎng)絡(luò)，用于鏡子分割。
• 第三，進(jìn)行了廣泛的實(shí)驗(yàn)以評(píng)估所提出的方法，并表明它優(yōu)于最新檢測(cè)和分割方法中精心選擇的基準(zhǔn)。

*最后一次更新：2020.11.01
文字引用自香港城大計(jì)算機(jī)系官網(wǎng) https://www.cs.cityu.edu.hk/，感謝！

本文首發(fā)我的Github，歡迎做客寒舍。更多前沿論文研讀分析！

https://github.com/Charmve

總結(jié)

以上是生活随笔為你收集整理的无法识别的属性“targetframework”。请注意属性名称区分大小写。_神奇！你思考过计算机是怎么识别玻璃和透明物体的吗？...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。