真實(shí)場景中的鏡面/玻璃檢測和語義分割

Charmve | English | Chinese

https://github.com/Charmve/Mirror-Glass-Detection

在這個(gè)項(xiàng)目中，我正在學(xué)習(xí)反射鏡和玻璃檢測/分段技術(shù)。鏡子是反射表面，可以反射前面的場景，而玻璃是透明表面，可以從背面透射場景，通常也可以反射前面的場景。通常，鏡子和玻璃都沒有自己的視覺外觀，它們僅反射/透射周圍環(huán)境的外觀。

由于鏡子和玻璃沒有自己的外觀，因此開發(fā)自動算法進(jìn)行檢測和分段并不是一件容易的事。但是，由于它們在我們的日常生活中無處不在，因此如果我們無法可靠地檢測到它們，可能會出現(xiàn)問題。例如，基于視覺的深度傳感器可能會錯(cuò)誤地估計(jì)一塊鏡子/玻璃的深度，因?yàn)樗鼉?nèi)部的物體的深度，機(jī)器人可能沒有意識到鏡子/玻璃墻的存在以及無人機(jī)可能碰撞成高樓（請注意，這些天大多數(shù)高樓都被玻璃遮蓋了）。

到目前為止，盡管香港城大實(shí)驗(yàn)室是第一個(gè)開發(fā)用于自動檢測和分割鏡面和透明玻璃表面的計(jì)算模型的研究團(tuán)隊(duì)，有了一些研究調(diào)查透明玻璃物體的工作，但是這些方法主要集中在檢測酒杯和小玻璃物體上，它們具有一些可用于檢測的特殊視覺特性。與這些作品不同，我對檢測可能不具有任何特殊屬性的普通玻璃表面更感興趣。

我也有興趣探索鏡子/玻璃檢測方法在自主導(dǎo)航中的應(yīng)用。視頻：https://www.zhihu.com/zvideo/1302257849481818112

漸進(jìn)鏡檢測Progressive Mirror Detection

[paper] | [suppl]| [code] | [dataset]
Jiaying Lin, Guodong Wang, and Rynson LauProc. IEEE CVPR, June 2020

圖 1. 將從單個(gè)圖像識別鏡子的漸進(jìn)方法可視化。通過查找鏡子內(nèi)部和外部對象之間的對應(yīng)關(guān)系，然后明確定位鏡子邊緣，可以更可靠地檢測鏡子區(qū)域。

輸入-輸出:給定一個(gè)輸入圖像，網(wǎng)絡(luò)將輸出一個(gè)二進(jìn)制掩碼，以指示鏡像的位置。

摘要： 鏡子檢測問題很重要，因?yàn)殓R子會影響許多視覺任務(wù)的性能。并且也是一個(gè)難題，因?yàn)樗枰私馊謭鼍罢Z義。 文中作者提出了一種通過學(xué)習(xí)鏡子內(nèi)部和外部之間的多級上下文對比來檢測鏡子的方法，該方法有助于隱式定位鏡子邊緣。 他們觀察到鏡子的內(nèi)容反映了其周圍的內(nèi)容，被鏡子的邊緣分開。因此，作者在本文中提出了一個(gè)模型，以逐步學(xué)習(xí)鏡子內(nèi)部和外部之間的內(nèi)容相似性，同時(shí)明確檢測鏡子邊緣。 他們的工作有兩個(gè)主要貢獻(xiàn)。 首先，作者提出了一種新的關(guān)系上下文對比局部（RCCL）模塊來提取和比較鏡像特征及其對應(yīng)的上下文特征，以及一種邊緣檢測和融合（EDF）模塊以通過顯式監(jiān)督來學(xué)習(xí)復(fù)雜場景中的鏡像邊緣特征。 其次，他們構(gòu)建了一個(gè)具有挑戰(zhàn)性的基準(zhǔn)數(shù)據(jù)集，包含6,461幅鏡像圖像。與現(xiàn)有的MSD數(shù)據(jù)集（多樣性有限）不同，作者的數(shù)據(jù)集涵蓋了各種場景，并且規(guī)模更大。 實(shí)驗(yàn)結(jié)果表明，該模型優(yōu)于相關(guān)的最新方法。

Don’t Hit Me! 真實(shí)場景中的玻璃檢測

[paper] | [suppl] | [code] | [dataset]

Haiyang Mei, Xin Yang, Yang Wang, Yuanyuan Liu, Shengfeng He, Qiang Zhang, Xiaopeng Wei, and Rynson LauProc. IEEE CVPR, June 2020

圖 2. 現(xiàn)有視覺任務(wù)中的玻璃問題。在深度預(yù)測中，現(xiàn)有方法[16]錯(cuò)誤地預(yù)測了場景在玻璃后面的深度，而不是到玻璃的深度（（b）的第一行）。 例如，Mask-RCNN [9]僅將實(shí)例分割在玻璃后面，而不知道它們實(shí)際上在玻璃后面（（b）的第二行）。 此外，如果我們直接將現(xiàn)有的單一圖像反射消除（SIRR）方法[36]應(yīng)用于僅部分被玻璃覆蓋的圖像，則非玻璃區(qū)域可能會損壞（（b）的第三行）。 GDNet可以檢測到玻璃（c），然后糾正這些故障情況（d）。

輸入-輸出:給定輸入圖像，作者的網(wǎng)絡(luò)將輸出一個(gè)二進(jìn)制遮罩，以指示透明玻璃區(qū)域的位置。

摘要： 透明玻璃在我們的日常生活中非常普遍。 現(xiàn)有的計(jì)算機(jī)視覺系統(tǒng)忽略了它，因此可能產(chǎn)生嚴(yán)重的后果，例如：機(jī)器人可能會撞入玻璃墻。 但是，檢測玻璃的存在并不容易。關(guān)鍵挑戰(zhàn)在于，任意物體/場景都可能出現(xiàn)在玻璃后面，并且玻璃區(qū)域內(nèi)的內(nèi)容通常類似于玻璃后面的內(nèi)容。在本文中，作者提出了一個(gè)從單個(gè)RGB圖像檢測玻璃的重要問題。 為了解決這個(gè)問題，作者構(gòu)建了一個(gè)大規(guī)模的玻璃檢測數(shù)據(jù)集（GDD），并設(shè)計(jì)了一個(gè)名為GDNet的玻璃檢測網(wǎng)絡(luò)，該網(wǎng)絡(luò)使用新穎的大視野上下文特征集成（LCFI）模塊探索了用于可靠的玻璃檢測的大量上下文線索。 大量實(shí)驗(yàn)表明，與針對玻璃檢測進(jìn)行微調(diào)的最先進(jìn)方法相比，該方法在GDD測試儀上可獲得更好的玻璃檢測結(jié)果。

Where is My Mirror?

[paper] | [suppl]| [code and updated] | [dataset]

Xin Yang*, Haiyang Mei*, Ke Xu, Xiaopeng Wei, Baocai Yin, and Rynson Lau (* joint first authors)Proc. IEEE ICCV, Oct. 2019

圖 3.現(xiàn)有視覺任務(wù)中的鏡子檢測問題。在深度預(yù)測中，NYU-v2數(shù)據(jù)集[32]使用Kinect捕獲深度作為地面真實(shí)情況。它錯(cuò)誤地預(yù)測了反射內(nèi)容的深度，而不是鏡面深度（b）。 在實(shí)例語義分割中，Mask RCNN [12]錯(cuò)誤地檢測到鏡像內(nèi)部的對象（c）。 借助MirrorNet，作者首先檢測并屏蔽了鏡像（d）。 然后，通過對反射鏡周圍像素和分割圖（f）進(jìn)行插值，獲得正確的深度（e）。

輸入-輸出:給定一個(gè)輸入圖像，網(wǎng)絡(luò)將輸出一個(gè)二進(jìn)制掩碼，以指示鏡像的位置。

摘要： 鏡子在我們的日常生活中無處不在。現(xiàn)有的計(jì)算機(jī)視覺系統(tǒng)不考慮鏡子，因此可能會被鏡子內(nèi)部的反射內(nèi)容弄糊涂，從而導(dǎo)致嚴(yán)重的性能下降。然而，將鏡外的真實(shí)內(nèi)容與鏡內(nèi)的反射內(nèi)容分開，對計(jì)算機(jī)而言是有很大挑戰(zhàn)的。 關(guān)鍵的挑戰(zhàn)是，鏡子通常會反射與其周圍環(huán)境相似的內(nèi)容，因此很難區(qū)分兩者。在本文中，作者提出了一種從輸入圖像中分割鏡子的新穎方法。據(jù)作者表述，這是使用計(jì)算方法解決鏡像分割問題的第一項(xiàng)工作。

他們做出了以下貢獻(xiàn)：

• 首先，構(gòu)建了一個(gè)大型鏡像數(shù)據(jù)集，其中包含帶有相應(yīng)的手動注釋蒙版的鏡像。該數(shù)據(jù)集涵蓋了各種日常生活場景，并將公開提供以供將來研究。
• 其次，通過對鏡子內(nèi)部和外部內(nèi)容之間的語義和低級顏色/紋理不連續(xù)性進(jìn)行建模，提出了一種稱為MirrorNet的新型網(wǎng)絡(luò)，用于鏡子分割。
• 第三，進(jìn)行了廣泛的實(shí)驗(yàn)以評估所提出的方法，并表明它優(yōu)于最新檢測和分割方法中精心選擇的基準(zhǔn)。

*最后一次更新：2020.11.01
文字引用自香港城大計(jì)算機(jī)系官網(wǎng) https://www.cs.cityu.edu.hk/，感謝！

本文首發(fā)我的Github，歡迎做客寒舍。更多前沿論文研讀分析！

https://github.com/Charmve

總結(jié)

以上是生活随笔為你收集整理的无法识别的属性“targetframework”。请注意属性名称区分大小写。_神奇！你思考过计算机是怎么识别玻璃和透明物体的吗？...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。