論文鏈接：https://arxiv.org/abs/2011.12001

?代碼：https://github.com/qq456cvb/CanonicalVoting

VoteNet通過(guò)主干網(wǎng)絡(luò)傳遞輸入點(diǎn)云，然后對(duì)一組種子點(diǎn)進(jìn)行采樣，生成中心投票。然后，通過(guò)可學(xué)習(xí)的模塊聚合投票簇，生成包圍框朝向和大小。

這種逐點(diǎn)預(yù)測(cè)絕對(duì)偏移和包圍盒方向，某些情況下甚至不如隨機(jī)猜測(cè)。

為了解決這個(gè)問(wèn)題，作者將直接預(yù)測(cè)偏差分解為了三個(gè)部分：局部標(biāo)準(zhǔn)坐標(biāo)，包圍盒尺寸，包圍盒朝向。 首先估計(jì)局部標(biāo)準(zhǔn)坐標(biāo)和包圍盒的規(guī)模，并通過(guò)標(biāo)準(zhǔn)投票算法尋找歐式空間中可能的對(duì)象朝向和中心。對(duì)象包圍盒由高票位置得出。但是，這種詳盡的方向搜索會(huì)帶來(lái)一些投票的錯(cuò)誤積累，為了消除假陽(yáng)，設(shè)計(jì)了一個(gè)LCC反向投影檢查算法來(lái)將提出的對(duì)象坐標(biāo)反投影到標(biāo)準(zhǔn)空間，與預(yù)測(cè)的局部標(biāo)準(zhǔn)坐標(biāo)進(jìn)行對(duì)比。

貢獻(xiàn)：

Bypassing orientation regression difficulties through
Local Canonical Coordinates and Canonical Voting.

Devising a back projection validation module to elimi-
nate false positives, achieving high average precision.

State-of-the-art performance on three 3D bounding box
detection benchmarks.

3.1 overview

?

?3.2 回歸局部坐標(biāo)

受到?He Wang, Srinath Sridhar, Jingwei Huang, Julien Valentin,
Shuran Song, and Leonidas J Guibas. Normalized object
coordinate space for category-level 6d object pose and size
estimation. In Proceedings of the IEEE Conference on Com-
puter?Vision and Pattern Recognition, pages 2642–2651, 2019.啟發(fā)

提出回歸局部標(biāo)準(zhǔn)坐標(biāo)，局部標(biāo)準(zhǔn)坐標(biāo)定義在定義為單位立方體內(nèi)的3D空間，{xyz}∈【-1,1】?，在局部標(biāo)準(zhǔn)坐標(biāo)中，模型被一致對(duì)齊居中。

局部坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系

?回歸局部標(biāo)準(zhǔn)坐標(biāo)和包圍框規(guī)模，損失函數(shù)：

?

局部標(biāo)準(zhǔn)坐標(biāo)回歸與直接偏差回歸的比較，左邊，當(dāng)圖像旋轉(zhuǎn)時(shí)，鴨子的不同部位被映射到相同的輸出偏移，?直接偏移不會(huì)隨著旋轉(zhuǎn)變化，使得基于不同輸入模式識(shí)別不同的偏移量變得困難，相反，LCC回歸如右圖所示，無(wú)論圖片如何旋轉(zhuǎn)，屬于同一部分的模式在標(biāo)準(zhǔn)始終被映射到相同的局部標(biāo)準(zhǔn)坐標(biāo)，使得學(xué)習(xí)輸入和輸出的關(guān)系變得更加容易。

3.3 帶有對(duì)象性的標(biāo)準(zhǔn)投票

標(biāo)準(zhǔn)投票算法生成投票圖指示對(duì)象存在的可能性，同時(shí)采用對(duì)象性分?jǐn)?shù)過(guò)濾掉不屬于任何對(duì)象的投票。通過(guò)預(yù)測(cè)的包圍盒規(guī)模，標(biāo)準(zhǔn)局部坐標(biāo)，對(duì)象性分?jǐn)?shù)，每個(gè)點(diǎn)對(duì)于任意可能的旋轉(zhuǎn)方向投票對(duì)應(yīng)包圍盒中心，為了累計(jì)投票，將連續(xù)的歐式空間離散為預(yù)定義的H*d*w柵格。同時(shí)用Gobj和Gscale記錄航向角和包圍盒尺寸。

每一點(diǎn)都參與了標(biāo)準(zhǔn)投票過(guò)程。 votenet采用分組與下采樣方法生成候選，使得遮擋對(duì)象容易被忽略

?3.4 反向投影局部標(biāo)準(zhǔn)坐標(biāo)檢查及包圍盒產(chǎn)生

識(shí)別投票圖的峰值，并產(chǎn)生包圍盒。

使用反向投影的局部標(biāo)準(zhǔn)坐標(biāo)檢查

由于詳盡的方向搜索，會(huì)有假陽(yáng)出現(xiàn)在投票圖。首先根據(jù)投票圖的峰值產(chǎn)生包圍盒候選，然后將包圍盒候選內(nèi)的點(diǎn)反投影到局部標(biāo)準(zhǔn)坐標(biāo)，然后檢查候選框內(nèi)的點(diǎn)投影的局部標(biāo)準(zhǔn)坐標(biāo)p~‘與預(yù)測(cè)的局部標(biāo)準(zhǔn)坐標(biāo)p~是否一致。

?包圍盒中心根據(jù)投票圖的峰值產(chǎn)生，直到峰值小于某個(gè)值，讀取對(duì)應(yīng)位置的包圍盒規(guī)模和航向角。

總結(jié)

以上是生活随笔為你收集整理的CVPR2022 Canonical Voting: Towards Robust Oriented Bounding Box Detectionin 3D Scenes的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。