Date：2020-11-23

作者：三弟

來源：GRNet網絡：3D網格進行點云卷積，實現點云補全

Gridding Residual Network for Dense Point Cloud Completion

在點云分割方面，有一些方法嘗試通過更通用的卷積操作來捕捉點云的空間關系。但是之前的方法都是基于一個強烈的假設，即輸出點與輸入點的三維坐標的相同，因此不能用于三維點云補全。

為了解決上述問題，我們引入3D網格作為中間的表征來規范化無序點云，從而明確地保留了點云的結構和背景。因此，我們提出了一種新的點云完成的網格化殘差網絡(GRNet)。除了3D CNN和MLP，我們設計了三個可微層。Gridding, Gridding Reverse, 和三次特征采樣。在Gridding中，對于點云中的每個點，該點所在的三維網格單元的八個頂點先使用插值函數進行加權，該函數明確地測量了幾何學上的點云的關系。然后引入了3D網格作為中間表示來規整無序點云，它明確地保留了點云的結構和局部關系。接下來，Gridding Reverse將輸出的三維網格轉換為粗點云，將每個三維網格單元替換為一個新點，其坐標為三維網格單元八個頂點的加權和。接下來的三次特征采樣通過將該點所在的三維網格單元對應的八個頂點的特征進行串聯，提取粗點云中每個點的特征。粗點云和特征送入到MLP，得到最終補全的點云。本文的貢獻如下。我們創新性地引入了3D網格作為中間表征來規范化無序點云，明確地保留了點云的結構和背景下的點云。

我們提出了一種新型的用于點云完成的網格化剩余網絡(GRNet)。我們設計了三個可區分的層。Gridding, Gridding Reverse, and Cubic Feature Sampling, as well as a new Gridding Loss.

在ShapeNet、 Completion3D和KITTI基準上進行了廣泛的實驗，結果表明，所提出的GRNet與最先進的方法相比表現良好。

網格殘差網絡

GRNet 在以粗糙到精細的方式從不完整的點云中恢復完整的點云。 它由五個部分組成，分別是網格化、3D卷積神經網絡、反向網格化、立方特征采樣和多層感知器，如圖1所示。

網格化

3D卷積神經網絡

逆網格化

三次特征采樣

在 GRNet 中，三次特征采樣通過 3DCNN 前三個轉置卷積層，從特征圖中提取點特征。為了減少特征的冗余并生成固定數量的點，我們從粗糙點云 中隨機采樣2,048個點。所以，它會生成大小為2048×1792的特征圖。

多層感知器

網格損失

實驗

作者在 ShapeNet、Completion3D 和 KITTI 三個數據及分別進行了實驗，并且與 PCN 等方法進行了比較。在度量指標上，作者認為只用 Chamfer 距離不能客觀的評價補全的點云，事實上 Chamfer 距離在數值上及時較低，預測的點云可能并沒有一個很好的分布，因此作者同時考慮了用 F-Score 作為量化指標。

量化指標

數據集

ShapeNet：最初在 ShapeNet 數據集是 PCN 的工作，由來自8個類別的30,974個3D模型組成。真實值在網格表面上均勻采樣 16,384個點。部分點云是通過反投影2.5D深度映射到3D。

Completion3D：Completion3D 實驗機[11]由28,974個和800個樣本分別進行訓練和驗證。與 PCN 方法的ShapeNet 數據集不同的是，真實點云上只有2,048個點。

在 ShapeNet 上可視化結果，最左邊是輸入，最右側是 Groud Truth，倒數第二列是本文 GRNet 的結果。

KITTI：KITTI 數據集由現實世界的 Velodyne LiDAR掃描序列組成，也是從 PCN 中獲得。對于每一幀，汽車是根據3D邊界框提取的，從而獲得 2,401個局部點云。KITTI中的局部點云非常稀疏，并且不有完整的點云作為真實值。在 KITTI 雷達掃描的可視化結果。

更多干貨

歡迎加入【3D視覺工坊】交流群，方向涉及3D視覺、計算機視覺、深度學習、vSLAM、激光SLAM、立體視覺、自動駕駛、點云處理、三維重建、多視圖幾何、結構光、多傳感器融合、VR/AR、學術交流、求職交流等。工坊致力于干貨輸出，為3D領域貢獻自己的力量！歡迎大家一起交流成長~

添加小助手微信：CV_LAB，備注學校/公司+姓名+研究方向即可加入工坊一起學習進步。

總結

以上是生活随笔為你收集整理的shapenet网络_GRNet网络：3D网格进行点云卷积，实现点云补全的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。