文章：Automatic labelling of urban point clouds using data fusion

作者：Daan Bloembergen and Chris Eijgenstein

編譯：點云PCL

來源：arXiv 2021

本文僅做學術分享，如有侵權，請聯系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈。內容如有錯誤歡迎評論留言，未經允許請勿轉載！

公眾號致力于分享點云處理，SLAM，三維視覺，高精地圖相關的文章與技術，歡迎各位加入我們，一起每交流一起進步,有興趣的可聯系微信：920177957。本文來自點云PCL博主的分享，未經作者允許請勿轉載，歡迎各位同學積極分享和交流。

摘要

在本文中描述了一種半自動創建標記數據集的方法，用于城市道路級別的點云語義分割。我們使用數據融合技術，使用公開的數據源（如高程數據和大比例尺地形圖）自動標記點云的一部分，之后只需有限的人力檢查結果并在必要時進行修改。這極大地減少了創建帶標簽數據集所需的時間，該數據集的范圍足以訓練深層語義分割模型。我們將我們的方法應用于阿姆斯特丹地區的點云，并在標記的數據集上成功地訓練了RandLA Net語義分割模型。這些結果顯示了智能數據融合和語義分割在未來智能城市規劃和管理中的潛力。我們的代碼可在GitHub上獲得：https://github.com/Amsterdam-AITeam/Urban_PointCloud_Processing

如何使用CloudCompare進行點云標記？其操作視頻分享進入視頻號觀看

介紹

手動標注點云數據是一項十分耗時的任務，對于包含整個城市的超大規模點云，手動標注實踐中很快變得不可行，最近的研究試圖通過使用地形圖自動標記點云的部分來緩解手動標注的問題。在本文中，我們在這些工作的基礎上進行了擴展，據我們所知，這是第一條完全模塊化、開源的點云處理流程，該方案使用不同數據源的智能數據融合來自動標記大部分城市街道級點云，結果表明，我們的方案可以大大減少創建一個完全標記的數據集所需的時間和精力，該數據集足夠廣泛，可以訓練語義分割模型，通過在我們的方法標記的數據集上成功地訓練RandLANet，這是一種最先進的深層語義分割模型，突出了這份研究的潛力。

數據集

點云

我們使用的數據是荷蘭阿姆斯特丹地區的街道級3D點云，Cyclomedia2提供的點云使用全景圖像捕獲設備和Velodyne HDL-32激光雷達傳感器進行記錄，從而形成包括兩者的點云(𝑥,𝑦, 𝑧) 坐標以及RGB數據，點云的平均標準偏差為10cm，相對精度為2cm。點云的密度取決于移動激光掃描儀的速度和到傳感器的距離，范圍為1000-2500點/平方米，點云分為50x50m的分塊。圖1顯示了一個示例，它是使用開源軟件CloudCompare進行可視化。

圖1：點云可視化示例

AHN高程數據

高程數據可以提供豐富的數據源，可用于精確的地面過濾，也可用于更精確地標記建筑物、汽車，甚至我們稍后將看到的桿狀對象，我們使用AHN3數據集（Actueel Hoogtebestand Nederland），這是通過飛行激光掃描器獲得的公開的荷蘭高程模型。該數據可用作分辨率為0.5m或5m的GeoTIFF柵格數據，或作為標記點云。我們使用后者，因為它允許我們提取分辨率為0.1m的表面柵格，以及建筑物的高度數據。一個限制是，高程數據中可能會出現間隙，這是由道路上的車輛阻礙了飛行激光掃描儀造成的。這里包含一個預處理步驟，其中使用插值填充AHN3數據中的小間隙。圖2顯示了與圖1中的點云平鋪對應的AHN3高程數據示例。

圖2:AHN3高程數據顯示地面（綠色/棕色）和建筑高度（橙色/紅色）

AHN數據集的一個缺點是更新頻率低；在編寫我們感興趣區域的AHN3數據時，該數據已有6年的歷史。考慮到最近開發的區域，這一點尤為重要，因為建筑物可能缺失，地面高程數據可能已經過時。

BGT地形圖

豐富信息的第二個來源是BGT數據集6（Basisregistratie Grootschalige Topografie），這是一種大型地形對象的數字地圖，經常更新。此地圖包括建筑示意圖多邊形、道路部分多邊形和(𝑥,𝑦) 樹和燈柱等桿狀物體的坐標。我們使用NDW7（國家道路交通數據門戶）的數據進一步豐富了這一點，特別是我們使用了他們的交通標志數據集（verkeersborden）。圖3顯示了示例點云圖塊的提取數據源。

圖3?BGT地形圖實例

方法

本文提供了一個模塊化流程，可用于使用與前面描述的各種數據集的數據融合來標記點云中的某些對象。每個模塊處理特定類型的信息。這些模塊可分為兩組：數據融合模塊使用公共數據源標記點云中的特定對象，區域增長模塊進一步細化（部分）標記的對象。

這里需要注意，我們方法的目的不是正確標記整個點云；相反，我們只希望獲得一個精確標記的數據集，用于訓練機器學習模型，這意味著精確性比召回更重要，因為我們希望訓練數據被盡可能準確地標記，因此，如果我們遺漏了一些對象，只要標記的對象是正確的，這不是一個大問題。

數據融合

數據融合用于標記地面、建筑物和汽車，以及三類桿狀物體，即樹木、燈柱和交通標志，許多城市點云包含大部分地面，這就是為什么許多點云分類方法的第一個預處理步驟是過濾（或標記）這些地面點云，以簡化進一步的操作。

（1）地面提取：地面點云提取的典型方法是識別水平平面并將其標記為地面。缺點是，此類方法計算成本高，并且在地面不平坦或由多個標高組成時，效果往往較差。為了克服這些限制，我們使用AHN3高程數據作為目標曲面，并將其與點云匹配，點云中位于AHN曲面特定邊界（例如+/-25 cm）內的點標記為地面。

（2）建筑提取：為了標記建筑物，我們結合使用BGT足跡多邊形和AHN高程數據。同時使用這兩個數據源的原因是它們相互補充：BGT提供準確和最新的2D信息，而AHN添加了3D方面，使我們能夠同時考慮建筑高度。

我們標記每個建筑多邊形內的點（根據它們的(𝑥,𝑦) 坐標）作為潛在的建筑點，由于BGT和點云都有一定的誤差范圍，我們將建筑占地面積放大50厘米，以增加包含的點的數量。占地面積內可能存在事實上不屬于建筑的點。一個典型的例子是部分重疊的樹木他們的樹枝懸在屋頂上的足跡。為了防止這種錯誤。這里使用來自AHN的建筑高度數據（如果可用），并將其作為數據中的截止值（誤差范圍為25厘米）𝑧?值。因此，我們最終會按照以下方式標記足跡內的所有點：(𝑥,𝑦), 并且在建筑的屋頂以下𝑧.

（3）汽車：一旦地面被過濾掉，汽車就相對容易被檢測到，因為它們有非常規則的形狀。此外，使用BGT數據中的道路部分多邊形，可以在特定位置進行搜索。使用典型的汽車尺寸，我們搜索其最小邊界矩形和高度與預期形狀匹配且位于道路部分或停車場上方的簇。

（4）桿狀對象：對于桿狀對象樹、燈柱和交通標志，我們基于可用的BGT數據，對于BGT中的每個對象，我們提取一個圍繞該對象預期目標的小正方形區域(𝑥,𝑦) 位置（+/-1.5m）。將搜索區域劃分為二維網格，并計算每個單元格的最小值、最大值和平均值的統計信息𝑧 該單元格中的值。這允許我們搜索桿狀物體。如果我們在距預期位置的最大距離內找到匹配項，我們將進一步計算物體的半徑（厚度）。如果半徑在預期范圍內（燈柱和交通標志小于0.2m，樹木小于0.5m）則將該半徑和位置的圓柱體標記為相應的對象。這些點將用作區域生長初始種子點，以進一步完善標記。

點云的區域生長

建筑：某些突出圖元（如陽臺、開間窗和檐篷）不包含在建筑跡線多邊形中。為了包含這些元素，在這里使用了區域生長技術，一種選擇是基于點的區域增長方法，其中計算每個點的特征，以確定是否應包括該點。這種方法非常精確，但計算成本也很高，由于我們需要處理大量的點云圖塊，因此我們選擇了更有效的基于群集的區域增長方法，類似于基于八叉樹的方法。此方法不會對每個單獨的點進行決策，但是，它首先使用CloudCompare的基于八叉樹的標記連接組件方法對點云進行聚類，該方法可以通過Python包進行訪問。然后，如果先前已標記的集群部分超過閾值（例如0.5），則將整個集群標記為建筑物，為了提高該方法的準確性，我們對該閾值以及連接組件搜索中的八叉樹級別使用了不同的設置，用于建筑物立面的不同部分：在地面附近有更多雜波的地方使用更謹慎的方法；因為在靠近屋頂的地方，點云的密度較低。

桿狀物體：同樣，我們使用先前提取的初始種子點，將基于簇的區域生長應用于類似于極點的對象，同樣，我們對對象的下部和上部使用不同的設置；尤其是下半部分可能會雜亂無章，因為在荷蘭城市，自行車靠著這些物體停放是很常見的，這些區域增長模塊的設置非常復雜，應針對手頭的數據集進行仔細調整。

實驗

實驗部分展示了我們提出的數據融合方案可以成功地標記點云圖塊，并討論了標記失敗的情況，然后，我們通過在標記的訓練集上訓練RandLA-Net（一種深度學習語義切分模型），展示了我們方法的潛力。

自動標注

圖4顯示了在示例點云上運行完整流程的結果，地面、建筑物和汽車的標簽正確，一些桿狀物體丟失，這可歸因于多種因素：中心左側的小樹由于其傾斜角度而未被檢測到；下角的樹枝屬于瓷磚區域外的一棵樹；在BGT數據中，中心燈柱的位置偏離了1.5米以上。通過更仔細地調整數據融合模塊，這些問題都可能得到糾正。然而，為了創建準確的訓練集，這并不是必需的：因為在訓練過程中忽略了未標記的點，所以這些對象可能會在訓練后被語義分割模型檢測和標記。

圖4：自動標記的點云實例，帶有地面（棕色）、建筑物（藍色）、汽車（灰色）、樹木（綠色）、燈柱（黃色）和交通標志（紅色）

創建一個完全標記的數據集

為了展示本文方法的潛力，我們使用我們的方案自動標記109個數據塊的數據集，然后，我們手動檢查并更正問題，并將這項工作與手動標注的結果進行比較，對于手動標簽，我們使用CloudCompare。

對于我們的數據集，我們選擇了代表不同城市場景：老城、道路、新開發區、工業區、住宅區和高層建筑。我們對結果的手動檢查導致了幾個觀察結果。

• 1） 地面和建筑物的標簽大多正確，但最近開發的區域除外，這些區域的高程數據已過時。地面點的精確標記也使得快速去除地面以下的反射噪聲變得容易。

• 2） 盡管規則相對簡單，但汽車標簽模塊工作得出奇地好。由于我們的做法，停在官方道路和停車場外的汽車沒有貼標簽。

• 3） 對于我們感興趣的區域，樹在BGT數據集中得到了相當準確的表示，因此這些樹在很大程度上也得到了正確的標記。這里的例外情況是傾斜的樹木，或私人地產上的樹木，這些樹木不包括在BGT中。

• 4） 燈柱和交通標志在BGT數據集中的表示不太準確，當我們選擇精度高于召回率時，我們的方法會忽略BGT中位置誤差過大的對象。此外，施工區域周圍的臨時交通標志缺失。最后，我們的方法很難正確檢測被樹枝部分遮擋的燈柱。

這些問題中的許多可以通過手動檢查快速糾正，需要手動標記完整的點云圖塊只是所需的一小部分工作。根據我們的經驗，手動標記具有1000萬個點的場景大約需要1.5小時。主要的困難是標記地面，一旦標記完成，剩余的點就可以更容易地進行聚類，使用我們的方案，我們可以在大約20秒內在基于2020 Intel I7的筆記本電腦上自動標注。之后，手動檢查結果并糾正小錯誤和遺漏平均需要5分鐘。這大大減少了時間和精力，使得在幾個小時內創建一個完全標記的數據集成為可能。我們的數據集的一些統計數據如表1所示：

表1：標記數據集的類統計信息

基于RandLA-Net的語義分割

圖5顯示了來自驗證集的示例場景，該驗證集由經過訓練的RandLA Net模型標記，這個數字證實了模型的質量；一些交通標志部分與燈柱混淆，但總的來說，標簽是準確的。請注意，諸如fences（圖像中心）之類的對象在數據集中沒有標記，并且在訓練中被忽略，因此模型無法區分這些對象。

圖5：來自驗證集的示例點云圖塊，添加了噪聲和未標記點，由經過訓練的RandLA-Net模型標記

總結

實驗已經展示了使用智能數據融合來有效標記可用于訓練深層語義分割模型的大型數據集的潛力，我們的開源模塊化流程特別適合于具有數億個點的大規模點云數據，在這些數據中，完全手動注釋是不現實和不切實際的，使用RandLA-Net進行的評估強調了我們方法的可行性，并表明在將手動注釋工作量保持在可管理水平的同時，可以獲得令人滿意的結果。我們的方案可以通過更多模塊進行擴展，這些模塊可以標記更多類型的感興趣對象，如自行車站、交通燈、低矮植被等。此外，該方法可以通過查找對象的預期位置與其在點云中的外觀之間的差異來自動校正此類數據源，總之，這些結果證明了語義分割與智能數據融合相結合在城市街道水平點云自動理解和分類方面的潛力。

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，請后臺發送“知識星球”獲取二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的基于数据融合的城市点云自动标注的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。