點云PCL免費知識星球，點云論文速讀。

標題：三維點云分割綜述（上）

排版：particle

歡迎各位加入免費知識星球，獲取PDF文檔，歡迎轉發朋友圈，分享快樂。

這是一篇綜述性論文，以下只做概述性介紹，介紹文章已共享在微信群和免費知識星球中，文章在公眾號將分成三個部分:

第一部分介紹點云的獲取以及各種傳感器獲取點云的特性，以及分割概念的區別。

三維點云分割綜述（上）

第二部分介紹基于點云的傳統的分割方法。

三維點云分割綜述（中）

第三部分介紹基于深度學習的語義分割方法。

三維點云分割綜述（下）

摘要

三維點云的語義分割3D Point Cloud Semantic Segmentation (PCSS)在計算機視覺以及機器人領域廣泛的應用，隨著深度學習技術的發展在點云的語義分割領域提供了新的可能性，并受到越來越多的關注，本文將著重的介紹這一主題的相關研究，首先從遙感領域和計算機視覺的角度概述三維點云的分割，并且結合已經發表的PCSS相關的文章作為研究基礎，進行總結和比較，并且對傳統的以及最新的點云分割技術進行回顧和比較，最后討論了PCSS研究中重要的問題和有待解決的問題。

分割、分類和語義分割概念區分

點云語義分割是具有很長的研究歷史，這里將點云分割，分類，以及語義分割做一個簡短的概念區別，點云語義分割在計算機視覺領域中是廣泛的使用，尤其是在深度學習的應用中。在遙感領域PCSS通常被稱之為“點云分類”，在某些情況下，也可以理解為“點云標記”，在本文中是指點云的每個點與語義的標簽關聯起來的任務稱為PCSS。

在基于監督學習的方法中廣泛的使用在語義分割領域之前，對2.5D/3D的點云數據的非監督分割是指在不考慮語義信息的情況下，對具有相似的幾何或者光譜特征的點云進行分類，所以在PCSS中，PCS（點云分割）可以作為一個預分割的步驟，并且影響著最終的語義結果。所以本文也包含了關于PCS方法的討論。這部分內容將再在接下來的文章中發布。

我們知道單個的物體的結構不能直接通過一幀的原始點云獲取，比如城市規劃和建筑信息建模（BIM）需要參考建筑物或者人造物，森林的遙感監測需要基于樹木的幾何結構信息，機器人的應用如同時構建地圖與定位（SLAM）需要室內環境來繪制地圖，在自動駕駛，目標檢測，分割與分類是構建高精地圖所必須的，所以點云的分割以及語義分割是3D視覺領域基本且關鍵的任務。

點云的獲取

在計算機視覺和遙感領域，點云可以通過四種主要的技術獲得，

（1）根據圖像衍生而得，比如通過雙目相機，

（2）基于光探測距離和測距系統比如lidar,

（3）基于RGBD相機獲取點云

（4）Synthetic Aperture Radar (SAR)系統獲取，基于這些不同的原理系統獲取的點云數據，其數據的特征和應用的范圍也是多種多樣。下面將要介紹這些技術。

圖像衍生點云

概括起來就是通過雙目采集的圖像，根據攝影測量學或者計算機視覺理論原理，自動或者半自動的計算出三維的點云信息，根據不同的平臺，立體和多視角的圖像衍生系統可以分為機載，衛星，以及無人機等。傳統的攝影測量計算中采用半自動人機交互方式生成三維點，具有嚴格的幾何約束和較高的測量精度。由于許多人工操作，生成這種類型的點數據非常耗時。因此，用這種方法生成大面積密集點是不可行的。在測量和遙感行業中，這些早期形成的“點云”被用于繪制和生成數字地表模型（DSM）和數字高程模型（DEM）。由于圖像分辨率的限制和多視點圖像處理能力的限制，傳統的攝影測量只能從航空/衛星平臺獲取接近最低點的視圖，建筑立面很少，只能生成2.5D的點云，而不是全三維點云，攝影測量原理也可以應用于近景攝影測量，以便從某些物體或小區域場景中獲取點云，但在點云生成過程中也需要手動編輯。

稠密匹配法、多視角立體視覺（MVS）和運動恢復結構（SfM）改變了圖像衍生的點云，開啟了多視角立體視覺的時代。SfM可以自動估計相機的位置和方向，使其能夠同時處理多視圖圖像，而稠密匹配法和MVS算法提供了生成大量點云的能力。近年來，基于SfM和MVS的攝影技術可以很容易地獲得城市尺度的全三維密集點云。然而，SfM和MVS的點云質量不如傳統攝影測量或LiDAR技術生成的點云質量好，對于大區域尤其不可靠。

在空間分辨率方面，衛星攝影測量的空間分辨率較低。然而，衛星相機能夠在短時間內以相對較低的成本繪制大區域的地圖。此外，由于新的稠密匹配技術及其空間分辨率的提高，衛星圖像正成為圖像衍生點云的重要數據源。

雷達生成點云

激光雷達（LiDAR）是一種測量和遙感技術。顧名思義，激光雷達利用激光測量傳感器和被測物體之間的距離。大多數激光雷達系統都是基于脈沖的。基于脈沖的測量的基本原理是發射激光脈沖，然后測量該激光到達目標物體所需的時間。根據傳感器和平臺的不同，從每平方米不到10個點到每平方米數千個點，點云密度或分辨率差異很大。根據平臺的不同，將激光雷達系統分為機載激光雷達掃描（ALS）、地面激光雷達掃描（TLS）、移動式激光雷達掃描（MLS）和無人激光雷達掃描（ULS）系統。

機載激光雷達掃描ALS在機載平臺上運行。早期的ALS-LiDAR數據是2.5D點云，與傳統的攝影測量點云相似。由于機載平臺到地面的距離很大，所以ALS點的密度通常較低。與傳統的攝影測量相比，ALS點云的獲取成本更高，而且通常不包含光譜信息。Vaihingen點云語義標注數據集是典型的ALS基準數據集。多光譜機載激光雷達是ALS系統的一種特殊形式，它利用不同的波長獲取數據。多光譜激光雷達在提取水、植被和陰影方面表現良好，但數據不易獲得。

TLS，也稱為靜態激光雷達掃描，使用安裝在三腳架上的固定傳感器進行掃描。由于它用于中、近距離環境，點云密度非常高。它的優勢是能夠提供真實、高質量的三維模型。到目前為止，TLS通常用于小型城市或森林的建模，以及遺產或藝術品文檔。

MLS在地面上的移動車輛上運行，最常見的平臺是汽車。目前，自主駕駛的研究與開發是一個熱門話題，高清地圖是必不可少的。因此，高清地圖的生成是MLS最重要的應用。多個主流點云基準數據集屬于MLS。

ULS系統通常部署在無人機或其他無人飛行器上。由于它們相對便宜，而且非常靈活，這種最近加入到LiDAR家族中的產品目前正變得越來越受歡迎。與平臺在物體上方工作的ALS相比，ULS可以提供較短距離的激光雷達測量應用，以更高的精度收集更密集的點云。由于其平臺體積小、重量輕，ULS具有很高的操作靈活性。因此，除了傳統的激光雷達任務（例如，獲取DSM），ULS在農林測量、災害監測和采礦測量方面具有優勢。

在激光雷達掃描中，由于系統始終隨平臺運動，需要將點云的位置與全球導航衛星系統（GNSS）和慣性測量單元（IMU）數據相結合，以保證高質量的點云匹配。迄今為止，激光雷達一直是點云研究中最重要的數據源，并被用來提供地面真實情況來評估其他點云的質量。

RGB-D?點云

RGB-D相機是一種可以同時獲取RGB和深度信息的傳感器。有三種基于不同原理的RGB-D傳感器：

（a）結構光；

（b）立體；

（c）飛行時間。

與LiDAR類似，RGB-D相機可以測量相機到物體之間的距離，但是像素級的。然而，RGB-D傳感器比激光雷達系統便宜得多。微軟的Kinect是最知名和使用最多的RGB-D傳感器。在RGB-D相機中，不同傳感器之間或傳感器之間的相對方位元素被標定并已知，因此可以很容易地獲得共配準的同步RGB圖像和深度圖。顯然，點云并不是RGB-D掃描的直接產物。但是由于攝像機中心點的位置是已知的，因此可以很容易地獲得深度圖中每個像素的三維空間位置，然后直接用于生成點云。RGB-D相機有三個主要應用：目標跟蹤、人體姿勢或特征識別以及基于SLAM的環境重建。由于主流的RGB-D傳感器距離較近，甚至比TLS近得多，因此通常用于室內環境。幾種主流的室內點云分割基準是RGB-D數據。

SAR點云

干涉合成孔徑雷達（InSAR）是一種對遙感至關重要的雷達技術，它根據多個SAR圖像對的比較生成地表變形或數字高程圖。（這里不做過多介紹）

點云特性

從傳感器發展和各種應用的角度出發，我們將點云分類為：

（a）稀疏（<20pts/m^2）

早期由于受匹配技術和計算能力的限制，攝影測量點云稀疏且體積小。當時，激光掃描系統的類型有限，并沒有得到廣泛的應用。ALS激光點云數據，也是稀疏的。由于受點云密度的限制，該階段的點云無法覆蓋目標的表面。因此，對精確的PCS或PPCS沒有具體的需求。研究者主要集中在三維制圖（DEM生成）和簡單的目標提取上

（b）密集（數百pts/m2）

由于稠密匹配等計算機視覺算法，以及各種激光雷達系統和RGB-D傳感器等高質量點云獲取傳感器的發展，開啟了稠密點云的大數據時代。稠密的大規模點云為三維應用創造了更多的可能性，但同時也對實用算法有了更強烈的需求。因此PCS和PPCS是最新提出且必要的算法。計算機視覺和遙感都需要PCS和PCSS解決方案來開發類級別的交互式應用程序。

（c）多源。

從一般計算機視覺的角度來看，對點云及其相關算法的研究還停留在（b）階段。然而，由于有利于星載平臺和多傳感器的發展，遙感研究人員對點云有了新的認識。新一代點云，如衛星攝影測量點云和TomoSAR點云，刺激了相關算法的需求。多源數據融合已成為遙感領域的一個發展趨勢，但現有的計算機視覺算法對這類遙感數據集還不夠。為了充分利用多源點云數據，需要進行更多的研究。

如前所述，不同的點云具有不同的特性和應用環境。表一概述了各種點云的基本信息，包括點密度、優缺點和應用。

點云應用

從表二可以總結出幾個問題：

（a） 激光雷達點云是個人計算機中最常用的數據，已廣泛應用于建筑物（城市環境）和樹木（森林）。建筑物也是傳統計算機中最受歡迎的研究對象，由于建筑物通常是由規則的平面構成的，因此平面分割是建筑物分割的一個基本課題。

（b） 圖像衍生的點云經常用于真實場景。然而，主要由于現有的標注的局限性，基于圖像數據的PCS和PCSS研究并不多見。目前，只有一個基于圖像衍生點的公共有影響力的數據集，其范圍僅為單個建筑物周圍的很小的區域。因此，需要在這方面作出更多努力。

（c） RGB-D傳感器受其近距離的限制，通常應用于室內環境。在PCS研究中，平面分割是RGB-D數據的主要任務。在PCSS研究中，由于RGB-D傳感器有多個基準數據集，許多基于深度學習的方法都在這些數據集上進行了測試。

（d） 對于InSAR點云，雖然沒有太多的PCS或PCSS研究，但它們在城市監測，特別是建筑物結構分割方面顯示出了潛力。

以上是該綜述文章的上篇章，由于篇幅文章內容有所刪減，后期將更新文章的中篇章和下篇章，如有興趣，可加入知識星球下載原文進行學習。

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術

第二期B站錄播之深度學習在3D場景中的應用

第三期B站錄播之CMake進階學習

第四期B站錄播之點云物體及六自由度姿態估計

第五期B站錄播之點云深度學習語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點云配準概述及其在激光SLAM中的應用

[線上分享錄播]cloudcompare插件開發

[線上分享錄播]基于點云數據的?Mesh重建與處理

[線上分享錄播]機器人力反饋遙操作技術及機器人視覺分享

[線上分享錄播]地面點云配準與機載點云航帶平差

點云PCL更多活動請查看：點云PCL活動之應屆生校招群

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，點擊“原文閱讀”獲取知識星球二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，星球可自由發言交流和分享。也可免費下載公眾號分享的論文pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

歡迎各位轉發分享朋友圈，將公眾號設置為星標，或點擊“在看”以示鼓勵和支持，讓我們繼續分享！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：可聯系微信“920177957”（需要按要求備注）聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的三维点云分割综述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。