標題：The algorithm to generate color point-cloud with the registration between panoramic imageand laser point-cloud

作者：Fanyang ZENG, Ruofei ZHONG?

編譯：點云PCL

來源: https://iopscience.iop.org/article/10.1088/1755-1315/17/1/012160

本文僅做學術分享，如有侵權，請聯系刪除。歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈。內容如有錯誤歡迎評論留言，未經允許請勿轉載！

公眾號致力于分享點云處理，SLAM，三維視覺，高精地圖相關的文章與技術，歡迎各位加入我們，一起每交流一起進步,有興趣的可聯系微信：920177957。本文來自點云PCL博主的分享，未經作者允許請勿轉載，歡迎各位同學積極分享和交流。

摘要

激光點云除了點云XYZ的信息只包含強度信息，需要從其他傳感器獲取顏色信息。相機可以提供相應對象的紋理、顏色和其他信息。利用數字圖像中相應像素的顏色信息，可以生成彩色點云，有利于點云的可視化、分類和建模。不同的移動測量系統（MMS）使用不同類型的數碼相機，不同系統產生彩色點云的原理和過程不盡相同。全景圖像最突出的特點是視場在水平方向360度的視角，盡可能地獲取相機周圍的圖像信息。本文介紹了一種利用全景圖像和激光點云生成彩色點云的方法，根據三點（全向多相機系統的中心、球面上的像點、目標點）的共線原理，推導出全景圖中點與激光點云的對應方程。實驗結果表明，本文提出的算法和公式是正確的。

介紹

近年來，由激光掃描儀、POS和CCD相機組成的車載移動測量系統的研究取得了一定的成果。無需激光掃描系統獲取帶有顏色的稠密點云更精確、更直接，數碼相機獲取的圖像可以提供豐富的顏色和紋理。因此，將點云與圖像結合起來，可以更準確、更直觀地描述地表特征。彩色點云是點云與圖像數據融合的直觀產物。它在視覺顯示、分類和對象建模等方面具有很大的優勢，不同類型的數碼相機用于不同的移動測量系統（MMS），不同系統中產生彩色點云的原理和過程也不盡相同。

激光點云與數字圖像融合的研究，根據攝像機的類型可分為三類。類型有平面陣列相機、線陣相機和全景相機。其中平面陣列相機與點云的融合是目前研究最多的問題。針對數據的不同特性，基于POS數據或兩個數據源之間的特征匹配，實現激光點云數據與平面陣列相機圖像的配準，與平面陣列相機相比，基于共線原理生成彩色點云，線陣相機具有寬視角和高采集頻率，克服了在某些情況下不能及時存儲圖像和丟失圖像的問題，但在標定和白平衡調整方面比較困難。對于全景圖像，最突出的特點是水平方向360度的視場，盡可能獲取相機周圍的圖像信息。三種不同的圖像采集方法各有優缺點，應根據不同系統的不同需要進行選擇。

加拿大Optech的Lynx移動地圖機配備了2到4個平面陣列CCD攝像頭。奧地利RIEGL公司的VMX-250配備了4或6個面陣CCD攝像機。日本Topcon公司的IP-S2系統采用 Ladybug3 全景攝像頭。線陣CCD攝像機也可用于其它一些MMS。本文的實驗平臺是首都師范大學研制的車載激光掃描與建模測量系統。該系統主要由激光掃描儀、全景相機、GPS和IMU組成。激光掃描儀用于獲取點云數據（圖2）。數碼相機用于獲取彩色紋理。IMU和GPS提供系統在運動過程中的姿態和位置。所有設備固定在同一平臺上，由GPS時間統一。通過實驗場標定和一系列數據融合處理，激光點云與圖像能夠精確配準。本文中系統配備 Ladybug3 全景攝像頭，直接獲取全景圖像（圖3）。通過全景圖像與激光點云的配準，可以得到圖像中像素點與點云點之間的對應關系。本文在全景圖像與點云配準的基礎上，利用全向多相機系統的中心、球面上的像素點與目標點成直線的共線原理，介紹了一種由激光點云和全景圖像生成彩色點云的方法。該方法充分利用了360度全景圖像和激光點云。最后，實驗結果表明本文提出的算法和公式是正確的。

具體實現

坐標系定義

大地坐標系S（Xt,Yt,Zt）：絕對坐標系，此坐標系中的所有數據通過該坐標系統一。

局部三維笛卡爾坐標系S1（X1,Y1,Z1）：系統原點位于當前全景相機球體的中心。我們可以通過將系統中的大地坐標系S的原點移到全景相機球的中心來得到新的坐標系S1。

全景三維笛卡爾坐標系S2（Xs，Ys，Zs）：系統原點也在當前全景相機的中心。Y軸指向前進方向，X軸指向車身右側，Z軸垂直向上。

全景秋極坐標系P（B,L,R）：原點在全景球中心的極坐標系。

全景圖像平面坐標系（o-xy）：以全景圖像的主點為原點的笛卡爾坐標系。

生成彩色點云算法

點云數據中每個點的坐標都是絕對坐標，表示物體點的實際位置。根據共線原理，物體點、攝影中心和成像點是共線的。因此，我們可以根據對應的目標點的三維坐標來計算像素點的坐標，然后用像素點的RGB值來指定目標點。

第一步。坐標系轉換從 S（Xt,Yt,Zt）到S1（X1,Y1,Z1），如公式1：

其中，（dX dY dZ）是當前全景球體中心的大地坐標（就是說把相機球體中心的大地位置，可以理解GPS和相機之間是有位移的，外參）

第二步。從S1（X1 Y1 Z1）到S2（Xs Ys Zs）的坐標變換，如公式2所示；

式中，（a1,a2,a3,b1,b2,b3,c1,c2,c3）為旋轉矩陣的參數，由全景球的三個姿態角決定：φ（橫滾角）、ω（俯仰角）、κ（航向角），公式3。(就是當前車輛的IMU的姿態？)

第三步。用S2中對應點的坐標（Xs Ys Zs）計算全景球內成像點的極坐標P（B L R），其中B和L的含義如圖1所示，R為全景球的半徑；

第四步。用極坐標（B L）計算對應像點的像面坐標（x y ）；

第五步。根據對應圖像點的圖像平面坐標（x y）計算像素的坐標（m,n）。步驟4和步驟5可表示為式6和式7；

其中，Width表示全景圖像的寬度，Height表示全景圖像的高度。

第六步。用像素的RGB值指定對象點，如公式8所示；

其中，RGB（Xs Ys Zs）表示點（Xs Ys Zs）的RGB值，N表示圖像的序列號，RGB（m,n,N）表示像素(m,n)的RGB值

彩色點云的生成

本文的實驗數據由點云數據、全景圖像和圖像相關信息文件三部分組成。圖像的相關信息包括每個圖像在拍照時刻的文件路徑、位置、姿態和GPS時間。該系統中的點云數據是通過連續激光掃描獲得的。數據格式為以下：x，y，z代表三維坐標，t代表每秒GPS周期。全景圖像每5米采集一次。圖像的格式是BMP或JPEG。生成彩色點云的第一步是讀取這些數據。在本實驗中，點云數據掃描線之間的距離約為0.2米（速度約為40公里/小時），而相鄰兩幅全景圖像之間的距離為5米。全景圖像中的某些物體被其他物體遮擋，在相鄰的多幅全景圖像中物體的可見度不同。基于以上原因，生成彩色點云的第二步是為每個點選擇合適的全景圖像。針對這些問題，本文提出了以下對策。首先，根據GPS時間或幾何距離為每個點選擇最近的全景圖像。其次，分析點云在全景圖像中的可見度，如果當前圖像中的目標被遮擋，則選擇相鄰的全景圖像對點進行著色。但在進一步的應用中，具體的程序還需要根據實際數據的特點和需要進行調整。第三步計算目標點對應的圖像點的像素坐標，并將像素點的RGB值賦給目標點。對所有對象點執行相同的操作，直到生成顏色點云。

結果與分析

在本實驗中，彩色點云的效果主要受以下因素的影響：點云的精度、圖像的分辨率和幾何失真程度、點云與圖像的配準精度。本實驗使用的激光掃描儀是國產的RANGLE-II型激光掃描儀，點云數據的相對測量精度優于1cm。Ladybug 3是實驗中使用的全景相機，分辨率為2048×1024，在10米距離的誤差為1厘米，在50米的誤差為5厘米。當目標遠離攝影中心時，一個像素可能對應多個相鄰點，因此全景圖像的分辨率越高，點云的顏色就越豐富，精度也就越高，可采用試驗場定標法計算點云與圖像的配準參數

本文所用的實驗數據是由首都師范大學研制的車載激光掃描建模測量系統在廣州某高架橋路段采集的。激光點云數據如圖5所示，全景圖如圖6所示。通過本文提出的算法，自動生成圖7所示的彩色點云。將彩色點云與原始圖像進行比較，可以發現顏色完全一致，說明公式是正確的

對彩色點云數據的進一步分析表明，顏色對于點云的可視效果是非常好的。例如沿途的樹木、房屋和路燈等（如圖8所示）。即使當物體離攝影中心150米遠時，效果還是不錯的。但是，對于遮擋物和高層建筑頂部的物體，存在顏色混亂的問題。通過分析，其原因如下。首先，車輛位于高架橋上，路邊護欄部分遮擋了全景攝像頭的視線，使攝像頭無法在較低位置獲取圖像。在下一步的工作中，將對遮擋處理策略和捕獲路徑進行優化。其次，本系統配備的全景攝像頭存在一些問題。主要原因是相機的分辨率不夠。瓢蟲3的默認分辨率為2048×1024。攝影機的扭曲也會影響結果。未來，我們將開發一個由多個單反相機組成的高分辨率全向多攝像機系統，以取代現有的全景相機（ladybug 3），這將對實驗效果的提高起到重要作用

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

往期線上分享錄播匯總

第一期B站錄播之三維模型檢索技術

第二期B站錄播之深度學習在3D場景中的應用

第三期B站錄播之CMake進階學習

第四期B站錄播之點云物體及六自由度姿態估計

第五期B站錄播之點云深度學習語義分割拓展

第六期B站錄播之Pointnetlk解讀

[線上分享錄播]點云配準概述及其在激光SLAM中的應用

[線上分享錄播]cloudcompare插件開發

[線上分享錄播]基于點云數據的?Mesh重建與處理

[線上分享錄播]機器人力反饋遙操作技術及機器人視覺分享

[線上分享錄播]地面點云配準與機載點云航帶平差

如果你對本文感興趣，請后臺發送“知識星球”獲取二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的基于全景图像与激光点云配准的彩色点云生成算法（2014年文章）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。