SegMap: 3D Segment Mapping using Data-Driven Descriptors
SegMap：一種基于三維點云段提取的定位和映射問題的地圖表示解決方案
（1）促進處理3D點云的計算密集型任務
（2）解決了實時單機器人和多機器人系統的數據壓縮要求
（3）利用數據驅動描述符來提取有意義的特征，這些特征也可用于重建密集的環境3D地圖和提取語義信息

I. INTRODUCTION
SegMap：一種統一的地圖表示方法，用于3D LiDAR點云的定位和映射問題。
SegMap方法是在將點云劃分為多組描述性分段的基礎上形成的。
使用聚類技術獲得分段，這些技術能夠重復形成點云的類似分區。由此產生的分段為緊湊但有辨別力的特征提供了有效表示環境的手段。全局數據關聯通過段描述符檢索來識別，通過基于段的特征的可重復和描述性質來實現。使用基于段的功能有助于降低計算，內存和帶寬要求，因此該方法適用于多機器人和長期應用中的實時使用。此外，由于片段通常表示構成環境的有意義且不同的元素，因此可以通過一些緊湊的特征描述符有效地概括場景。

以前基于分段的本地化工作考慮了手工制作的特征并提供了稀疏表示[7]。
缺點：這些功能缺乏對不同環境進行推廣的能力，只能對底層3D結構提供有限的見解。
解決方法：引入一種新穎的數據驅動的段描述符克服了這些缺點，即使在視點變化的情況下也能提供高檢索性能。
此外，我們表明可以通過在描述符空間中執行分類來提取語義信息。
總而言之，本文提出了以下貢獻：
（1）一種新穎的數據驅動3D段描述符，可提高本地化性能
（2）基于用于本地化的相同緊湊特征重建環境的技術
（3）使用真實世界的多機器人汽車和災難情景數據集對SegMap方法進行廣泛評估

II. RELATED WORK
使用CNN進行3D點云定位的工作
使用深度神經網絡自動編碼器描述點的局部子集
使用變分自動編碼器重建體素化3D數據
我們的工作提出了一種基于數據驅動的基于段的定位方法，該方法可以實時操作并允許地圖重建和語義提取功能

III. THE SegMap APPROACH
在3D點云中進行本地化和映射的SegMap方法由五個核心模塊組成：段提取，描述，定位，地圖重建和語義提取（segment extraction, description, localization, map reconstruction, and semantics extraction）
它們共同允許單機器人和多機器人系統創建一個強大的統一表示，可以方便地進行通信。

Segmentation
（1）3D傳感器生成的點云流在動態體素網格中累積
（2）在機器人周圍的半徑R的區段中提取點云段
（3）增量區域增長算法用于通過僅使用新活動的體素作為種子來有效地生長片段

Description
（1）使用數據驅動描述符從這些3D分段點云中提取緊湊特征
（2）通過累積段質心和描述符在線創建全局段映射

Localization
（1）使用特征空間中的k-最近鄰（k-NN）在全局和本地段之間識別候選對應
（2）通過基于分段中心驗證候選對應關系的幾何一致性來進行定位（使用基于幾何一致性的劃分和緩存的增量識別策略來實現的）
（3）當識別出幾何一致的一組對應關系時，估計局部和全局地圖之間的6自由度（DoF）變換。 該變換被饋送到增量姿勢圖SLAM求解器，該求解器實時估計所有機器人的軌跡

Reconstruction & Semantics
壓縮表示可以隨時用于重建地圖和提取語義信息。由于SegMap描述符的緊湊性可以方便地通過帶寬有限的無線網絡傳輸，網絡中的任何代理都可以重建和利用這些3D信息。另一方面，語義信息可以例如用于辨別靜態和動態對象，這可以提高定位的穩健性。

IV. THE SegMap DESCRIPTOR
用于3D分段點云的數據驅動描述符，允許進行定位，地圖重建和語義提取。
（1）介紹了描述符提取器的體系結構和將點云輸入網絡的處理步驟（2）描述了用于訓練該描述符的技術，以完成段檢索和地圖重構的任務（3）展示了如何進一步使用描述符從點云中提取語義信息

A. Descriptor extractor architecture
描述符提取器的體系結構如圖2所示。
輸入：一個固定維度為32×32×16的3D二進制體素網格，它是根據經驗確定的，以便在描述性和網絡大小之間提供良好的平衡。
CNN的描述部分由三個3D卷積層組成，其中最大池層位于其間，兩個完全連接層。除非另有說明，否則整流線性單元（ReLU）激活功能用于所有層。
輸入段的原始比例作為附加參數傳遞給第一完全連接層，以增加不同縱橫比的體素化的穩健性。
通過取出提取器的最后一個完全連接層的激活來獲得描述符。
通過網格搜索各種參數找到了這種架構。

B. Segment alignment and scaling
需要預處理階段以輸入3D分段點云以進行描述。
首先，應用對齊步驟，使得從相同對象提取的段類似地呈現給描述符網絡。
這是在假設z軸與重力大致對齊并且通過應用位于區段內的所有點的2D主成分分析（PCA）的情況下執行的。
然后旋轉該段，使其參考系的x軸與對應于最大特征值的特征向量對齊。
我們選擇通過旋轉線段來解決方向上的模糊性，使得沿其參考系的y軸的下半部分包含最高點數。根據我們評估的多重對齊策略，所提出的策略效果最佳。網絡的輸入體素網格應用于線段，使其中心對應于對齊線段的質心。默認情況下，體素的最小邊長為0.1米。這些可以單獨增加以精確地適合具有比柵格大一個或多個尺寸的區段。雖然在縮放時保持縱橫比可以提供更好的檢索性能，但是這種具有最小邊長的單獨縮放可以更好地避免由混疊引起的大誤差。我們還發現，這種縮放方法提供了最佳的重建性能，當段的原始比例作為參數傳遞給網絡時，對檢索性能的影響最小。

C. Training the SegMap descriptor
目的：實現高檢索性能和重建能力
通過用于檢索的softmax交叉熵損失Lc和重建損失Lr，在網絡上施加兩個期望的目標。將兩個損失應用于描述符，并為此定義一個組合損失函數L，它合并兩個目標的貢獻。

Classification loss Lc
N路分類問題的學習技術
（1）將訓練數據組織成N個類，其中每個類包含段或屬于同一對象或環境部分的多個段的所有觀察
（2）將一個分類層附加到描述符，并教導網絡將分數與每個分段樣本的N個預測變量中的每一個相關聯，使用softmax交叉熵損失將這些分數與真實的類別標簽進行比較
（3）將先前完全連接的層的激活用作通過k-NN進行分段檢索的描述符

Reconstruction loss Lr
通過附加解碼器網絡并與描述符提取器和分類層同時訓練來實現地圖重建
該解碼器由一個完全連接和三個反卷積層組成，具有最終的S形輸出（描述符和解碼器網絡之間不共享權重）
使用二元交叉熵損失的一種特殊形式，用Lr表示

D. Knowledge transfer for semantic extraction
通過SegMap方法提取的用于定位和地圖重建的片段通常表示對象或對象的部分。因此，可以為這些段分配語義標簽，并使用此信息來提高本地化過程的性能。
我們通過在其上訓練語義提取網絡來傳輸嵌入在我們的緊湊描述符中的知識。
使用softmax交叉熵損失和凍結描述符網絡的權重，使用標記數據訓練該最后一個網絡。
在這項工作中，我們選擇訓練這個網絡，以區分三種不同的語義類別：車輛，建筑物和其他。第V-H節顯示該信息可用于增加定位算法對環境變化的穩健性并產生較小的地圖大小。這是通過從段候選列表中拒絕與潛在動態對象（例如車輛）相關聯的段來實現的。

總結

以上是生活随笔為你收集整理的【SegMap: 3D Segment Mapping using Data-Driven Descriptors】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。