點云PCL免費知識星球，點云論文速讀。

文章：Coarse-to-fine Semantic Localization with HD Map for Autonomous Driving in Structural Scenes

作者：Chengcheng Guo, Minjie Lin, Heyang Guo, Pengpeng Liang and Erkang Cheng

編譯：點云PCL

來源：arxiv 2021 (紐勱科技)

歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈。文章僅做學術分享，如有侵權聯系刪文。未經博主同意請勿擅自轉載。

公眾號致力于分享點云處理，SLAM，三維視覺，高精地圖相關的文章與技術，歡迎各位加入我們，一起每交流一起進步,有興趣的可聯系微信：920177957。本文來自點云PCL博主的分享，未經作者允許請勿轉載，歡迎各位同學積極分享和交流。

摘要

魯棒準確的定位是機器人導航和自動駕駛車輛的重要組成部分，而利用相機在高精地圖（HD map）種進行定位則提供了一種低成本的定位傳感器，現有的方法大多由于容易出錯的數據關聯性或初始姿勢要求準確性而導致位姿估計失敗。在本文中，我們提出了一種經濟高效的車輛定位系統，該系統使用相機作為主要傳感器，在具有高精地圖環境中用于自動駕駛，為此，我們將基于視覺的定位描述為一個數據關聯問題，將視覺語義信息映射到高精地圖中的路標。具體地說，系統初始化是通過結粗略的GPS（全球定位系統）測量值和精細位姿搜索以從粗到精的方式完成的，在跟蹤階段，通過將高精地圖中的圖像和路標之間的語義分割結果與光度一致性隱式對齊來精細化求解車輛位姿，最后，以滑動窗口方式通過位姿圖優化計算車輛位姿，我們在兩個數據集上評估了該方法，并證明了所提出的方法在不同的駕駛場景中產生了積極的定位結果，此外，我們的方法適用于單目攝像機和多攝像機，為定位系統提供了靈活性并提高了魯棒性。

主要貢獻

近年來，基于視覺的先驗環境地圖定位方法得到了廣泛的研究，主要有以下三種方式：

• 點云地圖與矢量格式地圖：定位中的先驗地圖可分為基于點云的地圖和矢量格式地圖，點云地圖可以由激光雷達或相機作為傳感器構建，與點云地圖相比，緊湊的矢量格式高精地圖輕量化，易于部署和更新。

• 基于特征的方法：利用環境中的低級幾何特征或高級語義特征建立圖像與地圖之間的關聯性。

• 直接法：不需要顯式的關鍵點檢測器或特征描述子，它可以自然地從所有具有強度梯度的圖像區域中采樣像素，例如，基于圖像梯度點的圖像對齊來估計幀間姿勢，利用邊緣特征進一步用于生成用于姿勢優化的深度圖像等。

該文章的目標是提供一個魯棒和準確的基于視覺的定位系統，結合矢量形式的高精地圖和圖像語義信息，提出了一種由粗到精的視覺定位方法，在系統初始化步驟中，由車載GPS提供粗略初始化，然后通過窮舉姿勢搜索進行細化，在跟蹤階段，通過將圖像語義感知與高精地圖中具有相同語義的地標對齊來估計姿態，具體地說，對于給定的一幅或多幅圖像，首先通過深度學習方法得到高精地圖中實體的語義分割結果，基于分割結果，利用類距離變換函數構建成本圖，最小化成本可以定義為成本地圖上地標的投影光度誤差，在附加車輪里程計信息的情況下，通過滑動窗口方案中的位姿圖優化計算最終位姿，最后，跟蹤丟失恢復模塊負責在跟蹤階段發生故障時重新初始化系統，該系統運行圖如圖1所示。

圖1 基于高精地圖的視覺定位運行效果

主要貢獻：

• 通過利用語義分割和高精地圖，提出了一個完整的視覺定位系統，包括初始化、跟蹤和跟蹤丟失恢復模塊。

• 我們的解決方案可靈活處理單目攝像頭和多攝像頭系統。

• 我們在兩個數據集上評估了我們的方法，并證明我們的方法在不同的駕駛場景中產生了積極的定位結果。

主要內容

圖2，提出的視覺定位系統概述，基于先驗的地圖、低成本GPS、輪速里程計輸入和攝像頭信息，可以以厘米級精度估計6自由度姿態

A.高精地圖

高精度地圖在自主駕駛中，通常是一種簡單且靈活的環境結構表達方式代表著駕駛場景，在車輛定位中，使用地圖元素路標（ lanemarkings ?LA）、桿狀物體（ pole-like objects ?PO）、標志牌（ signboards SB），這些元素由HD地圖中連續有序的三維點集合來描述，圖2的跟蹤部分中的圖形顯示了上述語義元素，在定位系統中，可以根據當前車輛位置和給定的搜索半徑查詢地圖元素，對于查詢到的地標，我們以固定長度間隔采樣點作為地標代表。

B.語義分割和后處理

為了找到高精地圖元素與圖像的對應關系，采用語義分割的方法提取圖像的語義特征，我們提出了一個輕量級的深度學習網絡，可以提供有效的分割結果，深度學習的主干是Resnet-18，并在Cityscape數據集上進行預訓練，該網絡是一個多頭部結構，每個頭部是高精地圖中一個元素（LA、PO或SB）的二進制分割，用于定位。通過使用語義分割圖進行非線性優化來實現車輛姿態估計，這里使用不同的后處理方法對高精地圖中的不同元素進行語義分割，給定車道和極點的分割結果，使用腐蝕和膨脹操作生成梯度圖像，對于標志地標，采用拉普拉斯變換提取邊緣信息，然后利用形態學運算得到平滑的梯度圖像。

圖3，距離變換和形態學運算的比較。左：車道標線分割圖像；中間：基于距離變換的代價或者成本圖；右：形態學操作后的代價圖。

圖3顯示了所提出方法使用的距離變換和形態學操作之間的圖像差異，形態學運算生成的代價圖更容易使姿態優化收斂到正確的結果，最后，將處理后的分割結果在[0,1]范圍內進行轉換。

C.初始化

初始化模塊的目的是在地圖坐標系中獲得相對精確的姿態估計，以便進行后續的姿態跟蹤步驟,我們以從粗到精的方式介紹了一種魯邦而精確的初始化方法，具體而言，是由兩個有效的GPS信息計算粗略的初始姿態Twb，由于車輛可能處于靜止狀態，兩個GPS點的距離設置為中值，車輛的x和y平面坐標設置為第二個有效點，根據地圖近地面元素搜索得到z坐標，此外，車輛的側傾角θx和俯仰角θy設置為零，偏航角θz設置為兩個選定測量的方向，為了獲得較高的初始化成功率和更精確的初始姿勢結果，通過在預定義網格中進行窮舉位姿搜索來細化粗略的初始姿勢，搜索和優化成本由所有語義地標的光度殘差之和定義，可以表示為：

在等式1中 ，Pw是地圖中元素{Ei}的3D世界坐標，Tbc是相對于車輛基線的相機外參，π是基于攝像機模型的投影函數，對于不同的姿態自由度，我們使用不同的搜索參數、搜索步長和搜索范圍。例如，車輛橫向位置的搜索步長和范圍設置為0.2m和[-10m，10m]，這涵蓋了車載GPS的誤差容限，最后，將具有最小代價的姿勢組合視為當前初始化幀的姿勢，通過CUDA加速實現了高效的計算。

D.跟蹤

在給定初始姿態后，進行跟蹤階段，基于語義特征和先驗地圖的估計車輛姿態，跟蹤模塊可分為三個步驟。首先，基于k時刻的姿態估計和其它傳感器輸入，如車輪里程測量值，預測k+1幀的車輛姿態。如果駕駛場景滿足縱向約束設置，則執行全局地圖步驟中的裁剪局部地圖，否則，首先應用縱向位置校正過程。

• 從全局地圖元素（LA、PO和SB）裁剪局部地圖將使用當前粗略的車輛姿勢在預定義的閾值距離內從全局地圖查詢，然后利用查詢到的局部地圖進行無漂移視覺定位，將地圖元素E投影回圖像點P。為了獲得精確的姿勢優化，P中的點在圖像空間中均勻采樣。

• 縱向位置校正如果駕駛場景不滿足縱向約束條件，經過長時間后，縱向定位可能會出現顯著漂移，這種縱向位置校正模塊能夠避免在惡劣環境條件下，特別是在長時間內，縱向定位的漂移問題。

其次，通過與高精地圖元素的圖像對齊來細化6自由度車輛姿態，基于圖像語義分割和形態學操作，已經建立了代價圖，通過非線性優化（Levenberg-Marquardt（LM））解決對準問題，如果場景中缺少垂直地標（如招牌或標桿），則通過計算θy、θz、ty和tz，首先估計θy、θz和ty，然后優化θy和tz。θx和tx不包括在內，因為當車輛在平地上行駛時，側傾角通常很小，并且當車輛和搜索車道相互平行時，車輛的縱向位移不可用，此外，為了折衷優化中缺少的側傾角度，車輛旋轉使用大范圍的通過暴力搜索進行微調。旋轉的搜索間隔設置為0.5度。

最后，為了使規劃模塊獲得更平滑的姿態，提高定位系統的魯棒性，采用了帶有滑動窗口的姿態圖，優化窗口中包含跟蹤良好的幀數據，如果滑動窗口的大小超過閾值，歷史記錄中的一幀將根據車輛狀態從滑動窗口中剔除。例如，如果車輛里程測量值接近零，則使用第二個最新幀，否則使用最舊幀。在姿態優化中，因子圖由兩部分組成，第一部分是每幀的先驗姿態因子，約束其視覺對齊的先驗分布，另一個是車輪里程計系數，它建立相鄰幀之間的連接，以確保平滑的姿勢輸出，位姿圖優化的總殘差如等式所示：

E.優化?

關于損失函數梯度的優化細節在以下方程式中推導，相對于優化狀態的誤差雅可比矩陣通常用于加速非線性優化方法（如高斯-牛頓法或LM法）的過程：

為了支持多攝像機觀測，優化狀態是車輛姿態而不是相機姿態，相機的外參Tbc用于車輛和攝像機坐標系之間的轉換，優化狀態中不包括相機外參數。單個圖像的優化結果如圖4所示。

圖4，將高精地圖元素投影到圖像的優化示例，初始姿勢投影為紅色，優化結果為綠色。

F.跟蹤丟失恢復系統

跟蹤系統可能在以下三種情況下丟失：

（1）車輛不在HD地圖的范圍內；

（2） 姿勢優化失敗的總數超過閾值；

（3） 嚴重遮擋的連續幀數超過閾值（例如，在語義地圖元素完全不可見的交通堵塞情況下會發生這種情況）。

跟蹤置信度計算模塊將根據上述統計指標確定系統狀態，當定位系統處于丟失狀態時，跟蹤丟失恢復模式被激活，丟失幀的姿勢替換為從車輪里程計推斷的備用姿勢，即優化前的姿勢，給定下一幀，為了激活跟蹤階段，系統再次進入初始化狀態。

實驗

本文在兩個數據集上對所提出的算法進行了評估：

• 第一個數據集包含上海約30公里的高架結構化場景，由第三方地圖供應商提供。地圖元素包括車道標記、標志牌和標桿，由于矢量格式的地圖表示，地圖的存儲大小為KB級。定位系統在多種情況下進行評估，包括各種天氣條件、光照強度和不同路線。

• 第二個數據集是公共Kaist數據集，由于Kaist數據集不提供所提出算法所需的語義地圖，因此利用激光雷達和慣性導航系統的立體相機數據和高精度定位姿態來構建語義地標地圖，定性和定量實驗結果用于評估該方法的準確性和魯棒性。

A.定性分析結果

精確定位可確保地圖元素在圖像上的投影與語義感知完全一致（如圖5（A））。

圖 5?高精地圖與圖像語義分割對齊示例

圖5列出了HD地圖和圖像語義分割之間的對齊示例。（b）-（g）的結果是（a）中使用的車輛姿態小擾動下的對準，角度擾動量為2度，平移擾動量為1米，我們可以看到，HD地標的投影隨著俯仰、偏航、y和z的擾動而變化很大，相比之下，投影結果受側傾角和車輛前進方向擾動的影響較小，此外，由于成像比例與車輛高度密切相關，車道標記投影將擴展到圖像邊界或收縮到具有錯誤車輛高度的圖像中心，因此，如果沒有標志牌或標桿，則優化階段不包括側傾角度和車輛縱向位置。

圖6，上海數據集的定性結果，不同場景的投影效果

上海數據集和Kaist數據集的投影結果如圖6和圖7所示，例如，不同場景的結果如圖6所示：（1-2）彎道；（3） 陽光明媚的日子里，長長的直道；（4） 多雨；（5） 擋風玻璃雨刮器阻擋部分圖像；（6） 分流匝道；（7） 低照度；（8-9）交通堵塞。我們的視覺定位系統在這些場景中實現了穩健的結果。

圖7，Kaist數據集的定性結果，左：矢量格式地標hdmap和投影結果，中間和右邊是兩個不同場景的投影結果

表中報告了幾種數據序列的定位精度評估。在實驗中，在序列3中使用寬攝像機（視場為120度），而在其他序列中使用具有42.5度視場的攝像機，平均旋轉誤差小于1度，橫向誤差和縱向誤差約為20cm，如果通過從順序中的任何幀初始化，在10幀內定位成功，則此幀將標記為初始化成功幀，初始化成功率可以通過手動標記和觀察來計算，我們提出的定位初始化策略實現了大約90%的成功率，初始化失敗主要是由于信號阻塞導致GPS信號差，此外，廣角攝像機在橫向上捕獲了更多的語義元素，提高了序列3的定位精度。

B.定量評估結果

由于加密問題，第三方地圖無法精確匹配全球導航衛星系統（GNSS）慣性導航系統Novatel的高精度軌跡。采用相對位姿誤差（RPE）作為定位精度的評價指標，由于橫向和縱向定位精度比其他指標更為關鍵，實驗中報告了這兩個誤差。

圖8 序列1的橫向和縱向定位誤差

C.場景變化挑戰

高精地圖通常無法及時更新，而我們提出的算法對小規模的城市環境變化具有魯棒性，此外，我們的方法能夠確定地圖的變化區域，這對定位和地圖應用具有重要意義。圖9顯示了在駕駛場景中改變的標志牌布局。我們的方法可以（1）實現魯棒定位

（2）根據攝像機和地圖之間的偏差報告地圖中的更新區域。

圖9，高精地圖沒有及時更新的例子，例如，場景中缺少幾個交通標志（青色的矩形表示）

D .支持多相機

視野為42.5度的前攝像機和視野為195度的后魚眼攝像機作為我們的多攝像機定位實驗傳感器設置，為了簡化計算，將原始魚眼圖像轉換為針孔圖像，圖10說明了使用兩個攝像頭和僅使用后攝像頭模擬前攝像頭禁用的定位結果，結果表明，即使前視攝像機失效，仍能獲得成功的定位結果，因此，多攝像機設置提高了定位系統的魯棒性和準確性。

圖10，多相機（如前后）視覺定位示例。（a） 前后都有相機。（b）前相機在系統中禁用

總結

在本文中，我們提出了一種基于視覺的定位系統，該系統使用輪速里程計、普通汽車配備的消費級GPS、高精地圖和攝像頭。該系統能夠處理單目和多攝像頭傳感器設置定位，并且證明了我們的系統對不同的環境條件和駕駛場景的變化具有魯棒性，并獲得了準確的定位結果。在未來的工作中，我們將把IMU引入定位系統，建立視覺慣性里程計和GNSS-IMU慣性導航系統，VIO系統和INS系統的姿態輸出將與我們算法的定位結果有效融合，形成一個實用的低成本批量生產定位系統。

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，請后臺發送“知識星球”獲取二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的自动驾驶车辆在结构化场景中基于HD-Map由粗到精语义定位的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。