文章：Monocular Localization in Urban Environments using Road Markings

作者：Yan Lu Jiawei Huang Yi-Ting Chen Bernd Heisele

編譯：點(diǎn)云PCL

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪除。歡迎各位加入免費(fèi)知識星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈。內(nèi)容如有錯誤歡迎評論留言，未經(jīng)允許請勿轉(zhuǎn)載！

對本文以及俯視圖生成點(diǎn)云，及點(diǎn)云路標(biāo)地圖感興趣的。與此相關(guān)的內(nèi)容分享有：

AVP-SLAM：自動泊車系統(tǒng)中的語義SLAM

RoadMap：面向自動駕駛的輕型語義地圖視覺定位方法

LaneLoc：基于高精地圖的車道線定位

其中有很多地方可以討論交流，歡迎各位大佬賜教！同時公眾號也將分享更多與此類型相關(guān)的文章,包括其引用文獻(xiàn)，敬請期待。

歡迎自動駕駛行業(yè)的小伙伴，按照“姓名+學(xué)校/公司”備注，添加微信“l(fā)y920177957”交流或者加入群聊。

摘要

定位問題是自動駕駛汽車自主導(dǎo)航的一個基本問題，本文提出了一種基于單目視覺的道路標(biāo)記定位方法，利用道路標(biāo)記作為地標(biāo)，而不是傳統(tǒng)的視覺特征（如SIFT）來解決定位問題，因?yàn)榈缆窐?biāo)記對時間、季節(jié)、視角和照明變化更具魯棒性，具體來說是使用倒角匹配將從圖像中檢測到的道路標(biāo)記邊界配準(zhǔn)到輕型3D地圖上，其中道路標(biāo)記表示為一組稀疏點(diǎn)，僅通過匹配道路幾何圖形，我們的光度匹配算法的魯棒性將進(jìn)一步提高，此外，還考慮了車輛里程計和極線幾何約束，并提出了一個非線性優(yōu)化問題來估計6自由度相機(jī)的姿態(tài)，采集的現(xiàn)實(shí)的數(shù)據(jù)評估了所提出的方法，實(shí)驗(yàn)結(jié)果表明，該方法在有足夠道路標(biāo)線的區(qū)域?qū)崿F(xiàn)了亞米級的定位誤差。

主要內(nèi)容

在這項(xiàng)工作中，主要利用一個單目相機(jī)實(shí)現(xiàn)定位，地圖不是由相機(jī)生成，該地圖通過在配準(zhǔn)3D激光雷達(dá)點(diǎn)云創(chuàng)建的場景環(huán)境后手動標(biāo)記地標(biāo)來構(gòu)建，如圖1所示

圖1 :（a）我們提出的基于優(yōu)化的定位系統(tǒng)概述

? ? ? ? ? (b） 通過優(yōu)化獲得的相機(jī)位姿，將點(diǎn)云（紅點(diǎn)）投影到相機(jī)視圖中。

該地圖由地標(biāo)（如道路標(biāo)記）的稀疏3D點(diǎn)云組成，這里只匹配道路特征的幾何體，而不是光度學(xué)，原因有兩個，首先，該地圖不包含很多關(guān)于地標(biāo)的外觀信息；其次，匹配幾何體允許針對外觀或照明變化進(jìn)行魯棒定位，在本文中提出了一種在給定地圖內(nèi)跟蹤6自由度相機(jī)姿態(tài)的方法，給定一幅圖像，該系統(tǒng)檢測道路標(biāo)線的邊緣，并計算檢測到的邊緣與圖像空間中投影的道路標(biāo)線點(diǎn)之間的倒角距離，然后，提出了一個非線性優(yōu)化問題來估計攝像機(jī)的姿態(tài)，該公式包含倒角距離、車輛里程計和極線約束的信息，我們的系統(tǒng)還檢測定位失敗，并在失敗后重新定位自身，實(shí)驗(yàn)結(jié)果表明，該方法在有足夠道路標(biāo)線的區(qū)域?qū)崿F(xiàn)了亞米級的定位誤差。

A 地圖

本文的地圖由地圖公司提供，由各種元素組成，包括道路標(biāo)記、路沿、交通標(biāo)志等，在本文中，我們僅使用兩種類型的道路標(biāo)記：實(shí)線和虛線。如圖所示，實(shí)線通常來自車道或人行橫道邊界，而折線通常存在于車道之間，選擇地圖元素子集的理由有兩個，首先，它們比限速標(biāo)志和轉(zhuǎn)向箭頭等其他元素更容易被觀察到，其次，由于其獨(dú)特的外觀（與路沿相比）和較大的尺寸（與交通標(biāo)志相比），它們相對容易從圖像中檢測出來。

用于定位的道路要素地圖

“道路標(biāo)記”僅指選定類型的道路標(biāo)記，道路標(biāo)記簡明地存儲在文本文件中，并按地理位置分組，如圖所示，道路標(biāo)記特征由一組3D點(diǎn)（沿其中心線采樣）以及其他信息（如寬度和顏色）表示。

道路要素的存儲形式表達(dá)

B.特征檢測

通過提取道路標(biāo)記的輪廓來進(jìn)行邊緣提取，在這里，采用了基于隨機(jī)森林的邊緣檢測器，并使用我們自己的圖像數(shù)據(jù)對其進(jìn)行重新訓(xùn)練，隨機(jī)森林是獨(dú)立決策樹的集合，每個樹都有相同的輸入樣本，并通過將其從根節(jié)點(diǎn)向下傳播到葉節(jié)點(diǎn)來對其進(jìn)行分類，通過給出一個初始未經(jīng)訓(xùn)練的具有多個輸入輸出映射的決策樹，其內(nèi)部分裂函數(shù)的參數(shù)將逐漸演化并產(chǎn)生相似的輸入輸出映射，通過定義信息獲取標(biāo)準(zhǔn)，可以實(shí)現(xiàn)此學(xué)習(xí)過程。

C 特征匹配

根據(jù)里程計信息，我們可以在時間k預(yù)測相機(jī)的姿勢p0k，然后將道路標(biāo)記點(diǎn)投影到圖像空間，為了評估投影點(diǎn)與檢測到的特征的匹配程度，使用了倒角匹配，該匹配基本上將每個投影點(diǎn)與最近的邊緣像素相關(guān)聯(lián)，通過距離變換可以有效地計算倒角距離，為了說明方向，根據(jù)邊緣像素的梯度方向?qū)⑵鋭澐譃椴煌慕M，并相應(yīng)地計算距離變換。

D 地圖檢索

給定預(yù)測的相機(jī)位置，從地圖中選擇距離相機(jī)一定距離（80m）內(nèi)的道路標(biāo)記子集，由于我們沒有來自地圖的中心島信息，我們無法預(yù)測是否存在遮擋，除非使用復(fù)雜的視覺技術(shù)，我們解決這個問題的方法是，在寬闊的道路上（超過15米），只在車輛行駛的一側(cè)使用道路標(biāo)記，這是因?yàn)榧词故菍掗煹缆返囊粋?cè)也有多條車道，因此有足夠的道路標(biāo)記用于定位。

E 優(yōu)化

為了估計相機(jī)的姿態(tài)，我們不僅使用了 Chamfer匹配，還考慮了其他約束。如下：

• Chamfer distance

• Epipolar constraint

• Odometry constraint

• Optimization formulation

實(shí)驗(yàn)

A 特征檢測測試

我們將的道路標(biāo)記檢測結(jié)果與以下算法進(jìn)行比較：Canny邊緣檢測、由RF-org表示的原始基于隨機(jī)森林的邊緣檢測器和車道標(biāo)記檢測（LMD）算法，我們使用RF-re表示使用我們的道路標(biāo)記數(shù)據(jù)重新訓(xùn)練的基于隨機(jī)森林的邊緣檢測器。其結(jié)果對比如下

用于特征檢測比較的樣本圖像

邊緣檢測算法的精度召回曲線比較

B 定位測試

左：定位測試圖。右：測試路線疊加在谷歌地圖上的顯示

測試數(shù)據(jù)中面臨的定位挑戰(zhàn)

總結(jié)

定位問題是自動駕駛的關(guān)鍵問題，本文提出了一種基于單目視覺的道路標(biāo)線定位算法，我們選擇道路標(biāo)記作為定位的地標(biāo)，而不是傳統(tǒng)的視覺特征（如SIFT），因?yàn)榈缆窐?biāo)記對時間、視角和照明變化更具魯棒性，這里采用Chamfer匹配將圖像中檢測到的道路標(biāo)記與其在輕型地圖中的表示進(jìn)行配準(zhǔn)。我們進(jìn)一步考慮了車輛里程計和極線幾何約束，并制定了一個非線性優(yōu)化問題，以獲得6自由度相機(jī)姿態(tài)。我們根據(jù)真實(shí)環(huán)境中收集的數(shù)據(jù)對所提出的方法進(jìn)行了評估，實(shí)驗(yàn)結(jié)果表明，盡管數(shù)據(jù)收集間隔數(shù)月，我們的方法實(shí)現(xiàn)了亞米定位誤差，同時，我們知道，當(dāng)?shù)缆窐?biāo)線缺失或稀疏時，提出的的方法將不適用，因此，我們將研究在未來使用其他類型的地標(biāo)來實(shí)現(xiàn)更穩(wěn)健的定位。

資源

三維點(diǎn)云論文及相關(guān)應(yīng)用分享

【點(diǎn)云論文速讀】基于激光雷達(dá)的里程計及3D點(diǎn)云地圖中的定位方法

3D目標(biāo)檢測：MV3D-Net

三維點(diǎn)云分割綜述（上）

3D-MiniNet: 從點(diǎn)云中學(xué)習(xí)2D表示以實(shí)現(xiàn)快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實(shí)現(xiàn)點(diǎn)云可視化GUI

JSNet：3D點(diǎn)云的聯(lián)合實(shí)例和語義分割

大場景三維點(diǎn)云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規(guī)模點(diǎn)云的顯示

基于局部凹凸性進(jìn)行目標(biāo)分割

基于三維卷積神經(jīng)網(wǎng)絡(luò)的點(diǎn)云標(biāo)記

點(diǎn)云的超體素(SuperVoxel)

基于超點(diǎn)圖的大規(guī)模點(diǎn)云分割

更多文章可查看：點(diǎn)云學(xué)習(xí)歷史文章大匯總

SLAM及AR相關(guān)分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統(tǒng)中的語義SLAM

【點(diǎn)云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM

SLAM和AR綜述

常用的3D深度相機(jī)

AR設(shè)備單目視覺慣導(dǎo)SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實(shí)時重建的語義SLAM系統(tǒng)

SLAM綜述(3)-視覺與慣導(dǎo)，視覺與深度學(xué)習(xí)SLAM

易擴(kuò)展的SLAM框架-OpenVSLAM

高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚眼相機(jī)的SLAM方法介紹

如果你對本文感興趣，請后臺發(fā)送“知識星球”獲取二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費(fèi)知識星球，免費(fèi)下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內(nèi)容如有錯誤請留言評論，歡迎指正交流。如有侵權(quán)，請聯(lián)系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關(guān)注我們

讓我們一起分享一起學(xué)習(xí)吧！期待有想法，樂于分享的小伙伴加入免費(fèi)星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點(diǎn)云，高精地圖，自動駕駛，以及機(jī)器人等相關(guān)的領(lǐng)域。

分享及合作方式：微信“920177957”（需要按要求備注） 聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來聯(lián)系公眾號展開合作。

點(diǎn)一下“在看”你會更好看耶

總結(jié)

以上是生活随笔為你收集整理的基于道路标线的城市环境单目定位的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。