高精地图:激光雷达点云与高精地图融合
高精地圖:激光雷達(dá)點(diǎn)云與高精地圖融合
定位精度和更新頻率是高精定位的顯著特征。
實(shí)現(xiàn)該定位方案的三個(gè)關(guān)鍵環(huán)節(jié):
? 高精地圖的絕對(duì)坐標(biāo)精度,以及包含道路信息的豐富、細(xì)致程度;
? 攝像頭、激光雷達(dá)等設(shè)備的感知能力;
? 匹配算法的性能。此外還有不依靠高精地圖支持,單純通過(guò)視覺(jué)里程算法實(shí)現(xiàn)定位的思路。據(jù)高德高精地圖團(tuán)隊(duì)谷小豐透露,高德基于“激光雷達(dá)+攝像頭”的相對(duì)位置定位方案,能夠?qū)崿F(xiàn)平均誤差 9cm 的定位精度。
相對(duì)位置與絕對(duì)位置代表,思考高精定位的不同視角,在實(shí)際運(yùn)用中是兼而有之。自動(dòng)駕駛汽車在實(shí)際行駛過(guò)程中,會(huì)遭遇各種路況環(huán)境,比如衛(wèi)星信號(hào)中斷、視線模糊、激光雷達(dá)反射遮擋等,以及尚未遭遇到的“長(zhǎng)尾案例”。為實(shí)現(xiàn) L3 及更高級(jí)別的自動(dòng)駕駛,僅僅依靠某一定位方案遠(yuǎn)遠(yuǎn)不夠,而需要多傳感器、多系統(tǒng)的融合定位方案。
相對(duì)位置:點(diǎn)云匹配與視覺(jué)定位
絕對(duì)位置定位以地球?yàn)閰⒖枷?#xff0c;相對(duì)位置定位以當(dāng)前駕駛場(chǎng)景為參考系。相對(duì)位置定位思路,與人類駕駛過(guò)程更為類似:人類駕駛員在駕駛過(guò)程中,通過(guò)視覺(jué)觀察周圍場(chǎng)景中的物體,包括建筑、路緣、標(biāo)志線等,經(jīng)過(guò)比對(duì)判斷車輛,在當(dāng)前場(chǎng)景中的位置。
類似地,自動(dòng)駕駛汽車通過(guò)高清攝像頭、激光雷達(dá)等感知設(shè)備獲取周圍場(chǎng)景內(nèi)物體的圖像或反射信號(hào),與事先采集的高精地圖數(shù)據(jù),進(jìn)行匹配,從而獲取對(duì)車輛當(dāng)前位置的精確估計(jì)。
相對(duì)位置定位可以分為(激光雷達(dá))點(diǎn)云匹配和視覺(jué)定位兩大技術(shù)路線。點(diǎn)云匹配以激光雷達(dá)為核心:激光雷達(dá)向外發(fā)射激光脈沖,從地面或物體表面反射,形成多個(gè)回波,返回到激光雷達(dá)傳感器,經(jīng)處理后的反射數(shù)據(jù)稱為點(diǎn)云數(shù)據(jù)。
采集到的點(diǎn)云數(shù)據(jù)與高精地圖進(jìn)行匹配,以實(shí)現(xiàn)汽車在當(dāng)前場(chǎng)景的高精定位,目前主流的匹配算法,包括概率地圖與 NDT (正態(tài)分布變換)算法兩種,代表玩家如 Google、HERE、TomTom。
視覺(jué)定位以攝像頭為核心,分為兩種路徑:視覺(jué)匹配與視覺(jué)里程定位。視覺(jué)匹配通過(guò)提取圖像中的道路標(biāo)識(shí)、車道線等參照物體與高精地圖進(jìn)行匹配,實(shí)現(xiàn)精準(zhǔn)定位,代表玩家如特斯拉、Mobileye、英偉達(dá)。基于視覺(jué)里程算法的定位技術(shù),以雙目攝像頭為主,通過(guò)圖像識(shí)別,以及前后兩幀圖像之間的特征關(guān)系,計(jì)算車輛當(dāng)前位置。
但該方案依賴攝像頭的成像質(zhì)量,在光線不佳、視線遮擋等環(huán)境下定位可靠性有待考量,一般不會(huì)單獨(dú)使用。不管是點(diǎn)云匹配還是視覺(jué)定位,在實(shí)際運(yùn)用中,都并非單純依靠某一種感知設(shè)備,而是實(shí)現(xiàn)包括 GNSS/RTK 定位、IMU、雷達(dá)在內(nèi)多套子系統(tǒng)的融合。
絕對(duì)位置與相對(duì)位置互為結(jié)合,互為補(bǔ)充
高精度定位由多個(gè)定位導(dǎo)航子系統(tǒng)交叉組成,彼此之間相互冗余。按照百度 Apollo的劃分,適用于自動(dòng)駕駛汽車的定位技術(shù),可由六部分組成,分別為:慣性導(dǎo)航(定位)、衛(wèi)星定位、磁力導(dǎo)航(定位)、重力導(dǎo)航(定位)、激光點(diǎn)云定位、視覺(jué)定位。不同部分之間優(yōu)勢(shì)互補(bǔ),定位結(jié)果之間相互重疊以矯正誤差,提高定位精度和魯棒性。
地面標(biāo)識(shí)種類繁多:實(shí)際場(chǎng)景中地面標(biāo)識(shí)種類繁多,在內(nèi)容、顏色、形狀、尺寸等方面均有不同分布。
顏色:比如黃色、紅色、白色等
形狀:箭頭形、各種文字?jǐn)?shù)字形狀、條形、多條形、面狀、丘狀等
尺寸:國(guó)標(biāo)定義的標(biāo)準(zhǔn)箭頭長(zhǎng)度為9m,但也存在1m~2m甚至1m以下的地面標(biāo)識(shí)元素,尤其減速帶,人行道等,尺寸差異會(huì)更大,反映到圖像中像素個(gè)數(shù),以及長(zhǎng)寬比,均會(huì)有較大差異。
圖1. 部分地面標(biāo)識(shí)
磨損壓蓋多:地面元素長(zhǎng)年累月受車輛、行人等碾壓會(huì)造成磨損,經(jīng)常存在的堵車等場(chǎng)景,更是加大了地面要素被遮擋的可能。從激光雷達(dá)獲取的點(diǎn)云數(shù)據(jù),由相機(jī)獲取的可見(jiàn)光圖像數(shù)據(jù)的質(zhì)量,均參差不齊,對(duì)地面標(biāo)志識(shí)別,帶來(lái)了極大的挑戰(zhàn)。
常見(jiàn)的問(wèn)題如下所示,示例如圖2所示。
地面標(biāo)識(shí)磨損:地面標(biāo)志由于磨損褪色、掉漆導(dǎo)致不完整或者嚴(yán)重不清晰
采集環(huán)境問(wèn)題:遮擋(施工、車輛)、由于環(huán)境改變引起的材料激光反射率差異,可見(jiàn)光不清晰(雨天、逆光等)。
圖2. 自然場(chǎng)景下拍攝的地面標(biāo)識(shí)
4. 識(shí)別起步
地面標(biāo)識(shí)識(shí)別,將地面標(biāo)識(shí)這部分區(qū)域提取出來(lái),則最直觀的是對(duì)其進(jìn)行閾值分割、骨架提取、連通域分析等傳統(tǒng)方法。首先獲取點(diǎn)云中地面點(diǎn)集合,接著獲取集合中高反射率部分的骨架集合,然后對(duì)每個(gè)局部骨架區(qū)域,計(jì)算強(qiáng)度截?cái)嚅撝?#xff0c;最后對(duì)區(qū)域進(jìn)行連通區(qū)域搜索,以及附加降噪措施等。
另外也嘗試了GrabCut等算法在地面標(biāo)志上的提取,GrabCut算法對(duì)前景和背景分別聚類,得到k組類似的像素集合,對(duì)前景和背景,分別進(jìn)行高斯混合模型(GMM)建模,判斷像素屬于地面標(biāo)志還是背景。在提取疑似地面標(biāo)識(shí)區(qū)域后,再經(jīng)過(guò)機(jī)器學(xué)習(xí)模型(SVM等),進(jìn)行細(xì)分類以獲得更好的識(shí)別效果。
圖3. 傳統(tǒng)提取方法識(shí)別結(jié)果
由上圖可以看到,對(duì)于一些前后景區(qū)分比較好的地面標(biāo)識(shí)提取的比較好,但是針對(duì)有磨損、模糊、前景背景相似、背景復(fù)雜等情況均效果欠佳,容易漏召回且位置精度不高,魯棒性不強(qiáng)。
5.深度學(xué)習(xí)時(shí)代
2012年Hinton團(tuán)隊(duì)提出的Alexnet網(wǎng)絡(luò),贏得了2012年圖像識(shí)別大賽冠軍,相比傳統(tǒng)方法獲得顯著提升,CNN在圖像領(lǐng)域有了明顯優(yōu)勢(shì)。近幾年,基于深度學(xué)習(xí)的檢測(cè)識(shí)別技術(shù),得到了很大發(fā)展。
深度學(xué)習(xí)時(shí)代是數(shù)據(jù)和硬件驅(qū)動(dòng)的時(shí)代,結(jié)合部分人工標(biāo)注以及自動(dòng)化生成,擁有百萬(wàn)級(jí)的數(shù)據(jù),而且各種場(chǎng)景的數(shù)據(jù)還在不斷豐富,結(jié)合算法探索與創(chuàng)新,取得了越來(lái)越好的技術(shù)與業(yè)務(wù)效果。
目前檢測(cè)識(shí)別技術(shù)主要分為兩大方向:Two-Stage(如RCNN系列)和One-stage(SSD、YOLO等)。Two-Stage網(wǎng)絡(luò)優(yōu)勢(shì)在于效果整體較好,識(shí)別位置較精確,對(duì)小目標(biāo)檢測(cè)也有一定的競(jìng)爭(zhēng)力。
One-stage檢測(cè)識(shí)別方法優(yōu)勢(shì),在于處理速度較快。高精地圖不僅需要較高的識(shí)別性能、也需要有足夠高的識(shí)別位置精度,選擇了準(zhǔn)確率較高的Two-stage大方向。
1)R-FCN檢測(cè)
結(jié)合位置敏感得分圖(position-sensitive score map)和位置敏感降采樣(position-sensitive roi pooling)等操作,R-FCN算法在目標(biāo)檢測(cè)識(shí)別上,獲得了較高的性能和位置精度,選擇了R-FCN檢測(cè)算法,實(shí)現(xiàn)對(duì)地面標(biāo)識(shí)的檢測(cè)識(shí)別。
R-FCN算法基于深度學(xué)習(xí)的方法,通過(guò)學(xué)習(xí)大量實(shí)際場(chǎng)景樣本,在泛化性上取得了比較大的提升,自動(dòng)化識(shí)別,對(duì)于不同場(chǎng)景的識(shí)別能力有所提高,地面標(biāo)識(shí)召回率,得到了較大的改善。算法示意圖如下所示:
圖4. R-FCN算法示意圖
以下為一些地面標(biāo)識(shí)檢測(cè)識(shí)別示例:
圖5. R-FCN算法地面標(biāo)識(shí)識(shí)別示例
引入深度學(xué)習(xí),極大的改善了高精地圖地面標(biāo)識(shí),自動(dòng)識(shí)別的性能,地面標(biāo)識(shí)召回得到了很大提升,美中不足,R-FCN存在著一個(gè)弊端,輸出的最終檢測(cè)位置,基于地面標(biāo)識(shí)類別的得分,往往得分最高的位置,不一定跟實(shí)際位置最貼合,在位置預(yù)測(cè)精度上,R-FCN并不完美。
2)級(jí)聯(lián)檢測(cè)器
隨著深度學(xué)習(xí)的發(fā)展,業(yè)界對(duì)目標(biāo)檢測(cè)識(shí)別位置精度的要求不斷提高,更多高精度檢測(cè)識(shí)別算法被提了出來(lái),如Iou-Net等。
適時(shí)采用了更加先進(jìn)的識(shí)別算法,獲得更加精準(zhǔn)的位置精度,滿足產(chǎn)線業(yè)務(wù)需求,結(jié)合級(jí)聯(lián)檢測(cè),利用Deformable-Conv自適應(yīng)感受野等技術(shù),提升算法識(shí)別精度。
算法不同于傳統(tǒng)算法,對(duì)roi進(jìn)行一次預(yù)測(cè)回歸,得到最終位置,而是通過(guò)級(jí)聯(lián)的形式,不斷修正預(yù)測(cè)的位置和實(shí)際位置的偏差,每經(jīng)過(guò)一個(gè)級(jí)聯(lián)回歸器,算法識(shí)別結(jié)果均會(huì)更加貼合真值,非常有利于提高識(shí)別精度,契合高精地圖,對(duì)目標(biāo)位置精度的高要求,最后在召回和位置精度上,達(dá)到更好的效果。
圖6.級(jí)聯(lián)檢測(cè)算法原理圖
以下為一些算法識(shí)別結(jié)果示例:
圖7. 級(jí)聯(lián)檢測(cè)算法識(shí)別示例
通過(guò)引入級(jí)聯(lián)形式的檢測(cè)識(shí)別模型,令高精產(chǎn)線自動(dòng)識(shí)別能力,在識(shí)別精度上,得到了不錯(cuò)的提升,但對(duì)自動(dòng)識(shí)別位置精度提升的挖掘是無(wú)止盡的,有了以下的方案。
3)級(jí)聯(lián)檢測(cè) + 局部回歸
設(shè)想一下,如果在地面標(biāo)識(shí)區(qū)域,進(jìn)行局部的位置回歸,網(wǎng)絡(luò)就能夠聚焦到更加細(xì)微的地面標(biāo)識(shí)區(qū)域,最終得到更加接近邊界的位置。結(jié)合實(shí)際在做地面標(biāo)志識(shí)別時(shí),將容易造成精度問(wèn)題的部分單獨(dú)做位置精修,得到了更加精細(xì)的位置。
以下為部分算法識(shí)別結(jié)果示例:
圖8. 算法識(shí)別示意圖
采用檢測(cè)+回歸技術(shù)方案,實(shí)現(xiàn)了更加好的位置檢測(cè)精度,讓離“真實(shí)世界”更進(jìn)了一步。其缺點(diǎn)是技術(shù)方案流程較長(zhǎng),不夠簡(jiǎn)潔美觀。
4)基于角點(diǎn)的檢測(cè)
基于角點(diǎn)回歸的目標(biāo)檢測(cè)方法,使用單個(gè)卷積神經(jīng)網(wǎng)絡(luò),預(yù)測(cè)兩組熱力圖,表示不同物體類別的角的位置,將目標(biāo)邊界框檢測(cè)為一對(duì)關(guān)鍵點(diǎn)(即邊界框的左上角和右下角),每個(gè)檢測(cè)到的角點(diǎn)的嵌入向量。角點(diǎn)用于確定目標(biāo)位置,嵌入向量用于對(duì)屬于同一目標(biāo)的一對(duì)角點(diǎn),進(jìn)行分組。
此種方法簡(jiǎn)化了網(wǎng)絡(luò)的輸出,通過(guò)將目標(biāo)檢測(cè)為成對(duì)關(guān)鍵點(diǎn),消除了現(xiàn)有的檢測(cè)器設(shè)計(jì)中,對(duì)特征層需要大量anchors的弊端,大量anchors造成了大量的重疊,以及正負(fù)樣本不均衡。同時(shí)為了產(chǎn)生更緊密的邊界框,網(wǎng)絡(luò)還預(yù)測(cè)偏移,以精細(xì)調(diào)整角點(diǎn)的位置。通過(guò)預(yù)測(cè)熱力圖、嵌入向量、偏移,最終得到了精確的邊界框。
圖 9 角點(diǎn)檢測(cè)示意圖
由于在檢測(cè)任務(wù)中,需要獲取相同尺寸的特征圖,對(duì)目標(biāo)進(jìn)行位置回歸、類別分類等,算法會(huì)進(jìn)行量化,降采樣等操作,不可避免會(huì)有精度上的損失。這個(gè)弊端帶來(lái)的最大影響,就是經(jīng)由檢測(cè)回歸出的位置不夠魯棒,在某些情況下,出現(xiàn)或多或少的偏移。
5)級(jí)聯(lián)檢測(cè) + 分割精修
隨著語(yǔ)意分割技術(shù)的不斷成熟,基于深度學(xué)習(xí)的語(yǔ)意分割,已經(jīng)能夠?qū)⑤斎雸D像,進(jìn)行像素級(jí)的分類,精度也越來(lái)越高,圖片中要素的輪廓越來(lái)越精細(xì)。
采用以resnet 為主干的分割模型,結(jié)合了自適應(yīng)感受野、多尺度融合、Coarse-Fine融合、感興趣區(qū)域注意力機(jī)制等技術(shù),實(shí)現(xiàn)了對(duì)地面標(biāo)識(shí)的像素級(jí)分割。
為了獲取地面標(biāo)識(shí)的實(shí)體信息,仍然用檢測(cè)來(lái)確定地面標(biāo)識(shí)大致位置,最終由對(duì)應(yīng)區(qū)域的地面標(biāo)識(shí)分割語(yǔ)義信息,獲取最終精確的地面標(biāo)識(shí)位置。
圖10.地面標(biāo)識(shí)分割示意圖
以下為部分檢測(cè)結(jié)合精修示例圖:
圖11. 分割精修示例
語(yǔ)義分割的引入,使得地面標(biāo)識(shí)的識(shí)別位置精度,得到了改善,解決了由檢測(cè)帶來(lái)的,識(shí)別位置精度不魯棒的問(wèn)題,使得高精地圖地面標(biāo)識(shí)自動(dòng)化效果,上了一個(gè)新的臺(tái)階。
但是這種方法稍顯繁瑣,而且檢測(cè)和分割任務(wù),需要耗費(fèi)大量GPU資源,一張圖片,需要同時(shí)多次GPU運(yùn)算,加上后續(xù)的CPU后處理融合,才能夠得到最終的結(jié)果,如果能夠?qū)⑦@些步驟優(yōu)化,必然能夠簡(jiǎn)化流程,節(jié)省大量運(yùn)算資源。
6)PAnet
基于以上考慮,采用了基于PAnet的檢測(cè)識(shí)別算法。傳統(tǒng)的實(shí)例分割模型,各層中的信息傳播不夠充分。PAnet較好的解決了這些問(wèn)題,充分融合了coarse、fine特征,不僅有自頂向下的特征融合,還結(jié)合了自底向上的特征融合,在高層特征中,充分融合進(jìn)了底層的強(qiáng)定位特征,解決了淺層特征信息丟失的問(wèn)題。
結(jié)合了自適應(yīng)特征降采樣,將不同特征層進(jìn)行融合提取roi特征做預(yù)測(cè),添加額外mask前景背景分類分支,使得預(yù)測(cè)mask更加精確,結(jié)合對(duì)于目標(biāo)檢測(cè)位置精度,有比較大的收益。分割和檢測(cè)任務(wù)結(jié)合,能夠互相促進(jìn)取得更好的結(jié)果。
圖 12 PAnet 示意圖
以下為一些算法的識(shí)別結(jié)果示例。可以看到,算法對(duì)部分磨損模糊的地面標(biāo)識(shí),也有了一定的寬容度,位置精度有了巨大的改善。(圖中地面標(biāo)識(shí)外框?yàn)闄z測(cè)得到的大概位置,內(nèi)框?yàn)楦鶕?jù)像素級(jí)分割得到的位置,取內(nèi)框?yàn)榈孛鏄?biāo)識(shí)最終位置)。
圖 13 檢測(cè)識(shí)別實(shí)例
采用上述方案,需要將點(diǎn)云投影為2D空間,中間有一定的歸一化量化操作,不可避免的會(huì)損失一些信息,在一些點(diǎn)云反射率較低的地方,容易造成目標(biāo)丟失。如果能夠在原始3維點(diǎn)云上,提取這些問(wèn)題就迎刃而解。
7)基于3維點(diǎn)云的目標(biāo)檢測(cè)
基于上面的考慮,探索原始點(diǎn)云上的3D物體檢測(cè),3D點(diǎn)云識(shí)別,各種真實(shí)世界應(yīng)用的一個(gè)重要組成部分,如自主導(dǎo)航、重建、VR/AR等。與基于圖像的檢測(cè)相比,激光雷達(dá)提供可靠的深度信息,可以用于精確定位物體,表征形狀。
探索了多種3維點(diǎn)云識(shí)別算法,比如基于bird-view、voxel等的3維點(diǎn)云識(shí)別。由于PointRCNN在原始3維點(diǎn)云目標(biāo)檢測(cè)上的良好表現(xiàn),采用基于PointRCNN的方法,提取地面標(biāo)識(shí),整個(gè)檢測(cè)框架包括兩個(gè)階段:第一階段將整個(gè)場(chǎng)景的點(diǎn)云分割為前景點(diǎn)和背景點(diǎn),自下而上的方式,直接從點(diǎn)云生成少量高質(zhì)量的3D proposal。
第二階段在規(guī)范坐標(biāo)中,修改候選區(qū)域獲得最終的檢測(cè)結(jié)果,將每個(gè)proposal經(jīng)池化后,轉(zhuǎn)換為規(guī)范坐標(biāo),以便更好地學(xué)習(xí)局部空間特征,同時(shí)與第一階段中全局語(yǔ)義特征相結(jié)合,用于預(yù)測(cè)Box優(yōu)化和置信度預(yù)測(cè)。
圖 14 3維點(diǎn)云檢測(cè)
7. 效果與收益
大數(shù)據(jù)的支撐使得算法,擁有更好的魯棒性與識(shí)別能力。結(jié)合算法中各種策略,以及多種數(shù)據(jù)源(點(diǎn)云、可見(jiàn)光等),在不斷提升地面標(biāo)識(shí)識(shí)別精度,其位置精度在Ground Truth 5cm范圍區(qū)間內(nèi)達(dá)到99%以上,召回也達(dá)到了99.99%以上,各項(xiàng)指標(biāo)都得到了穩(wěn)步提升。
上述方案已經(jīng)正式上線,并處理了大量數(shù)據(jù),準(zhǔn)召率都達(dá)到了生產(chǎn)作業(yè)的要求,同時(shí)算法對(duì)人工作業(yè)產(chǎn)線的效率提升,作用日益提高。以下是部分效果圖:
圖15. 地面標(biāo)識(shí)檢測(cè)效果圖
8. 總結(jié)
高精地圖被稱作自動(dòng)駕駛系統(tǒng)的“眼睛“,與普通地圖最大的不同點(diǎn),在于使用主體不同。普通導(dǎo)航地圖的使用者是人,用于導(dǎo)航、搜索,而高精地圖的使用者是計(jì)算機(jī),用于高精度定位、輔助環(huán)境感知、規(guī)劃與決策。高精地圖對(duì)地圖要素,不僅需要極高的召回率,還需要非常高的位置精度。
高精地圖中要素的識(shí)別,對(duì)技術(shù)提出了比較高的要求,縱觀整個(gè)高精地圖產(chǎn)業(yè)發(fā)展,地圖制作逐漸從純?nèi)斯?#xff0c;過(guò)渡到半自動(dòng)乃至全自動(dòng)。期間識(shí)別技術(shù),也不斷得到發(fā)展與完善,從手動(dòng)構(gòu)造特征到自動(dòng)特征、從2維識(shí)別到3維以及更高維識(shí)別、從單源識(shí)別到多源融合等。
目前,高精地圖多采用人工作業(yè),人工作業(yè)質(zhì)量和效率始終是一個(gè)矛盾點(diǎn),相比之下,機(jī)器自動(dòng)識(shí)別,有著更高的效率、更低的作業(yè)成本,不亞于人工的作業(yè)質(zhì)量。自動(dòng)識(shí)別的應(yīng)用,必將加速高精地圖構(gòu)建,推動(dòng)高精地圖產(chǎn)業(yè)發(fā)展。高精度地面標(biāo)識(shí)識(shí)別技術(shù),已經(jīng)在高德高精地圖內(nèi)部得到應(yīng)用,有效提升了數(shù)據(jù)制作效率與制作質(zhì)量,為高德構(gòu)建高精地圖,提供堅(jiān)實(shí)的技術(shù)支撐。
參考鏈接:
http://news.eeworld.com.cn/mp/ICVIS/a95793.jspx
https://www.cnblogs.com/amap_tech/p/11857909.html
總結(jié)
以上是生活随笔為你收集整理的高精地图:激光雷达点云与高精地图融合的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 分离栅VDMOS
- 下一篇: 英文简历如何选择字体?