點擊上方“3D視覺工坊”，選擇“星標”

干貨第一時間送達

文章：Automatic Building and Labeling of HD Maps with Deep Learning

作者：Mahdi Elhousni, Yecheng Lyu, Ziming Zhang, Xinming Huang

翻譯：particle

論文閱讀模塊將分享點云處理，SLAM，三維視覺，高精地圖相關的文章。公眾號致力于理解三維視覺領域相關內容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯系微信dianyunpcl@163.com。

●論文摘要

在一個自動駕駛汽車越來越普遍的世界里，為這項新技術創造一個足夠的基礎設施是至關重要的。而這項基礎設施就包括準確有效地構建帶有標簽的高精地圖。如今，制作高精地圖的過程需要大量的人工投入，這種方式不僅需要時間，而且容易出錯。在這篇論文中，我們提出一個新的方法，能夠從原始傳感器數據中通過AI自動生產帶有標記的高精地圖。使用從測試車輛收集的數據，在多個城市場景中實施并測試了我們的方法。結果表明，所提出的基于深度學習的方法可以生成高精度的地圖。這種方法加快了高精地圖的生產和標注過程，為自動駕駛車輛的部署做出了有意義的貢獻。

●?相關工作與介紹

深度學習是自動駕駛的催化劑，在車道線以及障礙物的檢測都十分出色，有時在激光雷達的融合下能夠緩解深度和二位圖像的精度問題，這有助于汽車安全駕駛，讓汽車更智能的遵守交通規則。然而自動駕駛僅僅基于深度學習和相機的方法是注定失敗的，因為相機的主要缺陷是受環境的亮度影響較大，那么這個弱點就需要將相機的數據與更加精確的傳感器數據來融合彌補，那就是高精地圖。

高精地圖是三維點云和相關予以信息的組合，3D的點云可用于車輛的定位，為了能夠進行自主導航，所以需要構建點云數據的車道，道路和交通標志等位置信息，但是由于點云沒有顏色信息，標記的點云數據上的標記位置明顯缺乏準確性。僅僅依賴點云的強度將會導致更多的噪聲數據，因此本文提出了基于深度學習的自動完成高精地圖標注和生成的方法，并且與其他方法結合，以提高標注的準確性和魯棒性，文章的主要貢獻可以概括為一系列算法和流程，旨在為城市自動駕駛自動生成和標記高精地圖。

●?內容精華

地圖構建流程

本文提出的地圖繪制流程主要是在高精地圖上標注道路信息的同時，構建周圍環境的三維幾何信息。在這里，我們標注的道路信息是可駕駛區域和車道。圖1顯示了整個流程的概況。為了清晰起見，我們定義了三個幀：地圖幀Fm，其原點是地圖開始處第一次掃描的中心，汽車幀Fc，其原點是車輛的中心，而激光雷達幀Fl的原點是激光雷達傳感器的中心。

圖流程 結合3D-NDT和預訓練的DNN生成帶標簽的高精地圖

道路地圖

我們將道路R定義為Fm框架中的多邊形，限制了可駕駛的區域，但不一定合法。進行道路測繪有兩個主要原因：

?當道路上沒有車道時，它可以引導自動駕駛車輛，有時單向街道也是如此。

?它可以幫助我們描述的車道圖。道路檢測使用攝像機數據，投影到激光雷達數據上，經過細化以去除異常值，然后使用3D NDT算法的輸出與先前的掃描進行累積。然后計算道路占用的區域并提取道路界限。我們將在下面的每個步驟中解釋這些步驟。圖2顯示了道路繪制流程的概述。

道路地圖繪制流程。對來自攝像機FCN的結果進行修剪以去除異常值

檢測：對于檢測道路，我們使用完全卷積網絡（FCN）。將該網絡應用于前置相機數據，將圖像分割為兩個區域：道路區域和非道路區域。這將產生一個二值圖像，我們將結合激光雷達相機融合來分割出道路的點云。

投影：我們首先使用相機參數來裁剪點云，這樣我們就只對相機視野范圍內的點進行操作。然后，利用激光雷達攝像機之間的外參，將二值圖像投影到點云上，同時保證圖像中的顏色信息被保留并傳輸到點云上。這將生成一個二進制點云，其中道路點的顏色與點云上的其他點不同。

路沿檢測：在某些情況下，FCN檢測到的道路往往會在路沿邊緣，尤其是當由于陰影、亮度變化或路沿太小而在圖像框中難以區分路沿時。因此，我們需要通過移除預測道路中包含的所有路沿部分來改進FCN的結果。

? ?道路點云高程z直方圖

為此，我們根據z軸使用彩色點云和高程信息。我們首先使用基于顏色分割的方法從之前獲得的彩色點云中提取道路點云，然后，如圖3所示，我們將道路點云中的點的高程顯示為直方圖。它表明，提取的道路點云中的點遵循雙峰分布，即包含兩個峰值的分布，代表兩個正態分布，平均值分別為μ1和μ2，標準差分別為σ1和σ2。這是有意義的，因為第一個法線分布表示路沿上的點，第二個法線分布表示道路上的點。在這種情況下，檢測路沿包括將雙峰分布分成兩個正態分布，并排除包含路沿點的分布。為了實現這一點，我們使用了計算機視覺中常用的分割和聚類方法，稱為Otsu方法（Otsu 1979）。

應用于雙峰分布的Otsu方法計算將這兩類（在我們的例子中是道路和路沿）分隔開的最佳閾值。這使得排除位于路沿石上的大多數點成為可能，如圖4所示，并留下一部分點，其高程遵循正態分布，平均值為μ1，標準偏差為σ1。作為最終檢查，為了去除其余的異常值，我們將68–95–99.7規則應用于結果分布，并排除高程位于μ1?σ1和μ1+σ1之外的所有點。

?路沿檢測之前（紅色）和之后（綠色）的道路地圖

區域提取：為了提取可駕駛區域的界限，需要計算投影到（x，y）平面上的道路點云的輪廓。這可以通過使用凹面外殼（CH）（Moreira和Santos 2007）實現，這是一種基于k-最近鄰方法的算法，旨在生成描述平面上一組點所占面積的包絡線。利用CH生成的包絡線構造描述可行駛區域的多邊形。

車道繪圖

我們定義一條L作為一組點L= {P1，P2，…，PN}，其中π＝{xi，Yi，Zi}是FM幀中的i_0第四點的坐標。車道繪圖生成是在道路上幫助自動駕駛車輛導航過程中，使其居中。使用相機數據檢測車道，將其投影到激光雷達數據上，進行聚類和平滑處理以生成有意義的航路點，然后使用3D NDT算法的輸出與先前的掃描進行累積。圖顯示了車道繪制過程流程的概述。

車道繪制流程。對來自相機機LaneNET的結果進行平滑和聚類以生成車道分割點云。

檢測：對于車道檢測，我們使用LaneNET。之所以選擇此網絡，是因為它能夠檢測到從前視相機可見的所有車道，而不僅僅是當前車輛的車道。網絡輸出與輸入圖像大小相同的掩模圖像，其中屬于車道的像素被標記和顏色編碼。與我們對道路地圖所做的類似，mask圖像將與激光雷達相機校準相結合，生成車道點云。

投影：由于離汽車越遠，激光雷達相機校準的精度就會越低，因此我們首先將“攝像機視場點云”裁剪到距Fl幀原點一定距離L的位置，然后再將車道遮罩投射到其上。這有助于保持車道的形狀，因為我們將在前進過程中累積投影和點云。最后，利用顏色分割方法，提取出屬于車道的點，形成車道點云。

聚類與平滑：生成的車道點云是有噪聲的，并不總是遵循一個連貫的幾何體。因此，我們建立了一系列的聚類和平滑步驟，這些步驟將被應用于車道點云，以生成一系列的路徑點，這些路徑點可以被自主汽車用來知道車道在空間中的位置。平滑和聚類應用于兩個不同的層次：首先在Fl幀中處理單個掃描，然后在Fm幀中使用3D-NDT算法的輸出將當前掃描與之前的掃描累積在一起。

車道生成：LaneNET有時無法檢測到車道，原因可能是亮度/對比度突然變化，車道不在攝像機視野范圍內，或者車道根本沒有繪制在道路上。我們通過結合檢測到的成功車道、路緣檢測算法以及道路上的車道是平行的這一事實來處理這個問題。

首先使用路沿檢測結果來檢查是否檢測到所有車道：根據路沿石的位置和車道寬度（由成功檢測得出），我們可以判斷是否檢測到正確的車道數。如果某條車道缺失，我們使用最近的左車道或右車道生成它，方法是將上次掃描獲得的車道點擬合為二次曲線，然后將每個點處的曲線法線與車道寬度相結合，生成一條新的車道。

●?實驗

實驗裝置包括一臺Lincoln MKZ，配備一臺Velodyne Lidar VLP-16和一臺FLIR PointGrey RGB攝像機，分別以10 Hz和30 Hz的頻率記錄。該車還配備了IMU/GPS，以輔助3D NDT算法。數據通過機器人操作系統（ROS）同步并記錄為ROS包，然后離線處理。我們使用管道記錄并構建了多個高精地圖，從中我們選擇了5個場景。每一個場景的選擇都有特定的原因：

?選擇直路是為了證明道路測繪管道中路沿檢測步驟的有效性。

?選擇CurveLoad以證明車道地圖構建流程中平滑和聚類步驟的準確性。

?選擇mergeLane是為了證明車道地圖構建流程能夠處理出現新車道的情況，并且我們不局限于最初的車道。

?選擇交叉口來演示合并多張地圖的結果。

?選擇公路是為了證明構建地圖流程在大面積區域仍然有效。

這些結果表明，車道地圖流程能夠準確標記車道并生成缺失車道

紅色是地面真相，藍色是在路邊檢測之前，綠色是在后面。

紅色車道是地面真相，綠色車道是自動生成的。

●總結

在這篇論文中，我們提出了一個自動建立和標注自動駕駛汽車高精地圖的流程方案。流程中依賴于深度學習網絡的結果，這些網絡被訓練來檢測可駕駛區域和車道。然后，這些結果會自動進行后期處理，以便進行更正、改進或完成。我們的流程處理結果與人工標注的地面真實情況進行了比較，證明了本文所用方法的準確性和有效性。

本文僅做學術分享，如有侵權，請聯系刪文。

下載1

在「3D視覺工坊」公眾號后臺回復：3D視覺，即可下載 3D視覺相關資料干貨，涉及相機標定、三維重建、立體視覺、SLAM、深度學習、點云后處理、多視圖幾何等方向。

下載2

在「3D視覺工坊」公眾號后臺回復：3D視覺github資源匯總，即可下載包括結構光、標定源碼、缺陷檢測源碼、深度估計與深度補全源碼、點云處理相關源碼、立體匹配源碼、單目、雙目3D檢測、基于點云的3D檢測、6D姿態估計源碼匯總等。

下載3

在「3D視覺工坊」公眾號后臺回復：相機標定，即可下載獨家相機標定學習課件與視頻網址；后臺回復：立體匹配，即可下載獨家立體匹配學習課件與視頻網址。

重磅！3DCVer-學術論文寫作投稿?交流群已成立

掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿?微信交流群，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。

同時也可申請加入我們的細分方向交流群，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點云后處理、自動駕駛、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流等微信群。

一定要備注：研究方向+學校/公司+昵稱，例如：”3D視覺?+ 上海交大 + 靜靜“。請按照格式備注，可快速被通過且邀請進群。原創投稿也請聯系。

▲長按加微信群或投稿

▲長按關注公眾號

3D視覺從入門到精通知識星球：針對3D視覺領域的知識點匯總、入門進階學習路線、最新paper分享、疑問解答四個方面進行深耕，更有各類大廠的算法工程人員進行技術指導。與此同時，星球將聯合知名企業發布3D視覺相關算法開發崗位以及項目對接信息，打造成集技術與就業為一體的鐵桿粉絲聚集區，近2000星球成員為創造更好的AI世界共同進步，知識星球入口：

學習3D視覺核心技術，掃描查看介紹，3天內無條件退款

?圈里有高質量教程資料、可答疑解惑、助你高效解決問題

覺得有用，麻煩給個贊和在看~??

總結

以上是生活随笔為你收集整理的基于深度学习的高精地图的自动生成与标注的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。