報告題目 淺析CV下的無人駕駛技術

1.概述：
2006年，Geoffrey Hinton老爺子針對傳統的神經網絡算法訓練速度慢，面對多層Hidden Layer嚴重出現過擬合的現狀，提出了無監督預訓練對權值進行初始化+有監督訓練微調的解決方案。從此，基于神經網絡的Deep Learning開始活躍在世界科研前沿[1]。
而目前Deep Learning在工業上應用最廣的前沿領域分別是：
1.CV：計算機視覺領域
2.NLP：自然語言處理領域
3.ASR：語音識別領域
4.Autopilot：自動駕駛其實也是CV的衍生領域
5.推薦：傳統的推薦都是用GBDT+LR模型來做的，目前深度學習在推薦領域也得到了廣泛的應用。
在深度學習算法的不斷更新和計算機硬件的不斷升級下，我們以前電影中所謂的無人駕駛汽車在計算機視覺技術下已經開始出現了眉目[2][3]。

2.無人駕駛技術相關技術介紹：
1.傳感器
在無人駕駛中，車輛在行駛時需要實時地去感知周圍的環境，包括行駛在哪里、周圍有什么障礙物、當前交通信號怎樣等等。就像我們人類通過眼睛去觀察世界，無人車也需要這樣一種 “眼睛”，這就是傳感器。傳感器有很多種，例如激光雷達、攝像頭、超聲波等等。
由于不同的傳感器的數據格式有很大差別，所以也會有專門針對某種傳感器數據設計的算法。例如有專門針對激光點云設計的障礙物檢測模型VoxelNet[4]。
VoxelNet：將3D點云數據看做一個個的Voxel（立體塊）進行處理。VoxelNet的網絡結構分為三部分，分別為（1）特征學習網絡（2）中部卷積層（3）RPN層，如下圖所示。

圖1.VoxelNet的網絡結構模型
2.目標檢測
由于攝像頭數據包含豐富的顏色信息，所以對于精細的障礙物類別識別、信號燈檢測、車道線檢測、交通標志檢測等問題就需要依賴計算機視覺技術。無人駕駛中的目標檢測與學術界中標準的目標檢測問題有一個很大的區別，就是距離。無人車在行駛時只知道前面有一個障礙物是沒有意義的，還需要知道這個障礙物的距離，或者說需要知道這個障礙物的 3D 坐標，這樣在做決策規劃時，才可以知道要用怎樣的行駛路線來避開這些障礙物。這個問題對于激光的障礙物檢測來說很容易，因為激光本身就包含距離信息，但是想只憑借圖片信息去計算距離難度比較高。
自2014年以后，目標檢測的發展脈絡如下圖所示：

圖2.目標檢測的發展脈絡
Focal loss[5]的公式：

其中：

其中γ為常數，且當其為0時，FL和普通的交叉熵損失函數一致。 γ不同取值，FL曲線如下：

圖3 Focal loss不同γ曲線圖

3.分割
分割技術在無人駕駛中比較主要的應用是可行駛區域識別。可行駛區域可以定義成機動車行駛區域，或者當前車道區域等。由于這種區域通常是不規則多邊形，所以分割是一種較好的解決辦法。
在無人駕駛中應用比較多的是語義分割。例如路面分割、人行橫道分割等等。語義分割比較早期和經典的模型是 FCN[6]。FCN 有幾個比較經典的改進，首先是用全卷積層替換了全連接層，其次是卷積之后的小分辨率 Feature Map 經過上層采樣，再得到原分辨率大小的結果，最后 FCN 使用了跨層連接的方式。跨層連接可以將高層的語義特征和底層的位置特征較好地結合在一起，使得分割的結果更為準確。FCN 結構圖如下所示：

圖4.FCN 結構圖
目前很多主流的分割模型準確率都比較高，但是幀率會比較低。而無人駕駛的應用場景中模型必須實時，尤其是高速場景下，對模型的速度要求更高。目前美團使用的是改進版的 ICNet[7]，既保證了模型的運行速度，又保證了模型的準確率。

圖5.ICNet模型結構
4.距離估計
對于距離信息的計算有多種計算方式：
激光測距，原理是根據激光反射回的時間計算距離。這種方式計算出的距離是最準的，但是計算的輸出頻率依賴于激光本身的頻率，一般激光是 10Hz。
單目深度估計，原理是輸入是單目相機的圖片，然后用深度估計的 CNN 模型進行預測，輸出每個像素點的深度。這種方式優點是頻率可以較高，缺點是估出的深度誤差比較大。
結構光測距，原理是相機發出一種獨特結構的結構光，根據返回的光的偏振等特點，計算每個像素點的距離。這種方式主要缺點是結構光受自然光影響較大，所以在室外難以使用。
雙目測距，原理是根據兩個鏡頭看到的微小差別，根據兩個鏡頭之間的距離，計算物體的距離。這種方式缺點是計算遠處物體的距離誤差較大。
3.業界相關進展及應用
目前業界開源的解決方案中比較成熟的是百度的 Apollo[8]，包含了改進的 ROS 底層系統，以及無人駕駛中各個模塊的實現。
除了 Apollo 之外，業界開源解決方案還有 Autoware[9]以及美團自研算法。
美團的自研算法參考了 Autoware 的這種解決思路，并做了很多改進。同樣先將激光點轉換到圖片當中，這樣我們就知道每個激光點打到了哪里。在得到每個 2D 框中的激光點之后，我們需要做一步聚類操作，這樣可以過濾掉打到背景上的點，于是我們就得到了打到這個物體上的激光點。然后在三維空間中，我們可以擬合這些激光點，得到一個三維框，包含了物體準確的位置信息。
這種方法計算出的三維框相對比較準確，但缺點是對于遠處較小的物體，由于打到的激光點太少了，難以擬合出合適的結果。具體效果如下圖：

4.無人駕駛技術的未來前景和挑戰
汽車的出現本身對人類社會來說有著非凡的意義，而無人駕駛車在普通汽車上融合了自動化技術、智能化技術以及互聯網化技術等多種新型技術，對汽車產業來說更是一個重大的飛躍。無人駕駛技術的實現，可以解決很多交通問題，減少交通事故，為人們的生活帶來便捷，是人類社會的一個重要發展方向。
同時，無人駕駛技術也有著很多技術和社會性方面的難題與挑戰。包括汽車硬件的升級換代，深度學習算法的改進，社會交通規則的變更，目前特斯拉，華為，小米，蘋果，美團等世界企業都將目光投入到了無人駕駛技術中。我們相信，未來的數年內，無人駕駛技術必將真正登上歷史的舞臺，并推動整個人類社會邁入新的科技紀元。
5.參考文獻：
[1]http://gitbook.cn/gitchat/activity/5b91078c41c7575ca0d6441a
[2]張月月. 淺析無人駕駛中的計算機視覺[J]. 衛星電視與寬帶多媒體,2019,(20):43-44.
[3]范志遠,崔田田,王青松. 計算機視覺在無人駕駛領域的應用[J]. 數碼世界,2020,(05):2.
[4]Harish S Gujjar. A Comparative Study of VoxelNet and PointNet for 3D Object Detection in Car by Using KITTI Benchmark[J]. International Journal of Information Communication Technologies and Human Development (IJICTHD),2018,10(3).
[5]Lin Tsung-Yi,Goyal Priya,Girshick Ross,He Kaiming,Dollar Piotr. Focal Loss for Dense Object Detection.[J]. IEEE transactions on pattern analysis and machine intelligence,2020,42(2).
[6]Long, Jonathan, Evan Shelhamer, and Trevor Darrell. “Fully convolutional networks for semantic segmentation.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.
[7]Zhao, Hengshuang, et al. “Icnet for real-time semantic segmentation on high-resolution images.” arXiv preprint arXiv:1704.08545 (2017).
[8]https://github.com/ApolloAuto/apollo
[9]https://github.com/CPFL/Autoware

總結

以上是生活随笔為你收集整理的浅析CV下的无人驾驶技术的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。