這是專欄《圖像分割應用》的第5篇文章，本專欄主要介紹圖像分割在各個領域的應用、難點、技術要求等常見問題。

這是本專欄的第二個板塊設備自動化的第1篇文章。通勤是我們日常生活的一個重要組成部分，而其中包括的車輛駕駛問題一直是人工智能的熱門話題。本文我們就談談自動駕駛中的圖像分割應用。

作者&編輯 | 孫叔橋

1 介紹

相對于機器人視覺而言，自動駕駛問題所需要輸出的決策相對簡單——速度和轉角。當前，基于視覺的自動駕駛算法大致有如下圖所示的三種模式：間接感知（MP）、行為反射（BR）和直接感知（DP）。

常見基于視覺的自動駕駛模式（圖片來源于參考文獻1）

間接感知方法通常會利用多種與駕駛相關的目標來判斷車輛所處的環境，比如指示線、路標、路燈、其他車輛、行人等統一的路況判斷依據。基于這種方法的自動駕駛系統會在作出判斷之前，考慮所有捕獲到的信息，也就意味著所有的細節都會被考慮進去。盡管這樣做看起來面面俱到，但是對于算法的要求很高，否則各種小細節的引入會增加決策的難度。

行為反射方法直接將傳感器獲取到的信息映射成駕駛行為。在訓練過程中，自動駕駛系統記錄沿途的圖像和司機的操作轉角作為訓練數據。這種方法雖然簡潔，但是要適應復雜的路況和因人而異的駕駛習慣，難度還是很大的。

直接感知方法是介于前兩種方法之間，既非理解整個場景，也非完全不加分析地直接映射。這種方法只學習場景內的重要路況，比如車輛相對于路面的角度、車輛到指示線的距離，以及車輛距離當前車道內和相鄰車道內其他車輛的距離。

直接感知方法示意圖（圖片來源于參考文獻1）

2 基于純視覺圖像分割的自動駕駛

基于圖像分割方法實現自動駕駛的方式可以有很多。比如可以直接從圖像入手，分析場景內所有或部分的語義信息，根據不同語義給出不同的反饋；也可以通過分割提取圖像內的可解釋信息，區分出可駕駛的路面和不可駕駛的路面，從而作出駕駛決策。

對基于純視覺方法的自動駕駛分辨技術，圖像分割的精度是決定自動駕駛效果的重要因素。為了提高圖像分割的精度，除了有三AI（公眾號）《圖像分割模型》專欄中介紹的常用模型及改進方式外，還可以利用不同類別標注間的關系來全局約束分割結果。

如下圖所示，CMSMR網絡結構利用多標簽共同學習、協同優化的方式，實現了高分辨率圖像下的圖像分割。

DMSMR網絡結構（圖片來源于參考文獻2）

單條前向排序優化網絡（圖片來源于參考文獻2）

除了車載設備獲取的路面信息外，這種方式也可以利用到遙感圖像上。如下圖所示，實現遙感圖像下的道路分割不僅有助于車輛的自動駕駛，也有助于道路規劃、交通疏導等宏觀規劃問題的解決。

自動駕駛相關遙感圖片下的圖像分割（圖片來源于參考文獻2）

3 基于多傳感器融合的自動駕駛

除了單純利用車上的視覺系統外，也可以結合車上搭載的其他傳感器，實現聯合信息下的自動駕駛決策判斷。

下圖是結合雷達信息實現自動駕駛中道路分割的網絡結構圖。輸入為RGB圖像和激光雷達所獲取的信息，經過特征提取和RFU模塊融合，實現對道路的分割。

結合雷達的圖像分割自動駕駛系統（圖片來源于參考文獻3）

下圖為上圖中橙色部分對應的RFU模塊。

RFU模塊（圖片來源于參考文獻3）

參考文獻：

[1] C. Chen, A. Seffetc, A. Kornhauser, and J. Xiao.?DeepDriving: Learning Affordance for Direct Perception in Autonomous Driving[C]. 2015.

[2]?M. Zhang, X. Hu, L. Zhao, Y. Lv, M. Luo, and S. Pang.?Learning Dual Multi-Scale Manifold Ranking for?Semantic Segmentation of High-Resolution Images[J]. 2017

[3]?H. Liu, Y. Yao, Z. Sun,?X. Li, K. Jia, and Z. Tang.?Road Segmentation with Image-LiDAR Data Fusion[J]. 2019

總結

本文介紹了基于視覺系統的自動駕駛問題，并給出常見的三種模式。在此基礎上，分析了應用于自動駕駛領域的一些圖像分割方法和其對應的實驗結果。從本文開始，《圖像分割應用》專欄正式進入第二板塊——設備自動化。我們下期見！

知識星球推薦

深度學習+圖像分割星球由專欄作者孫叔橋維護，內設圖像分割知識匯總，網絡結構，代碼研讀，數據庫及代碼推薦等板塊。

有三AI知識星球由言有三維護，內設AI知識匯總，AI書籍，網絡結構1000變，數據集，看圖猜技術，項目開發，Github推薦，AI1000問八大學習板塊。

【知識星球】數據集板塊重磅發布，海量數據集介紹與下載

【知識星球】超3萬字的網絡結構解讀，學習必備

轉載文章請后臺聯系

侵權必究

往期精選

• 【技術綜述】閑聊圖像分割這件事兒

• 【技術綜述】基于弱監督深度學習的圖像分割方法綜述

• 【完結】12篇文章帶你逛遍主流分割網絡

• 【圖像分割應用】醫學圖像分割（一）——腦區域分割

• 【圖像分割應用】醫學圖像分割（二）——心臟分割

• 【圖像分割應用】醫學圖像分割（三）——腫瘤分割

• 【圖像分割應用】醫學圖像分割小總結

總結

以上是生活随笔為你收集整理的【图像分割应用】设备自动化（一）——自动驾驶的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。