ADAS攝像頭20個技術挑戰
車載相機已經成為現代汽車中不可或缺的一部分，不論在輔助駕駛還是在自動駕駛應用領域，越來越多的相機裝備在機車上。
根據Tesla現在的配置，全車有9個Camera。

根據Waymo的配置，全車有29個Camera，總價值超過20萬人民幣。

為了保證ADAS/自動駕駛能夠可靠地運行，無論白天黑夜、天氣狀況、照明和道路狀況車載相機都應能確保輸出穩定可靠且符合應用需求的圖像，這就對車載相機開發者提出了艱巨的考驗。可以說百分之一百地滿足上述需求是一個不可完成的任務，所以從系統開發的角度，為了提高系統的魯棒性，就一定要針對車載相機可能的故障模式進行分析，針對每種錯誤都應有相應的軟硬件對策，所以無論從ADAS還是自動駕駛系統的開發者，都會將車載相機的故障模式分類歸納整理，在ML系統訓練時可以把故障引入訓練模型中，在產品實現時也可以針對每種危害制定相應對策。歐洲道路安全組織資助的科研團隊整理了20個常見的車載相機的技術問題點，當然不可能窮盡真實的情況，但對軟件和系統工程師建立彈性架構及評估應用的魯棒性會有基礎性的幫助。
從車載相機的硬件角度，出現故障可能有5個來源：

鏡頭，IRfilter，Bayer Color Filter，Image Sensor 和 ISP。
從相機的工作環境來講，汽車這種使用環境復雜的產品會受到：
天氣（包括風霜雨雪溫度等）、照明條件、環境污染、時間（晝夜）、地理條件、使用地區差異的影響。
所以所有的故障是前邊5個硬件組件與后面這些使用條件復合的結果，體現在以下這些故障圖像或者電器信號的輸出異常上。

1. banding，有豎條也有的情況體現為橫條，一般為image sensor的故障導致
   

2.圖像飽和，導致內容信息缺失，一般為image sensor，也有可能來自鏡頭組件的故障。

3.模糊，一般是鏡頭受損離焦導致。

4. 亮線，一般是由于對向的lidar照射，損傷了image sensor
   

5.鏡頭損傷，沒啥可說的，飛石正好打到鏡頭了。

6.冷凝，車外空氣與相機內溫度差大，導致在鏡頭冷凝成水，破壞圖像質量。

7.壞點，image sensor出廠時一般都會做壞點消除，但是長時間使用后會產生新的壞點，尤其是相連的壞點，圖像信號處理也不能動態消除。

8.臟污，鏡頭被環境臟污污染造成圖像質量損失。

9.眩光，鏡頭內，或者鏡頭與圖像傳感器之間的光線反射造成。

10.結冰，為了對抗結冰，有的相機有加熱功能

11.下雨，雨滴干擾圖像質量，有的相機帶空氣噴嘴，可以把鏡頭上的水滴吹掉

12.ISP色彩還原異常

13. Color Aberration 矯正出錯，圖像邊緣出現color aberration這種顏色異常
    

14.demosaic 不工作，出現圖像失色

15.去噪模塊異常，圖像噪聲嚴重

16.銳化異常（還疊加了CA等）

17.電超載，由于相機供電或者電路異常導致的故障，這些異常一般都在圖像傳感器的Function safety部分會有更細致的分類，圖像傳感器廠家會根據設計歸納出若干種類的異常，比如時鐘，通信，總線，接口，寄存器讀寫等。
18.高溫造成的損害，高溫往往會損害鏡頭，也會造成imagesensor的工作異常，比如暗電流的漂移，飆升等等。

19.led flicker，由于各種led燈的供電規格不一致，即使具有LFM的image
sensor也不能改善所有的LED。
20.沙塵，沙塵可以侵入相機模組，造成圖像質量下降。

基于以上20種常見問題點，研究員先分析了沒有問題理想情況下各種不同卷積神經網絡測得的精度AP（average precision）

然后分析了加入各種故障干擾后（鏡頭損傷，臟污，雨水）的系統AP值，可以看出各種網絡對抗某種干擾的能力。

開發者可以沿著這個思路構建起自己的故障處理與應對系統，增加ADAS與自動駕駛的系統的穩定性。

參考鏈接
https://mp.weixin.qq.com/s/eAqTxdPSRa4S5aQAa0iJHA

總結

以上是生活随笔為你收集整理的ADAS摄像头20个技术挑战的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。