ADAS攝像頭20個技術(shù)挑戰(zhàn)
車載相機(jī)已經(jīng)成為現(xiàn)代汽車中不可或缺的一部分，不論在輔助駕駛還是在自動駕駛應(yīng)用領(lǐng)域，越來越多的相機(jī)裝備在機(jī)車上。
根據(jù)Tesla現(xiàn)在的配置，全車有9個Camera。

根據(jù)Waymo的配置，全車有29個Camera，總價值超過20萬人民幣。

為了保證ADAS/自動駕駛能夠可靠地運(yùn)行，無論白天黑夜、天氣狀況、照明和道路狀況車載相機(jī)都應(yīng)能確保輸出穩(wěn)定可靠且符合應(yīng)用需求的圖像，這就對車載相機(jī)開發(fā)者提出了艱巨的考驗。可以說百分之一百地滿足上述需求是一個不可完成的任務(wù)，所以從系統(tǒng)開發(fā)的角度，為了提高系統(tǒng)的魯棒性，就一定要針對車載相機(jī)可能的故障模式進(jìn)行分析，針對每種錯誤都應(yīng)有相應(yīng)的軟硬件對策，所以無論從ADAS還是自動駕駛系統(tǒng)的開發(fā)者，都會將車載相機(jī)的故障模式分類歸納整理，在ML系統(tǒng)訓(xùn)練時可以把故障引入訓(xùn)練模型中，在產(chǎn)品實現(xiàn)時也可以針對每種危害制定相應(yīng)對策。歐洲道路安全組織資助的科研團(tuán)隊整理了20個常見的車載相機(jī)的技術(shù)問題點(diǎn)，當(dāng)然不可能窮盡真實的情況，但對軟件和系統(tǒng)工程師建立彈性架構(gòu)及評估應(yīng)用的魯棒性會有基礎(chǔ)性的幫助。
從車載相機(jī)的硬件角度，出現(xiàn)故障可能有5個來源：

鏡頭，IRfilter，Bayer Color Filter，Image Sensor 和 ISP。
從相機(jī)的工作環(huán)境來講，汽車這種使用環(huán)境復(fù)雜的產(chǎn)品會受到：
天氣（包括風(fēng)霜雨雪溫度等）、照明條件、環(huán)境污染、時間（晝夜）、地理條件、使用地區(qū)差異的影響。
所以所有的故障是前邊5個硬件組件與后面這些使用條件復(fù)合的結(jié)果，體現(xiàn)在以下這些故障圖像或者電器信號的輸出異常上。

1. banding，有豎條也有的情況體現(xiàn)為橫條，一般為image sensor的故障導(dǎo)致
   

2.圖像飽和，導(dǎo)致內(nèi)容信息缺失，一般為image sensor，也有可能來自鏡頭組件的故障。

3.模糊，一般是鏡頭受損離焦導(dǎo)致。

4. 亮線，一般是由于對向的lidar照射，損傷了image sensor
   

5.鏡頭損傷，沒啥可說的，飛石正好打到鏡頭了。

6.冷凝，車外空氣與相機(jī)內(nèi)溫度差大，導(dǎo)致在鏡頭冷凝成水，破壞圖像質(zhì)量。

7.壞點(diǎn)，image sensor出廠時一般都會做壞點(diǎn)消除，但是長時間使用后會產(chǎn)生新的壞點(diǎn)，尤其是相連的壞點(diǎn)，圖像信號處理也不能動態(tài)消除。

8.臟污，鏡頭被環(huán)境臟污污染造成圖像質(zhì)量損失。

9.眩光，鏡頭內(nèi)，或者鏡頭與圖像傳感器之間的光線反射造成。

10.結(jié)冰，為了對抗結(jié)冰，有的相機(jī)有加熱功能

11.下雨，雨滴干擾圖像質(zhì)量，有的相機(jī)帶空氣噴嘴，可以把鏡頭上的水滴吹掉

12.ISP色彩還原異常

13. Color Aberration 矯正出錯，圖像邊緣出現(xiàn)color aberration這種顏色異常
    

14.demosaic 不工作，出現(xiàn)圖像失色

15.去噪模塊異常，圖像噪聲嚴(yán)重

16.銳化異常（還疊加了CA等）

17.電超載，由于相機(jī)供電或者電路異常導(dǎo)致的故障，這些異常一般都在圖像傳感器的Function safety部分會有更細(xì)致的分類，圖像傳感器廠家會根據(jù)設(shè)計歸納出若干種類的異常，比如時鐘，通信，總線，接口，寄存器讀寫等。
18.高溫造成的損害，高溫往往會損害鏡頭，也會造成imagesensor的工作異常，比如暗電流的漂移，飆升等等。

19.led flicker，由于各種led燈的供電規(guī)格不一致，即使具有LFM的image
sensor也不能改善所有的LED。
20.沙塵，沙塵可以侵入相機(jī)模組，造成圖像質(zhì)量下降。

基于以上20種常見問題點(diǎn)，研究員先分析了沒有問題理想情況下各種不同卷積神經(jīng)網(wǎng)絡(luò)測得的精度AP（average precision）

然后分析了加入各種故障干擾后（鏡頭損傷，臟污，雨水）的系統(tǒng)AP值，可以看出各種網(wǎng)絡(luò)對抗某種干擾的能力。

開發(fā)者可以沿著這個思路構(gòu)建起自己的故障處理與應(yīng)對系統(tǒng)，增加ADAS與自動駕駛的系統(tǒng)的穩(wěn)定性。

參考鏈接
https://mp.weixin.qq.com/s/eAqTxdPSRa4S5aQAa0iJHA

總結(jié)

以上是生活随笔為你收集整理的ADAS摄像头20个技术挑战的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。