ADAS攝像頭圖像環視拼接算法

輸入輸出接口

Input：

（1）4個攝像頭采集的圖像視頻分辨率 （整型int）

（2）4個攝像頭采集的圖像視頻格式 （RGB，YUV，MP4等）

（3）攝像頭標定參數（中心位置（x,y）和5個畸變

系數（2徑向，2切向，1棱向），浮點型float）

（4）攝像頭初始化參數（攝像頭初始位置和三個坐標方向

的旋轉角度，車輛寬度高度車速等等，浮點型float）

Output：

（1）圖像融合和拼接的image/video的坐標位置（浮點型float）

（2）圖像融合和拼接的圖像視頻分辨率（整型int）

（3）圖像融合和拼接的圖像視頻格式 （RGB，YUV，MP4等）

（4）車輛周圍障礙物報警 （字符型char）

22.1 功能定義

1）計算圖像融合和拼接的image/video的坐標位置。

2）算出圖像融合和拼接的圖像視頻分辨率。

3）確定圖像融合和拼接的圖像視頻格式。

4）檢測車輛周圍障礙物并報警。

22.2 技術路線方案

在360°全景視圖泊車輔助系統中，通過安裝在車輛前、后、左、右 4 個方位的廣角攝像頭采集車輛四周的視頻影像，利用圖像融合和拼接技術合成一幅車身周圍的全景視圖，最后在中控臺的屏幕上顯示，以擴大駕駛員視野。借助360°全景視圖泊車輔助系統，駕駛員坐在車中即可直觀地看到車輛周圍是否存在障礙物以及障礙物的相對方位與距離，以便在狹窄擁堵的停車場從容操控車輛泊車入位或通過復雜的路面，可有效防止刮蹭、碰撞、陷落等事故的發生。同時，全景視圖也可以為自動駕駛系統中識別、檢測、跟蹤等算法提供支持。

富士通(Fujitsu)開發的視頻成像技術，
可實時實現車輛的完整360°環繞視圖。四個相機安裝在車輛前后左右周邊，車輛周圍環境的視頻圖像通過富士通的3D虛擬投影/視點轉換技術進行合成。先進的三維算法可以比較流暢地結合四個獨立相機的圖像，提供一個無縫和清晰的360°視圖。具體來說，四個攝像頭的圖像被發送到視頻處理LSI，包括視頻捕捉和3D功能，然后相機圖像合成為單個實時3D圖像并投影到三維碗形網格，生成虛擬3D環繞視頻，可以任意轉換車輛周圍環境視圖視角。

圖1. 富士通環視方案流程圖

為了滿足視頻拼接的實時性要求，同時考慮到攝像頭安裝的位置、角度以及不同攝像頭之間相互位置相對固定，在本項目中可以使用基于特定圖像拼接與查表法相結合的多視點視頻拼接方法。在初始化階段，首先采集預先放置于車輛前、后、左、右 4個方位的帶有棋盤格的標定圖像，利用標定圖像分別對4個攝像頭進行參數標定，求出并保存每個攝像頭圖像畸變矯正參數，對標定圖像進行畸變矯正，消除攝像頭成像失真；
然后對畸變矯正后的標定圖像進行射影變換，求出并保存射影變換參數； 接著采集預先放置于車輛前、后、左、右4個方位的帶有豐富特征點的特定圖像，并通過查找攝像頭圖像畸變矯正參數進行畸變矯正，通過查找射影變換參數將矯正后的特定圖像變換成俯瞰圖；
最后對4個俯瞰圖提取 ORB( Oriented FAST and Rotated
BRIEF) 特征并進行粗匹配，利用 RANSAC( Random Sample Consensus，隨機抽樣一致) 算法剔除誤匹配點，并擬合出單應性矩陣的初始值，再使用
Levenberg-Marquardt 非線性迭代最小逼近法進行求精，經圖像配準、融合和拼接后，生成360°俯瞰全景視圖。在泊車輔助系統啟用期間，通過查找已保存的攝像頭圖像畸變矯正參數、射影變換參數以及單應性矩陣參數，將4個攝像頭的視頻圖像進行拼接，生成虛擬的俯瞰全景視圖。

由于攝像頭內外參數校正準確性對圖像投影效果影響大；需要結合攝像頭安裝具體情況進行算法的調整；為滿足嵌入式系統實時性需求，需要不斷優化算法；盡量進行流程簡化或者流程自動化。

圖2. 算法流程

圖3. 攝像頭成像及其坐標系

主要數學原理，世界坐標系中某點投影到圖像平面上的像素點( u，v).該過程要經過齊次坐標轉換：

其中，s為任意的非零比例因子；
αu=f/dx，f是攝像頭的焦距，dx代表x軸方向一個像素的寬度是圖像在 u軸上的尺度因子，或稱為u軸上的歸一化焦距；，其中dy代表y軸方向一個像素的高度，αv是圖像在v軸上的尺度因子，或稱為v軸上的歸一化焦距；它們是攝像頭坐標系相對于世界坐標系的旋轉向量； 是攝像頭坐標系相對于世界坐標系的平移向量； M1由 決定，只與攝像頭內部參數有關，稱為攝像頭內部參數矩陣； M2 由攝像頭相對于世界坐標系的方位決定，稱為攝像頭外部參數矩陣； M 是一個3×4矩陣，稱作投影矩陣，用于計算從世界坐標系到圖像坐標系的轉換。可見，若已知攝像頭的內、外參數，就能夠知道投影矩陣 M，對空間內任何一點，如果已知它的空間坐標，就可以求出對應的像素點坐標(u，v) 。

張正友標定法，采用棋盤格平面靶標作為標定物，可以把世界坐標系構造在 Zw = 0的平面上。

其中，和是徑向畸變系數。將式（3）化成矩陣形式為

以上是畸變矯正公式。

以上是射影變換。

以上是畸變矯正及射影變換所對應的坐標像素計算公式。

以上是圖像拼接單應性矩陣求解公式。

以上是平均值法對拼接重疊區域進行融合。

以上是3-D ship模型視角轉換矩陣。

圖4. alpha fusion

22.3 關鍵技術參數和性能指標

一種基于自適應特征點配準的環視系統拼接效果評估和自動微調方法，其特征在于：包括以下步驟：

步驟A、獲得拼接前圖像，并截取根據拼接參數算出的拍攝的相同位置的圖像；

步驟B、采用自適應特征點配準算法來獲得拼接前相同位置的圖像的旋轉平移矩陣；

步驟C、將旋轉平移矩陣或者對其進行計算得到的角度信息和位移信息作為環視系統拼接效果的評估指標，并用此矩陣對拼接效果進行微調。

總結

以上是生活随笔為你收集整理的ADAS摄像头图像环视拼接算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。