畸变的单目摄像机标定
畸變的單目攝像機標定
Deep Single Image Camera Calibration with
Radial Distortion
摘要
單圖像標定是從一幅圖像中預測攝像機參數的問題。在處理由非校準相機（如眾包應用程序）在非受控條件下采集的圖像時，此問題非常重要。在這項工作中，本文提出了一種方法來預測外部（傾斜和滾動）和內部（焦距和徑向失真）參數從一個單一的圖像。提出了一種比直接預測畸變參數更適合學習的徑向畸變參數化方法。此外，預測額外的異質變量加劇了損失平衡的問題。本文提出了一種新的基于點預測的損失函數，以避免非均勻損失項之間的平衡。據本文所知，本文的方法是首先從單個圖像聯合估計傾斜、滾動、焦距和徑向失真參數。深入分析了該方法的性能和改進后的效果，并與以往的單幅圖像徑向畸變校正方法進行了比較。
- Introduction
在這項工作中，本文提出了一種方法來恢復外部（傾斜，滾動）和內部（焦距和徑向失真）參數給定的單一圖像。本文訓練卷積神經網絡來對這些參數的替代表示進行回歸，這些參數更適合從單個圖像進行預測。本文以三個主要貢獻推動了技術進步：
1）k1和k2的單參數表示基于實際標定相機的大型數據庫。
2） 徑向畸變的一種表示，它獨立于焦距，并且更容易被網絡學習。
3）提出了一種新的基于點投影的損失函數，解決了非均勻損失分量的平衡問題。據本文所知，這項工作是第一次聯合估計相機的方向和校準，同時包括徑向失真。
- Method
在這項工作中，本文不試圖恢復圖像的位置或全旋轉矩陣，因為這將需要網絡記住環境的外觀，將本文的單圖像校準問題變成另一個問題，即所謂的位置識別。取而代之的是，本文以地平線為參考系，留下兩個自由參數：相機相對于地平線的傾斜θ和轉動Ψ角。這使得一個網絡可以利用一組地點的圖像進行訓練，只要有足夠的視覺多樣性，就可以很好地推廣到其他地方。
正如前面的工作[4，5，8]所揭示的，對變量進行適當的參數化以進行預測可以極大地提高網絡的收斂性和最終性能。對于攝像機校準，焦距或傾角等參數很難從圖像內容進行解釋。相反，它們可以更好地用代理參數來表示，代理參數可以直接在圖像中觀察到。本文從已經存在的參數化開始，提出了處理徑向畸變圖像所需的新參數化。本文讓讀者參考圖2來補充本節的內容。本文從定義地平線開始，如[5]所述：“地平線的圖像位置被定義為直線在與局部重力矢量正交的任何平面上的投影。”。這種定義也適用于具有徑向畸變的相機，但是，圖像中地平線的投影不一定保持直線。焦距f通過圖像高度h和寬度w的大小與垂直和水平視場相關。視場與圖像內容直接相關，因此更適合于任務。本文使用垂直視野，定義為
作為焦距的代理。在網絡部署過程中，圖像高度h是已知的，焦距可以從預測的Fv中恢復。攝像機的滾動角Ψ在圖像中直接表示為地平線的角度，不需要任何替代參數化。傾斜角θ的一個很好的代表是從圖像中心到地平線的距離ρ。以前的工作對針孔相機使用這樣的參數化，沒有失真[5]，然而，徑向失真的存在稍微使這種關系復雜化。本文首先定義未失真的偏移量τ為沒有徑向失真時從圖像中心到地平線的距離。它可以表示為傾角和焦距的函數：
當訓練單個結構預測不同量級的參數時，必須特別注意對損失分量進行加權，以使某些參數的估計不支配學習過程。本文注意到，在攝像機標定的情況下，不必單獨優化攝像機參數，而是可以使用基于點投影的單一度量，該度量具有估計的和地面真實的攝像機參數。讓本文從觀察開始，相機模型本質上是從圖像平面的像素坐標到3D中的方位（方向向量）的簡單雙向映射[15，16]。相機的內部和外部參數決定了圖像中每個像素的一個這樣的方向。所提出的損失是對這些方向向量上的誤差而不是單個參數誤差的度量，達到了將所有參數誤差表示為單個度量的目的。
- Experiments
然而，這可能并不總是這樣，例如，當使用不同的相機模型時，正如Yin等人所報告的那樣
[13] ，或者使用與本文在這里建議的參數化不同的參數化。只是碰巧這個參數化很適合用單位權重訓練。為了說明選擇較低最優權重的效果，本文使用不同權重集的Huber損失加權和（公式13）訓練了多個網絡，并比較了圖6中得到的驗證誤差曲線。
圖7顯示了比較?k1和k1的預測以及畸變偏移量ρ和未畸變偏移量τ的預測的散點圖，表明所提出的參數化比基線更容易學習（更準確地預測）。
這些誤差分布如圖8所示。對角線圖顯示了每個參數相對于其地面真值的預測誤差分布。本文還研究了每個參數相對于其他參數的地面真值的誤差分布。這在非對角線圖中顯示，揭示了一些有趣的見解。
如第3.4節所述，應生成訓練集以復制部署此類網絡時將看到的圖像的分布。本文預計誤差分布會隨著訓練數據的分布而變化，因為這些數據的跨度直接關系到問題的難度。因此，圖8所示的絕對誤差與它們之間的關系無關。對于要部署這樣的網絡的特定應用程序域，應研究這些錯誤。
- Conclusions
本文提出了一種基于學習的方法來聯合預測攝像機的外部和內部參數，包括徑向畸變。提出的參數化方法與焦距分離，非常適合于預測。本文還引入了一個新的損失函數來解決損失平衡問題。最后，本文驗證了該方法相對于基于幾何的不失真方法的優越性。在以后的工作中，本文將探索用單參數畸變模型進行畸變校正[7，22]。更重要的是，本文將在大規模結構中應用單圖像攝像機標定，從不同攝像機模型的眾包圖像上進行運動，本文看到了基于學習的方法增強系統魯棒性的潛力。
總結
以上是生活随笔為你收集整理的畸变的单目摄像机标定的全部內容，希望文章能夠幫你解決所遇到的問題。
