畸变的单目摄像机标定
畸變的單目攝像機(jī)標(biāo)定
Deep Single Image Camera Calibration with
Radial Distortion
摘要
單圖像標(biāo)定是從一幅圖像中預(yù)測攝像機(jī)參數(shù)的問題。在處理由非校準(zhǔn)相機(jī)（如眾包應(yīng)用程序）在非受控條件下采集的圖像時(shí)，此問題非常重要。在這項(xiàng)工作中，本文提出了一種方法來預(yù)測外部（傾斜和滾動(dòng)）和內(nèi)部（焦距和徑向失真）參數(shù)從一個(gè)單一的圖像。提出了一種比直接預(yù)測畸變參數(shù)更適合學(xué)習(xí)的徑向畸變參數(shù)化方法。此外，預(yù)測額外的異質(zhì)變量加劇了損失平衡的問題。本文提出了一種新的基于點(diǎn)預(yù)測的損失函數(shù)，以避免非均勻損失項(xiàng)之間的平衡。據(jù)本文所知，本文的方法是首先從單個(gè)圖像聯(lián)合估計(jì)傾斜、滾動(dòng)、焦距和徑向失真參數(shù)。深入分析了該方法的性能和改進(jìn)后的效果，并與以往的單幅圖像徑向畸變校正方法進(jìn)行了比較。
- Introduction
在這項(xiàng)工作中，本文提出了一種方法來恢復(fù)外部（傾斜，滾動(dòng)）和內(nèi)部（焦距和徑向失真）參數(shù)給定的單一圖像。本文訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)來對這些參數(shù)的替代表示進(jìn)行回歸，這些參數(shù)更適合從單個(gè)圖像進(jìn)行預(yù)測。本文以三個(gè)主要貢獻(xiàn)推動(dòng)了技術(shù)進(jìn)步：
1）k1和k2的單參數(shù)表示基于實(shí)際標(biāo)定相機(jī)的大型數(shù)據(jù)庫。
2） 徑向畸變的一種表示，它獨(dú)立于焦距，并且更容易被網(wǎng)絡(luò)學(xué)習(xí)。
3）提出了一種新的基于點(diǎn)投影的損失函數(shù)，解決了非均勻損失分量的平衡問題。據(jù)本文所知，這項(xiàng)工作是第一次聯(lián)合估計(jì)相機(jī)的方向和校準(zhǔn)，同時(shí)包括徑向失真。
- Method
在這項(xiàng)工作中，本文不試圖恢復(fù)圖像的位置或全旋轉(zhuǎn)矩陣，因?yàn)檫@將需要網(wǎng)絡(luò)記住環(huán)境的外觀，將本文的單圖像校準(zhǔn)問題變成另一個(gè)問題，即所謂的位置識別。取而代之的是，本文以地平線為參考系，留下兩個(gè)自由參數(shù)：相機(jī)相對于地平線的傾斜θ和轉(zhuǎn)動(dòng)Ψ角。這使得一個(gè)網(wǎng)絡(luò)可以利用一組地點(diǎn)的圖像進(jìn)行訓(xùn)練，只要有足夠的視覺多樣性，就可以很好地推廣到其他地方。
正如前面的工作[4，5，8]所揭示的，對變量進(jìn)行適當(dāng)?shù)膮?shù)化以進(jìn)行預(yù)測可以極大地提高網(wǎng)絡(luò)的收斂性和最終性能。對于攝像機(jī)校準(zhǔn)，焦距或傾角等參數(shù)很難從圖像內(nèi)容進(jìn)行解釋。相反，它們可以更好地用代理參數(shù)來表示，代理參數(shù)可以直接在圖像中觀察到。本文從已經(jīng)存在的參數(shù)化開始，提出了處理徑向畸變圖像所需的新參數(shù)化。本文讓讀者參考圖2來補(bǔ)充本節(jié)的內(nèi)容。本文從定義地平線開始，如[5]所述：“地平線的圖像位置被定義為直線在與局部重力矢量正交的任何平面上的投影。”。這種定義也適用于具有徑向畸變的相機(jī)，但是，圖像中地平線的投影不一定保持直線。焦距f通過圖像高度h和寬度w的大小與垂直和水平視場相關(guān)。視場與圖像內(nèi)容直接相關(guān)，因此更適合于任務(wù)。本文使用垂直視野，定義為
作為焦距的代理。在網(wǎng)絡(luò)部署過程中，圖像高度h是已知的，焦距可以從預(yù)測的Fv中恢復(fù)。攝像機(jī)的滾動(dòng)角Ψ在圖像中直接表示為地平線的角度，不需要任何替代參數(shù)化。傾斜角θ的一個(gè)很好的代表是從圖像中心到地平線的距離ρ。以前的工作對針孔相機(jī)使用這樣的參數(shù)化，沒有失真[5]，然而，徑向失真的存在稍微使這種關(guān)系復(fù)雜化。本文首先定義未失真的偏移量τ為沒有徑向失真時(shí)從圖像中心到地平線的距離。它可以表示為傾角和焦距的函數(shù)：
當(dāng)訓(xùn)練單個(gè)結(jié)構(gòu)預(yù)測不同量級的參數(shù)時(shí)，必須特別注意對損失分量進(jìn)行加權(quán)，以使某些參數(shù)的估計(jì)不支配學(xué)習(xí)過程。本文注意到，在攝像機(jī)標(biāo)定的情況下，不必單獨(dú)優(yōu)化攝像機(jī)參數(shù)，而是可以使用基于點(diǎn)投影的單一度量，該度量具有估計(jì)的和地面真實(shí)的攝像機(jī)參數(shù)。讓本文從觀察開始，相機(jī)模型本質(zhì)上是從圖像平面的像素坐標(biāo)到3D中的方位（方向向量）的簡單雙向映射[15，16]。相機(jī)的內(nèi)部和外部參數(shù)決定了圖像中每個(gè)像素的一個(gè)這樣的方向。所提出的損失是對這些方向向量上的誤差而不是單個(gè)參數(shù)誤差的度量，達(dá)到了將所有參數(shù)誤差表示為單個(gè)度量的目的。
- Experiments
然而，這可能并不總是這樣，例如，當(dāng)使用不同的相機(jī)模型時(shí)，正如Yin等人所報(bào)告的那樣
[13] ，或者使用與本文在這里建議的參數(shù)化不同的參數(shù)化。只是碰巧這個(gè)參數(shù)化很適合用單位權(quán)重訓(xùn)練。為了說明選擇較低最優(yōu)權(quán)重的效果，本文使用不同權(quán)重集的Huber損失加權(quán)和（公式13）訓(xùn)練了多個(gè)網(wǎng)絡(luò)，并比較了圖6中得到的驗(yàn)證誤差曲線。
圖7顯示了比較?k1和k1的預(yù)測以及畸變偏移量ρ和未畸變偏移量τ的預(yù)測的散點(diǎn)圖，表明所提出的參數(shù)化比基線更容易學(xué)習(xí)（更準(zhǔn)確地預(yù)測）。
這些誤差分布如圖8所示。對角線圖顯示了每個(gè)參數(shù)相對于其地面真值的預(yù)測誤差分布。本文還研究了每個(gè)參數(shù)相對于其他參數(shù)的地面真值的誤差分布。這在非對角線圖中顯示，揭示了一些有趣的見解。
如第3.4節(jié)所述，應(yīng)生成訓(xùn)練集以復(fù)制部署此類網(wǎng)絡(luò)時(shí)將看到的圖像的分布。本文預(yù)計(jì)誤差分布會隨著訓(xùn)練數(shù)據(jù)的分布而變化，因?yàn)檫@些數(shù)據(jù)的跨度直接關(guān)系到問題的難度。因此，圖8所示的絕對誤差與它們之間的關(guān)系無關(guān)。對于要部署這樣的網(wǎng)絡(luò)的特定應(yīng)用程序域，應(yīng)研究這些錯(cuò)誤。
- Conclusions
本文提出了一種基于學(xué)習(xí)的方法來聯(lián)合預(yù)測攝像機(jī)的外部和內(nèi)部參數(shù)，包括徑向畸變。提出的參數(shù)化方法與焦距分離，非常適合于預(yù)測。本文還引入了一個(gè)新的損失函數(shù)來解決損失平衡問題。最后，本文驗(yàn)證了該方法相對于基于幾何的不失真方法的優(yōu)越性。在以后的工作中，本文將探索用單參數(shù)畸變模型進(jìn)行畸變校正[7，22]。更重要的是，本文將在大規(guī)模結(jié)構(gòu)中應(yīng)用單圖像攝像機(jī)標(biāo)定，從不同攝像機(jī)模型的眾包圖像上進(jìn)行運(yùn)動(dòng)，本文看到了基于學(xué)習(xí)的方法增強(qiáng)系統(tǒng)魯棒性的潛力。
總結(jié)
以上是生活随笔為你收集整理的畸变的单目摄像机标定的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
