本文章收錄在黑鯨智能系統知識庫-黑鯨智能系統知識庫成立于2021年，致力于建立一個完整的智能系統知識庫體系。我們的工作：收集和整理世界范圍內的學習資源，系統地建立一個內容全面、結構合理的知識庫。

作者博客：途中的樹

在機器人的感知系統中，有時我們需要攝像機來構建三維世界的投影圖像，這篇文章來聊一聊

攝像機模型

• 描述了一個三維世界點在攝像機圖像中的投影。
• 假設
  • 有一個無限小的小孔的盒子
• 攝像機中心是射線的交匯點（針孔）。
• 后墻是圖像平面image plane
• 攝像機中心和圖像平面之間的距離是攝像機常數Camera constant

在歐幾里德幾何學中描述這種變換是比較困難的，不過在射影幾何中就簡單許多，射影幾何的變換可以在齊次坐標系下表示

• 射影幾何 Projective geometry是幾何變換的一個可替代方法
• 齊次坐標系homogenous coordinates 在機器人學中廣泛應用
• 優勢：在射影幾何中仿射變換和投影變換可以用一個矩陣的乘法來傳達

相機校準

• 相機可以將三維世界的點投射到二維圖像平面上
• 校準的影響因素
  • 圖片中心
  • 焦距
  • 鏡頭畸變參數
• 為什么需要校準
  • 便宜的鏡頭，相機的制作過程中都會產生誤差
  • 精確的校準是非常必要的
    • 圖像3D信息解釋
    • 重建地圖模型
    • 機器人與環境的互動（手眼協調）

Pinhole相機的三個假設

來自物體的所有射線相交于一個點

所有圖像點都被投射在一個平面上

從物體點到圖像的射線點是一條直線

• 當然這些假設往往不成立，導致圖像不完美

鏡頭和針孔的區別

• 鏡頭只是針孔相機模型的一個近似值
• 物體上和圖像中的相應點，以及鏡頭的中心通常不在一條線上
• 光束通過透鏡中心的距離越遠，誤差就越大

坐標系框架

• 環境坐標系 World coordinate frame $S_o$
  • 表示為 $[X,Y,Z{]}^T$
• 相機坐標系 Camera coordinate frame $S_k$
  • 表示為 ${[}^{k}X{,}^{k}Y{,}^{k}Z{]}^T$
• 圖像坐標系 image coordinate frame $S_c$
  • 表示為 ${[}^{c}x{,}^{c}y{]}^T$
• 傳感器坐標系 Sensor coordinate $S_s$
  • 表示為 ${[}^{s}x{,}^{s}y{]}^T$

坐標系轉換 Transformation

• 我們想要從傳感器坐標系轉換到環境坐標系

• 其中環境坐標系$S_o$ 到相機坐標系$S_k$屬于外在轉換
  • 外在參數描述攝像機在環境中的姿態
• 其他的轉換屬于內在轉換
  • 內在參數描述了相機前的場景與最終圖像（傳感器）中的像素的映射關系

假設一個點$\mathcal{P}$

外在參數

• 攝像機相對于世界的姿態
• 可逆變換 Invertible transformation
• How many parameters are needed?
  • 6個：3個位置參數+3個方向參數
• 在環境坐標系中點$\mathcal{P}$的坐標為 ${\mathrm{X}}_P=[X_P,Y_P,Z_P{]}^T$
• 在相機坐標系中圓點的坐標（在環境坐標系中的坐標）為 ${\mathrm{X}}_O=[X_O,Y_O,Z_O{]}^T$
• 在下文中，我們將看到為什么與歐幾里得坐標相比，H.C.是描述變換的更好選擇

環境坐標系轉換到相機坐標系 $S_o\to S_k$

直覺上講，知道了環境坐標系中的坐標，也知道的相機坐標系的坐標，想將點坐標從環境坐標系轉換到相機坐標系，可以先做一個平移和旋轉 ${}^k{X}_P=R(X_P?X_O)$,當然這是在歐式坐標系中的表示

如果放到H.C.齊次坐標系中，則為

• $\left[\begin{array}{c}{}^k{X}_p\\ 1\end{array}\right]=\left[\begin{array}{cc}R& 0\\ 0^{\mathrm{T}}& 1\end{array}\right]\left[\begin{array}{cc}{I}_3& ?X_O\\ 0^{\mathrm{T}}& 1\end{array}\right]\left[\begin{array}{c}{X}_P\\ 1\end{array}\right]=\left[\begin{array}{cc}R& ?R{X}_O\\ 0^{\mathrm{T}}& 1\end{array}\right]\left[\begin{array}{c}{X}_P\\ 1\end{array}\right]$
• 或者寫為${}^k{\mathrm{X}}_P{=}^k{\mathrm{H}\mathrm{X}}_P$有${}^k\mathrm{H}=\left[\begin{array}{cc}R& ?R{X}_O\\ 0^{\mathrm{T}}& 1\end{array}\right]$

內在參數

• 將點從相機框架投射到傳感器框架的過程
• 可逆變換
  • 圖像平面到傳感器框架
  • 模型偏差
• 不能直接倒置：投影
• 理想狀態下的投影可以分為三步
• 將透視投影投射到圖像平面上
• 轉換到傳感器坐標系框架（像素）
• 前面兩個映射步驟是理想化的，需要進行校正，或者說補償compensation

相機坐標系到圖像坐標系

• 在圖像坐標系統中：
  • 我們定義一個相機常數 $c$ 用來表示投影中心（小孔位置）$O$到圖像平面中心$\mathcal{H}$的距離
  • 該值是作為相機校準的一部分計算出來的
  • $c<0$情況如下圖

如果上圖的透視投影是沒誤差的，根據截斷定理幾何關系我們可以得到點$\mathcal{P}$ （3D）在圖像平面上的投影點$\overline{\mathcal{P}}$（3D）的坐標${[}^c{x}_{\overline{\mathcal{P}}}{,}^c{y}_{\overline{\mathcal{P}}}]$,

$${}^c{x}_{\overline{\mathcal{P}}}:{=}^k{X}_{\overline{\mathcal{P}}}=c\frac{{}^k{X}_{\mathcal{P}}}{{}^k{Z}_{\mathcal{P}}}$$

$${}^c{y}_{\overline{\mathcal{P}}}:{=}^k{Y}_{\overline{\mathcal{P}}}=c\frac{{}^k{X}_{\mathcal{P}}}{{}^k{Z}_{\mathcal{P}}}$$

H.C. 齊次坐標模式

$${}^c{\mathrm{x}}_{\overline{\mathcal{P}}}=?\begin{array}{c}{}^c{u}_{\overline{P}}\\ {}^c{v}_{\overline{P}}\\ {}^c{w}_{\overline{P}}\end{array}?=?\begin{array}{cccc}c& 0& 0& 0\\ 0& c& 0& 0\\ 0& 0& 1& 0\end{array}??\begin{array}{c}{}^c{X}_P\\ {}^c{Y}_P\\ {}^c{Z}_P\\ 1\end{array}?$$

可以寫成 $$\begin{gathered} {}^c{\mathrm{x}}_{\overline{\mathcal{P}}}{=}^c{\mathrm{P}}_k{ \\ }^k{\mathrm{X}}_P \end{gathered}$$ with ${}^c{\mathrm{P}}_k=?\begin{array}{cccc}c& 0& 0& 0\\ 0& c& 0& 0\\ 0& 0& 1& 0\end{array}?$這定義了從相機框架中的一個點到圖像框架的投影

環境坐標系到圖像坐標系

• 如此結合一下前面的兩部轉換,從世界框架到相機框架的轉換，然后投射到圖像框架中（H.C.）

  ${}^c{\mathrm{x}}_{\overline{\mathcal{P}}}{=}^c\mathrm{P}\mathrm{X}$ with ${}^c\mathrm{P}{=}^c{\mathrm{P}}_k{}^k\mathrm{H}=?\begin{array}{cccc}c& 0& 0& 0\\ 0& c& 0& 0\\ 0& 0& 1& 0\end{array}?\left[\begin{array}{cc}R& ?R{X}_O\\ 0^{\mathrm{T}}& 1\end{array}\right]$

• 理想相機的校準矩陣 ${}^c\mathrm{K}=?\begin{array}{ccc}c& 0& 0\\ 0& c& 0\\ 0& 0& 1\end{array}?$

• 我們可以把整個映射寫成右圖

• 各種矩陣變換，就不細說了下面寫一下最后結果

• 校準矩陣
  • 現在我們有${}^c\mathrm{P}{=}^c\mathrm{K}R[I_3|?X_O]$
  • 所以現在把一個點映射到圖像層為 ${}^c\mathrm{x}{=}^c\mathrm{K}R[I_3|?X_O]\mathrm{X}$
  • 最后得到H.C.坐標為 ${}^c\mathrm{x}$
    • $?\begin{array}{c}{}^c{u}^{\prime }\\ {}^c{v}^{\prime }\\ {}^c{w}^{\prime }\end{array}?=?\begin{array}{ccc}c& 0& 0\\ 0& c& 0\\ 0& 0& 1\end{array}??\begin{array}{ccc}{r}_{1}1& r_{1}2& r_{1}3\\ r_{2}1& r_{2}2& r_{2}3\\ r_{3}1& r_{3}2& r_{3}3\end{array}??\begin{array}{c}X?X_O\\ Y?Y_O\\ Z?Z_O\end{array}?$

環境坐標到傳感器坐標

• 現在要把圖像層映射到傳感器層

• 假設圖像層到傳感器層是線性誤差

• 主點在圖像平面中的位置（偏移）

• 基于芯片設計的x和y的比例差異

• 圖像層的中心點的位置

  • 傳感器坐標系的中心點$(0,0)$并不是圖像的中心點
  • 通過移位來補償偏移
  • ${}^c{\mathrm{H}}_c=?\begin{array}{ccc}1& 0& x_{\mathrm{H}}\\ 0& 1& y_{\mathrm{H}}\\ 0& 0& 1\end{array}?$

• 比例差別
  • ${}^c{\mathrm{H}}_c=?\begin{array}{ccc}1& 0& x_{\mathrm{H}}\\ 0& 1+m& y_{\mathrm{H}}\\ 0& 0& 1\end{array}?$
• 最后得到傳感器坐標
  • $$\begin{gathered} {}^s\mathrm{x}{=}^s{\mathrm{H}}_c{ \\ }^c\mathrm{K}R[I_3|?X_O]\mathrm{X} \end{gathered}$$
  • $$\begin{gathered} \mathrm{K}{=}^s{\mathrm{H}}_c{ \\ }^c\mathrm{K}=?\begin{array}{ccc}1& 0& x_{\mathrm{H}}\\ 0& 1+m& y_{\mathrm{H}}\\ 0& 0& 1\end{array}??\begin{array}{ccc}c& 0& 0\\ 0& c& 0\\ 0& 0& 1\end{array}?=?\begin{array}{ccc}1& 0& x_{\mathrm{H}}\\ 0& c(1+m)& y_{\mathrm{H}}\\ 0& 0& 1\end{array}? \end{gathered}$$

相機參數

• 這個就是我們要找的相機參數，拋開旋轉不論
  • 這個校準矩陣Calibration Matrix包含4個參數
    • 相機常數$c$
    • 中心點 $x_H,y_H$
    • 比例差異 $m$

非線性誤差補償

• 到目前為止，我們只考慮了線性參數
• 現實世界是非線性的
  • 不完善的鏡頭
  • 傳感器的非平面性
  • …

• 怎么解決呢？
  • 再加最后一步校正這個非線性的影響
  • 傳感器坐標系中與位置有關的移動
  • 根據與圖像中心的距離，對每個像素進行單獨移動

${}^{a}x{=}^{s}x+\Delta x(x,q)$

${}^{a}y{=}^{s}y+\Delta y(x,q)$

In the image

• 來個例子吧
  • 畸變的近似值${}^{a}x=x(1+q{r}^2){，}^{a}y=y(1+q{r}^2)$
  • $r$ 是像素到圖像中心的距離
  • $q$ 是一般映射的附加參數
• 放到H.C.
  • $$\begin{gathered} {}^a\mathrm{x}{=}^a{\mathrm{H}}_s(x,q){ \\ }^s\mathrm{x} \end{gathered}$$ with ${}^a{\mathrm{H}}_s(x,q)=?\begin{array}{ccc}1& 0& \Delta x(x,q)\\ 0& 1& \Delta y(x,q)\\ 0& 0& 1\end{array}?$
  • ${}^a\mathrm{x}{=}^a{\mathrm{H}}_c(x,q)\mathrm{K}R[I_3|?X_O]\mathrm{X}$

最終校正矩陣

• 一般的校準矩陣是通過將仿生變換的矩陣與一般的映射結合起來得到的

  • ${}^a\mathrm{K}(x,q){=}^a{\mathrm{H}}_s(x,q)\mathrm{K}=?\begin{array}{ccc}1& 0& x_{\mathrm{H}}+\Delta x(x,q)\\ 0& c(1+m)& y_{\mathrm{H}}+\Delta y(x,q)\\ 0& 0& 1\end{array}?$

• 這就求得最終的映射

  • ${}^a\mathrm{x}{=}^a\mathrm{P}(x,q)\mathrm{X}$ with ${}^a\mathrm{P}(x,y){=}^a\mathrm{K}(x,y)R[I_3|?X_O]$

• 如果Intrinsics是未知的，我們稱之為未校準的攝像機

• 如果Intrinsics是已知的，我們稱相機為校準的。

• 獲得Intrinsics的過程被稱為相機校準

總結

以上是生活随笔為你收集整理的认知机器人：相机校准的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。