文章目錄

• • 基本介紹：
  • 坐標系變換運算規則：
  • • 關系運算說明：
    • 坐標系運算規則一：
    • 坐標系運算規則二：
    • 齊次坐標系：
    • 齊次坐標系下的坐標變換：
  • 眼在手外：
  • 眼在手內：
  • 解方程：
  • • - Tais方法
  • 使用opencv完成手眼標定
  • • 歐拉角變換為旋轉矩陣：
    • 旋轉矩陣變成歐拉角：
  • 易錯點：

基本介紹：

• 眼在手外(eye to hand)：

  相機固定在機械臂以外的地方，主要標定相機和基底坐標系的轉換矩陣。

• 眼在手上(eye in hand):

  相機固定在機械臂末端，主要標定相機和機械臂末端的轉換矩陣。

坐標系變換運算規則：

${}_{end}^{base}R$:機械臂末端坐標系到機械臂基底坐標系的旋轉矩陣

${}_{end}^{base}T$:機械臂末端坐標系到機械臂基底坐標系的平移矩陣

${}_{end}^{base}M=\left[\begin{array}{cc}{}_{end}^{base}R& {}_{end}^{base}T\\ 0& 1\end{array}\right]$:機械臂末端坐標系到機械臂基底坐標系變換矩陣

以上等價于：機械臂末端坐標系在基底坐標系下的描述

關系運算說明：

$$\begin{gathered} {}_{end}^{base}R{=}_{base}^{end}{R}^{?1}{ \\ }_{end}^{base}M{=}_{base}^{end}{M}^{?1}{ \\ }_{end}^{base}T=\{\begin{array}{rl}=& {?}_{base}^{end}Tif{}_{end}^{base}R{=}_{base}^{end}R=I\\ =& {?}_{base}^{end}Tif{}_{end}^{base}R{=}_{base}^{end}R=I\end{array} \end{gathered}$$
由于R是正交矩陣，正交矩陣的逆=正交矩陣的轉置，所以有時候也會寫為${}_{end}^{base}R{=}_{base}^{end}{R}^T$

坐標系運算規則一：

假設有兩個坐標系A，B，其中坐標系B中的點b是由坐標系A中的點a轉換來的，則點a和點b之間有如下等式
$$\begin{gathered} a={}_B^{A}R?b+{}_B^{A}T \\ b={}_A^{B}R?a+{}_A^{B}T \end{gathered}$$
由以上等式可以看出:
$$\begin{gathered} a={}_A^B{R}^{?1}(b?{}_A^{B}T) \\ ={}_A^B{R}^{?1}b?{}_A^B{R}^{?1}{}_A^{B}T \\ ={}_A^B{R}^{?1}b+{}_B^{A}T \\ {}_B^{A}T=?{}_A^B{R}^{?1}{}_A^{B}T \end{gathered}$$

坐標系運算規則二：

假設由三個坐標系A，B，C，已知如下關系：${}_B^{A}R,{}_B^{A}T,{}_C^{B}R,{}_C^{B}T$,求${}_C^{A}R,{}_C^{A}T$

對于旋轉矩陣$R$: ${}_C^{A}R={}_B^{A}R?{}_C^{B}R$

對于平移矩陣$T$:${}_C^{A}T={}_B^{A}T+{}_B^{A}R{}_C^{B}T$ 形式麻煩！

齊次坐標系：

已知坐標系A下的點$a=(x_a,y_a,z_a{)}^T$，則點$a$的齊次坐標系可以寫成$a=(x_a,y_a,z_a,1{)}^T$

已知齊次坐標系下一點$p=(a,b,c,d{)}^T$，則點$p$的真實三維坐標為$p=(\frac{a}{d},\frac{b}{d},\frac{c}{d}{)}^T$

齊次坐標系下的變換矩陣：${}_B^{A}M=\left[\begin{array}{cc}{}_B^{A}R& {}_B^{A}T\\ 0& 1\end{array}\right]$

${}_B^{A}M={}_A^B{M}^{?1}$

齊次坐標系下的坐標變換：

已知a，b，c分別為坐標系A，B，C下的齊次坐標，則有如下關系：
$$\begin{gathered} a={}_B^{A}M?b \\ b={}_C^{B}M?c \\ a={}_B^{A}M?{}_C^{B}M?c \end{gathered}$$

眼在手外：

求解目標：機械臂基底坐標系到相機坐標系的變換矩陣${}_{base}^{camera}M$

手眼標定坐標系表示：

• 機械臂基底坐標系 – base
• 機械臂末端坐標系 – end
• 相機坐標系 – camera
• 標定板坐標系 – board

實現方法：

把標定板固定在機械臂末端

使用相機拍攝不同機械臂姿態下的標定板圖片n張，n>3

則對每張圖片可知：${}_{base}^{camera}M={}_{board}^{camera}M?{}_{end}^{board}M?{}_{base}^{end}M$

變形得：

? ${}_{end}^{board}M={}_{board}^{camera}{M}^{?1}?{}_{base}^{camera}M?{}_{base}^{end}{M}^{?1}$

其中：

? ${}_{board}^{camera}M:$ 可由通過拍攝的標定板圖片直接求解

? ${}_{base}^{end}M:$ 可由機械臂末端位姿參數求得

? ${}_{end}^{board}M:$ 未知量，由于標定板固定在機械臂末端，所以對每組圖片，該轉換矩陣都相同

已知對每張圖片：
$${}_{end}^{board}M={}_{board}^{camera}{M}^{?1}?{}_{base}^{camera}M?{}_{base}^{end}{M}^{?1}$$
**則可以得到如下等式：**左乘${}_{board}^{camera}{M}_2$ 右乘${}_{base}^{end}{M}_1$

眼在手內：

求解目標：機械臂末端坐標系到相機坐標系的變換矩陣${}_{end}^{camera}M$

手眼標定坐標系表示：

• 機械臂基底坐標系 – base
• 機械臂末端坐標系 – end
• 相機坐標系 – camera
• 標定板坐標系 – board

實現方法：

把標定板放在固定位置不動

移動機械臂末端，從不同角度拍攝n張標定板圖片

則對每張圖片可知：${}_{end}^{camera}M={}_{board}^{camera}M?{}_{base}^{board}M?{}_{end}^{base}M$

變形得：

? ${}_{base}^{board}M={}_{board}^{camera}{M}^{?1}?{}_{end}^{camera}M?{}_{end}^{base}{M}^{?1}$

其中：

? ${}_{board}^{camera}M:$ 可由通過拍攝的標定板圖片直接求解

? ${}_{base}^{end}M:$ 可由機械臂末端位姿參數求得

? ${}_{base}^{board}M:$ 未知量，由于標定板全程固定在一個位置不動，所以對每組圖片，該轉換矩陣都相同

已知對每張圖片：
$${}_{base}^{board}M={}_{board}^{camera}{M}^{?1}?{}_{end}^{camera}M?{}_{end}^{base}{M}^{?1}$$
**則可以得到如下等式：**左乘${}_{board}^{camera}{M}_2$ 右乘${}_{end}^{base}{M}_1$

解方程：

? 無論是眼在手外還是眼在手內，都可以得到一個經典的方程組$AX=XB$,這個方程組有n-1個方程 (n是拍攝的圖片數量)

? 其中X是我們要求得的手眼矩陣，里面有6個線性無關的變量，其中旋轉3個自由度，平移3個自由度。

- Tais方法

**形式變換：**由于A，B，X均為變換矩陣
$$A=\left[\begin{array}{cc}{R}_A& T_A\\ 0& 1\end{array}\right]B=\left[\begin{array}{cc}{R}_B& T_B\\ 0& 1\end{array}\right]X=\left[\begin{array}{cc}{R}_X& T_X\\ 0& 1\end{array}\right]$$
則$AX=XB$可以拆解成如下兩個等式
$$\{\begin{array}{rl}{R}_A{R}_X& =R_X{R}_B\\ (R_A?1)T_X& =R_X{T}_B?T_A\end{array}$$
Tais方法：先求解Rx，再求解Tx

旋轉的表示：

? **旋轉矩陣：**3*3矩陣$R=R_z{R}_y{R}_x$

? 旋轉向量：$r=(xyz)\theta =norm(r)$

? 剛體繞旋轉軸旋轉，$r$表示的是旋轉軸的方向，$r$的長度表示剛體繞旋轉軸的角度

? 旋轉角：$\theta =({\theta }_x{\theta }_y{\theta }_z)$

? 旋轉角又稱歐拉角，一般情況下旋轉角指的是坐標系繞x軸旋轉后，再繞y軸旋轉后，再繞z軸旋轉分別的角度

使用opencv完成手眼標定

歐拉角變換為旋轉矩陣：

$$\begin{gathered} R_x({\theta }_x)=?\begin{array}{ccc}1& 0& 0\\ 0& cos{\theta }_x& ?sin{\theta }_x\\ 0& sin{\theta }_x& cos{\theta }_x\end{array}? \\ {R}_y({\theta }_y)=?\begin{array}{ccc}cos{\theta }_y& 0& sin{\theta }_y\\ 0& 1& 0\\ ?sin{\theta }_y& 0& cos{\theta }_y\end{array}? \\ {R}_z({\theta }_z)=?\begin{array}{ccc}cos{\theta }_z& ?sin{\theta }_z& 0\\ sin{\theta }_z& cos{\theta }_z& 0\\ 0& 0& 1\end{array}? \\ R=R_z{R}_y{R}_x \end{gathered}$$

旋轉矩陣變成歐拉角：

$R=?\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}?$

$$\begin{gathered} {\theta }_Z=atan2(r_{21},r_{11}) \\ {\theta }_Y=atan2(?r_{31},\sqrt{r_{31}^2+r_{33}^2}) \\ {\theta }_X=atan2(r_{32},r_{33}) \end{gathered}$$

solvePnP()

bool cv::solvePnP(InputArray objectPoints,InputArray imagePoints,InputArray cameraMatrix, // 相機內參InputArray distCoeffs, // 相機畸變系數OutputArray rvec, // ROutputArray objectPoints, // Tbool useExtrinsicGuess = false,int flags = SOLVEPNP_ITERATIVE)

易錯點：

1. 利用calibrateCamera函數中計算的R、T，來作為標定板坐標系到相機坐標系的輸入

? 問題分析：對手眼標定來說，這個R、T沒有問題。但是由于后續的抓取來說，使用的物體三維坐標是相機重建的點云，即相機之前標定的內參下的點云。此時手眼標定的相機坐標系和實際抓取使用的相機坐標系輕微的不一致，導致抓取總是有輕微誤差。

2. 識別標定板角點方向反了！

? 由于在建立棋盤格上的三維坐標系的時候，我們默認是從棋盤格左上角到右下角建立的，如果識別反了，則會有個別圖片棋盤格識別的角點和輸入的棋盤格三維坐標對應不上！

本篇為觀看b站視頻的筆記
在此附上原視頻地址：
手眼標定–原理與實戰

總結

以上是生活随笔為你收集整理的手眼标定笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。