相機模型

符號定義：${}^C{P}_a$表示$P_a$點在坐標系$C$中的坐標，${}_I^{C}T$表示坐標系$I$相對于坐標系$C$的坐標變換。設B點為主軸與相平面之間的交點，相機坐標系$C$中點$P_o$坐標為：$(P_{ox},P_{oy},P_{oz}{)}^T$，P點為線段$P_{o}C$與相平面的交點，則易得$PB\perp BC$，$\Delta P_{o}AC$與$\Delta PBC$相似，得P點在相機坐標系C中的坐標${}^{C}P$為$\frac{f}{P_{oz}}(P_{ox},P_{oy},P_{oz}{)}^T$，設${}^{I}P=(u,v,0)$。

推導1. 當相平面原點在主軸上

相平面原點在主軸上即，相平面原點在相機坐標為$(0,0,f{)}^T$，容易得到：
$$\begin{gathered} {}^C{T}_I=?\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& f\\ 0& 0& 0& 1\end{array}?{ \\ }^C{T}_I^{?1}=?\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& ?f\\ 0& 0& 0& 1\end{array}? \end{gathered}$$
則由坐標變換得：${}^{I}P{=}_C^I{T}^{C}P$，計算得：
$$?\begin{array}{c}u\\ v\\ 0\end{array}?=\frac{f}{P_{oz}}?\begin{array}{c}{P}_{ox}\\ P_{oy}\\ 0\end{array}?$$

推導2. 當相平面原點不在主軸上

設相平面原點在相機坐標為$(c_x,c_y,f{)}^T$，注意$c_x,c_y$的定義，容易得到：
$$\begin{gathered} {}^C{T}_I=?\begin{array}{cccc}1& 0& 0& c_x\\ 0& 1& 0& c_y\\ 0& 0& 1& f\\ 0& 0& 0& 1\end{array}?{ \\ }^C{T}_I^{?1}=?\begin{array}{cccc}1& 0& 0& ?c_x\\ 0& 1& 0& ?c_y\\ 0& 0& 1& ?f\\ 0& 0& 0& 1\end{array}? \end{gathered}$$
同理推導得到：
$$?\begin{array}{c}u\\ v\\ 0\end{array}?=\frac{f}{P_{oz}}?\begin{array}{c}{P}_{ox}\\ P_{oy}\\ 0\end{array}?+?\begin{array}{c}?c_x\\ ?c_y\\ 0\end{array}?$$
反之由坐標變換得：${}^{C}P{=}_I^C{T}^{I}P$，計算得：
$$?\begin{array}{c}{P}_{ox}\\ P_{oy}\\ P_{oz}\end{array}?=\frac{P_{oz}}{f}?\begin{array}{c}u+c_x\\ v+c_y\\ f\end{array}?$$
整理為矩陣形式得：
$$P_{oz}?\begin{array}{c}u\\ v\\ 1\end{array}?=\underset{K}{?\begin{array}{ccc}f& 0& ?c_x\\ 0& f& ?c_y\\ 0& 0& 1\end{array}?}\underset{(I\mid 0)}{?\begin{array}{llll}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}?}?\begin{array}{c}{P}_{ox}\\ P_{oy}\\ P_{oz}\\ 1\end{array}?$$
矩陣K稱為相機內參矩陣。若考慮世界坐標與相機坐標的坐標變換${}_W^{C}T$，則世界坐標的點${}^{W}P=(X,Y,Z,1{)}^T$與相平面點坐標的關系可表示為：
$${}^{C}Z?\begin{array}{c}u\\ v\\ 1\end{array}?=?\begin{array}{ccc}f& 0& ?c_x\\ 0& f& ?c_y\\ 0& 0& 1\end{array}?{[}_W^{C}R{\mid }_W^{C}t]?\begin{array}{l}X\\ Y\\ Z\\ 1\end{array}?$$
${}^{C}Z$為相機坐標系的坐標表示。到這里所有的坐標系都表征物理單位，如果將像平面的坐標變換到像素平面，設像平面坐標系與像素平面坐標系重合，需要做再做一次尺度變換。設每行/每列像素對應的像坐標系的物理間隔分別為$s_u,s_v$，則存在以下變換：
$$?\begin{array}{c}i\\ j\\ 1\end{array}?=?\begin{array}{ccc}\frac{1}{s_u}& 0& 0\\ 0& \frac{1}{s_v}& 0\\ 0& 0& 1\end{array}??\begin{array}{c}u\\ v\\ 1\end{array}?$$
綜上，最終的像素坐標與世界坐標間的變換關系為：
$${}^{C}Z?\begin{array}{c}i\\ j\\ 1\end{array}?=?\begin{array}{ccc}\frac{1}{s_u}& 0& 0\\ 0& \frac{1}{s_v}& 0\\ 0& 0& 1\end{array}??\begin{array}{ccc}f& 0& ?c_x\\ 0& f& ?c_y\\ 0& 0& 1\end{array}?{[}_W^{C}R{\mid }_W^{C}t]?\begin{array}{l}X\\ Y\\ Z\\ 1\end{array}?$$

---

若與其他推導出現公式上的差異，請注意這里的$c_x,c_y$定義。

相機標定之張正友標定法數學原理詳解
手眼標定之基本原理

pybullet中camera實現

camera在世界坐標系中放置位置如下圖所示

代碼參考：panda_grasp_sim_2

class Camera:def __init__(self):"""初始化相機參數，計算相機內參"""self.fov = 60*math.pi/180self.length = 0.7 # 焦距self.H = self.length * math.tan(0.5*self.fov) # 圖像上方點的到中心點的實際距離(height) m# 計算 f/su和 f/svself.A = (HEIGHT / 2) * self.length / self.H# 計算內參矩陣（注意上文中Cx, Cy單位為m）self.InMatrix = np.array([[self.A, 0, WIDTH/2 - 0.5], [0, self.A, HEIGHT/2 - 0.5], [0, 0, 1]], dtype=np.float)# 計算相機坐標系相對于世界坐標系的變換矩陣# 歐拉角xyz: (pi, 0, 0) 平移(0, 0, 0.7)rotMat = eulerAnglesToRotationMatrix([math.pi, 0, 0])self.transMat = getTransfMat([0, 0, 0.7], rotMat)"""helper functions""" def img2camera(self, pt, dep):"""獲取像素點pt在相機坐標系中的坐標pt: [x, y]dep: 深度值return: [x, y, z]"""pt_in_img = np.array([[pt[0]], [pt[1]], [1]], dtype=np.float)ret = np.matmul(np.linalg.inv(self.InMatrix), pt_in_img) * depreturn list(ret.reshape((3,)))# print('坐標 = ', ret)def camera2img(self, coord):"""將相機坐標系中的點轉換至圖像coord: [x, y, z]return: [row, col]"""z = coord[2]coord = np.array(coord).reshape((3, 1))rc = (np.matmul(self.InMatrix, coord) / z).reshape((3,))return list(rc)[:-1]def camera2world(self, coord):"""獲取相機坐標系中的點在世界坐標系中的坐標corrd: [x, y, z]return: [x, y, z]"""coord.append(1.)coord = np.array(coord).reshape((4, 1))coord_new = np.matmul(self.transMat, coord).reshape((4,))return list(coord_new)[:-1]def world2camera(self, coord):"""獲取世界坐標系中的點在相機坐標系中的坐標corrd: [x, y, z]return: [x, y, z]"""coord.append(1.)coord = np.array(coord).reshape((4, 1))coord_new = np.matmul(np.linalg.inv(self.transMat), coord).reshape((4,))return list(coord_new)[:-1]def world2img(self, coord):"""獲取世界坐標系中的點在圖像中的坐標corrd: [x, y, z]return: [row, col]"""# 轉到相機坐標系coord = self.world2camera(coord)# 轉到圖像pt = self.camera2img(coord) # [y, x]return [int(pt[1]), int(pt[0])]def img2world(self, pt, dep):"""獲取像素點的世界坐標pt: [x, y]dep: 深度值 m"""coordInCamera = self.img2camera(pt, dep)return self.camera2world(coordInCamera)

總結

以上是生活随笔為你收集整理的相机模型内参推导的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。