相機(jī)模型

符號(hào)定義：${}^C{P}_a$表示$P_a$點(diǎn)在坐標(biāo)系$C$中的坐標(biāo)，${}_I^{C}T$表示坐標(biāo)系$I$相對(duì)于坐標(biāo)系$C$的坐標(biāo)變換。設(shè)B點(diǎn)為主軸與相平面之間的交點(diǎn)，相機(jī)坐標(biāo)系$C$中點(diǎn)$P_o$坐標(biāo)為：$(P_{ox},P_{oy},P_{oz}{)}^T$，P點(diǎn)為線段$P_{o}C$與相平面的交點(diǎn)，則易得$PB\perp BC$，$\Delta P_{o}AC$與$\Delta PBC$相似，得P點(diǎn)在相機(jī)坐標(biāo)系C中的坐標(biāo)${}^{C}P$為$\frac{f}{P_{oz}}(P_{ox},P_{oy},P_{oz}{)}^T$，設(shè)${}^{I}P=(u,v,0)$。

推導(dǎo)1. 當(dāng)相平面原點(diǎn)在主軸上

相平面原點(diǎn)在主軸上即，相平面原點(diǎn)在相機(jī)坐標(biāo)為$(0,0,f{)}^T$，容易得到：
$$\begin{gathered} {}^C{T}_I=?\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& f\\ 0& 0& 0& 1\end{array}?{ \\ }^C{T}_I^{?1}=?\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& ?f\\ 0& 0& 0& 1\end{array}? \end{gathered}$$
則由坐標(biāo)變換得：${}^{I}P{=}_C^I{T}^{C}P$，計(jì)算得：
$$?\begin{array}{c}u\\ v\\ 0\end{array}?=\frac{f}{P_{oz}}?\begin{array}{c}{P}_{ox}\\ P_{oy}\\ 0\end{array}?$$

推導(dǎo)2. 當(dāng)相平面原點(diǎn)不在主軸上

設(shè)相平面原點(diǎn)在相機(jī)坐標(biāo)為$(c_x,c_y,f{)}^T$，注意$c_x,c_y$的定義，容易得到：
$$\begin{gathered} {}^C{T}_I=?\begin{array}{cccc}1& 0& 0& c_x\\ 0& 1& 0& c_y\\ 0& 0& 1& f\\ 0& 0& 0& 1\end{array}?{ \\ }^C{T}_I^{?1}=?\begin{array}{cccc}1& 0& 0& ?c_x\\ 0& 1& 0& ?c_y\\ 0& 0& 1& ?f\\ 0& 0& 0& 1\end{array}? \end{gathered}$$
同理推導(dǎo)得到：
$$?\begin{array}{c}u\\ v\\ 0\end{array}?=\frac{f}{P_{oz}}?\begin{array}{c}{P}_{ox}\\ P_{oy}\\ 0\end{array}?+?\begin{array}{c}?c_x\\ ?c_y\\ 0\end{array}?$$
反之由坐標(biāo)變換得：${}^{C}P{=}_I^C{T}^{I}P$，計(jì)算得：
$$?\begin{array}{c}{P}_{ox}\\ P_{oy}\\ P_{oz}\end{array}?=\frac{P_{oz}}{f}?\begin{array}{c}u+c_x\\ v+c_y\\ f\end{array}?$$
整理為矩陣形式得：
$$P_{oz}?\begin{array}{c}u\\ v\\ 1\end{array}?=\underset{K}{?\begin{array}{ccc}f& 0& ?c_x\\ 0& f& ?c_y\\ 0& 0& 1\end{array}?}\underset{(I\mid 0)}{?\begin{array}{llll}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}?}?\begin{array}{c}{P}_{ox}\\ P_{oy}\\ P_{oz}\\ 1\end{array}?$$
矩陣K稱為相機(jī)內(nèi)參矩陣。若考慮世界坐標(biāo)與相機(jī)坐標(biāo)的坐標(biāo)變換${}_W^{C}T$，則世界坐標(biāo)的點(diǎn)${}^{W}P=(X,Y,Z,1{)}^T$與相平面點(diǎn)坐標(biāo)的關(guān)系可表示為：
$${}^{C}Z?\begin{array}{c}u\\ v\\ 1\end{array}?=?\begin{array}{ccc}f& 0& ?c_x\\ 0& f& ?c_y\\ 0& 0& 1\end{array}?{[}_W^{C}R{\mid }_W^{C}t]?\begin{array}{l}X\\ Y\\ Z\\ 1\end{array}?$$
${}^{C}Z$為相機(jī)坐標(biāo)系的坐標(biāo)表示。到這里所有的坐標(biāo)系都表征物理單位，如果將像平面的坐標(biāo)變換到像素平面，設(shè)像平面坐標(biāo)系與像素平面坐標(biāo)系重合，需要做再做一次尺度變換。設(shè)每行/每列像素對(duì)應(yīng)的像坐標(biāo)系的物理間隔分別為$s_u,s_v$，則存在以下變換：
$$?\begin{array}{c}i\\ j\\ 1\end{array}?=?\begin{array}{ccc}\frac{1}{s_u}& 0& 0\\ 0& \frac{1}{s_v}& 0\\ 0& 0& 1\end{array}??\begin{array}{c}u\\ v\\ 1\end{array}?$$
綜上，最終的像素坐標(biāo)與世界坐標(biāo)間的變換關(guān)系為：
$${}^{C}Z?\begin{array}{c}i\\ j\\ 1\end{array}?=?\begin{array}{ccc}\frac{1}{s_u}& 0& 0\\ 0& \frac{1}{s_v}& 0\\ 0& 0& 1\end{array}??\begin{array}{ccc}f& 0& ?c_x\\ 0& f& ?c_y\\ 0& 0& 1\end{array}?{[}_W^{C}R{\mid }_W^{C}t]?\begin{array}{l}X\\ Y\\ Z\\ 1\end{array}?$$

---

若與其他推導(dǎo)出現(xiàn)公式上的差異，請(qǐng)注意這里的$c_x,c_y$定義。

相機(jī)標(biāo)定之張正友標(biāo)定法數(shù)學(xué)原理詳解
手眼標(biāo)定之基本原理

pybullet中camera實(shí)現(xiàn)

camera在世界坐標(biāo)系中放置位置如下圖所示

代碼參考：panda_grasp_sim_2

class Camera:def __init__(self):"""初始化相機(jī)參數(shù)，計(jì)算相機(jī)內(nèi)參"""self.fov = 60*math.pi/180self.length = 0.7 # 焦距self.H = self.length * math.tan(0.5*self.fov) # 圖像上方點(diǎn)的到中心點(diǎn)的實(shí)際距離(height) m# 計(jì)算 f/su和 f/svself.A = (HEIGHT / 2) * self.length / self.H# 計(jì)算內(nèi)參矩陣（注意上文中Cx, Cy單位為m）self.InMatrix = np.array([[self.A, 0, WIDTH/2 - 0.5], [0, self.A, HEIGHT/2 - 0.5], [0, 0, 1]], dtype=np.float)# 計(jì)算相機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的變換矩陣# 歐拉角xyz: (pi, 0, 0) 平移(0, 0, 0.7)rotMat = eulerAnglesToRotationMatrix([math.pi, 0, 0])self.transMat = getTransfMat([0, 0, 0.7], rotMat)"""helper functions""" def img2camera(self, pt, dep):"""獲取像素點(diǎn)pt在相機(jī)坐標(biāo)系中的坐標(biāo)pt: [x, y]dep: 深度值return: [x, y, z]"""pt_in_img = np.array([[pt[0]], [pt[1]], [1]], dtype=np.float)ret = np.matmul(np.linalg.inv(self.InMatrix), pt_in_img) * depreturn list(ret.reshape((3,)))# print('坐標(biāo) = ', ret)def camera2img(self, coord):"""將相機(jī)坐標(biāo)系中的點(diǎn)轉(zhuǎn)換至圖像coord: [x, y, z]return: [row, col]"""z = coord[2]coord = np.array(coord).reshape((3, 1))rc = (np.matmul(self.InMatrix, coord) / z).reshape((3,))return list(rc)[:-1]def camera2world(self, coord):"""獲取相機(jī)坐標(biāo)系中的點(diǎn)在世界坐標(biāo)系中的坐標(biāo)corrd: [x, y, z]return: [x, y, z]"""coord.append(1.)coord = np.array(coord).reshape((4, 1))coord_new = np.matmul(self.transMat, coord).reshape((4,))return list(coord_new)[:-1]def world2camera(self, coord):"""獲取世界坐標(biāo)系中的點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)corrd: [x, y, z]return: [x, y, z]"""coord.append(1.)coord = np.array(coord).reshape((4, 1))coord_new = np.matmul(np.linalg.inv(self.transMat), coord).reshape((4,))return list(coord_new)[:-1]def world2img(self, coord):"""獲取世界坐標(biāo)系中的點(diǎn)在圖像中的坐標(biāo)corrd: [x, y, z]return: [row, col]"""# 轉(zhuǎn)到相機(jī)坐標(biāo)系coord = self.world2camera(coord)# 轉(zhuǎn)到圖像pt = self.camera2img(coord) # [y, x]return [int(pt[1]), int(pt[0])]def img2world(self, pt, dep):"""獲取像素點(diǎn)的世界坐標(biāo)pt: [x, y]dep: 深度值 m"""coordInCamera = self.img2camera(pt, dep)return self.camera2world(coordInCamera)

總結(jié)

以上是生活随笔為你收集整理的相机模型内参推导的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。