提示：文章寫完后，目錄可以自動生成，如何生成可參考右邊的幫助文檔

文章目錄

• 理論知識
• • 1.魚眼鏡頭的投影模型
  • • 1.1 幾種投影模型的特點
    • • 1.1.1 針孔投影模型
      • 1.1.2 體視投影模型
      • 1.1.3 等距投影模型
      • 1.1.4 等積投影模型
      • 1.1.5 正交投影模型
    • 1.2 幾種投影模型的區別
  • 2.魚眼相機成像過程
  • 3.魚眼圖像的畸變矯正
• 程序
• 總結

---

理論知識

1.魚眼鏡頭的投影模型

??魚眼鏡頭一般是由十幾個不同的透鏡組合而成的，如下圖所示，在成像的過程中，入射光線經過不同程度的折射，投影到尺寸有限的成像平面上，使得魚眼鏡頭與普通鏡頭相比起來擁有了更大的視野范圍。

魚眼相機的成像模型近似為球面投影模型

魚眼相機的成像過程可近似分解成兩步：

將三維空間上的點投影到虛擬球面上（線性）

將球面上的點投影到圖像平面上（非線性）

由上圖可知，魚眼相機的設計引入了畸變，而且所成影像存在非常嚴重的畸變，特別是徑向畸變，因此畸變模型主要考慮徑向畸變。

魚眼相機的投影函數是為了盡可能將龐大的場景投影到有限的圖像平面所設計的。根據投影函數的不同將魚眼相機的設計模型大致分為等距投影模型、等立體角投影模型、正交投影模型和體視投影模型四種。相機的成像模型實際上表征的是成像的像高與入射角之間的映射關系。

1.1 幾種投影模型的特點

1.1.1 針孔投影模型

針孔投影模型為相似性投影模型，其滿足物點、成像中心、像點的共線關系，其理想成像公式為：
$$r_d=ftan\theta$$

1.1.2 體視投影模型

體視投影模型相比之下畸變最小，球形物面上的微小面元經過體視投影后，其像仍然是一個小圓。所以體視投影對微小物體成像有相似性。但正是這種成像的相似性，使得該投影方式不能提供足夠的桶形畸變，影響成像視場。其模型如下：
$$r_d=2ftan\frac{\theta }{2}$$

1.1.3 等距投影模型

等距投影模型的投影關系在入射光線之間的角度相同時，保持其對應各投影點之間的間距相同。其投影模型為：
$$r_d=f\theta$$

1.1.4 等積投影模型

等積投影模型的特點是相等立體角的入射面會產生相等面積的像，其畸變程度介于等距模型與正交模型之間。其模型如下：
$$r_d=2fsin\frac{\theta }{2}$$

1.1.5 正交投影模型

正交投影模型的畸變很大，近180度處的圖像信息幾乎全部丟失，且180度之外的場景區域將無法進行描述。采用這種模型的鏡頭拍出的圖片即使在視角較小的區域也會比其他模型鏡頭的畸變更明顯。因此，針對藝術攝影類的廣角鏡頭，該模型的校正效果更好。其模型如下：
$$r_d=fsin\theta$$

投影模型投影函數特征

透視投影	$$r_d=ftan\theta$$	針孔模型
體視投影	$$r_d=2ftan\frac{\theta }{2}$$	任何直線相交的角度，在變換后保持不變
等距投影	$$r_d=f\theta$$	入射光線之間的角度相同時，保持其對應各投影點之間的間距相同
等積投影	$$r_d=2fsin\frac{\theta }{2}$$	相等立體角的入射面會產生相等面積的像
正交投影	$$r_d=fsin\theta$$	視角不能大于180°

1.2 幾種投影模型的區別

四種畸變模型畸變量從大到小依次為：正交投影、等立體角投影、等距投影、體視投影

2.魚眼相機成像過程

假設$P_w(x_w,y_w,z_w)$是世界坐標系下的一3D點，$P_c(x_c,y_c,z_c)$是$P_w$在相機坐標系下的點：
$$P_c=R{P}_w+t$$
$$?\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}?=R?\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}?+t$$
如果沒有畸變，直接按照小孔成像投影到像平面上投影點為$P_0$,$P_0$到成像中心$O$的距離為$r$:
$$r=\sqrt{a^2+b^2}$$
由相似三角形得：
$$\frac{x_c}{a}=\frac{y_c}{b}=\frac{z_c}{f}$$
因此：

$$r=f\sqrt{(\frac{x_c}{z_c}{)}^2+(\frac{y_c}{z_c}{)}^2}$$

所以,可以求出入射角$\theta$，也可以直接由$P_c$的坐標直接求出：
$$tan\theta =\frac{r}{f}=\sqrt{(\frac{x_c}{z_c}{)}^2+(\frac{y_c}{z_c}{)}^2}=\frac{\sqrt{x_c^2+y_c^2}}{z_c}$$
由于發生畸變，3D點投影時不可能按照小孔成像的模型進行投影，投影點$P_0$到成像中心的距離$r$就被壓縮成$r_d$，像點的位置從$P_0(a,b)$變成實際位置$p^{\prime }(x^{\prime },y^{\prime })$
因此：

$$tan{\theta }_d=\frac{r_d}{f}$$

由于$x$趨于0時,$tanx=x$，成像過程中，實際得相機成像面很小只有幾毫米，${\theta }_d$比較小，$tan{\theta }_d$可近似與${\theta }_d$
因此：
$$\underset{n\to 0}{\lim }tan{\theta }_d={\theta }_d$$
所以：
$$r_d=ftan{\theta }_d={\theta }_d$$

可根據等距投影模型$r_d=f\theta$,由于魚眼相機的四種投影模型都是奇函數，使用泰勒展開式
$$r_d=f\theta \approx k_0\theta +k_1{\theta }^3+k_2\theta +k_3{\theta }^7+k_4{\theta }^9$$
第一個系數$k_0$可以設置成1，所以：
$${\theta }_d=\theta (1+k_1{\theta }^2+k_2{\theta }^4+k_3{\theta }^6+k_4{\theta }^8)$$
由相識三角形得：
$$\frac{r_d}{r}=\frac{x^{\prime }}{a}=\frac{y^{\prime }}{b}$$
這里$r_d$與$r$的比值直接消去焦距$f$，說明與$f$無關，上面的公式可以直接把$f$當成單位1.
所以可以得到：
$$\frac{r_d}{r}=\frac{{\theta }_d}{r}$$
畸變后的點$p^{\prime }$的坐標為：
$$\{\begin{array}{l}{x}^{\prime }=\frac{{\theta }_d}{r}a\\ y^{\prime }=\frac{{\theta }_d}{r}b\end{array}$$
利用相機內參將像平面上的點轉換到像素坐標系得到最終圖像上的點：
$$\{\begin{array}{l}u=f_x{x}^{\prime }+c_x\\ v=f_y{y}^{\prime }+c_y\end{array}$$

---

3.魚眼圖像的畸變矯正

輸入：魚眼圖像中一像點$p(u,v)$
輸出：矯正后的像點坐標
step1：已知相機內參，把像點$p$轉為物理距離(由像素轉為米）
$$\{\begin{array}{l}x=(u?cx)/f_x\\ y=(v?cy)/f_y\end{array}$$
step2：求出實際像點到成像中心的距離$r_d$,以及等效的折射角
$$\{\begin{array}{l}{r}_d=\sqrt{x^2+y^2}\\ {\theta }_d=arctan(r_d)\end{array}$$

step3:已知相機畸變系數$(k_1,k_2,k_3,k_4)$，和step2得到的${\theta }_d$，求出實際得$\theta$
$${\theta }_d=\theta (1+k_1{\theta }^2+k_2{\theta }^4+k_3{\theta }^6+k_4{\theta }^8)$$
可以使用牛頓迭代法求解一元高次方程：
令$f(\theta )=\theta (1+k_1{\theta }^2+k_2{\theta }^4+k_3{\theta }^6+k_4{\theta }^8)?{\theta }_d$
$$\{\begin{array}{l}{\theta }_0={\theta }_d\\ {\theta }_{n+1}={\theta }_n\frac{f({\theta }_n)}{f^{\prime }({\theta }_n)}\end{array}$$
循環迭代求出$\theta$
step4:得到$\theta$后可以求得未畸變得像點帶成像中心得距離$r$
$$r=tan\theta$$
step5:求出未畸變像點的坐標
$$\{\begin{array}{l}{x}^{\prime }=\frac{r}{{\theta }_d}x\\ y^{\prime }=\frac{r}{{\theta }_d}y\end{array}$$
step6:根據相機內參得到矯正后的坐標
$$\{\begin{array}{l}u=f_x{x}^{\prime }+c_x\\ v=f_y{y}^{\prime }+c_y\end{array}$$

程序

按照魚眼相機的成像模型寫的畸變矯正的函數

/*已知無畸變圖像的像素點，通過魚眼相機投影模型，找到畸變圖像上的位置，隨后賦值計算出無畸變圖像*/ //srcImage 輸入的魚眼圖像 //dstImage 輸出矯正后的圖像 void undistortImagess(cv::Mat& srcImage, cv::Mat& dstImage) {cv::Mat src = srcImage.clone();cv::cvtColor(src, src, cv::COLOR_BGR2GRAY);double k1 = distCoeffs.at<double>(0, 0);double k2 = distCoeffs.at<double>(1, 0);double k3 = distCoeffs.at<double>(2, 0);double k4 = distCoeffs.at<double>(3, 0);double fx = cameraMatrix.at<double>(0, 0);double fy = cameraMatrix.at<double>(1, 1);double cx = cameraMatrix.at<double>(0, 2);double cy = cameraMatrix.at<double>(1, 2);int rows = src.rows;int cols = src.cols;cv::Mat image_undistort = cv::Mat(rows, cols, CV_8UC1);for (int v = 0; v < rows; v++){for (int u = 0; u < cols; u++){double u_distorted = 0, v_distorted = 0;//(x1,y1)相機坐標系下的坐標 (x2,y2)畸變后的坐標double x1, y1, x2, y2;x1 = (u - cx) / fx;y1 = (v - cy) / fy;double r, theta, thetad;r = sqrt(pow(x1, 2) + pow(y1, 2));theta = atan(r);double theta2 = theta * theta;double theta4 = theta2 * theta2;double theta6 = theta2 * theta2 * theta2;double theta8 = theta4 * theta4;thetad = theta * (1 + k1 * theta2 + k2 * theta4 + k3 * theta6 + k4 * theta8);x2 = thetad / r * x1;y2 = thetad / r * y1;;u_distorted = fx * x2 + cx;v_distorted = fy * y2 + cy;// 賦值 (最近鄰插值)if (u_distorted >= 0 && v_distorted >= 0 && u_distorted < cols && v_distorted < rows) {image_undistort.at<uchar>(v, u) = ROIimage.at<uchar>((int)v_distorted, (int)u_distorted);}else {image_undistort.at<uchar>(v, u) = 0;}}}dstImage = image_undistort.clone(); } /*已知畸變圖像的像素點，通過反投影模型，計算出投影到無畸變圖像的位置，隨后賦值計算出無畸變圖像*/ //srcImage 輸入的魚眼圖像 //dstImage 輸出矯正后的圖像 void unfold::undistortImagess(cv::Mat& srcImage, cv::Mat& dstImage) {cv::Mat src = srcImage.clone();cv::cvtColor(src, src, cv::COLOR_BGR2GRAY);double fx = cameraMatrix.at<double>(0, 0);double fy = cameraMatrix.at<double>(1, 1);double cx = cameraMatrix.at<double>(0, 2);double cy = cameraMatrix.at<double>(1, 2);double k1 = distCoeffs.at<double>(0, 0);double k2 = distCoeffs.at<double>(1, 0);double k3 = distCoeffs.at<double>(2, 0);double k4 = distCoeffs.at<double>(3, 0);int rows = src.rows;int cols = src.cols;cv::Mat image_undistort = cv::Mat(rows, rows, CV_8UC1);for (int v = 0; v < rows; v++){for (int u = 0; u < cols; u++){double uu = 0, vv = 0;//(x1,y1)相機坐標系下的坐標 (x2,y2)投影到球面的坐標double x1, y1, x2, y2;x1 = (u - cx) / fx;y1 = (v - cy) / fy;double rd, thetad;rd = sqrt(pow(x1, 2) + pow(y1, 2));thetad = atan(rd);double theta = thetad;double xx = NewTonFunction(theta, thetad); double rrr = tan(xx);//x2 = rrr * x1 / rd;y2 = rrr * y1 / rd;uu = fx * x2 + cx;vv = fy * y2 + cy;// 賦值 (最近鄰插值)if (uu >= 0 && vv >= 0 && uu < cols && vv < rows) {image_undistort.at<uchar>(vv, uu) = ROIimage.at<uchar>((int)v, (int)u);}else {image_undistort.at<uchar>(vv, uu) = 0;}}}dstImage = image_undistort.clone(); }

總結

由于我做的項目，需要把魚眼圖片展開，然后拼接，但是魚眼圖片的畸變矯正，直接把邊緣部分給去掉了，導致最有用的部分丟失，因此，我覺得魚眼相機通過畸變矯正后把它最大的優勢給丟掉了（視野廣），不太實用。最后也沒有用畸變矯正的程序，但是通過學習了解魚眼相機的投影模型，使我知道3D點如何通過投影得到魚眼圖片，已知魚眼圖片如何通過反投影得到3D點等，在后續的工作部分起到了很大的作用，真的是我學到了很多。

總結

以上是生活随笔為你收集整理的学习鱼眼相机的总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。