计算图像的景深
在?上一篇?博客中,景深與視差成反比,其公式為:
為焦距,?為左右相機(jī)的距離,分別為兩張圖像的點(diǎn)距離各自中心點(diǎn)的距離。
對(duì)于左圖像的每一個(gè)像素點(diǎn) ?,求圖像景深可以分為以下幾步,
- 在右圖中,找到左圖像的像素點(diǎn)對(duì)應(yīng)的極線
- 掃描極線,找到最匹配的點(diǎn)?
- 計(jì)算視差?, 并根據(jù)公式求取景深
?
1 平行圖像(parallel images)
由極線約束:
因?yàn)閳D像平行,所以
?
如果兩張圖像不平行,把不平行的圖像投影到一個(gè)平面上,這個(gè)過程被稱為(?image rectification)。
其原理如下圖所示:
兩個(gè)投影,兩個(gè)圖像變換,每個(gè)為3*3的變換矩陣。
?
2 滑動(dòng)窗口
如果在左圖中找到一個(gè)點(diǎn),并且找到右圖中對(duì)應(yīng)的極線。
選定一個(gè)窗口,沿著極線滑動(dòng),與左圖窗口比較,計(jì)算matching cost, 確定相似度(比如SSD)
窗口越小,細(xì)節(jié)越多,同時(shí)噪音也越多。
Matching windows 有很多種,列舉如下:
有些圖像對(duì)無(wú)法求得景深:
- 兩張一樣的圖像
- Nor-Lambertian 表面
- Textureless surfaces
?
3 其它的立體約束(stereo constraints)
- 唯一性(uniqueness):一張圖像中的任意一點(diǎn),在另一張圖像中至多只存在一個(gè)對(duì)應(yīng)點(diǎn)。
- 順序性(ordering): 從兩張圖像的視角,對(duì)應(yīng)點(diǎn)的順序是一樣的,如下圖。
- 平滑性(smoothness): 視差值變化慢
4 如何評(píng)判好的立體匹配
- 匹配質(zhì)量(match quality)要好
- 平滑(smoothness)
一張圖像中兩個(gè)鄰近的點(diǎn),在另外一張圖中距離一般不會(huì)出現(xiàn)巨變。
?
5 立體重建管道(Stereo reconstruction pipeline)
- 校準(zhǔn)相機(jī)(calibrate cameras):求得內(nèi)參矩陣和外參矩陣
- 糾正圖像(Rectify images)
- 計(jì)算視差(Compute disparity)
- 計(jì)算景深(depth)
總結(jié)
- 上一篇: 统计学第一章--最小二乘拟合正弦函数,正
- 下一篇: 积分图像