from：https://blog.csdn.net/u011574296/article/details/73826420

參考：

機(jī)器視覺(jué)學(xué)習(xí)筆記（6）——雙目攝像機(jī)標(biāo)定參數(shù)說(shuō)明?
機(jī)器視覺(jué)學(xué)習(xí)筆記（8）——基于OpenCV的Bouguet立體校正?
雙攝像頭立體成像(三)-畸變矯正與立體校正

人類(lèi)可以看到3維立體的世界，是因?yàn)槿说膬芍谎劬?#xff0c;從不同的方向看世界，兩只眼睛中的圖像的視差，讓我們可以看到3維立體的世界。類(lèi)似的，要想讓計(jì)算機(jī)“看到”3維世界，就需要使用兩個(gè)攝像頭構(gòu)成雙目立體視覺(jué)系統(tǒng)。

想要讓雙目視覺(jué)系統(tǒng)知道視差，首先應(yīng)該知道雙目視覺(jué)系統(tǒng)中兩個(gè)攝像頭之間的相對(duì)位置關(guān)系。。任意兩個(gè)坐標(biāo)系之間的相對(duì)位置關(guān)系，都可以通過(guò)兩個(gè)矩陣來(lái)描述：旋轉(zhuǎn)矩陣R和平移矩陣T。

我們可以同時(shí)對(duì)兩個(gè)攝像頭進(jìn)行標(biāo)定，分別得到二者相對(duì)同一坐標(biāo)系的旋轉(zhuǎn)矩陣和平移矩陣，然后就可以獲得兩個(gè)攝像頭之間的相對(duì)位置關(guān)系，這就是雙目標(biāo)定！

一、雙目立體標(biāo)定

雙目攝像機(jī)需要標(biāo)定的參數(shù)：攝像機(jī)內(nèi)參數(shù)矩陣，畸變系數(shù)矩陣，本征矩陣，基礎(chǔ)矩陣，旋轉(zhuǎn)矩陣以及平移矩陣（其中攝像機(jī)內(nèi)參數(shù)矩陣和畸變系數(shù)矩陣可以通過(guò)單目標(biāo)定的方法標(biāo)定出來(lái)）

雙目攝像機(jī)標(biāo)定和單目攝像機(jī)標(biāo)定最主要的區(qū)別就是雙目攝像機(jī)需要標(biāo)定出左右攝像機(jī)坐標(biāo)系之間的相對(duì)關(guān)系

我們用旋轉(zhuǎn)矩陣R和平移矩陣T來(lái)描述左右兩個(gè)攝像機(jī)坐標(biāo)系的相對(duì)關(guān)系，具體為：將左攝像機(jī)下的坐標(biāo)轉(zhuǎn)換到右攝像機(jī)下的坐標(biāo)。

假設(shè)空間中有一點(diǎn)P，其在世界坐標(biāo)系下的坐標(biāo)為PWPW，其在左右攝像機(jī)坐標(biāo)系下的坐標(biāo)可以表示為：

Pl=RlPW+Tl
Pr=RrPW+Tr
其中 PlPl 和 PrPr 又有如下的關(guān)系：?
Pr=RPl+T
注：雙目攝像機(jī)分析中往往以左攝像機(jī)為主坐標(biāo)系，但是R和T卻是左相機(jī)向右相機(jī)轉(zhuǎn)換，所以Tx為負(fù)數(shù)

綜合上式，可以推得：?

R=RrRTl
T=Tr?RTl

lRl，Tl為左攝像頭經(jīng)過(guò)單目標(biāo)定得到的相對(duì)標(biāo)定物的旋轉(zhuǎn)矩陣和平移向量，Rr，Tr為右攝像頭經(jīng)過(guò)單目標(biāo)定得到的相對(duì)標(biāo)定物的旋轉(zhuǎn)矩陣和平移向量?
左右相機(jī)分別進(jìn)行單目標(biāo)定，就可以分別得到Rl，Tl，Rr，Tr，帶入上式就可以求出左右相機(jī)之間的旋轉(zhuǎn)矩陣R和平移T。

求得的R和T就是立體標(biāo)定要得到的結(jié)果。

單目攝像機(jī)需要標(biāo)定的參數(shù)，雙目都需要標(biāo)定，雙目攝像機(jī)比單目攝像機(jī)多標(biāo)定的參數(shù)：R和T，主要是描述兩個(gè)攝像機(jī)相對(duì)位置關(guān)系的參數(shù)，這些參數(shù)在立體校正和對(duì)極幾何中用處很大

那么得到了立體標(biāo)定的結(jié)果，下一步我們?cè)撟鍪裁茨?#xff1f;?
答案是：立體校正。

二、立體校正

在介紹立體校正的具體方法之前，讓我們來(lái)看一下，為什么要進(jìn)行立體校正？

雙目攝像機(jī)系統(tǒng)主要的任務(wù)就是測(cè)距，而視差求距離公式是在雙目系統(tǒng)處于理想情況下推導(dǎo)的，但是在現(xiàn)實(shí)的雙目立體視覺(jué)系統(tǒng)中，是不存在完全的共面行對(duì)準(zhǔn)的兩個(gè)攝像機(jī)圖像平面的。所以我們要進(jìn)行立體校正。立體校正的目的就是，把實(shí)際中非共面行對(duì)準(zhǔn)的兩幅圖像，校正成共面行對(duì)準(zhǔn)。（共面行對(duì)準(zhǔn)：兩攝像機(jī)圖像平面在同一平面上，且同一點(diǎn)投影到兩個(gè)攝像機(jī)圖像平面時(shí)，應(yīng)該在兩個(gè)像素坐標(biāo)系的同一行）,將實(shí)際的雙目系統(tǒng)校正為理想的雙目系統(tǒng)。

理想雙目系統(tǒng)：兩攝像機(jī)圖像平面平行，光軸和圖像平面垂直，極點(diǎn)處于無(wú)線(xiàn)遠(yuǎn)處，此時(shí)點(diǎn)(x0,y0)對(duì)應(yīng)的級(jí)線(xiàn)就是y=y0

立體校正前：

立體校正后：

Bouguet校正原理

校正過(guò)程中兩個(gè)圖像平面均旋轉(zhuǎn)一半的R，這樣可以使重投影畸變最小，此時(shí)兩個(gè)攝像機(jī)圖像平面共面（畸變校正后光軸也平行），但是行不對(duì)準(zhǔn)?
極點(diǎn)是兩個(gè)相機(jī)坐標(biāo)系原點(diǎn)的連線(xiàn)和圖像平面的交點(diǎn)，要想使得極點(diǎn)處于無(wú)窮遠(yuǎn)處（即行對(duì)準(zhǔn)），就必須兩個(gè)攝像機(jī)的圖像平面和兩個(gè)相機(jī)坐標(biāo)系原點(diǎn)的連線(xiàn)平行?
可以計(jì)算RrectRrect矩陣使得極點(diǎn)處于無(wú)窮遠(yuǎn)處：?

Rrect=????eT1eT2eT3????
由于圖像平面最終和相機(jī)坐標(biāo)系原點(diǎn)連線(xiàn)平行，所以?
e1=T∥T∥
其中 T=[TxTyTz]TT=[TxTyTz]T ，e2和e1正交，選擇主光軸方向(0,0,1)與e1叉積?
e2=[?TyTx0]TT2x+T2y???????√
e3與e1和e2正交,可得：?
e3=e1×e2e3=e1×e2
將 RrectRrect 左乘到R分解后作用于左右相機(jī)坐標(biāo)系的矩陣，即可得到最終的立體校正矩陣。

總結(jié)

以上是生活随笔為你收集整理的【立体视觉】双目立体标定与立体校正的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。