多目立體視覺（Multiple View Stereo，MVS）

概念

??定義：可以用來從照片中提取幾何圖形的線索有: 紋理、散焦、陰影、輪廓和立體匹配。多目立體視覺(MVS)是一組以立體匹配為主要線索并使用兩張以上圖像的技術的總稱。與SLAM/SFM的區別：前者是攝像頭運動，后者是多個攝像頭視角。

??MVS三維重建的目標：給定一組物體或場景的照片，在已知材料、視點和照明條件的假設下，估計最可能解釋這些照片的3D形狀。（該定義強調了任務的難度，即假設材料、視點和照明是已知的。如果這些都不知道，問題通常是不適定的，因為多種組合的幾何，材料，視點，和照明可以產生完全相同的照片。）

方法

??MVS主要的步驟：不同的實際應用可能會有不同的方法，但是它們總體的步驟都是相同的。
?????????1. 收集圖像
?????????2. 計算各個視角圖像的相機參數
?????????3. 從一組圖像和相應的相機參數中重建場景的三維幾何
?????????4. 重建場景的材料（可選）
??場景表示可以是：體素、多邊形網格、深度圖和水平度集（level sets）；

Structure-from-Motion (SfM)

MVS算法要求每個輸入圖像都有一個對應的相機模型，該模型完整地描述了如何將世界中的3D點投影到特定圖像中的2D像素位置，具體的相機模型可參照相機參數一文。在沒有給定各個視角相機參數時我們通常需要采用一些算法去估計，SfM是常用的估計算法。

??定義：SfM算法以一組圖像作為輸入，輸出兩個東西:每幅圖像的相機參數，以及圖像中可見的一組3D點，這些點通常被編碼為軌跡。軌跡定義為一個重建的三維點的三維坐標，以及輸入圖像子集中相應的二維坐標列表。

??基本步驟：
??????1.特征提取（SIFT, SURF, FAST等一堆方法）：從每個輸入的圖像中檢測2D特征；
??????2.配準（主流是RANSAC和它的改進版）：匹配圖像之間的2D特征。
??????3.根據匹配構造2D軌跡。
??????4.從2D軌跡求解SfM模型。
??????5.使用光束平差法優化SfM模型，得出相機參數。

??光束平差法（bundle adjustment）：光束平差法不是SfM必須的一部分，但是為了提高重建精度，它是常用的一步來修正SfM模型。給定給定相機參數集合$\{P_i\}$，以及軌跡集$\{M^j,\{m_i^j\}\}$,其中$M^j$是軌跡的3D坐標，$m_i^j$是第i個相機的圖像投影坐標。光束平差法最小化下列誤差：

$$E(P,M)=\sum _j\sum _i|P_i(M^j)?m_i^j{|}^2$$

Photo-consistency measures

在MVS的情況下，攝像機參數是已知的，解決場景的3D幾何完全等價于解決整個輸入圖像的對應問題。給定一幅圖像中的一個像素，在其他圖像中找到相應的像素需要兩要素：:1.在其他圖像中生成可能的候選像素的有效方法。2.一種衡量標準，用來判斷給定的候選人匹配正確的可能性有多大。至于判斷候選匹配可能性的方法，有大量的文獻是關于如何建立所謂的光一致性方法，估計兩個像素(或一組像素)對應的可能性。
??定義：給定N張圖像以及一個在所有圖像中可見的點p，定義圖像對$(I_i,I_j)$的光度一致性為：
$$C_{ij}(p)=\rho (I_i(\Omega (\pi (p))),I_j(\Omega ({\pi }_j(p))))$$
其中$\rho (.)$是兩個向量的相似度測量，${\pi }_i(p)$是點p向第i個圖像的投影，$\Omega (x)$是圍繞點x的一個支持域，$I_i(x)$表示在這個支持域內采樣的圖像強度。支持域Ω的主要目的是定義一個區域的大小，在該區域中，場景的外觀應該是唯一的，并且在一定程度上不受照明和視角變化的影響。一些光度一致性測量不需要定義支持域：

唯一性和不變性通常是光一致性測量的兩個競爭性質。Ω的域越大，域內的局部外觀就越獨特，這使得它更容易與其他圖像匹配。同時，域越大，由于反射，深度邊界，或平滑的幾何假設導致就越難維持照明和視角不變性。

Citation

本文所有圖片及內容均來自下面的論文。

Furukawa Y, Hernández C. Multi-view stereo: A tutorial[J]. Foundations and Trends? in Computer Graphics and Vision, 2015, 9(1-2): 1-148.

總結

以上是生活随笔為你收集整理的多目立体视觉（Multiple View Stereo, MVS）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。