MVS學習（一）：綜述論文Multi-View Stereo: A Tutorial閱讀記錄

• Abstract
• Introduction
• • SfM簡介
• Openmvs簡介和安裝
• Multi-view Photo-consistency

Abstract

這個摘要很值得好好理解，原文：
This tutorial presents a hands-on view of the field of multi-view stereo with a focus on practical algorithms. Multi-view stereo algorithms are able to construct highly detailed 3D models from images alone. They take a possibly very large set of images and construct a 3D plausible
geometry that explains the images under some reasonable assumptions, the most important being scene rigidity. The tutorial frames the multiview stereo problem as an image/geometry consistency optimization problem. It describes in detail its main two ingredients: robust implementations of photometric consistency measures, and efficient optimization algorithms. It then presents how these main ingredients are used by some of the most successful algorithms, applied into real applications, and deployed as products in the industry. Finally it describes more advanced approaches exploiting domain-specific knowledge such as structural priors, and gives an overview of the remaining challenges and future research directions
至少有3點有效信息（加粗部分）：

MVS重建方式有效的前提是要滿足幾個基本假設，其中最重要的基本假設是被重建的物體或者場景（為了方便表述，后續將物體和場景統稱為物體）是剛性的，也就是在相當長的時間維度上這個物體或者場景在空間維度上是不變的。舉個栗子， 如果直接不加優化使用mvs對人臉進行三維重建效果是很難保證的，因為人臉不是剛體（除非你能保證在圖像獲取期間面部肌肉完全不動）；

關于mvs問題的歸類：把mvs問題歸類到圖像/幾何一致性優化問題（image/geometry consistency optimization problem），如何理解圖像/幾何一致性優化問題？同一個物體在不同的幾何位姿下使用通一個相機拍攝的圖像是不同的，最簡單的比如近大遠小；也就是加入相機固定，物體在相機中成像的結果和物體的位姿是有映射關系的，mvs就是優化這個映射關系的過程和結果；

基于2，就引出兩個核心問題，即如何量化衡量圖像/幾何一致性還有衡量完發現不一致如何優化這個映射。（可以理解成深度學習中損失函數的確定和模型訓練中優化的策略）

Introduction

Reconstructing 3D geometry from photographs is a classic Computer Vision problem that has occupied researchers for more than 30 years

這個問題產生30多年了，目前發展到已經具備一定的落地應用能力。

The goal of an image-based 3D reconstruction algorithm canbe described as ”given a set of photographs of an object or a scene, estimate the most likely 3D shape that explains those photographs, under the assumptions of known materials, viewpoints, and lighting conditions”

接下來說明這個任務是在做什么，核心目標，也就是在已知物體材料屬性、相機的視點（可以理解成想相機和待拍攝物體的空間相對關系）和光照條件的基礎上，通過獲得的一系列的物體或者場景的二維圖像，推理（重建）出該物體或者場景的3維模型。

對MVS進行定義：Multi-view stereo (MVS) is the general term given to a group of techniques that use stereo correspondence as their main cue and use more than two images

下圖說明了MVS的整個工作流程

step1（圖片左上）：獲取待重建物體各個角度的二維圖像，數據獲取質量決定重建效果的上限，具體注意事項和建議后續有詳細說明；
step2 （圖片右上）：計算與每一張圖片對應的相機外參，相機內參外參可以參考博文https://blog.csdn.net/qq_35250841/article/details/106198870：相機標定總結（像素坐標系、圖像坐標系、相機坐標系和世界坐標系之間的轉換關系說明）
step3（圖片右下）：進行幾何三維重建（只有物體形狀，沒有表面紋理信息）
step4（圖片左下）：紋理重建，根據材料屬性等對步驟3重建出來的形狀物體上“貼圖”，復原出紋理信息。
上文流程中的4個步驟，涉及到一個基礎技術–如何獲取與圖像對應的相機外參。

An MVS algorithm is only as good as the quality of the input
images and camera parameters. Moreover, a large part of the recent
success of MVS is due to the success of the underlying Structure from
Motion (SfM) algorithms that compute the camera parameters
如原文所述，圖像的質量和相機參數的好壞直接影響MVS算法的最終效果，近年mvs效果的提升很大程度上也是因為Sfm算法——一種計算相機參數的基礎算法性能的提升。當然，也不是一定要使用SfM算法獲取與圖像對應的相機參數，但是SfM目前比較通用，簡單，效果可控。

SfM簡介

SfM（Structure from Motion），SfM algorithms take as input a set of images and produce
two things: the camera parameters of every image, and a set of 3D points visible in the images which are often encoded as tracks。（可以理解為sfm算法通過讀取一個物體的一系列圖片求出對應的相機參數和相機軌跡的過程，實際上在MVS中我們只需要與圖像對應的相機的參數）

SfM工作流程

Openmvs簡介和安裝

openMVS+ubuntu1804安裝記錄和問題解決

Multi-view Photo-consistency

待續

總結

以上是生活随笔為你收集整理的MVS学习（一）：综述论文阅读记录的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。