MVS文章持续更新中~
多視角立體（MVS）相關(guān)文章總結(jié)
文章目錄
- 多視角立體（MVS）相關(guān)文章總結(jié)
- 前言
- 1.MVSNet: Depth Inference for Unstructured Multi-view Stereo[ECCV2018]
- 2.Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching[CVPR2020]
- 3.PatchmatchNet: Learned Multi-View Patchmatch Stereo[CVPR2021 Oral]
前言
作者：cxy
郵箱：1023499614@qq.com
根據(jù)本人的學(xué)習(xí)情況，持續(xù)更新~
1.MVSNet: Depth Inference for Unstructured Multi-view Stereo[ECCV2018]
文章鏈接: https://arxiv.org/pdf/1804.02505.pdf
pytorch代碼:https://github.com/xy-guo/MVSNet_pytorch
MVS系列的開(kāi)山鼻祖，輸入為N張Source Image（后用sou)和1張Reference Image(后用Ref)來(lái)推斷ref的深度圖，即ref每個(gè)點(diǎn)與相機(jī)光心的距離值。
先利用ResNet（共享權(quán)重）提取每張圖像（N+1張）的特征。
劃分Z個(gè)預(yù)設(shè)深度值，假設(shè)ref上的每個(gè)像素點(diǎn)都處于同一個(gè)深度值，因此將ref前的空間劃分為了Z個(gè)平面。然后利用每張相片的相機(jī)參數(shù)根據(jù)單應(yīng)性變換將N+1張圖片上每個(gè)點(diǎn)的特征（H,W維度）基于不同預(yù)設(shè)深度值（Z維度）warp到ref對(duì)應(yīng)的位置上，對(duì)于任一深度預(yù)設(shè)值d，使得ref圖像上的一個(gè)點(diǎn)和其他每張sou上的一個(gè)點(diǎn)產(chǎn)生了聯(lián)系。對(duì)這N個(gè)點(diǎn)的特征計(jì)算方差得到了ref上這個(gè)點(diǎn)在深度d的差異性，由此我們得到了Cost Volume（后用cost)
后面對(duì)cost經(jīng)過(guò)U-Net來(lái)完成正則化操作（對(duì)cost做平滑），輸出一個(gè)probability volume，表示每個(gè)點(diǎn)在各個(gè)不同深度的概率值，這也對(duì)后面判斷這個(gè)點(diǎn)的深度估計(jì)置信提供了依據(jù)。沿著Z維度回歸得到初始的深度圖。
作者認(rèn)為前面的U-Net正則化，使得邊界過(guò)于平滑了，因此將原圖像的RGB通道concate到初始深度圖上經(jīng)過(guò)一些2D卷積使得邊界更尖銳，最后加上原始深度圖的響應(yīng)，得到了最終的深度圖。
2.Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching[CVPR2020]
文章鏈接: https://arxiv.org/pdf/1912.06378.pdf
pytorch代碼:https://github.com/alibaba/cascade-stereo
本文與MVS-Net不同之處主要有二：
1.提取多張圖像特征時(shí)，采用了FPN，提取多個(gè)尺度的特征
2.第一階段先采用最小尺寸的特征生成cost volume再做正則化（和MVSNet一摸一樣），第二階段利用較高尺寸的特征，此處利用上一個(gè)階段得到的深度圖上采樣獲得每個(gè)點(diǎn)的初始深度，在初始深度的基礎(chǔ)上精細(xì)劃分預(yù)設(shè)深度（Cascade體現(xiàn)的淋漓盡致），得到cost volume以后如MVS-Net一摸一樣，此處不再贅述。
和MVSNet相比是又快又好啊。。。
3.PatchmatchNet: Learned Multi-View Patchmatch Stereo[CVPR2021 Oral]
文章鏈接: https://arxiv.org/pdf/2012.01411.pdf
pytorch代碼:https://github.com/FangjinhuaWang/PatchmatchNet
利用cascade層級(jí)化思想，并且每一個(gè)stage會(huì)額外迭代一次，每個(gè)點(diǎn)的預(yù)設(shè)深度考慮為這個(gè)點(diǎn)的周?chē)c(diǎn)的深度（從上一步的深度圖得到）（此處運(yùn)用可變形卷積考慮邊界不連續(xù)性），在patchmatch的模塊當(dāng)中將c通道特征分為G個(gè)group兩兩（一張source，一張reference）計(jì)算相似性，最后結(jié)合N個(gè)相似性張量得到cost volume，在cost volumn正則化的時(shí)候再次利用可變形卷積考慮邊界不連續(xù)性，每個(gè)點(diǎn)的代價(jià)應(yīng)當(dāng)對(duì)周?chē)鷰讉€(gè)點(diǎn)的cost做一個(gè)加權(quán)，最后回歸得到深度圖。
# 總結(jié)
總結(jié)
以上是生活随笔為你收集整理的MVS文章持续更新中~的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： Using the Hardware S
- 下一篇： 阿里短信服务 JAVA