當(dāng)前位置：首頁(yè) > 人工智能 > pytorch >内容正文

pytorch

三维重建几何方法深度学习_基于深度学习的三维重建算法：MVSNet、RMVSNet、PointMVSNet、Cascade系列...

發(fā)布時(shí)間：2025/3/15 pytorch 23 豆豆

生活随笔收集整理的這篇文章主要介紹了三维重建几何方法深度学习_基于深度学习的三维重建算法：MVSNet、RMVSNet、PointMVSNet、Cascade系列... 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

歡迎關(guān)注微信公眾號(hào)“3D視覺(jué)學(xué)習(xí)筆記”，分享博士期間3D視覺(jué)學(xué)習(xí)收獲

MVSNet:香港科技大學(xué)的權(quán)龍教授團(tuán)隊(duì)的MVSNet（2018年ECCV）開(kāi)啟了用深度做多視圖三維重建的先河。2019年，2020年又有多篇改進(jìn)：RMVSNet(CVPR2019),PointMVSNet(ICCV2019),P-MVSNet(ICCV2019),MVSCRF(ICCV2019),Cascade(CVPR2020),CVP-MVSNet(CVPR2020),Fast-MVSNet(CVPR2020),UCSNet(CVPR2020),CIDER(AAAI2020),PVAMVSNet(ECCV2020),D2HC-RMVSNet(ECCV2020)，Vis-MVSNet（BMVC2020)。

一 MVSNet：目標(biāo)是預(yù)測(cè)圖片上每個(gè)像素的深度信息

MVSNet: Depth Inference for Unstructured Multi-view Stereo

MVSNet本質(zhì)是借鑒基于兩張圖片cost volume的雙目立體匹配的深度估計(jì)方法，擴(kuò)展到多張圖片的深度估計(jì)，而基于cost volume的雙目立體匹配已經(jīng)較為成熟，所以MVSNet本質(zhì)上也是借鑒一個(gè)較為成熟的領(lǐng)域，然后提出基于可微分的單應(yīng)性變換的cost volume用于多視圖深度估計(jì)。

論文實(shí)現(xiàn)了權(quán)龍教授多年的深度三維重建想法。

過(guò)程：

（1）輸入一張reference image（為主）和幾張source images（輔助）；

（2）分別用網(wǎng)絡(luò)提取出下采樣四分之一的32通道的特征圖；

（3）采用立體匹配（即雙目深度估計(jì)）里提出的cost volume的概念，將幾張source images的特征利用單應(yīng)性變換( homography warping)轉(zhuǎn)換到reference image，在轉(zhuǎn)換的過(guò)程中，類(lèi)似極線搜索，引入了深度信息。構(gòu)建cost volume可以說(shuō)是MVSNet的關(guān)鍵。

具體costvolume上一個(gè)點(diǎn)是所有圖片在這個(gè)點(diǎn)和深度值上特征的方差，方差越小，說(shuō)明在該深度上置信度越高。

（4）利用3D卷積操作cost volume，先輸出每個(gè)深度的概率，然后求深度的加權(quán)平均得到預(yù)測(cè)的深度信息，用L1或smoothL1回歸深度信息，是一個(gè)回歸模型。

（5）利用多張圖片之間的重建約束（photometric and geometric consistencies）來(lái)選擇預(yù)測(cè)正確的深度信息，重建成三維點(diǎn)云。

該論文最重要的單應(yīng)性變換( homography warping)的公式寫(xiě)錯(cuò)了，誤導(dǎo)了好幾篇后續(xù)改進(jìn)的頂會(huì)論文，不過(guò)神奇地是提供的代碼沒(méi)有錯(cuò)：

該公式錯(cuò)了！！！

MVSNet框圖

二 MVSNet的后續(xù)改進(jìn)論文

MVSNet開(kāi)啟了深度學(xué)習(xí)做三維重建的先河，2019/2020又出現(xiàn)了多篇對(duì)其的改進(jìn)，改進(jìn)思路主要是把回歸網(wǎng)絡(luò)改成cascade，即改成層級(jí)的，先預(yù)測(cè)下采樣四分之一的，再利用得到的結(jié)果預(yù)測(cè)二分之一，最后輸出原圖片大小的深度信息，或減小深度范圍，或減小cost volume的范圍。

深度MVS系列論文

目前dtu數(shù)據(jù)集上精度已經(jīng)很高了，再提高也比較難，另外由于dtu數(shù)據(jù)集的ground truth本身就是不完整的，所以和這個(gè)ground truth比的話，也有問(wèn)題，結(jié)果高并不表明效果好。

還有就是tanks榜單也有問(wèn)題，評(píng)價(jià)系統(tǒng)存在問(wèn)題導(dǎo)致需要一些技巧才能提高排名，需要平衡點(diǎn)云的完整度和正確性即recall和precision，不能太稀疏，但是太稠密了錯(cuò)的又會(huì)多。

https://www.tanksandtemples.org/leaderboard/?www.tanksandtemples.org

MVSNet后續(xù)改進(jìn)論文介紹：

1.RMVSNet(CVPR2019)

Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference

權(quán)龍教授團(tuán)隊(duì)Yao Yao對(duì)自己的MVSNet的后續(xù)改進(jìn)，主要是將3D 卷積換成了一個(gè)GRU時(shí)序網(wǎng)絡(luò)來(lái)降低顯存消耗。

代碼是用tensorflow寫(xiě)的，和MVSNet代碼合到一起了，github鏈接：

https://github.com/YoYo000/MVSNet?github.com

2. MVSNet（pytorch版本）

這里需要特別強(qiáng)調(diào)一下，提出雙目立體匹配GwcNet的Guo Xiaoyang 同學(xué)把原來(lái)MVSNet的tensorflow代碼改成了pytorch框架，這為幾乎后續(xù)所有改進(jìn)MVSNet的論文提供了極大的幫助，后續(xù)的論文幾乎都是在Xiaoyang Guo同學(xué)的MVSNet_pytorch上改的。而且Guo Xiaoyang同學(xué)的MVSNet_pytorch已經(jīng)比原來(lái)的MVSNet的效果好了不少，而后續(xù)的改進(jìn)都是對(duì)比MVSNet論文里的結(jié)果，所以真正的提升其實(shí)并不大，后續(xù)改進(jìn)應(yīng)該對(duì)比Guo Xiaoyang同學(xué)的MVSNet_pytorch。

MVSNet論文里的結(jié)果和Guo Xiaoyang同學(xué)的MVSNet_pytorch在DTU數(shù)據(jù)集上的對(duì)比結(jié)果，可以看出Guo Xiaoyang已經(jīng)提升了不少M(fèi)VSNet的效果。

Guo Xiaoyang同學(xué)的MVSNet_pytorch 鏈接：

https://github.com/xy-guo/MVSNet_pytorch?github.com

3 PointMVSNet(ICCV2019)

Point-Based Multi-View Stereo Network ，清華大學(xué)

改的MVSNet_pytorch的代碼，PointMVSNet github鏈接：https://github.com/callmeray/PointMVSNet

4 P-MVSNet(ICCV2019)

P-MVSNet: Learning Patch-wise Matching Confifidence Aggregation for Multi-View Stereo 華中科技大學(xué)

P-MVSNet對(duì)MVSNet的改進(jìn)主要在于采用傳統(tǒng)三維重建算法中Patch-wise。還沒(méi)有找到其代碼。

5 MVSCRF(ICCV2019)

MVSCRF: Learning Multi-view Stereo with Conditional Random Fields

改進(jìn)點(diǎn)：接入了一個(gè)CRF模塊

清華大學(xué)。沒(méi)有找到其代碼。

6 cascade MVSNet（CVPR2020)

Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching

阿里，GitHub鏈接：https://github.com/alibaba/cascade-stereo

改的MVSNet_pytorch的代碼，主要是把MVSNet的模型改成了層級(jí)的，先預(yù)測(cè)下采樣四分之一的深度，然后用來(lái)縮小下采樣二分之一的深度，再用其縮小原始圖片大小的深度，這樣層級(jí)的方式，可以采用大的深度間隔和少的深度區(qū)間，從而可以一次訓(xùn)練更多數(shù)據(jù)。

另外由于雙目立體匹配和MVSNet的MVS都是用了cost volume，雙目立體匹配是用兩張圖片估計(jì)’深度‘，MVS的MVSNet是用三張及以上圖片預(yù)測(cè)深度，所以其實(shí)模型差不多，都是相同的，cascade MVSNet也把改進(jìn)思想用到了雙目立體匹配上，一篇論文做了兩份工作。

7 CVP-MVSNet（CVPR2020)

Cost Volume Pyramid Based Depth Inference for Multi-View Stereo

澳大利亞國(guó)立和英偉達(dá)，github鏈接：https://github.com/JiayuYANG/CVP-MVSNet

也是改的MVSNet_pytorch的代碼，和上一個(gè)cascade MVSNet比較類(lèi)似，也是先預(yù)測(cè)出深度信息然后用來(lái)縮小更大的圖片的深度，CVP-MVSNet相比cascade MVSNet也縮小了cost volume的范圍。

8 Fast-MVSNet（CVPR2020)

Fast-MVSNet: Sparse-to-Dense Multi-View Stereo With Learned Propagation

and Gauss-Newton Refifinement，上?？萍即髮W(xué)

也是改的MVSNet_pytorch的代碼，github鏈接：https://github.com/svip-lab/FastMVSNet

Fast-MVSNet采用稀疏的cost volume以及Gauss-Newton layer，目的是提高M(jìn)VSNet的速度。

9 CIDER（AAAI 2020)

Learning Inverse Depth Regression for Multi-View Stereo with Correlation Cost Volume , 華科的

GitHub鏈接：https://github.com/GhiXu/CIDER

CIDER主要采用采用group的方式提出了一個(gè)小的cost volume

10 UCSNet（CVPR2020)

Deep Stereo using Adaptive Thin Volume Representation with Uncertainty Awareness

github鏈接：

https://github.com/touristCheng/UCSNet?github.com

UCSNet和cascade/CVPMVSnet差不過(guò)，只是depth interval可以自動(dòng)調(diào)整，最大層度的進(jìn)行網(wǎng)絡(luò)層級(jí)，通過(guò)下采樣四分之一的深度結(jié)果來(lái)縮小cost volume和深度的范圍，從而讓模型盡可能小。

11 PVA-MVSNet（ECCV2020)

Pyramid Multi-view Stereo Net with Self-adaptive View Aggregation

北大，GitHub鏈接：https://github.com/yhw-yhw/PVAMVSNet

主要采用attention機(jī)制來(lái)自適應(yīng)學(xué)習(xí)一些權(quán)重，比如不同view的權(quán)重。

12 D2HC-RMVSNet(ECCV2020 Spotlight)

Dense Hybrid Recurrent Multi-view Stereo Net with Dynamic Consistency Checking

github鏈接(還未提供）：

yhw-yhw/D2HC-RMVSNet?github.com

還沒(méi)細(xì)看，大概和RMVSNet差不多，只不過(guò)換成用LSTM來(lái)處理cost volume，同時(shí)提出一種Dynamic Consistency Checking來(lái)后融合。

可能因?yàn)樵赥anks榜單上排名較高（目前滑落到第二，論文提交時(shí)第一），所以拿了ECCV2020的Spotlight。

13 Visibility-aware Multi-view Stereo Network(BMVC2020 oral)

github:https://github.com/jzhangbs/Vis-MVSNet

香港科技大學(xué)的權(quán)龍教授團(tuán)隊(duì)的最新的一篇論文，發(fā)表在BMVC2020上，主要是考慮了別的基于深度學(xué)習(xí)的論文都沒(méi)考慮的一個(gè)問(wèn)題：多視圖構(gòu)建cost volume的可見(jiàn)性問(wèn)題。代碼融合多階段和group Cost Volume等技巧。

目前在tanks榜單的intermediate上排名第一。

總結(jié)：

香港科技大學(xué)的權(quán)龍教授團(tuán)隊(duì)的Yao Yao把雙目立體匹配的cost volume，引入了基于深度學(xué)習(xí)的三維重建領(lǐng)域，提出了MVSNet，并整理了DTU數(shù)據(jù)集，開(kāi)創(chuàng)了通過(guò)深度模型預(yù)測(cè)深度進(jìn)行三維重建的一個(gè)新領(lǐng)域。

后續(xù)提出雙目立體匹配GwcNet的Guo Xiaoyang同學(xué)把原來(lái)MVSNet的tensorflow代碼改成了pytorch框架，極大地增加了代碼的可讀性，方便了后續(xù)一系列對(duì)MVSNet的改進(jìn)。也提高了改進(jìn)的基點(diǎn)。

得特別感謝香港科技大學(xué)的權(quán)龍教授團(tuán)隊(duì)和Guo Xiaoyang同學(xué)。

由于tanks and temples榜單評(píng)價(jià)的是點(diǎn)云，阻礙tanks and temples榜單上排名的可能并不是深度值預(yù)測(cè)的不好，而是其他的問(wèn)題。三維重建涉及的東西很多。榜單上排名高的模型可能是因?yàn)樵谀Ｐ鸵酝獾牡胤阶隽藮|西。。