點云PCL免費知識星球，點云論文速讀。

文章：TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo

作者：Lukas Koestler Nan Yang y Niclas Zeller Daniel Cremers

編譯：點云PCL

代碼：https://github.com/tum-vision/tandem.git

歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉發朋友圈。文章僅做學術分享，如有侵權聯系刪文。未經博主同意請勿擅自轉載。

論文閱讀模塊將分享點云處理，SLAM，三維視覺，高精地圖相關的文章。公眾號致力于理解三維視覺領域相關內容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯系微信dianyunpcl@163.com。

摘要

本文提出了一個實時單目跟蹤和稠密建圖框架， 對于姿態估計，TANDEM基于關鍵幀的滑動窗口進行BA(bundle adjustment)， 為了增強魯棒性，提出了一種新的跟蹤前端，該前端使用由稠密深度預測增量構建的全局模型渲染的深度圖，來執行稠密直接圖像對齊， 為了預測稠密的深度圖，提出了級聯視圖聚合MVSNet (CVA-MVSNet)，它利用整個活動關鍵幀窗口，通過分層構造具有自適應視圖聚合的3D成本量來平衡關鍵幀之間的不同立體基線， 最后，將預測的深度圖融合為一致的全局圖，以截斷的帶符號距離函數(TSDF)體素網格表示，?最終的實驗結果表明，TANDEM在相機跟蹤方面優于其他先進的傳統和基于學習的單目視覺里程計(VO)方法， 此外，TANDEM還展示了最先進的實時三維重建性能。

主頁：https://go.vision.in.tum.de/tandem

圖1:TANDEM是一種單目密集SLAM方法，用于估計相機姿勢并實時重建3D環境

主要貢獻

（1）提出一種新穎的實時單目密集SLAM框架，無縫結合了經典的直接法VO和基于學習的MVS三維重構；

（2）據我們所知，第一個利用全局TSDF模型渲染的深度的單目稠密跟蹤前端；

（3）一種新穎的MVS網絡，CVA-MVSnet，它能夠通過利用視圖聚合和多級深度預測來利用整個關鍵幀窗口；

（4）在合成和真實的數據上，達到了最先進的跟蹤和重建結果。

主要內容

方案主要有三部分組成：單目視覺里程計、CVA MVSNet稠密深度估計和體積建圖。圖2a顯示了系統的概述，視覺里程計利用單目視頻流和3D TSDF模型渲染的密集深度，以滑動窗口方式估計攝像機姿勢。給定關鍵幀及其估計姿勢，提出的CVA MVSNet預測參考關鍵幀的稠密深度貼圖，為了重建環境的完整且全局一致的3D模型，深度貼圖隨后通過體素散列融合到TSDF體素網格中，通過無縫集成這些組件，最終的system TANDEM能夠從單目相機實現實時跟蹤和高質量稠密貼圖。

圖2：（a）使用視覺里程計優化的稀疏點和3D模型渲染的稠密深度圖跟蹤每幀，關鍵幀的姿態通過滑動窗口光度束調整進行估計，并輸入CVA MVSNet進行稠密的深度預測，深度貼圖融合為全局一致的TSDF體積，（b） CVA MVSNet構建級聯成本量并分層估計深度圖，視圖聚合模塊通過預測自適應權重，有效地聚合多視圖圖像的特征

實驗

圖3 DeepFactors、Atlas和未知序列上的TANDEM深度比較，TANDEM產生更精細的比例細節，例如第二排的設備或第三排的梯子，對于EuRoC，只有稀疏的地面真實深度可用。

圖4:Atlas和TANDEM在未知序列上的定性比較，Atlas不構建紋理網格，這里還從TANDEM渲染純幾何體以進行比較

表1:EuRoC的位姿評估，所有的方法都是模擬對齊的w.r.t.真值軌跡，顯示了五次運行期間的平均絕對姿態誤差和標準偏差

表2:在VO窗口中使用所有關鍵幀不會改善基線，然而，將Win與視圖聚合（VA）相結合會以增加推理運行時間和內存為代價產生更準確的結果

三維重建的實驗對比

總結

我們介紹了TANDEM，一種實時稠密的單目SLAM系統，該系統采用了一種新穎的設計，將直接光度視覺里程計與深度多視角立體視覺相結合，特別是提出了CVA MVSNet，它有效地利用了整個關鍵幀窗口并預測高質量的深度貼圖，此外，提出的密集跟蹤方案通過跟蹤TSDF融合生成的全局3D模型，將攝像機姿態估計和密集3D重建聯系起來，定量和定性實驗表明，在合成數據和真實數據的三維重建和視覺里程測量方面，TANDEM方法比其他最先進的方法取得了更好的結果。我們認為，TANDEM三維重建的效果進一步縮小了RGB-D重建之間的差距。

資源

三維點云論文及相關應用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學習2D表示以實現快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現點云可視化GUI

JSNet：3D點云的聯合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規模點云的顯示

基于局部凹凸性進行目標分割

基于三維卷積神經網絡的點云標記

點云的超體素(SuperVoxel)

基于超點圖的大規模點云分割

更多文章可查看：點云學習歷史文章大匯總

SLAM及AR相關分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統中的語義SLAM

【點云論文速讀】StructSLAM:結構化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設備單目視覺慣導SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統

SLAM綜述(3)-視覺與慣導，視覺與深度學習SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結構化道路激光SLAM中的挑戰

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

掃描下方微信視頻號二維碼可查看最新研究成果及相關開源方案的演示：

如果你對本文感興趣，請點擊“原文閱讀”獲取知識星球二維碼，務必按照“姓名+學校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內容如有錯誤請留言評論，歡迎指正交流。如有侵權，請聯系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關注我們

讓我們一起分享一起學習吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關的領域。

分享及合作：群主微信“920177957”（需要按要求備注） 聯系郵箱：dianyunpcl@163.com，歡迎企業來聯系公眾號展開合作。

點一下“在看”你會更好看耶

總結

以上是生活随笔為你收集整理的TANDEM 基于深度多视图立体视觉的实时跟踪和稠密建图的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。