?PaperWeekly 原創 ·?作者｜孫寶利

學校｜大連理工大學碩士

研究方向｜計算機視覺

?

?

項目主頁：

http://faculty.dlut.edu.cn/yexinchen/zh_CN/zdylm/1123985/list/index.htm

代碼鏈接：

https://github.com/Sunbaoli/dsr-distillation

導讀：

本項研究針對深度傳感系統獲取的場景深度圖像分辨率低和細節丟失等問題，突破現有基于彩色指導的場景深度復原方法的局限性，即在訓練及測試階段同時需要高分辨率彩色圖像和降質深度圖像作為網絡輸入來估計高質量深度圖像（在實際測試環境中，同視角的高分辨率彩色輔助信息并不容易獲得）。

首次提出基于跨任務場景結構知識遷移的單一場景深度圖像超分辨率方法，在訓練階段從彩色圖像蒸餾出場景結構信息來輔助提升深度復原性能，而測試階段僅提供單張降質深度圖像作為輸入即可實現深度圖像重建。

該算法框架同時構造了深度估計任務（彩色圖像為輸入估計深度信息）及深度復原任務（低質量深度為輸入估計高質量深度），并提出了基于師生角色交換的跨任務知識蒸餾策略以及不確定度引導的結構正則化學習來實現雙邊知識遷移，通過協同訓練兩個任務來提升深度超分辨率任務的性能。

在實際部署和測試中，所提出的方法具有模型輕量化，算法速度快等特點，且在缺少高分辨率彩色信息輔助的情況下仍可獲得優異的性能。

?

深度圖像超分辨率簡介

隨著計算機視覺的發展，場景三維重建、姿態估計以及自動駕駛等應用成為非常熱門的研究領域。這些領域都依賴于高精度、高質量的場景深度信息。然而，在實際環境下，由于深度傳感器自身性能的限制和實際成像環境的復雜性，獲取的深度圖像分辨率普遍較低而且帶有嚴重的噪聲。面對應用領域對高質量深度圖像的迫切需求，提高深度相機所攝深度圖像的空間分辨率的深度超分辨率技術，已經成為計算機視覺和圖像處理領域的研究熱點。

現有基于彩色圖像指導的場景深度超分辨率方法已經取得了顯著的進展，但仍然存在一些局限性。首先，這些方法需要成對且配準的 RGB-D 數據作為訓練實例，共同恢復退化的深度圖。

然而，在實際測試環境中，配對的數據很難獲得，影響模型的實用性。例如，RGB 圖像和深度圖像是由不同分辨率、不同視角的傳感器分別捕獲的，需要對它們進行精確的標定，才能獲得高度配準的數據對。其次，考慮到內存消耗和計算負擔，對高分辨率 RGB 數據的處理也阻礙了模型的實時性。

此外，RGB 特征可以作為結構信息來指導深度超分辨率任務，但是彩色圖像紋理細節過于豐富，導致恢復的深度圖像帶有明顯的紋理復制現象。因此，如何利用 RGB 信息幫助恢復深度圖，同時又滿足實際測試環境，還有待進一步研究。

該工作希望突破現有基于彩色指導的深度超分辨率方法的局限性，例如經典的 RGB-D 聯合濾波模式（下圖（a）所示）和彩色信息多尺度指導模式（下圖（b）所示），從而提出了基于跨任務場景結構知識遷移的單張場景深度圖像超分辨率方法（下圖（c）所示），對上述問題提供一個新的解決思路。

方法簡介

受多任務學習的啟發，該工作構造了一個以 RGB 圖像為輸入的深度估計任務來輔助深度超分辨率任務，并提出了一個跨任務交互模塊，包含基于師生角色交換的跨任務知識蒸餾策略以及不確定度引導的結構正則化學習，以實現雙邊知識遷移。

該工作通過協同訓練兩個任務來提升深度超分辨率任務的性能。在訓練階段，RGB-D 圖像對共同參與完成訓練；而在實際環境測試時，僅需要輸入單張退化的深度圖即可得到高質量的恢復結果，減少了對配對數據的依賴和對彩色圖像額外處理的時間開銷，解決了紋理復制的問題，模型更加輕量化，性能更優。

1）跨任務知識蒸餾策略

不同于常用的蒸餾技術，該工作設計了一個基于師生角色交換的跨任務知識蒸餾策略，鼓勵深度超分辨率網絡（DSRNet）和深度估計網絡（DENet）互相學習。具體而言，教師與學生的角色將根據當前這兩個任務的性能動態地切換，通過迭代的協同訓練及互相學習提升兩個任務的性能。

為了提煉出更有意義的、能夠準確描述深度圖本質結構特征的知識，該工作引入了一種多空間的蒸餾方案，從輸出空間和結構空間兩方面對知識進行提取。

?

2）不確定度引導的結構正則化學習

為了解決彩色圖像和深度圖像結構不一致所帶來的紋理復制問題，該工作構造了一個結構預測（SPNet）任務，提供額外的結構正則化約束，幫助深度估計和深度超分辨率任務學習更多的有效信息結構表示，進而輔助深度結構的恢復。深度圖像恢復的誤差往往出現在深度邊界和精細結構附近區域，具有較高的恢復不確定性。

因此，該工作設計了一個不確定性引導的注意融合模塊，通過將恢復的不確定性融入到特征圖中來加強有效的結構特征，然后送入結構預測網絡中，以深度邊緣圖像為監督，通過信息后向傳播來約束網絡的更新方向。

實驗結果

該工作在社區流行的數據集上都進行了實驗，包括 Middlebury，NYU v2 以及 ToFMark。在測試階段我們僅僅使用 DSRNet（不使用 RGB 信息），并且與很多彩色指導的深度超分辨率方法得到了可比較的結果，部分實驗結果如下：

?

該工作也對蒸餾策略和結構預測網絡進行了消融研究，對應實驗結果如下：

相關成果

近年來，課題組圍繞三維場景深度估計與恢復方面開展了深入研究。從深度信號分析與建模等基礎理論問題，到真實應用環境（涵蓋陸上及水下場景）下的深度估計與恢復，發表了一系列相關工作，具體包括深度圖像建模及計算重建，室內場景深度估計，室外復雜道路場景深度估計，水下低能見場景無監督域適應深度估計及顏色矯正等方面。具體參考文獻如下。

參考文獻

[1] Baoli Sun, Xinchen Ye*, Baopu Li, Haojie Li, Zhihui Wang, Rui Xu, Learning Scene Structure Guidance via Cross-Task Knowledge Transfer for Single Depth Super-Resolution, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021

[2] Xinchen Ye, Baoli Sun, Zhihui Wang*, Jingyu Yang, Rui Xu, Haojie Li, Baopu Li, PMBANet: Progressive Multi-Branch Aggregation Network for Scene Depth Super-Resolution, IEEE Trans. Image Processing, 29:7427-7442, 2020

[3] Xinchen Ye*, Baoli Sun, Zhihui Wang, Jingyu Yang, Rui Xu, Haojie Li, Baopu Li, Depth Super-Resolution via Deep Controllable Slicing Network, ACM International Conference on Multimedia (ACMMM), 2020, Seattle, USA

[4] Xinchen Ye*, Shude Chen, Rui Xu, DPNet: Detail-Preserving Network for High Quality Monocular Depth Estimation, Pattern Recognition, 109:107578, 2021

[5] Xinchen Ye*, Mingliang Zhang, Jingyu Yang, Xin Fan, Fangfang Guo, A Sparsity-Promoting Image Decomposition Model for Depth Recovery, Pattern Recognition, 107: 107506, 2020

[6] Xinchen Ye; Zheng Li; Baoli Sun; Zhihui Wang*; Rui Xu; Haojie Li; Xin Fan; Deep Joint Depth Estimation and Color Correction from Monocular Underwater Images based on Unsupervised Adaptation Networks, IEEE Trans. Circuits and Systems for Video Technology, 30(11): 3995-4008, 2020

[7] Zhihui Wang; Xinchen Ye*; Baoli Sun; Jingyu Yang; Rui Xu, Haojie Li; Depth Upsampling based on Deep Edge-Aware Learning, Pattern Recognition, Pattern Recognition, 103: 107274, 2020

?

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的CVPR 2021 | 基于跨任务场景结构知识迁移的单张深度图像超分辨率方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。