摘要

采用大型復雜的神經網絡實現深度估計的高級性能。雖然性能仍在不斷提高，但作者認為深度估計必須是準確和高效的。這是現實應用的初步要求。但是，快速深度估計會在模型容量和精度之間產生折衷，從而降低模型的性能。在這篇論文中，作者嘗試用一個輕量級的網絡來實現高度精確的深度估計。為此，作者首先介紹了一種可以實時估計深度圖的緊湊網絡。然后，作者在技術上展示了兩種補充和必要的策略，以提高輕量級網絡的性能。由于真實場景的數量是無限的，首先是輔助數據的使用，增加了訓練數據的多樣性。二是運用知識精餾進一步提升績效。通過廣泛和嚴格的實驗，作者表明，作者的方法在推理精度，計算效率和泛化方面優于以往的輕量級方法。與只有1%參數的最先進的方法相比，作者可以實現相當的性能，另一方面，作者的方法比其他輕量級方法的性能要好得多。

論文創新點

作者通過實驗證明：

本文介紹的光網絡可以實時估計深度圖。它在推理精度、計算效率和泛化性能方面優于基準方法。

對于深度估計，有效的知識提煉的關鍵是采用良好的誤差度量。作者證明了應用幾何約束有助于更好的知識轉移。

這兩種策略，即使用輔助數據和知識精餾以一種互補的方式工作。它們的結合給作者帶來了一個高精度和計算效率高的深度估計網絡。

框架結構

提出的網絡圖。其核心組件是四個特征融合與壓縮層(FFC)。FFC層由一個信道的關注層和一個卷積層組成，這樣它可以自動將更多的權值歸到更重要的特征上，然后將它們融合到少量的信道中。

實驗結果

(a)有無額外訓練數據的教師和學生網的表現。注意，學員網是經過培訓而沒有知識的提煉的。(b)學生網與知識精餾的表現。由此可見，即使給定相同的教師網，作者也可以通過額外的訓練數據獲得顯著的準確性提高。

對不同輕型深度估算方法進行定性比較。

基于TUM數據集的5個序列預測點云的定性比較。

結論

本文從以下三個方面對單目深度估計進行了全面回顧:1)推斷精度，2)計算效率，3)概化性。作者指出主要有兩大挑戰。首先是模型準確性和模型容量之間的權衡，其次是對未知場景的泛化性能較差。作者的方法首先引入了一個緊湊的網絡，可以實時估計深度地圖。然后，作者的實證和定量表明，使用輔助訓練數據是必要的改進輕量級網絡。場景多樣性的增加不僅可以提高網絡的準確性和泛化程度，而且是后續知識提煉過程中所需要的。作者運用知識蒸餾技術，利用輔助數據從訓練有素的教師網中提升出輕量級網。作者利用額外的幾何約束(梯度和法線)來精確測量老師和學生之間的估計的差異。因此，作者的方法與在只有1%參數的大型網絡上建立的方法相比具有相當的性能，并在很大程度上優于其他輕量級方法。在未來，作者將進一步改進作者的方法與更多的現實場景，以發展一個更通用的網絡深度估計。

論文鏈接：https://arxiv.org/pdf/2105.06143.pdf

每日堅持論文分享不易，如果喜歡我們的內容，希望可以推薦或者轉發給周圍的同學。

- END -

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯溫州大學《機器學習課程》視頻 本站qq群851320808，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【论文解读】通过知识蒸馏促进轻量级深度估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。