DeepFocus是一種基于AI的渲染系統，用于在VR中渲染自然逼真的人眼聚焦效果。本文來自Facebook工程博客，LiveVideoStack進行了翻譯。感謝阿里巴巴高級算法專家盛驍杰提供的技術審校。

文 / Facebook工程博客

譯 / 許海燕

審校 / 盛驍杰

原文：https://code.fb.com/virtual-reality/deepfocus/

研究內容：

一種新的基于AI的框架，用于在VR中渲染自然逼真的人眼聚焦效果。DeepFocus可與高級原型頭盔配合使用，在不同的焦距實時渲染模糊效果。例如，當有人戴著支持DeepFocus的設備觀看附近的一個物體時，它會立即聚焦并變得清晰，而背景物體則會像在現實生活中一樣，呈現出失焦模糊效果。這種失焦模糊（也稱為視網膜模糊）對于實現VR中的真實感和深度感知非常重要。DeepFocus是第一個能夠為VR應用程序實時產生這種效果的系統。我們現在開放我們的工作和數據集，以幫助VR研究界的其他人。

它是如何運作的：

一些傳統方法，例如使用累積緩沖算法（accumulation buffer），可以實現物理上精確的失焦模糊。但它們無法實時生成復雜，豐富的內容，因為這種處理，即使是對于最先進的芯片，要求也太高了。與此不同的是，我們使用深度學習解決了這個問題。我們開發了一種新穎的端到端卷積神經網絡，一旦眼睛看到場景的不同部分，就會產生具有精確視網膜模糊的圖像。該網絡包括新的保持體積的交織層，以減少輸入的空間維度，同時充分保留圖像細節。然后，網絡的卷積層運行在相同的，降低了的空間分辨率上，從而運行時間能夠明顯減少。

為什么重要：

隨著對新型VR頭顯技術的研究不斷深入，DeepFocus將能夠模擬精確的視網膜模糊，從而產生非常逼真的視覺效果。該平臺還表明AI可以幫助解決VR渲染高度計算密集型視覺效果的挑戰。DeepFocus為克服未來新型顯示系統的實際渲染和優化限制提供了基礎。

由于DeepFocus僅依賴于標準RGB-D顏色和深度輸入，因此它幾乎適用于所有現有的VR游戲和應用程序。它還兼容VR研究界目前正在探索的所有三種頭顯類型，分別是：變焦顯示器（如Half Dome），多焦點顯示器（例如，FRL先前的工作）和光場顯示器。

詳細了解Facebook Reality Labs如何創建DeepFocus。

（https://www.oculus.com/blog/introducing-deepfocus-the-ai-rendering-system-powering-half-dome/）

閱讀完整的論文：

DeepFocus：用于計算顯示的學習圖像合成

（https://research.fb.com/publications/deepfocus-siggraph-asia-2018/）

精品文章推薦

技術干貨：

• 2018年是VR的新機會嗎？

• Pixel 3的超分辨變焦技術

• 基于HLS格式的低延時互動直播技術

• 機器學習幫助WebRTC視頻質量評價

• 從CV到ML 直播場景下新技術的應用

• 利用JPEG制作更快，更準確的神經網絡

• VP9如何給Twitch的電競直播帶來價值？
  

• 使用WebRTC和WebVR進行VR視頻通話

總結

以上是生活随笔為你收集整理的DeepFocus，基于AI实现更逼真的VR图像的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。