一說到玩 VR 游戲，想必你腦袋里已經浮現出一個看起來有點奇怪的人——

　　他戴著一個碩大的頭戴設備、兩手握著厚重的控制器，手臂并不輕松地在空氣中張牙舞爪。虛擬游戲中，他的手緊握手柄，變成了哆啦 A 夢一般的圓球，靈活的手指在磅礴奇幻的新世界卻毫無用武之處。

　　不過很快，我們就不用握手柄了。虛擬世界中的手，也將恢復自由。

　　來自康奈爾大學和威斯康星大學麥迪遜分校的華人科學家，近日聯合打造了一副「3D 手環」——FingerTrak。

　　戴上這個「圈」，你十指的動作就都能被精準捕捉，而且它在未來的玩法，可能比你想到的還要多。

　　研究成果已經發表在了《ACM 互動，移動，可穿戴和普及技術期刊》上。

　　它的面世，意味著可穿戴傳感器技術又迎來了新突破。

　　一個能讀懂你手的「圈」

　　近年來，精準的手指運動跟蹤，已經成了 VR 和 AR 領域研究的熱門技術。

　　如果你是一個動畫師，應該就知道捕捉人手有多復雜了，手部每個關節的每次彎曲、伸展，都有著無數種可能。

　　FingerTrak 的最大特色，就是用了一種新技術，來準確預測每根手指的位置——熱傳感器跟蹤。

　　這個「圈」看起來就像一個雙層的手環，不過重點是手環周圍安裝的四個熱像儀。

　　這些熱像儀非常小，長 5.7mm，直徑 9.3mm，就跟豌豆大小差不多。

　　它們的尖端都有一個低分辨率的紅外攝像頭，指向手指的一面。雖然分辨率較低，只有 32 x 24 像素，但它們能夠精準地跟蹤佩戴者手的運動。

　　研究里呈現的紅外熱像儀圖像中，可以看到手指橙色和黃色區域在隨著指尖移動不斷變化。

　　再通過系統中專門設計的深度神經網絡（DNN），就能準確地根據手腕輪廓，預測 20 個手指關節的位置。

　　最后，將各個輪廓的圖像連結在一起，就能以 3D 方式重構整只手。

　　接著，重構的手勢信息就能在虛擬模型甚至是機器人的手上再現。

　　在研究人員的測試中，設備能夠準確地仿生人類動作。

　　學會翻書：

　　拿筆寫字：

　　拿杯子喝水：

　　玩手機：

　　熱傳感器跟蹤的新方式，極大改善了手部動作的識別能力。

　　因為設備不再是通過攝像頭直接捕捉手指位置，而是結合熱成像和機器學習技術來「隱形」獲取。攝像頭拍不到的地方、檢測不到的細微運動，將都可以被「看到」。

　　這也是第一個基于手腕輪廓來重建全手姿勢的系統。

　　在對 11 位受試者的測試中，研究結果表明識別角度誤差為 6.46° 至 8.06°，而且背景越均勻，錯誤率就越低。

　　不能說已經實現了高精度跟蹤，但是至少實現了一種更好的手指跟蹤解決方案。

　　玩 VR 不用手柄了，但不止于此

　　研究中的 FingerTrak 原型，是連接 Raspberry Pi 進行的運作。但研究人員表示，未來升級的版本，將可以與智能手機連接，與 VR 眼鏡連接，甚至可以無線連接。

　　連上之后，你戴著手環就可以玩 VR 游戲了，手指也能在游戲中進行更自然和多樣化的操作。

　　在日常生活中，它的用處就更貼近每個人了。

　　FingerTrak 將能像智能手表一般，監測我們的健康狀況，但比智能手表厲害的地方在于，只要你動動手，它就能傳達你的身體狀態好壞。

　　這對于老年人尤其受用，特別是通過老年人日常生活如何使用雙手，從而監測帕金森氏癥和阿爾茨海默氏癥等疾病的早期征兆。

　　在人機交互方面，你還能通過 FingerTrak 介入，讓的家里的機器人模仿人類的動作，更好地為我們服務。

　　研究人員還指出了一個最有希望的潛在應用：翻譯手語。

　　畢竟當前的手語翻譯技術，要不是需要用戶戴手套，要不是需要使用到相機，這兩者體驗都比較麻煩，而 FingerTrak 將能讓手語翻譯變得直接、快速、人性化。

　　但是，FingerTrak 現在仍處于早期的研究階段，商業化可能還需要幾年時間，畢竟上述所說的任一場景實際使用都不簡單。

　　比如說，如果要和 VR／AR 應用匹配，替代設備中的手柄控制器，首先就得考慮精度問題，以及手指之間的配合問題。

　　畢竟在現實中，少了一根手指，偏移一點位置，我們手中的東西可能都會掉在地上，所以精度和現實稍有偏失，虛擬世界中的真實體驗就會錯亂。

　　不過，研究人員表示該設備采用的組件價格都很實惠，而且數據已經能實現相當高的準確度，這是未來商業化前值得慶幸的一件事。

　　而且小荷才露尖尖角，虛擬現實也仍處于起步階段，FingerTrak 的出現已經為我們帶來了新的可能性，也讓人看到了它在未來的巨大潛力。

　　據悉，FingerTrak 預計將在今年 9 月中旬的 ACM 普適計算國際會議上發布。

　　我們離理想的手部跟蹤還有多遠？

　　如果只是監測整只手，其實智能手表就可以了。

　　我們生活中常見的可穿戴設備，使用陀螺儀和加速計等傳感器就能監測手部運動，比如抬起手腕，屏幕就會自動點亮等。

　　但是，未來要在虛擬世界逼近真實體驗，必須得檢測到每根手指的運動，智能手表的監測還做不到。

　　▲ Google Project Soli 計劃，一種基于雷達的手勢識別技術

　　手指是表達人類感情的重要一環。手部跟蹤技術的研發其實已經走很長一段路了，各種新興技術每年都紛繁顯現。

　　比如深度感應攝像頭或紅外傳感器——普渡大學的科學家就利用深度感應攝像頭來捕獲手部動作，然后利用深度學習網絡來了解數百萬種手勢，然后將它們在虛擬世界中準確顯示。

　　有人還使用運動感應手套——加利福尼亞大學洛杉磯分校（UCLA）的研究人員公布了一種手套式設備，通過機器學習輔助的可伸縮傳感器陣列，能夠將手語轉換為語音對話，并在手機上播放。

　　甚至還有使用電磁傳感器——Oculus 研究部門的成員在 2015 年開發過一種電磁傳感器系統，通過安裝在用戶指尖的電磁體和四個磁力計來跟蹤指尖運動，人們就可以在 VR 游戲途中停下來，用指尖選擇彈鋼琴或畫畫。

　　但它們都有著相同的弊端：要不就是設備太大太笨重了，要不就是需要高性能 PC 支持、反應滯后，大部分都無法商用。

　　近年來，隨著 AR／VR 等領域的發展，設備舒適度和視覺逼真度方面都在升級，研究人員一直在開發比手持控制器更自然的方案，因此手部跟蹤技術也更新換代極快。

　　這種進步主要體現在兩個方面：一是跟蹤手指運動的準確性提升，二是設備尺寸減小及重量減輕。

　　前者譬如索尼在今年 5 月份發布了「可高精度追蹤手指運動的下一代 VR 游戲控制器」原型，這個握柄根據電極感應來確定手指運動，已經能跟蹤到手指的細微動作了，可以做出握拳、彎曲手指，上能比「耶」，下能比「666」，11 種姿勢任君挑選。

　　研究模擬中，玩家可以用手拿起虛擬空間的積木，并一個個搭建起來，只是手指姿勢識別依然有限，很多人無法比出的下面這個手勢，這個設備也無法識別：

　　后者譬如今年 2 月份，華盛頓大學的研究人員開發出一個名為 AuraRing 的戒指，它利用新型的電磁跟蹤系統，能夠進行高分辨率的光學跟蹤，人們只需要在食指套一個 3D 打印的電線線圈，加上遍布傳感器的腕帶，手指就能在虛擬世界書寫、敲擊、輕拂、擠壓物體等。

　　輕是輕，小是小，但它的問題就在于，戒指是腕帶感應能力的擴展，要在虛擬世界全盤操作，恐怕得戴滿整只手才行。

　　而在 VR 市場，作為代表的索尼、Oculus、HTC 三家廠商中，Oculus 在頭戴式設備Oculus Quest 上也使用到「手勢追蹤」的新技術，它甩別家幾條街的地方就在于，可以完全不用任何實物就實現手部跟蹤。

　　玩家戴上頭盔，雙手就會映射進虛擬空間，然后你就可以用雙手在里面做你能做的任何事。

　　這都是基于 Oculus Quest 頂上那 4 顆外置攝像頭。它不僅能掃描周邊空間，確認玩家所處的位置，還能在你望向手指操作時，細化分析每根手指的運動，并延伸到虛擬世界中。

　　Oculus Quest 已經做到了脫離手機和電腦的一體式設計，再加上手部跟蹤技術，就能更讓玩家沉浸感更強，它還可能作為 Facebook AR 頭戴設備的開端，將真實世界的物體帶入 VR 世界。

　　不過也因為計算機視覺和定位技術的局限，Oculus Quest 的手勢應用在實際中還是會受到一些限制。

　　回過頭看，FingerTrak 的設計雖然要帶「手環」，但是最大的優勢就在于「手環」輕便、小巧、可自由移動。

　　研究團隊表示通過進一步的工程設計，它的尺寸還能變得更小。

　　總而言之，手部跟蹤要在虛擬世界變得自然無形，必然還有一定距離，但這個距離并不遠。

　　扎克伯格堅信，VR 和 AR 會在 10 年內，成為繼移動設備之后的下一代主要計算平臺，直接改變我們的工作與生活。

　　調研機構 Gartner 也指出，在 5G 和 AI 的驅動下，從現在到 2028 年，VR 和 AR 將讓用戶體驗將在兩個方面發生巨大變化 ——用戶對于數字世界的感知，和用戶與數字世界的交互方式。

　　這意味著我們與數字世界的交互不再只局限于二維屏幕，而是在 VR 和 AR 中充分發揮人類完整的能力，讓數字和現實完全無縫融合。

　　Oculus 首席科學家 Michael Abrash在 2020 年計算機視覺和模式識別大會指出：

未來的 VR 頭顯能夠實現 200 度視場，視網膜分辨率，可變焦距，逼真音頻，而 AR 眼鏡則是「超級時尚」，完全可以取代智能手機，并賦予佩戴者感知超能力。

　　這也需要同等水平的技術升級，包括光學系統、界面、觸覺、虛擬化身、人體工學等，而手部跟蹤，就是其中至關重要的一環。

　　▲ 圖片來自：Project Soli

　　當然，對我們來說，最理想的情況，是根本不需要特定方式來跟蹤手部。

　　不過 VR 和 AR 就像一塊嶄新而巨大的拼圖，所有可能性都攤落在這片未來的藍圖之中。

　　人人都知道新面貌終將面世，但在這之前，我們還得繼續尋找答案，我們也正努力填充答案。

總結

以上是生活随笔為你收集整理的手上戴个「圈」就能玩 VR，这是什么新玩意？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。