一說(shuō)到玩 VR 游戲，想必你腦袋里已經(jīng)浮現(xiàn)出一個(gè)看起來(lái)有點(diǎn)奇怪的人——

　　他戴著一個(gè)碩大的頭戴設(shè)備、兩手握著厚重的控制器，手臂并不輕松地在空氣中張牙舞爪。虛擬游戲中，他的手緊握手柄，變成了哆啦 A 夢(mèng)一般的圓球，靈活的手指在磅礴奇幻的新世界卻毫無(wú)用武之處。

　　不過(guò)很快，我們就不用握手柄了。虛擬世界中的手，也將恢復(fù)自由。

　　來(lái)自康奈爾大學(xué)和威斯康星大學(xué)麥迪遜分校的華人科學(xué)家，近日聯(lián)合打造了一副「3D 手環(huán)」——FingerTrak。

　　戴上這個(gè)「圈」，你十指的動(dòng)作就都能被精準(zhǔn)捕捉，而且它在未來(lái)的玩法，可能比你想到的還要多。

　　研究成果已經(jīng)發(fā)表在了《ACM 互動(dòng)，移動(dòng)，可穿戴和普及技術(shù)期刊》上。

　　它的面世，意味著可穿戴傳感器技術(shù)又迎來(lái)了新突破。

　　一個(gè)能讀懂你手的「圈」

　　近年來(lái)，精準(zhǔn)的手指運(yùn)動(dòng)跟蹤，已經(jīng)成了 VR 和 AR 領(lǐng)域研究的熱門(mén)技術(shù)。

　　如果你是一個(gè)動(dòng)畫(huà)師，應(yīng)該就知道捕捉人手有多復(fù)雜了，手部每個(gè)關(guān)節(jié)的每次彎曲、伸展，都有著無(wú)數(shù)種可能。

　　FingerTrak 的最大特色，就是用了一種新技術(shù)，來(lái)準(zhǔn)確預(yù)測(cè)每根手指的位置——熱傳感器跟蹤。

　　這個(gè)「圈」看起來(lái)就像一個(gè)雙層的手環(huán)，不過(guò)重點(diǎn)是手環(huán)周?chē)惭b的四個(gè)熱像儀。

　　這些熱像儀非常小，長(zhǎng) 5.7mm，直徑 9.3mm，就跟豌豆大小差不多。

　　它們的尖端都有一個(gè)低分辨率的紅外攝像頭，指向手指的一面。雖然分辨率較低，只有 32 x 24 像素，但它們能夠精準(zhǔn)地跟蹤佩戴者手的運(yùn)動(dòng)。

　　研究里呈現(xiàn)的紅外熱像儀圖像中，可以看到手指橙色和黃色區(qū)域在隨著指尖移動(dòng)不斷變化。

　　再通過(guò)系統(tǒng)中專(zhuān)門(mén)設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)（DNN），就能準(zhǔn)確地根據(jù)手腕輪廓，預(yù)測(cè) 20 個(gè)手指關(guān)節(jié)的位置。

　　最后，將各個(gè)輪廓的圖像連結(jié)在一起，就能以 3D 方式重構(gòu)整只手。

　　接著，重構(gòu)的手勢(shì)信息就能在虛擬模型甚至是機(jī)器人的手上再現(xiàn)。

　　在研究人員的測(cè)試中，設(shè)備能夠準(zhǔn)確地仿生人類(lèi)動(dòng)作。

　　學(xué)會(huì)翻書(shū)：

　　拿筆寫(xiě)字：

　　拿杯子喝水：

　　玩手機(jī)：

　　熱傳感器跟蹤的新方式，極大改善了手部動(dòng)作的識(shí)別能力。

　　因?yàn)樵O(shè)備不再是通過(guò)攝像頭直接捕捉手指位置，而是結(jié)合熱成像和機(jī)器學(xué)習(xí)技術(shù)來(lái)「隱形」獲取。攝像頭拍不到的地方、檢測(cè)不到的細(xì)微運(yùn)動(dòng)，將都可以被「看到」。

　　這也是第一個(gè)基于手腕輪廓來(lái)重建全手姿勢(shì)的系統(tǒng)。

　　在對(duì) 11 位受試者的測(cè)試中，研究結(jié)果表明識(shí)別角度誤差為 6.46° 至 8.06°，而且背景越均勻，錯(cuò)誤率就越低。

　　不能說(shuō)已經(jīng)實(shí)現(xiàn)了高精度跟蹤，但是至少實(shí)現(xiàn)了一種更好的手指跟蹤解決方案。

　　玩 VR 不用手柄了，但不止于此

　　研究中的 FingerTrak 原型，是連接 Raspberry Pi 進(jìn)行的運(yùn)作。但研究人員表示，未來(lái)升級(jí)的版本，將可以與智能手機(jī)連接，與 VR 眼鏡連接，甚至可以無(wú)線連接。

　　連上之后，你戴著手環(huán)就可以玩 VR 游戲了，手指也能在游戲中進(jìn)行更自然和多樣化的操作。

　　在日常生活中，它的用處就更貼近每個(gè)人了。

　　FingerTrak 將能像智能手表一般，監(jiān)測(cè)我們的健康狀況，但比智能手表厲害的地方在于，只要你動(dòng)動(dòng)手，它就能傳達(dá)你的身體狀態(tài)好壞。

　　這對(duì)于老年人尤其受用，特別是通過(guò)老年人日常生活如何使用雙手，從而監(jiān)測(cè)帕金森氏癥和阿爾茨海默氏癥等疾病的早期征兆。

　　在人機(jī)交互方面，你還能通過(guò) FingerTrak 介入，讓的家里的機(jī)器人模仿人類(lèi)的動(dòng)作，更好地為我們服務(wù)。

　　研究人員還指出了一個(gè)最有希望的潛在應(yīng)用：翻譯手語(yǔ)。

　　畢竟當(dāng)前的手語(yǔ)翻譯技術(shù)，要不是需要用戶戴手套，要不是需要使用到相機(jī)，這兩者體驗(yàn)都比較麻煩，而 FingerTrak 將能讓手語(yǔ)翻譯變得直接、快速、人性化。

　　但是，F(xiàn)ingerTrak 現(xiàn)在仍處于早期的研究階段，商業(yè)化可能還需要幾年時(shí)間，畢竟上述所說(shuō)的任一場(chǎng)景實(shí)際使用都不簡(jiǎn)單。

　　比如說(shuō)，如果要和 VR／AR 應(yīng)用匹配，替代設(shè)備中的手柄控制器，首先就得考慮精度問(wèn)題，以及手指之間的配合問(wèn)題。

　　畢竟在現(xiàn)實(shí)中，少了一根手指，偏移一點(diǎn)位置，我們手中的東西可能都會(huì)掉在地上，所以精度和現(xiàn)實(shí)稍有偏失，虛擬世界中的真實(shí)體驗(yàn)就會(huì)錯(cuò)亂。

　　不過(guò)，研究人員表示該設(shè)備采用的組件價(jià)格都很實(shí)惠，而且數(shù)據(jù)已經(jīng)能實(shí)現(xiàn)相當(dāng)高的準(zhǔn)確度，這是未來(lái)商業(yè)化前值得慶幸的一件事。

　　而且小荷才露尖尖角，虛擬現(xiàn)實(shí)也仍處于起步階段，F(xiàn)ingerTrak 的出現(xiàn)已經(jīng)為我們帶來(lái)了新的可能性，也讓人看到了它在未來(lái)的巨大潛力。

　　據(jù)悉，F(xiàn)ingerTrak 預(yù)計(jì)將在今年 9 月中旬的 ACM 普適計(jì)算國(guó)際會(huì)議上發(fā)布。

　　我們離理想的手部跟蹤還有多遠(yuǎn)？

　　如果只是監(jiān)測(cè)整只手，其實(shí)智能手表就可以了。

　　我們生活中常見(jiàn)的可穿戴設(shè)備，使用陀螺儀和加速計(jì)等傳感器就能監(jiān)測(cè)手部運(yùn)動(dòng)，比如抬起手腕，屏幕就會(huì)自動(dòng)點(diǎn)亮等。

　　但是，未來(lái)要在虛擬世界逼近真實(shí)體驗(yàn)，必須得檢測(cè)到每根手指的運(yùn)動(dòng)，智能手表的監(jiān)測(cè)還做不到。

　　▲ Google Project Soli 計(jì)劃，一種基于雷達(dá)的手勢(shì)識(shí)別技術(shù)

　　手指是表達(dá)人類(lèi)感情的重要一環(huán)。手部跟蹤技術(shù)的研發(fā)其實(shí)已經(jīng)走很長(zhǎng)一段路了，各種新興技術(shù)每年都紛繁顯現(xiàn)。

　　比如深度感應(yīng)攝像頭或紅外傳感器——普渡大學(xué)的科學(xué)家就利用深度感應(yīng)攝像頭來(lái)捕獲手部動(dòng)作，然后利用深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)了解數(shù)百萬(wàn)種手勢(shì)，然后將它們?cè)谔摂M世界中準(zhǔn)確顯示。

　　有人還使用運(yùn)動(dòng)感應(yīng)手套——加利福尼亞大學(xué)洛杉磯分校（UCLA）的研究人員公布了一種手套式設(shè)備，通過(guò)機(jī)器學(xué)習(xí)輔助的可伸縮傳感器陣列，能夠?qū)⑹终Z(yǔ)轉(zhuǎn)換為語(yǔ)音對(duì)話，并在手機(jī)上播放。

　　甚至還有使用電磁傳感器——Oculus 研究部門(mén)的成員在 2015 年開(kāi)發(fā)過(guò)一種電磁傳感器系統(tǒng)，通過(guò)安裝在用戶指尖的電磁體和四個(gè)磁力計(jì)來(lái)跟蹤指尖運(yùn)動(dòng)，人們就可以在 VR 游戲途中停下來(lái)，用指尖選擇彈鋼琴或畫(huà)畫(huà)。

　　但它們都有著相同的弊端：要不就是設(shè)備太大太笨重了，要不就是需要高性能 PC 支持、反應(yīng)滯后，大部分都無(wú)法商用。

　　近年來(lái)，隨著 AR／VR 等領(lǐng)域的發(fā)展，設(shè)備舒適度和視覺(jué)逼真度方面都在升級(jí)，研究人員一直在開(kāi)發(fā)比手持控制器更自然的方案，因此手部跟蹤技術(shù)也更新?lián)Q代極快。

　　這種進(jìn)步主要體現(xiàn)在兩個(gè)方面：一是跟蹤手指運(yùn)動(dòng)的準(zhǔn)確性提升，二是設(shè)備尺寸減小及重量減輕。

　　前者譬如索尼在今年 5 月份發(fā)布了「可高精度追蹤手指運(yùn)動(dòng)的下一代 VR 游戲控制器」原型，這個(gè)握柄根據(jù)電極感應(yīng)來(lái)確定手指運(yùn)動(dòng)，已經(jīng)能跟蹤到手指的細(xì)微動(dòng)作了，可以做出握拳、彎曲手指，上能比「耶」，下能比「666」，11 種姿勢(shì)任君挑選。

　　研究模擬中，玩家可以用手拿起虛擬空間的積木，并一個(gè)個(gè)搭建起來(lái)，只是手指姿勢(shì)識(shí)別依然有限，很多人無(wú)法比出的下面這個(gè)手勢(shì)，這個(gè)設(shè)備也無(wú)法識(shí)別：

　　后者譬如今年 2 月份，華盛頓大學(xué)的研究人員開(kāi)發(fā)出一個(gè)名為 AuraRing 的戒指，它利用新型的電磁跟蹤系統(tǒng)，能夠進(jìn)行高分辨率的光學(xué)跟蹤，人們只需要在食指套一個(gè) 3D 打印的電線線圈，加上遍布傳感器的腕帶，手指就能在虛擬世界書(shū)寫(xiě)、敲擊、輕拂、擠壓物體等。

　　輕是輕，小是小，但它的問(wèn)題就在于，戒指是腕帶感應(yīng)能力的擴(kuò)展，要在虛擬世界全盤(pán)操作，恐怕得戴滿整只手才行。

　　而在 VR 市場(chǎng)，作為代表的索尼、Oculus、HTC 三家廠商中，Oculus 在頭戴式設(shè)備Oculus Quest 上也使用到「手勢(shì)追蹤」的新技術(shù)，它甩別家?guī)讞l街的地方就在于，可以完全不用任何實(shí)物就實(shí)現(xiàn)手部跟蹤。

　　玩家戴上頭盔，雙手就會(huì)映射進(jìn)虛擬空間，然后你就可以用雙手在里面做你能做的任何事。

　　這都是基于 Oculus Quest 頂上那 4 顆外置攝像頭。它不僅能掃描周邊空間，確認(rèn)玩家所處的位置，還能在你望向手指操作時(shí)，細(xì)化分析每根手指的運(yùn)動(dòng)，并延伸到虛擬世界中。

　　Oculus Quest 已經(jīng)做到了脫離手機(jī)和電腦的一體式設(shè)計(jì)，再加上手部跟蹤技術(shù)，就能更讓玩家沉浸感更強(qiáng)，它還可能作為 Facebook AR 頭戴設(shè)備的開(kāi)端，將真實(shí)世界的物體帶入 VR 世界。

　　不過(guò)也因?yàn)橛?jì)算機(jī)視覺(jué)和定位技術(shù)的局限，Oculus Quest 的手勢(shì)應(yīng)用在實(shí)際中還是會(huì)受到一些限制。

　　回過(guò)頭看，F(xiàn)ingerTrak 的設(shè)計(jì)雖然要帶「手環(huán)」，但是最大的優(yōu)勢(shì)就在于「手環(huán)」輕便、小巧、可自由移動(dòng)。

　　研究團(tuán)隊(duì)表示通過(guò)進(jìn)一步的工程設(shè)計(jì)，它的尺寸還能變得更小。

　　總而言之，手部跟蹤要在虛擬世界變得自然無(wú)形，必然還有一定距離，但這個(gè)距離并不遠(yuǎn)。

　　扎克伯格堅(jiān)信，VR 和 AR 會(huì)在 10 年內(nèi)，成為繼移動(dòng)設(shè)備之后的下一代主要計(jì)算平臺(tái)，直接改變我們的工作與生活。

　　調(diào)研機(jī)構(gòu) Gartner 也指出，在 5G 和 AI 的驅(qū)動(dòng)下，從現(xiàn)在到 2028 年，VR 和 AR 將讓用戶體驗(yàn)將在兩個(gè)方面發(fā)生巨大變化 ——用戶對(duì)于數(shù)字世界的感知，和用戶與數(shù)字世界的交互方式。

　　這意味著我們與數(shù)字世界的交互不再只局限于二維屏幕，而是在 VR 和 AR 中充分發(fā)揮人類(lèi)完整的能力，讓數(shù)字和現(xiàn)實(shí)完全無(wú)縫融合。

　　Oculus 首席科學(xué)家 Michael Abrash在 2020 年計(jì)算機(jī)視覺(jué)和模式識(shí)別大會(huì)指出：

未來(lái)的 VR 頭顯能夠?qū)崿F(xiàn) 200 度視場(chǎng)，視網(wǎng)膜分辨率，可變焦距，逼真音頻，而 AR 眼鏡則是「超級(jí)時(shí)尚」，完全可以取代智能手機(jī)，并賦予佩戴者感知超能力。

　　這也需要同等水平的技術(shù)升級(jí)，包括光學(xué)系統(tǒng)、界面、觸覺(jué)、虛擬化身、人體工學(xué)等，而手部跟蹤，就是其中至關(guān)重要的一環(huán)。

　　▲ 圖片來(lái)自：Project Soli

　　當(dāng)然，對(duì)我們來(lái)說(shuō)，最理想的情況，是根本不需要特定方式來(lái)跟蹤手部。

　　不過(guò) VR 和 AR 就像一塊嶄新而巨大的拼圖，所有可能性都攤落在這片未來(lái)的藍(lán)圖之中。

　　人人都知道新面貌終將面世，但在這之前，我們還得繼續(xù)尋找答案，我們也正努力填充答案。

總結(jié)

以上是生活随笔為你收集整理的手上戴个「圈」就能玩 VR，这是什么新玩意？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。