文/知乎用戶mysunnytime

”VR 頭盔要做到「手勢識別」，有哪些需要攻克的難點？“

工業場景下，我們可以把這個問題轉化為，如何利用更少的軟硬件條件，對VR使用場景的手勢識別功能提足夠的用戶體驗。那么怎樣是足夠的用戶體驗呢？這要看我們在VR中為什么需要手勢識別。

?為什么VR中需要手勢識別？

VR應用中需要什么樣的手勢識別？?

虛擬現實之所以是虛擬現實，是因為它帶給用戶一個沉浸式體驗，把用戶的視覺和聽覺等替換成了一個虛擬出來的環境。或許是魔法的霍格沃茲，或許是你異地同事的辦公室。除非是VR電影，否則一般用戶都需要和場景進行交互，比如選擇、操縱物體，和虛擬環境中的其他人物互動、移動。想象一下我們的真實世界中，我們和世界是怎樣交互的？人和人接觸時，互動方式主要是靠三種方式：語言、表情和手勢；而人和物體的互動則絕大部分是靠手；人在世界中的移動(locomotion)主要靠腳，偶爾需要手的參與(開車等)。所以不管是哪一種互動，手都起著很重要的作用。在人機交互的設計中，“手”可是比心臟更還要的器官XD。VR中要用到“手”的地方可以分類如下：

• 選擇物體(select)：發出射線進行遠程選擇，或者直接觸碰進行近處的選擇；

• 操縱物體(manipulate)：比如把被選擇的物體放大縮小、移動位置；

• 表達意義：比如揮手問好的手勢，“請”的手勢，還可以是程序自定義的表達意義的手勢，比如在空中畫一個圈，就出現一個魔法效果等。這其中又分成兩種，一種是用手臂就能表達的(比如指向某個方向)，一種是還需要手掌手指的細節的(比如猜拳)。這三種手勢的應用中，從控制精準度的要求來講，操縱物體和選擇物體要求較高，而表達意義要求較低。從FOV(Field of View 視域)角度來說，選擇物體時一般不需要手勢發生在FOV中，用戶主要會盯著被選擇的物體；而操縱一般需要手勢發生在FOV中，一般設計中，物體和手勢都需要被看到；表達意義時，主要需要被表達的對象(人或系統)感知到手勢，然而如果手勢復雜，用戶也可能需要看著手勢發生的地方。

當前實現VR手勢識別的方式有哪些？關于“VR頭盔要如何做到手勢識別”這一問題，如果純使用VR頭戴，當前可以完成的識別方式有：1. 圖像識別：在頭戴上安裝攝像頭捕捉，再利用CV技術識別出“手”這個物體，進而識別手勢。從圖像中識別手部輪廓 | Adrian Rosebrock @ https://www.pyimagesearch.com/2016/04/11/finding-extreme-points-in-contours-with-opencv/2. 深度傳感器：原理是從頭盔處發射和接受紅外線，根據收發時間差得出距離，結合發射角度從而得到空間點的位置。這樣可以得出一個深度掃描圖。再識別出“手”這個物體，識別出其關節，識別手勢。深度攝像頭得到的點云圖(point cloud)| pmd，https://pmdtec.com/picofamily/圖像識別基于二維點陣圖的色彩信息，而深度傳感器的識別基于視域內點集的三維位置——一個是平面，一個是立體。深度傳感器一定程度上可以直接還原物體的3D信息(3D建模)，手部的信息集和環境信息集差異更大，從這個角度上講可靠性比圖像識別更加可靠(得多)；然而要把這個原始的手部信息識別成手勢，和從圖像中識別出手以后再識別手勢相比，各有其難度。不管是使用普通照相機作為輸入源的圖像識別方法，還是使用深度傳感器的方法，又有一個重大局限，那就是傳感器處于VR頭戴設備上，那么，用戶的手必須出現在設備傳感器的檢測區域里，也就是說，設備必須“看得見”你的手(用戶的手要在設備的FOV中)。這造成兩個方面的局限：1)用戶必須抬手，或者低頭；2)只有當手掌方向和傳感器“視角”平行并且無遮擋的時候，識別效果最好，如果設備不能完整地“看到”用戶的手(例如一些手勢中，較近地手指遮擋了較遠的手指，或者兩只手距離很近、或互相遮擋時)，那么很容易造成誤判。比如，下圖兩個OK的手勢，左邊就較好識別，右邊就較難識別。那么除了在VR頭盔上做文章，還有什么別的方法呢？如果不限于僅僅使用VR頭盔，那么額外借助其他硬件的方法還有：3. 手持控制器/手柄(controller)：可以實現的輸入渠道有按鈕、加速度傳感器/螺旋儀定位。如果定位上再結合以上1、2兩點利用VR頭戴的傳感器(如windows mixed reality頭戴)，或者室內傳感器(lighthouse)，進行手柄的識別，那么精度相當可靠。這樣，手柄可以實現高精度的手部定位功能。除此之外，現在很多手柄還巧妙結合硬件設計，可以識別“抓”、“指”等簡單收拾的手勢。Oculus Rift手柄的巧妙手勢識別4. 手套：優勢是精準，可以識別到每一根手指和每一個關節，并且有些設計還能提供反向作用力，讓人在抓握時感受到被抓物體的硬度。一般是用手柄或定位器進行手掌的位置方向定位，然后利用套在手指上的傳感器，進行手指和關節定位。缺點是佩戴會降低舒適度。Plexus VR手套 | https://vimeo.com/276517370

?總結?

那么說了這么多，讓我來嘗試總結一下各種VR中手勢識別的特點：其中，標紅的部分就是每種方式的短板所在，也就是需要攻克的難點。同時，考慮到這些方式的特點，我們在設計VR應用時，也應根據我們的使用場景來揚長避短，選擇適合的手勢識別方式。這里按照之前總結的三個基礎使用場景，提出適合的手勢識別方式，來盡可能地利用更少的軟硬件條件，創造足夠的用戶體驗。

(本文已獲得知乎用戶mysunnytime授權發布，原回答鏈接：https://www.zhihu.com/question/348026118/answer/843541717)

??第一時間了解XR資訊??

? 關注VR陀螺官網(vrtuoluo.cn)

VR陀螺的聯系方式：

商務合作 | 采訪 | 投稿 ：

西瓜(微信號 18659030320)文靜(微信 mutou_kiki)交流分享 | 爆料：案山子 (微信 shimotsuki_jun)投稿郵箱：tougao@youxituoluo.com

近期熱文

---

---

你的每一個“在看”，都是我們堅持原創的動力

總結

以上是生活随笔為你收集整理的opencv 手部识别_手势识别结合到VR头显中，有哪些难点？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。