VR/AR/MR（統稱為XR）有望成為個人電腦、手機之后的下一代計算平臺，元宇宙的硬件入口。

近年來XR發展迅猛，不僅可以應用于游戲、影視領域，還在軍事、醫療、辦公、教育等領域有巨大的發展前景。然而相比于XR強大的顯示技術，其文字輸入技術在效率和靈活性方面還遠遠落后。

文字輸入是計算機的基本功能。個人電腦的打字靠物理鍵盤，手機的打字靠觸摸屏軟鍵盤。XR要成為普適的計算平臺，必然要解決文本輸入這一基本需求。人機交互研究者已經開發了多種面向XR的打字技術，但各有其不足，目前尚未出現主流的輸入技術。下面分類介紹幾種代表性的XR文字輸入技術。

基于外設的手部輸入

物理鍵盤

利用人們對于物理鍵盤的熟悉度，研究者將物理QWERTY鍵盤或其變體應用于XR中作為輸入設備。但由于在XR應用中，通常無法（或不方便）看到物理鍵盤和手，一些研究者提出將鍵盤和手的視頻混合到顯示中的方法，還有研究者利用光學跟蹤技術來跟蹤鍵盤和手，以提供視覺反饋。

Knierim等（2018）

這些方法通常支持快速和豐富的文本輸入，但物理鍵盤需要一個平坦的表面作為支撐，而且其攜帶起來太笨重，這限制了XR的使用。此外，物理鍵盤大多借助跟蹤技術來獲得更好的打字性能，這在實現上也有困難。

傳統手柄

電視遙控器、傳統游戲手柄等可以實現簡單的文字輸入，使用者需要通過多次離散的按鍵來選擇字母或符號。這些傳統手柄的便攜性比全尺寸物理鍵盤好，也不需要支撐平面。但是這種方式只能實現最簡單的文字輸入，而且多次離散的按鍵會導致輸入速度非常的慢。

此外，研究者將虛擬鍵盤劃分為多個區域進行打字實驗。比如，PizzaText使用游戲控制器的兩個控制桿在圓形鍵盤布局中進行選擇，Min等人則將鍵盤布局劃分為3*3個單元格，通過指向單元格來選擇按鍵。

PizzaText（Yu等，2018）

雖然手柄在XR中打字很容易學習，但這類方法輸入速度很慢，主要適用于難度較低的按鍵選擇等任務，不適合在辦公等應用中進行復雜、大量的文本輸入。

觸摸屏

觸摸屏或觸控板上的文本輸入，將熟悉的手機交互帶入虛擬現實。比如BlindType探索了用一個拇指在觸控板上盲打字，用戶在一個有想象的QWERTY鍵盤的屏幕上敲擊，同時在顯示器中接受文本的反饋。這類方法通常將虛擬界面與觸摸屏（比如智能手機）對齊來進行輸入。

BlindType（Lu等，2017）

然而這類方法通常需要額外的大尺寸觸摸屏或觸摸板作為輸入設備，這導致XR使用上的不方便。此外，觸摸屏打字基于間接的視覺反饋，需要額外的注意跟蹤當前的狀態，相比于觸覺反饋并不直觀有效。

6DoF手柄

多數消費級的VR頭顯，比如Oculus Quest、Pico等，都支持利用手柄指示的射線來選擇字母。這種輸入方式很直觀、易學，但是這種打字方式需要持續的視覺注意力和精細的手柄控制，用戶長時間打字會有明顯的疲倦感，因而它也并不適用于復雜、大量的文本輸入任務。

利用頭戴攝像頭跟蹤手

一些VR/AR眼鏡（比如Oculus Quest、HoloLens）利用基于視覺的手勢跟蹤技術追蹤用戶的手，打字時一個虛擬鍵盤將被投射到用戶視野中，用戶的手指被眼鏡中的攝像頭實時跟蹤，并通過手指在虛擬鍵盤上的“觸控”實現輸入。

HoloLens2的虛擬鍵盤

這種方式通過內置頭戴攝像頭實現類似于手機中的觸控打字，但在有遮擋或者手指快速運動時可能出現誤差，其使用的光學跟蹤技術也相對昂貴。此外，長時間懸空操作容易導致用戶疲勞。

外部相機

Vulture（Markussen等，2014）

佩戴在身體上或外部的相機可以用來識別手部的動作或手勢，從而實現XR打字。TypeNet等方法通過光學跟蹤實現在相機前的平面上快速打字，這些方法需要在虛擬的QWERTY鍵盤上打字，延續用戶的打字習慣。OmniTouch是一款肩戴式深度感應和投影系統，可以在手掌等平面上進行文本輸入。其他方法通過識別手勢實現了懸空的文本輸入，比如Vulture通過跟蹤捏緊的手指，根據在空中手指的運動軌跡輸出最佳的匹配單詞。

基于外部相機的文本輸入方法不依賴物理鍵盤，使得文本輸入更加靈活。然而，研究表明：(1)用戶在快速運動時可能會因跟蹤誤差而限制速度，(2)長時間手懸空打字后會導致用戶疲勞。由于基于相機的手指跟蹤仍然是一個具有挑戰性的問題，這些研究大多使用昂貴的光學跟蹤技術，這導致這類方法實用性不足。和VR眼鏡的手勢跟蹤方法相比，基于外部的相機實現的打字方法更不方便，因為需要額外攜帶體積較大的跟蹤設備。

可穿戴的手部輸入

這里指利用戴在手上的傳感器進行打字。

手套

手套作為可穿戴的交互式傳感設備是實現文本輸入的一種途徑。KITTY和DigiTouch利用手套上的電子觸電或部分導電區域來檢測手指觸摸事件，實現復雜的手指輸入交互。Argot是一款有15個按鈕的單手可穿戴手套，通過磁反應結合觸摸反饋實現打字交互。

然而這些打字方式均要求用戶戴手套，這會影響用戶日常交互，在靈活性和舒適性上存在缺陷。

Pinch Keyboard（Kuester等，2005）

手腕

另一種可穿戴式文本輸入方法是佩戴有不同傳感器的腕戴設備。PalmType使用左手手腕上的紅外傳感器來檢測用戶右手食指在左手手掌上的位置。BlueTap和DigiTap將字母按順序映射到手指上，并使用手腕上的攝像頭來檢測敲擊。當存在手指遮擋和快速敲擊時，腕戴式相機很難準確檢測敲擊位置。還有基于MYO肌電傳感器的打字技術（被Meta收購）。

PalmType（Wang等，2015）

ViFin識別懸空手指的書寫軌跡實現打字，它使用智能手表的慣性測量單元（IMU）來檢測用戶食指運動時的振動情況，并利用深度網絡對食指書寫的字符進行解碼，其計算量較大，且ViFin的識別精度相對較低。TapType使用兩個帶有IMU的無線腕帶（TapID技術中首次引入）來感知手指在平面上輕觸產生的振動，并用解碼器對十指打字的字符序列進行估計。TapType作為一種基于學習的手指識別方法，需要以有監督的方式訓練分類器，在不同用戶和表面材料上可能存在泛化問題。

TapType（Streli等，2022）

手指

佩戴在手指上的設備使用起來靈活輕便，可以通過感應手指旋轉/觸摸事件和識別手勢來實現富有表現力的文本輸入交互。例如，FingeRing基于手指敲擊事件與加速度計的組合生成鍵的映射，并允許在任何表面（如腰部或大腿）上輸入。類似地，TypingRing和QwertyRing通過不同的傳感器衡量手指的運動，并在任何類似桌面的表面上識別虛擬鍵盤上選定的鍵。TypeAnywhere使用兩個Tap Strap（商用的基于IMU的手指穿戴設備）來檢測任何表面上的敲擊。RotoSwype使用一個運動跟蹤傳感器和一個帶按鈕的貼環實現基于手勢的文字輸入。

TypeAnywhere（Zhang等，2022）

基于手勢的方法缺乏足夠的鍵來快速輸入，因此這些方法不適合復雜的文本輸入。基于加速度等運動信息或手的旋轉來感知按鍵事件的設備，通常需要輔助傳感信息來確保準確的輸入。在這些方法中，文本輸入的操作需要非常精確，這對于初學者來說并不直觀，在XR環境中很難學習。此外，上述技術大多采用統計解碼器來提高輸入速度和糾錯，對于更大符號集等打字任務缺乏有效的輸入方式。

除了通過檢測手指的運動信息來打字外，通過感知身體的觸摸事件來輸入文本的方法也被廣泛研究。TipText，BiTipText和ThumbText在手指上戴微型的觸摸傳感器，在兩次觸摸事件后選擇字符。FingerText和FingerT9利用電容感應技術，通過拇指和手指之間的手內觸摸來實現單手文本輸入。

TipText（Xu等，2019）

在上述基于觸摸傳感器的技術中，按鍵鍵被映射到手指、手掌或指甲上的不同區域。這些方法充分利用了手指的靈活性。然而，手指打字的輸入區域通常受到很大限制（如果面積過大，就有手套的缺點），從而限制了按鍵的數量，導致打字效率低下。事實上，它們中很少支持全字符集輸入。

為解決這個問題，PrinType利用戴在拇指上的的指紋傳感器來識別手指的不同區域，大大擴展了輸入空間，同時不影響手指執行其他任務。PrinType通過將當前圖像與注冊模板匹配來識別傳感器接觸的位置，手指的不同區域被分配給不同的鍵，在虛擬現實中構成一個功能齊全的鍵盤。由于手指的靈活性和指紋識別技術的有效性，手指掌側的大部分位置都可以被觸摸和識別，這適應了典型鍵盤中包含的大量的離散按鍵的需求。利用指尖靈敏的觸摸感知能力和實時的視覺反饋，PrinType可以實現虛擬現實中的盲打字。

PrinType指紋打字技術支持大量符號集，包括大小寫字母、數字、標點符號等。（Liu等，2022）

其他技術

XR的頭顯中嵌入各種傳感器，可以測量頭部和眼睛的運動，或記錄聲音。語音識別的發展使得語音轉錄文字成為一種成熟的文本輸入方法，然而在某些場合下，說話并不方便，并且語音輸入缺乏有效的文字編輯技術。Yu等人和Speicher等人比較了基于頭部指向的文本輸入技術，Ma等人和Rajanna等人研究了VR中的凝視打字方法。然而，在這些方法中，用戶需要將光標移動到目標位置，然后通過視線一定的時間停留在該字符上來選擇字符，從而導致輸入時眼睛的疲勞。

總結

XR中高效的文字輸入是尚未解決的問題。一項文字輸入技術要想在XR中流行，有許多需要考量的指標，除了需要在盲操作時有快速而準確的輸入潛力，該打字方法還要易學習、便攜性好、造價不能過于昂貴等。最重要的是，要能很好的嵌入XR系統，在交互時足夠方便舒適、有很好的用戶體驗感。

參考文獻

Aakar Gupta, Cheng Ji, Hui-Shyong Yeo, Aaron Quigley, and Daniel Vogel. 2019. RotoSwype: Word-Gesture Typing Using a Ring. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (pp. 1–12).

Anna Peshock, Julia Duvall, and Lucy E. Dunne. (2014). Argot: A Wearable One-Handed Keyboard Glove. In Proceedings of the 2014 ACM International Symposium on Wearable Computers: Adjunct Program (pp. 87–92).

Ben Maman and Amit Bermano. (2022). TypeNet: Towards Camera Enabled Touch Typing on Flat Surfaces through Self-Refinement. In 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (pp. 567–576).

Chris Harrison, Hrvoje Benko, and Andrew D. Wilson. (2011). OmniTouch: Wearable Multitouch Interaction Everywhere. In Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology (pp. 441–450).

Chun Yu, Yizheng Gu, Zhican Yang, Xin Yi, Hengliang Luo, and Yuanchun Shi. (2017). Tap, Dwell or Gesture? Exploring Head-Based Text Entry Techniques for HMDs. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems (pp. 4479–4488).

Dash, S. (2017). BlueTap—The Ultimate Virtual-Reality (VR) Keyboard.

DoYoung Lee, Jiwan Kim, and Ian Oakley. (2021). FingerText: Exploring and Optimizing Performance for Wearable, Mobile and One-Handed Typing. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (pp. 283-298).

Dube, T. J., & Arif, A. S. (2019, July). Text entry in virtual reality: A comprehensive review of the literature. In International Conference on Human-Computer Interaction (pp. 419-437). Springer, Cham.

Eric Whitmire, Mohit Jain, Divye Jain, Greg Nelson, Ravi Karkar, Shwetak Patel, and Mayank Goel. (2017). DigiTouch: Reconfigurable Thumb-to-Finger Input and Text Entry on Head-Mounted Displays. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 1(3), 113-134.

Falko Kuester, Michelle Chen, Mark E. Phair, and Carsten Mehring. (2005). Towards Keyboard Independent Touch Typing in VR. In Proceedings of the ACM Symposium on Virtual Reality Software and Technology (pp. 86–95).

Junhyeok Kim, William Delamare, and Pourang Irani. (2018). ThumbText: Text Entry for Wearable Devices Using a Miniature Ring. In Proceedings of the 44th Graphics Interface Conference (pp. 18–25).

Kim, J., Delamare, W., & Irani, P. (2018, May). Thumbtext: Text entry for wearable devices using a miniature ring. In Graphics Interface.

Knierim, P., Schwind, V., Feit, A. M., Nieuwenhuizen, F., & Henze, N. (2018, April). Physical keyboards in virtual reality: Analysis of typing performance and effects of avatar hands. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (pp. 1-9).

Kyungha Min. (2011). Text Input Tool for Immersive VR Based on 3×3 Screen Cells. In Proceedings of the 5th International Conference on Convergence and Hybrid Information Technology (pp. 778–786). Springer-Verlag, Berlin, Heidelberg.

Lee, D., Kim, J., & Oakley, I. (2021, May). Fingertext: Exploring and optimizing performance for wearable, mobile and one-handed typing. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (pp. 1-15).

Liu, Z., He, J., Feng, J., & Zhou, J. (2022). PrinType: Text Entry via Fingerprint Recognition. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 6(4), 1-31.

Lu, Y., Yu, C., Yi, X., Shi, Y., & Zhao, S. (2017). Blindtype: Eyes-free text entry on handheld touchpad by leveraging thumb’s muscle memory. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 1(2), 1-24.

Manuel Pr?torius, Dimitar Valkov, Ulrich Burgbacher, and Klaus Hinrichs. (2014). DigiTap: An Eyes-Free VR/AR Symbolic Input Device. In Proceedings of the 20th ACM Symposium on Virtual Reality Software and Technology (pp. 9–18).

Marco Speicher, Anna Maria Feit, Pascal Ziegler, and Antonio Krüger. (2018). Selection-Based Text Entry in Virtual Reality. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (pp. 1–13).

Markussen, A., Jakobsen, M. R., & Hornb?k, K. (2014, April). Vulture: a mid-air word-gesture keyboard. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (pp. 1073-1082).

Masaaki Fukumoto and Yasuhito Suenaga. (1994). “FingeRing”: A Full-Time Wearable Interface. In Conference Companion on Human Factors in Computing Systems (pp. 81–82).

Nirjon, S., Gummeson, J., Gelb, D., & Kim, K. H. (2015, May). Typingring: A wearable ring platform for text input. In Proceedings of the 13th Annual International Conference on Mobile Systems, Applications, and Services (pp. 227-239).

Pui Chung Wong, Kening Zhu, and Hongbo Fu. (2018). FingerT9: Leveraging Thumb-to-Finger Interaction for Same-Side-Hand Text Entry on Smartwatches. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (pp. 1–10).

Shahriar Nirjon, Jeremy Gummeson, Dan Gelb, and Kyu-Han Kim. (2015). TypingRing: A Wearable Ring Platform for Text Input. In Proceedings of the 13th Annual International Conference on Mobile Systems, Applications, and Services (pp. 227–239).

Speicher, M., Feit, A. M., Ziegler, P., & Krüger, A. (2018, April). Selection-based text entry in virtual reality. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (pp. 1-13).

Streli, P., Jiang, J., Fender, A. R., Meier, M., Romat, H., & Holz, C. (2022, April). TapType: Ten-finger text entry on everyday surfaces via Bayesian inference. In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems (pp. 1-16).

Vijay Rajanna and John Paulin Hansen. (2018). Gaze Typing in Virtual Reality: Impact of Keyboard Design, Selection Method, and Motion. In Proceedings of the 2018 ACM Symposium on Eye Tracking Research & Applications (pp. 15-25).

Wang, C. Y., Chu, W. C., Chiu, P. T., Hsiu, M. C., Chiang, Y. H., & Chen, M. Y. (2015, August). PalmType: Using palms as keyboards for smart glasses. In Proceedings of the 17th International Conference on Human-Computer Interaction with Mobile Devices and Services (pp. 153-160).

Wenqiang Chen, Lin Chen, Meiyi Ma, Farshid Salemi Parizi, Shwetak Patel, and John Stankovic. (2021). ViFin: Harness Passive Vibration to Continuous Micro Finger Writing with a Commodity Smartwatch. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 5(1), 45-70.

Wong, P. C., Zhu, K., & Fu, H. (2018, April). Fingert9: Leveraging thumb-to-finger interaction for same-side-hand text entry on smartwatches. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (pp. 1-10).

Xinyao Ma, Zhaolin Yao, Yijun Wang, Weihua Pei, and Hongda Chen. (2018). Combining Brain-Computer Interface and Eye Tracking for High-Speed Text Entry in Virtual Reality. In 23rd International Conference on Intelligent User Interfaces (pp. 263–267).

Xu, Z., Chen, W., Zhao, D., Luo, J., Wu, T. Y., Gong, J., … & Yang, X. D. (2020, April). Bitiptext: Bimanual eyes-free text entry on a fingertip keyboard. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (pp. 1-13).

Xu, Z., Wong, P. C., Gong, J., Wu, T. Y., Nittala, A. S., Bi, X., … & Yang, X. D. (2019, October). Tiptext: Eyes-free text entry on a fingertip keyboard. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology(pp. 883-899).

Yizheng Gu, Chun Yu, Zhipeng Li, Zhaoheng Li, Xiaoying Wei, and Yuanchun Shi. (2020). QwertyRing: Text Entry on Physical Surfaces Using a Ring. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 4(4), 128-157.

Yu, D., Fan, K., Zhang, H., Monteiro, D., Xu, W., & Liang, H. N. (2018). PizzaText: text entry for virtual reality systems using dual thumbsticks. IEEE transactions on visualization and computer graphics, 24(11), 2927-2935.

Zhang, M. R., Zhai, S., & Wobbrock, J. O. (2022, April). TypeAnywhere: A QWERTY-Based Text Entry Solution for Ubiquitous Computing. In CHI Conference on Human Factors in Computing Systems (pp. 1-16).

Zheer Xu, Pui Chung Wong, Jun Gong, Te-Yen Wu, Aditya Shekhar Nittala, Xiaojun Bi, Jürgen Steimle, Hongbo Fu, Kening Zhu, and Xing-Dong Yang. (2019). TipText: Eyes-Free Text Entry on a Fingertip Keyboard. In Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology (pp. 883–899).

Zheer Xu, Weihao Chen, Dongyang Zhao, Jiehui Luo, Te-Yen Wu, Jun Gong, Sicheng Yin, Jialun Zhai, and Xing-Dong Yang. (2020). BiTipText: Bimanual Eyes-Free Text Entry on a Fingertip Keyboard. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (pp. 1–13).

總結

以上是生活随笔為你收集整理的XR文字输入技术的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。