1. INTRODUCTION

? ? ? ?可穿戴計(jì)算已經(jīng)發(fā)展到相當(dāng)大的消費(fèi)市場(chǎng)，近年來(lái)已經(jīng)有了大量的應(yīng)用。可穿戴設(shè)備 - 最突出的智能手表和屏幕帶，以及Oculus Rift等移動(dòng)虛擬現(xiàn)實(shí)設(shè)備 - 現(xiàn)在可以被視為商品硬件，大部分人口在日常生活中使用它們。隨著這種普及，出現(xiàn)了簡(jiǎn)化對(duì)可穿戴和移動(dòng)計(jì)算設(shè)備的輸入的期望和機(jī)會(huì)。前者的原因是傳統(tǒng)的交互方式（例如鼠標(biāo)和鍵盤(pán)）通常不太適合小型化的移動(dòng)和可穿戴設(shè)備。另一方面，小型化的進(jìn)步和大大增加的傳感和計(jì)算能力使創(chuàng)新和可能更方便的交互方式成為可能。此外，隨著全新設(shè)備類(lèi)別和/或應(yīng)用領(lǐng)域的出現(xiàn)，需要開(kāi)發(fā)出既方便用戶又可靠自動(dòng)處理的有效輸入裝置。? ??

? ? ? 在移動(dòng)虛擬現(xiàn)實(shí)（VR）的示例中，用戶沉浸在合成世界中，其中諸如鍵盤(pán)和鼠標(biāo)的傳統(tǒng)計(jì)算機(jī)接口可能消失。因此，對(duì)新穎，有效的輸入方式的需求是驚人的。可以說(shuō)，在這種情況下，短消息的文本輸入可能仍然是必要的，用于響應(yīng)來(lái)自其他人的通知，標(biāo)記文件或?qū)ο?#xff0c;或控制操作系統(tǒng)。輸入短消息輸入的需要導(dǎo)致VR系統(tǒng)在虛擬世界中呈現(xiàn)虛擬鍵盤(pán)和控制，用戶可以通過(guò)頭部或手部移動(dòng)來(lái)選擇每個(gè)字母。另一種選擇是在虛擬世界中呈現(xiàn)物理鍵盤(pán)的表示，以便用戶可以對(duì)其進(jìn)行渲染。這兩個(gè)選項(xiàng)都需要顯著的視覺(jué)和手動(dòng)注意力，并且可以打破虛擬世界中的沉浸感。此外，物理鍵盤(pán)（以及在特定位置呈現(xiàn)的虛擬鍵盤(pán)）需要用戶移動(dòng)到界面，這在虛擬世界是笨拙的或分散注意力的。

? ? ? ?在本文中，我們介紹了FingerSound，這是一種用于單擊拇指手勢(shì)識(shí)別的系統(tǒng)，可為可穿戴計(jì)算設(shè)備提供基于字符的輸入。 FingerSound使用帶有陀螺儀的環(huán)和拇指上的接觸式麥克風(fēng)來(lái)檢測(cè)針對(duì)手的非擊打手勢(shì)。 用戶可以通過(guò)在拇指上摩擦/刮擦拇指來(lái)執(zhí)行手勢(shì)。 可以在任何時(shí)間和任何位置虛擬地啟動(dòng)輸入，而無(wú)需用戶的視覺(jué)注意來(lái)選擇每個(gè)字母。 類(lèi)似地，可以在不需要用戶的視覺(jué)注意力的情況下進(jìn)行命令手勢(shì)，或者使用戶感覺(jué)盲目地搜索接口設(shè)備的物理環(huán)境。

? ? ? ?FingerSound在某些??可穿戴計(jì)算環(huán)境中也很有用。想象一下，在一個(gè)團(tuán)隊(duì)會(huì)議中，頭戴式顯示器集成在一副眼鏡的鏡片中[18]。與在會(huì)議中使用移動(dòng)電話不同，頭戴式顯示器設(shè)計(jì)得非常精巧，并保持對(duì)話的融洽關(guān)系。然而，一旦用戶觸摸眼鏡來(lái)控制它們，它就會(huì)引起注意佩戴者和系統(tǒng)的使用。使用FingerSound，用戶可以將手放在桌子下面并向頭戴式顯示器發(fā)出命令。假設(shè)頭戴式顯示器顯示來(lái)電。用拇指對(duì)著手掌繪制X會(huì)將呼叫發(fā)送到語(yǔ)音郵件。類(lèi)似地，傳入的文本消息可以顯示用戶通過(guò)在他的手掌上繪制數(shù)字或字母來(lái)選擇快速響應(yīng)的選項(xiàng)。例如，“見(jiàn)到你吃晚餐”可能會(huì)顯示“K：OK X：無(wú)法制作”，用戶通過(guò)在他們的手掌上畫(huà)一個(gè)K來(lái)選擇'OK'。對(duì)于需要構(gòu)建自定義和短消息的情況，FingerSound允許通過(guò)在拇指上刮擦拇指來(lái)寫(xiě)入所有36個(gè)字母和數(shù)字。雖然FingerSound僅限于逐字逐句地編寫(xiě)單詞，但今天的自動(dòng)完成系統(tǒng)可以幫助加快文本輸入速度，并在將來(lái)糾正識(shí)別和拼寫(xiě)錯(cuò)誤。

? ? ? ?在本文中，我們展示了不同的容易學(xué)習(xí)的單行程手勢(shì)（例如，方向控制，數(shù)字0-9和Grafti字符），如圖1所示，可以由佩戴者巧妙地執(zhí)行，而無(wú)需查看設(shè)備。箭頭表示拇指的運(yùn)動(dòng)。此外，它不會(huì)導(dǎo)致使用其他可穿戴設(shè)備（如Google Glass）導(dǎo)致的任何社交尷尬。總之，FingerSound提供了以下貢獻(xiàn)：

? ? ? ?? 帶有內(nèi)置接觸式麥克風(fēng)和陀螺儀傳感器的戒指設(shè)計(jì)，可捕捉拇指繪制手勢(shì)沿著手柄的聲音和動(dòng)作。
? ? ? ?? 演示了三組基于單筆畫(huà)的拇指手勢(shì)。
? ? ? ?? 使用K-Nearest-Neighbors進(jìn)行分類(lèi)和Dynamic Time Warping作為手勢(shì)分類(lèi)的時(shí)間距離度量的數(shù)據(jù)處理管道。
? ? ? ?? 用戶研究驗(yàn)證FingerSound在每個(gè)手勢(shì)僅使用三個(gè)訓(xùn)練樣本識(shí)別三組單筆畫(huà)手勢(shì)時(shí)的有效性。
? ? ? ?? 討論實(shí)際部署的機(jī)遇和挑戰(zhàn)

2、相關(guān)工作

?

341/5000

? ? ? ?可穿戴設(shè)備通常比傳統(tǒng)計(jì)算設(shè)備小得多。?因此，對(duì)這些小型設(shè)備的投入往往具有挑戰(zhàn)性，這已成為人機(jī)交互界多年來(lái)的研究主題。?在本節(jié)中，我們將FingerSound與其他可穿戴輸入技術(shù)進(jìn)行比較，尤其是那些也將環(huán)用作外形的技術(shù)。

? ? ? ?許多新穎的可穿戴輸入技術(shù)基于某種形式的臂帶以便于用戶輸入。 已經(jīng)探索了各種傳感模式來(lái)捕獲手臂上的信號(hào)，例如聲信號(hào)[6,15]和肌電信號(hào)[17]。 盡管這些臂帶提供了豐富的輸入功能，但是用戶可能在日常活動(dòng)中佩戴這些裝置時(shí)不方便且在社交上很不方便。

? ? ? ?不同于袖標(biāo)，更容易說(shuō)服用戶佩戴腕式設(shè)備，因?yàn)槿藗円呀?jīng)佩戴了多年的手表。 因此，許多項(xiàng)目都建立了用于輸入的腕式設(shè)備。 這些設(shè)備嵌入了不同的感應(yīng)模式，以識(shí)別fnger或手勢(shì)，如力感應(yīng)[4]，聲學(xué)感應(yīng)[16,22]，電感應(yīng)[26]，靜電感應(yīng)[3]，接近感應(yīng)[5] ，相機(jī)[12]和動(dòng)作感應(yīng)[11,25]。 這些的輸入詞匯都相對(duì)較小，因此不支持文本輸入。 Twiddler [13]允許用戶通過(guò)手持鍵盤(pán)輸入文本。 然而，在日常活動(dòng)中佩戴裝置可能是麻煩的。 此外，它具有更陡峭的學(xué)習(xí)曲線，以至于用戶需要花費(fèi)超過(guò)20小時(shí)來(lái)學(xué)習(xí)如何有效地使用設(shè)備進(jìn)行輸入。

? ? ? 與FingerSound類(lèi)似，之前的項(xiàng)目已經(jīng)探索過(guò)利用戒指用于輸入，因?yàn)榻渲赶鄬?duì)較小且較輕。戒指可以通過(guò)應(yīng)用適當(dāng)?shù)母袦y(cè)模式來(lái)捕獲fnger運(yùn)動(dòng)。一些戒指被構(gòu)建用于支持表面上的手指交互[10,26]或與其他對(duì)象的交互[21]。其他環(huán)設(shè)計(jì)用于捕捉3D空間中的fnger運(yùn)動(dòng)，例如uTrack [2,24]和CyclopsRing [1]。 DigitSpace [7]探索了使用拇指輸入和發(fā)現(xiàn)的設(shè)計(jì)空間，可以使用拇指輸入Grafti字母。然而，在一個(gè)交叉驗(yàn)證分析中只評(píng)估了6個(gè)grafti字母。如[20]中所示，也可以使用由印刷電極制成的戒指來(lái)檢測(cè)細(xì)微的折邊運(yùn)動(dòng)。最近的工作FingOrbits使用了類(lèi)似的傳感模式，但只識(shí)別了一組較小的手指手勢(shì)[23]。

? ? ? ?雖然已經(jīng)探索過(guò)使用拇指進(jìn)行輸入，但已經(jīng)演示的手勢(shì)數(shù)量相對(duì)較少，這限制了潛在應(yīng)用的范圍。例如，我們不知道使用拇指移動(dòng)來(lái)識(shí)別整套Grafti字母的任何工作。 FingerSound最多可以識(shí)別42個(gè)單擊手勢(shì)。

3 FingerSound

3.1 技術(shù)描述

? ? ? ? FingerSound的動(dòng)機(jī)是建立一個(gè)始終可用，易于使用并提供豐富輸入集的系統(tǒng)。我們通過(guò)設(shè)計(jì)用于佩戴在拇指上的戒指形狀實(shí)現(xiàn)了這一點(diǎn)。戒指以一種對(duì)日常生活活動(dòng)無(wú)阻礙的方式增強(qiáng)了手指可用性，并且與其他可穿戴輸入設(shè)備不同，在社會(huì)上是可接受的[13]。選擇拇指作為戒指的位置的原因是因?yàn)槟粗缚梢缘竭_(dá)背部的大部分部位。這允許用戶將手指用作手勢(shì)畫(huà)布。其他現(xiàn)有的環(huán)輸入設(shè)備（例如，[2]）要求用戶在空中執(zhí)行手勢(shì)而沒(méi)有觸覺(jué)反饋和手勢(shì)開(kāi)始和結(jié)束的清晰信號(hào)。我們?cè)O(shè)計(jì)了FingerSound，允許用戶通過(guò)刮擦手掌和手掌來(lái)執(zhí)行拇指手勢(shì)，提供自然的觸覺(jué)反饋，并清楚地指示手勢(shì)何時(shí)開(kāi)始和結(jié)束（這是用戶拇指與手勢(shì)畫(huà)布的接觸）。用戶可以使用此反饋來(lái)指導(dǎo)他們的拇指順利執(zhí)行手勢(shì)。此外，通過(guò)連續(xù)感應(yīng)拇指與手接觸的時(shí)間，我們提供始終可用的輸入模態(tài)。

? ? ? ?為了執(zhí)行手勢(shì)，要求用戶沿著手掌或手柄刮擦環(huán)形或拇指，以便制作預(yù)設(shè)圖案。這種將拇指摩擦在皮膚上的刮擦動(dòng)作產(chǎn)生了一種小但易于感知的聲音以及拇指的微妙運(yùn)動(dòng)。與僅使用運(yùn)動(dòng)來(lái)檢測(cè)手勢(shì)事件相比，使用聲音和運(yùn)動(dòng)兩者可以幫助識(shí)別來(lái)自噪聲的手勢(shì)。例如，身體運(yùn)動(dòng)（例如，行走）可能看起來(lái)非常類(lèi)似于陀螺儀上的拇指手勢(shì)。但根據(jù)我們的調(diào)查，這些日常活動(dòng)引起的聲音與拇指在進(jìn)行手勢(shì)時(shí)摩擦所引起的聲音完全不同。因此，我們將接觸式麥克風(fēng)捕獲的聲音與陀螺儀傳感器捕獲的運(yùn)動(dòng)數(shù)據(jù)通過(guò)多個(gè)濾波機(jī)制傳遞，然后對(duì)其進(jìn)行分析以確定是否執(zhí)行了手勢(shì)或者是否僅僅是來(lái)自其他與此相關(guān)的活動(dòng)的噪聲。考慮到設(shè)備在fnger上的位置，很容易獲得在執(zhí)行手勢(shì)模式時(shí)未產(chǎn)生的輸入（聲音和動(dòng)作），但是通過(guò)任何類(lèi)型的手柄觸摸到另一個(gè)表面而產(chǎn)生。這就像Midas觸摸問(wèn)題[8]，我們的系統(tǒng)需要處理它。我們?cè)O(shè)計(jì)了一個(gè)專用的機(jī)器學(xué)習(xí)管道來(lái)識(shí)別有效的手勢(shì)，同時(shí)拒絕噪音。以下各節(jié)將詳細(xì)介紹詳細(xì)的技術(shù)實(shí)現(xiàn)。

3.2 硬件設(shè)計(jì)? ? ? ?

? ? ? ?如上所述，我們?cè)O(shè)計(jì)了一個(gè)帶有內(nèi)置接觸式麥克風(fēng)和陀螺儀的環(huán)，用于捕獲相關(guān)的聲學(xué)和運(yùn)動(dòng)數(shù)據(jù)，以捕獲拇指手勢(shì)。 與普通的機(jī)載麥克風(fēng)相比，接觸式麥克風(fēng)使系統(tǒng)能夠最大限度地提高邊緣劃痕聲音的質(zhì)量，同時(shí)最大限度地降低環(huán)境噪聲的影響。 我們使用的接觸式麥克風(fēng)是Knowles BU-21771，它的尺寸為7.92 mm×5.59 mm×4.14 mm，提供低噪音，頻率響應(yīng)非常低，但輸出電壓也很低。 為了有效地捕獲信號(hào)，我們?cè)O(shè)計(jì)了一個(gè)預(yù)放大器板，可以將信號(hào)放大100倍以上，然后在通過(guò)電路板之前將音頻信號(hào)放大。 前置放大器的設(shè)計(jì)如圖3所示。前置放大器的輸出通過(guò)USB聲卡傳送到筆記本電腦（2013 MacBook Pro），并以44,100Hz采樣。

? ? ? ?我們?cè)诃h(huán)上使用的另一種感應(yīng)模式是陀螺儀傳感器，即InvenSense ITG-3200。 我們將此傳感器連接到Teensy 3.2微控制器板，該板通過(guò)USB將數(shù)據(jù)發(fā)送到同一臺(tái)筆記本電腦。此陀螺儀的初始采樣率約為200 Hz。為了獲得更高的采樣率，我們優(yōu)化了傳感器之間的I2C1通信。到了Teensy并以120MHz的頻率對(duì)Teensy的CPU進(jìn)行了超頻。 因此，我們能夠以大約3,800Hz的頻率對(duì)陀螺儀傳感器進(jìn)行采樣。 使用最高采樣率可以提供幫助使用類(lèi)似的硬件集，算法和訓(xùn)練集，為可實(shí)現(xiàn)的最高識(shí)別精度提供基線。

? ? ? ? ?如圖2所示，戒指有兩個(gè)部分：3D打印模型和Velcro制成的帶子，允許我們?cè)诖蠖鄶?shù)用戶的拇指上敲擊戒指而不改變戒指的尺寸。 設(shè)計(jì)環(huán)時(shí)的另一個(gè)挑戰(zhàn)是如何在3D打印模型和皮膚之間很好地接觸麥克風(fēng)。 如果接觸式麥克風(fēng)沒(méi)有位于環(huán)中，則在用戶執(zhí)行手勢(shì)時(shí)可能會(huì)引入很多噪音。 為了解決這個(gè)問(wèn)題，我們將麥克風(fēng)粘在環(huán)內(nèi)，同時(shí)允許其中一個(gè)表面突出。

3.3 數(shù)據(jù)處理管道

? ? ? ?我們的數(shù)據(jù)處理管道允許FingerSound系統(tǒng)實(shí)時(shí)捕獲和分析數(shù)據(jù)。硬件組件 - 麥克風(fēng)和陀螺儀 - 通過(guò)USB端口分別將數(shù)據(jù)發(fā)送到MacBook Pro筆記本電腦。 Java程序同時(shí)讀取兩個(gè)輸入并將它們存儲(chǔ)在易于訪問(wèn)的數(shù)據(jù)結(jié)構(gòu)中。在另一個(gè)并行線程中，連續(xù)分析輸入聲音流以檢測(cè)輸入手勢(shì)活動(dòng)。這是使用基于能量的滑動(dòng)窗口分割技術(shù)完成的，如3.4節(jié)所述。如果該算法檢測(cè)到可能的輸入，則將聲音數(shù)據(jù)的該部分和相應(yīng)的陀螺儀數(shù)據(jù)分段并保存以供進(jìn)一步處理。在分割陀螺儀數(shù)據(jù)時(shí)，我們?cè)趦蓚€(gè)方向上擴(kuò)展該段以獲得一些額外的陀螺儀數(shù)據(jù)作為緩沖器。我們這樣做是為了防止在手勢(shì)中剪切任何陀螺儀數(shù)據(jù)，并且還適應(yīng)任何數(shù)據(jù)接收延遲。然后，該分段的聲音和陀螺儀數(shù)據(jù)通過(guò)支持向量機(jī)（SVM）分類(lèi)器以檢測(cè)數(shù)據(jù)是否表示真實(shí)的手勢(shì)或噪聲。有關(guān)分類(lèi)的詳細(xì)信息，請(qǐng)參見(jiàn)第3.5節(jié)。如果數(shù)據(jù)被SVM分類(lèi)器識(shí)別為手勢(shì)，則陀螺儀數(shù)據(jù)通過(guò)低通濾波器發(fā)送到我們的分類(lèi)器，該分類(lèi)器識(shí)別輸入手勢(shì)模式，如第3.6節(jié)所述。圖4突出顯示了數(shù)據(jù)處理管道的主要組件。

3.4 基于能量的手勢(shì)分割

? ? ? ?為了檢測(cè)手勢(shì)的開(kāi)始和結(jié)束，我們分析了拇指放在手指或手掌上產(chǎn)生的聲音。 我們的分析基于麥克風(fēng)信號(hào)的短期能量表示。 該能量被計(jì)算為在短分析窗口（幀）上麥克風(fēng)信號(hào)的歐幾里德范數(shù)之和的平方根。 該分析窗口為4,410個(gè)樣本（0.1s）長(zhǎng)并沿原始傳感器數(shù)據(jù)移位。

? ? ? ?產(chǎn)生的能量信號(hào)是檢測(cè)相關(guān)拇指手勢(shì)的開(kāi)始和一組相關(guān)拇指手勢(shì)的基礎(chǔ)。 對(duì)于手勢(shì)分割，即確定連續(xù)傳感器數(shù)據(jù)流中相關(guān)拇指手勢(shì)的起點(diǎn)和終點(diǎn)，我們采用兩階段過(guò)濾方法。

? ? ? ?首先，使用另一個(gè)滑動(dòng)窗口程序，我們提取覆蓋連續(xù)兩秒音頻（能量）數(shù)據(jù)的分析窗口。通過(guò)我們的實(shí)證研究，我們發(fā)現(xiàn)相關(guān)的拇指手勢(shì)通常持續(xù)不超過(guò)兩秒，這決定了窗口長(zhǎng)度。在中間處理步驟中，我們首先消除信號(hào)能量低于某個(gè)噪聲閾值的窗口，從而有效地跳過(guò)“靜音”階段。

? ? ? ?其次，在每個(gè)提取的兩秒窗口內(nèi)，我們?nèi)缓笏阉鳚撛诘哪粗甘謩?shì)的起點(diǎn)和終點(diǎn)。因此起點(diǎn)被表征為在兩個(gè)第二窗口內(nèi)的第一個(gè)位于正平面上，即當(dāng)信號(hào)能量從“0”增加到正值時(shí)。相應(yīng)地，終點(diǎn)被確定為在負(fù)片段上的兩秒窗口內(nèi)的最后一個(gè)點(diǎn)（從正值到“零”）。通過(guò)這種起始和設(shè)定檢測(cè)程序，我們可以非常有效地分割手勢(shì)候選者。

? ? ? ? 如果提取的手勢(shì)候選的長(zhǎng)度超過(guò)最小手勢(shì)長(zhǎng)度的預(yù)設(shè)閾值，則我們認(rèn)為它是真正的輸入。然后將提取的這些手勢(shì)的起點(diǎn)和終點(diǎn)用作索引點(diǎn)，用于從連續(xù)數(shù)據(jù)流中分割實(shí)際聲音（不是能量）和陀螺儀數(shù)據(jù)，并將該數(shù)據(jù)傳遞到我們處理流水線中的后續(xù)階段，即特征提取和分類(lèi)。

3.5 特征提取和基于SVM的噪聲分類(lèi)

? ? ? ??基于聲能的手勢(shì)檢測(cè)方案可能過(guò)度分割基礎(chǔ)信號(hào)，即產(chǎn)生假陽(yáng)性預(yù)測(cè)。 其主要原因是在處理流程的這個(gè)階段，僅應(yīng)用了相對(duì)一般的分析規(guī)則，其相當(dāng)粗略地分析聲學(xué)信號(hào)。 到目前為止，尚未執(zhí)行實(shí)際分類(lèi)。

? ? ??在下一步中，我們通過(guò)為每個(gè)提取的段應(yīng)用二進(jìn)制SVM分類(lèi)器來(lái)消除誤報(bào)手勢(shì)預(yù)測(cè)。 這個(gè)分類(lèi)器有效地將那些與拇指手勢(shì)不相符但與噪聲相對(duì)應(yīng)的數(shù)據(jù)部分清除掉。 請(qǐng)注意，分類(lèi)器不對(duì)原始信號(hào)進(jìn)行操作，而是對(duì)其特征表示進(jìn)行操作（參見(jiàn)下文）。 我們使用Weka提供的SVM的順序最小優(yōu)化（SMO）實(shí)現(xiàn)。

? ??? ?陀螺儀和聲音數(shù)據(jù)都用于計(jì)算有意義的特征。我們使用的特征在[22]中介紹，如下。對(duì)于每個(gè)陀螺儀數(shù)據(jù)軸，我們通過(guò)計(jì)算每個(gè)軸數(shù)據(jù)的導(dǎo)數(shù)來(lái)提取虛擬傳感器。對(duì)于原始傳感器及其派生的虛擬傳感器的每個(gè)軸，我們提取一組統(tǒng)計(jì)特征，包括最小值，最大值，標(biāo)準(zhǔn)偏差，零 - 交叉率，均方根（RMS），峰值和峰值之間的差異。我們還計(jì)算了第一和第二峰值，能量峰值的比率和差異，以及原始陀螺儀和衍生虛擬傳感器之間的不同軸之間的相關(guān)性。對(duì)于聲學(xué)數(shù)據(jù)，我們?cè)陬l域中提取一組共同特征，包括26個(gè)Mel頻率倒譜系數(shù)（MFCC）和快速傅里葉變換（FFT）的低30個(gè)頻段。我們選擇這些功能是因?yàn)樗砻鬟@些頻率范圍是信息量最大的[22]。將從陀螺儀和聲學(xué)數(shù)據(jù)中提取的特征連接在一起，我們有154個(gè)組件的特征向量，用于訓(xùn)練SVM以分類(lèi)手勢(shì)與噪聲。

3.6 手勢(shì)分類(lèi)算法

? ? ? ? 在處理流程的最后階段，先前已被分類(lèi)為手勢(shì)的每個(gè)提取的片段現(xiàn)在由專用識(shí)別器分析，該識(shí)別器對(duì)手勢(shì)的類(lèi)型進(jìn)行分類(lèi)。 由于我們的系統(tǒng)應(yīng)作為實(shí)際應(yīng)用的輸入模式，（近）實(shí)時(shí)性能是強(qiáng)制性的。 該約束排除了許多識(shí)別技術(shù)，因?yàn)樗鼈儍H僅是對(duì)計(jì)算資源的要求。

? ? ? ?我們采用基于動(dòng)態(tài)時(shí)間扭曲的分類(lèi)，它已廣泛用于分析時(shí)間序列數(shù)據(jù)，尤其是手勢(shì)識(shí)別[19]。 動(dòng)態(tài)時(shí)間扭曲本質(zhì)上是動(dòng)態(tài)編程的一種實(shí)現(xiàn)，其中使用特定編輯距離比較兩個(gè)時(shí)間模式。 DTW通過(guò)對(duì)最小的操作集合 - 插入，刪除，匹配，替換 - 將一個(gè)序列映射到另一個(gè)序列從而使用每個(gè)操作的成本因子來(lái)量化兩個(gè)順序輸入模式之間的不相似性。 通過(guò)最小化整體編輯成本，該過(guò)程可以實(shí)現(xiàn)最佳對(duì)齊并量化誤差。 基于DTW的分析的優(yōu)勢(shì)在于它考慮了不同長(zhǎng)度的輸入模式，并且非常有效。

? ? ? ?我們將基于DTW的序列匹配與標(biāo)準(zhǔn)k-NN分類(lèi)器（k = 3）組合用于分類(lèi)。 有效地，這個(gè)過(guò)程轉(zhuǎn)化為非常有效和有效的模板匹配。 我們的模板數(shù)據(jù)庫(kù)包含所有相關(guān)拇指手勢(shì)的代表性示例。 DTW的實(shí)現(xiàn)由Java機(jī)器學(xué)習(xí)庫(kù)提供。

4、評(píng)估

4.1 程序

? ? ? ?為了展示識(shí)別單指拇指手勢(shì)和評(píng)估與FingerSound的交互體驗(yàn)的能力，我們進(jìn)行了一項(xiàng)用戶研究，共有9名參與者，平均年齡為26歲（3名男性），兩組簡(jiǎn)單的手勢(shì) - 數(shù)字0-9和定向滑動(dòng) （參見(jiàn)圖1） - 在兩個(gè)設(shè)置下。 所有參與者都是從大學(xué)校園招募的。 該研究是在基于實(shí)驗(yàn)室的環(huán)境中進(jìn)行的。 每個(gè)用戶研究持續(xù)約一個(gè)小時(shí)。 在研究之前，兩位研究人員提供了大約100個(gè)手勢(shì)和100個(gè)噪聲樣本作為構(gòu)建SVM噪聲分類(lèi)器的基本訓(xùn)練數(shù)據(jù)。 在研究開(kāi)始時(shí)，一位研究人員幫助參與者戴上戒指并演示了如何執(zhí)行每個(gè)手勢(shì)。 允許參與者練習(xí)每個(gè)手勢(shì)，直到她感到舒適進(jìn)行實(shí)際測(cè)試。 實(shí)際研究包括2個(gè)培訓(xùn)課程和6個(gè)測(cè)試課程。

? ? ? ??在前兩次培訓(xùn)課程中，參與者被要求將手和手放在桌子上。在每個(gè)會(huì)話期間，每個(gè)單筆劃手勢(shì)以隨機(jī)順序執(zhí)行3次。屏幕上的視覺(jué)刺激和音頻提示用于提醒參與者要執(zhí)行的手勢(shì)。手勢(shì)分割管道連續(xù)運(yùn)行以檢測(cè)和分割手勢(shì)實(shí)例。如果系統(tǒng)未能檢測(cè)到手勢(shì)，則建議參與者重復(fù)該手勢(shì)，直到成功檢測(cè)到。我們將第一個(gè)會(huì)話視為練習(xí)會(huì)話，這有助于參與者熟悉unistroke手勢(shì)集以及我們的實(shí)驗(yàn)實(shí)時(shí)系統(tǒng)。第二個(gè)會(huì)話被用作訓(xùn)練數(shù)據(jù)收集會(huì)話，用于構(gòu)建手勢(shì)分割（SVM）和手勢(shì)分類(lèi)（具有DTW距離功能的KNN）的機(jī)器學(xué)習(xí)模型。總共收集30個(gè)（3×10個(gè)手勢(shì)）和12個(gè)（3×4個(gè)手勢(shì)）手勢(shì)樣本作為針對(duì)每個(gè)參與者的用于單行數(shù)字手勢(shì)和定向輕掃手勢(shì)的訓(xùn)練數(shù)據(jù)集。收集的手勢(shì)數(shù)據(jù)與來(lái)自研究人員的預(yù)先收集的數(shù)據(jù)相結(jié)合，以訓(xùn)練每個(gè)參與者的基于SVM的噪聲分類(lèi)器。

? ? ? ?在前兩個(gè)會(huì)話之后，每個(gè)參與者被要求每個(gè)手勢(shì)提供30個(gè)測(cè)試實(shí)例，他們的手放在兩個(gè)不同的位置。 在每個(gè)會(huì)話中，每個(gè)參與者以隨機(jī)順序?yàn)槊總€(gè)手勢(shì)提供5個(gè)實(shí)例。 手勢(shì)識(shí)別結(jié)果在屏幕上實(shí)時(shí)呈現(xiàn)給參與者。 如果分類(lèi)結(jié)果與刺激手勢(shì)匹配，則背景標(biāo)記為綠色。 否則，它變成了紅色。 此外，如果參與者執(zhí)行了手勢(shì)，但系統(tǒng)未能檢測(cè)到它或?qū)⑵錁?biāo)記為噪聲，則該手勢(shì)被標(biāo)記為假陰性錯(cuò)誤。

? ? ? ?為了研究用戶是否能夠以無(wú)眼的方式和不同的手勢(shì)進(jìn)行手勢(shì)，我們將這6個(gè)測(cè)試會(huì)話分為兩組。 在前4個(gè)測(cè)試階段，參與者將手放在桌子上，類(lèi)似于訓(xùn)練課程。 對(duì)于每個(gè)參與者，在這4個(gè)測(cè)試會(huì)話中總共測(cè)試200個(gè)用于單行數(shù)字的樣本（5×10個(gè)手勢(shì)×4個(gè)會(huì)話）和用于定向滑動(dòng)的80個(gè)樣本（5×4個(gè)手勢(shì)×4個(gè)會(huì)話）。 在最后兩個(gè)會(huì)話中，參與者被要求握在桌子下面以執(zhí)行手勢(shì)。 這兩個(gè)會(huì)話旨在模擬真實(shí)場(chǎng)景，用戶可能會(huì)以各種手部姿勢(shì)以無(wú)眼的方式執(zhí)行手勢(shì)。 總共在最后兩個(gè)會(huì)話中測(cè)試了100個(gè)用于單行數(shù)字的樣本（5×10個(gè)手勢(shì)×2個(gè)會(huì)話）和用于定向滑動(dòng)的40個(gè)樣本（5×4個(gè)手勢(shì)×4個(gè)會(huì)話）。

? ? ? ?保存所有實(shí)時(shí)識(shí)別結(jié)果和原始傳感器數(shù)據(jù)以供以后分析。

4.2 結(jié)果

? ? ? ? 我們報(bào)告實(shí)時(shí)分類(lèi)結(jié)果。 對(duì)于10個(gè)單行程數(shù)字，前四個(gè)會(huì)話和后兩個(gè)會(huì)話的平均準(zhǔn)確度分別為92％和89％。 平均而言，每次會(huì)話中捕獲了2.58個(gè)假陰性錯(cuò)誤。 混淆矩陣在圖5中給出。最準(zhǔn)確的手勢(shì)是數(shù)字'1'，'7'，'8'，最不準(zhǔn)確的數(shù)字是'0'，'6'和'4'。 '0'和'6'是最相互混淆的手勢(shì)對(duì)，因?yàn)樗鼈兊氖謩?shì)模式非常相似。 唯一的差異是'6'結(jié)尾略低于'0'。 有趣的是，'4'與'1'被錯(cuò)誤分類(lèi)，而'1'獲得了最高精度。 要執(zhí)行'1'，很容易發(fā)現(xiàn)在手指上繪制'4'，參與者需要先將手指向下拖動(dòng)，這與'1'相同，然后將拇指向右轉(zhuǎn)。

? ? ? ?四次定向滑動(dòng)的平均準(zhǔn)確度一般較高，前四次和后兩次（無(wú)眼睛）分別為98.19％和96.94％。當(dāng)手被放在桌子下面時(shí)，只有“向下”和“向左”會(huì)引起一些混亂。平均每個(gè)會(huì)話中觀察到2.74個(gè)假陰性錯(cuò)誤。
? ? ? ?目前的結(jié)果表明，當(dāng)參與者在桌子下進(jìn)行手勢(shì)時(shí)，準(zhǔn)確度略低。有兩個(gè)因素會(huì)影響這種準(zhǔn)確性。第一個(gè)因素是降低的準(zhǔn)確度是由于在最后兩個(gè)會(huì)話中執(zhí)行手勢(shì)時(shí)缺乏對(duì)手的視覺(jué)觀察引起的。然而，即使在基于我們觀察的前四個(gè)會(huì)話中，所有參與者一旦掌握了手勢(shì)就開(kāi)始執(zhí)行手勢(shì)而不用看他們的手。另一個(gè)假設(shè)是在將手放在桌子上時(shí)收集訓(xùn)練數(shù)據(jù)。然而，當(dāng)手被握在桌子下方時(shí)，手的姿勢(shì)是不同的，這可能影響手勢(shì)的執(zhí)行方式。

? ? ? ?圖7顯示了每個(gè)參與者的準(zhǔn)確度，其中P1和P8提供了最高的精度和P6以及最低的準(zhǔn)確度。 除P1外，大多數(shù)參與者的準(zhǔn)確度在無(wú)眼評(píng)估中有所下降。 我們的觀察是P1在所有會(huì)話中執(zhí)行手勢(shì)的方式非常一致。

4.3 利用Gra?iti手勢(shì)輸入

? ? ? ??

? ? ? ? 識(shí)別10位數(shù)和4次方向滑動(dòng)的結(jié)果令人鼓舞。 為了進(jìn)一步理解FingerSound可以支持的輸入詞匯的豐富性，我們進(jìn)行了一項(xiàng)后續(xù)研究，以識(shí)別更大的28個(gè)單擊手勢(shì)，包括26個(gè)Grafti風(fēng)格的字母，如圖8所示.Grafti是一個(gè)手勢(shì)集，是 由Palm，Inc.5創(chuàng)建，用于在PDA上提供文本輸入。 每個(gè)Grafti手勢(shì)都類(lèi)似于英文字母的大寫(xiě)形式，因此易于學(xué)習(xí)和使用。 之前的一項(xiàng)研究已經(jīng)表明，參與者在練習(xí)五分鐘后可以達(dá)到97％的準(zhǔn)確度[14]。 表明我們的系統(tǒng)能夠識(shí)別Grafti手勢(shì)，不僅展示了我們的技術(shù)識(shí)別豐富的一瞥手勢(shì)的強(qiáng)大功能，而且還考察了將此技術(shù)用作未來(lái)短消息的替代文本輸入方法的可能性。

? ? ? ?在這項(xiàng)研究中，我們減少了測(cè)試會(huì)話的數(shù)量（給定了大量樣本），但與之前的用戶研究相比，增加了一個(gè)練習(xí)課程，以便為用戶提供更多時(shí)間來(lái)學(xué)習(xí)更大的手勢(shì)集。 總的來(lái)說(shuō)，我們?cè)谶@項(xiàng)研究中有5次會(huì)話。 前兩個(gè)會(huì)話是練習(xí)會(huì)話（每個(gè)會(huì)話每個(gè)手勢(shì)3個(gè)樣本），第三個(gè)會(huì)話（每個(gè)會(huì)話每個(gè)手勢(shì)3個(gè)樣本）是訓(xùn)練數(shù)據(jù)收集會(huì)話和最后兩個(gè)會(huì)話（每個(gè)會(huì)話每個(gè)手勢(shì)5個(gè)樣本，僅限于桌面） ）是測(cè)試會(huì)議。 和以前一樣，實(shí)時(shí)分類(lèi)結(jié)果被呈現(xiàn)給參與者并被記錄。

? ? ? ?總共有10名參與者（包括4名研究人員，2名女性）平均年齡為27歲參加了這項(xiàng)研究。 沒(méi)有參與者參與第一項(xiàng)研究。 所有會(huì)議都在一小時(shí)內(nèi)完成。 用于識(shí)別28個(gè)單行程手勢(shì)的實(shí)時(shí)分類(lèi)結(jié)果導(dǎo)致平均準(zhǔn)確度為92.46％。 每次會(huì)話平均觀察到5.9個(gè)假陰性錯(cuò)誤。
? ? ? ?圖10顯示了此手勢(shì)集的混淆矩陣。 最準(zhǔn)確的手勢(shì)是字母“X”和“Z”，其精度為100％。 最不準(zhǔn)確的手勢(shì)是字母“D”和“P”，精度分別為69％和74％。 這兩個(gè)字母之間混淆的原因在圖8中可見(jiàn)，因?yàn)樗鼈兛雌饋?lái)非常相似。它們之間唯一不同的是手勢(shì)結(jié)束的地方。 “D”結(jié)束于比“P”結(jié)束的位置低，與其他字母相比，這似乎更難以通過(guò)直覺(jué)來(lái)區(qū)分。

? ? ? ?每個(gè)參與者的準(zhǔn)確度如圖9所示.P1和P8的最高準(zhǔn)確度分別為98.93％和最低準(zhǔn)確度80.36％。 我們的觀察是P8在練習(xí)和訓(xùn)練期間沒(méi)有形成一致的模式。 因此，每次手勢(shì)被錯(cuò)誤分類(lèi)時(shí)，P8都傾向于調(diào)整手勢(shì)的執(zhí)行方式，最終導(dǎo)致更多的誤報(bào)錯(cuò)誤。 它表明某些用戶可能需要更長(zhǎng)的時(shí)間來(lái)掌握拇指手勢(shì)，或者應(yīng)該在將來(lái)部署強(qiáng)化學(xué)習(xí)方法。

5、討論

5.1在嘈雜的環(huán)境中評(píng)估FingerSound

? ? ? ?為了理解FingerSound在存在運(yùn)動(dòng)和聲學(xué)背景噪聲的嘈雜環(huán)境中的表現(xiàn)，我們對(duì)5名參與者進(jìn)行了一項(xiàng)后續(xù)研究（兩名有經(jīng)驗(yàn)的用戶，三名新手用戶，平均年齡31歲，女性1名）。 參與者被要求在嘈雜的環(huán)境中行走時(shí)執(zhí)行10個(gè)單行數(shù)字。 有三個(gè)會(huì)話：練習(xí)課程，培訓(xùn)課程和測(cè)試課程。 只有新手參與者被要求通過(guò)以隨機(jī)順序重復(fù)每個(gè)手勢(shì)三次來(lái)完成練習(xí)。

? ? ? ??培訓(xùn)課程與之前的研究相同。參與者在坐在桌子前面的訓(xùn)練課程中為每個(gè)單節(jié)目數(shù)字提供了三個(gè)訓(xùn)練樣本。然后為每個(gè)參與者進(jìn)行一次測(cè)試會(huì)話，其中每個(gè)手勢(shì)以隨機(jī)順序測(cè)試5次。根據(jù)之前的研究，為了模擬現(xiàn)實(shí)世界的情景，參與者被要求在整個(gè)測(cè)試過(guò)程中繼續(xù)在一張大桌子（大約4 x 3米）周?chē)邉?dòng)。將筆記本電腦揚(yáng)聲器放置在桌子的中央，以80分貝的速度播放預(yù)先記錄的街道/人群高斯噪聲，以模擬用戶在日常活動(dòng)中可能遇到的聲學(xué)噪聲。戒指連接到放在推車(chē)上的筆記本電腦。研究人員在每次會(huì)議期間移動(dòng)購(gòu)物車(chē)跟隨參與者。要求參與者以正常的步行速度行走，并且在執(zhí)行手勢(shì)時(shí)不要停止。與之前的研究類(lèi)似，音頻和視覺(jué)刺激以及實(shí)時(shí)分類(lèi)結(jié)果都顯示在筆記本電腦上。一位研究人員觀察了這項(xiàng)研究并記錄了假陰性/陽(yáng)性錯(cuò)誤。在所有參與者中對(duì)10個(gè)單行程數(shù)字進(jìn)行分類(lèi)的平均準(zhǔn)確率為92.8％，這與我們之前的研究相似。最低精度為90％，這是一個(gè)新手用戶。在本研究中，我們沒(méi)有觀察到檢測(cè)到手勢(shì)事件的任何誤報(bào)錯(cuò)誤。但是，測(cè)試會(huì)話中所有參與者的平均假陰性錯(cuò)誤數(shù)增加到5。我們將此歸因于在手勢(shì)/噪聲二元分類(lèi)器（SVM）的最終訓(xùn)練數(shù)據(jù)集中從嘈雜環(huán)境中收集的數(shù)據(jù)的缺乏。在嘈雜環(huán)境中收集訓(xùn)練數(shù)據(jù)可以潛在地提高識(shí)別準(zhǔn)確度并減少假陰性錯(cuò)誤。然而，為了提供基線以幫助讀者理解我們提出的系統(tǒng)的普遍性以及將當(dāng)前結(jié)果直接與先前研究的結(jié)果進(jìn)行比較，我們?cè)诟咛魬?zhàn)性的環(huán)境中進(jìn)行了這項(xiàng)額外的用戶研究，其中訓(xùn)練數(shù)據(jù)是在受控設(shè)置（無(wú)噪音）下收集的，但在嘈雜的環(huán)境中進(jìn)行測(cè)試。

5.2 降低陀螺儀的取樣頻率

? ? ? ?我們以當(dāng)前硬件組支持的最高速率（3800 Hz）對(duì)陀螺儀進(jìn)行采樣。 較高的采樣率不會(huì)影響分類(lèi)精度，但會(huì)導(dǎo)致更高的能耗[9]和更長(zhǎng)的響應(yīng)時(shí)間。 為了研究采樣率對(duì)準(zhǔn)確度的影響，我們將從研究中收集的數(shù)據(jù)下采樣到100Hz，并使用與研究中使用的相同的分類(lèi)管道重新處理數(shù)據(jù)。 令人驚訝的是，準(zhǔn)確度與之前的研究相當(dāng)，分別為96.85％，89.96％和93.21％，用于識(shí)別4個(gè)定向滑動(dòng)，10個(gè)單行程數(shù)字和28個(gè)Grafti單行程手勢(shì)。 在較低頻率下獲得的可比較的準(zhǔn)確度意味著不需要超頻。 這表明將來(lái)可以以低得多的采樣率再現(xiàn)性能，這需要低處理能力和能量消耗。

5.3 構(gòu)建用戶獨(dú)立模型

? ? ??在用戶研究中，每個(gè)參與者被要求在測(cè)試手勢(shì)之前提供三個(gè)訓(xùn)練樣本。在實(shí)際場(chǎng)景中，從提供更好的用戶體驗(yàn)的角度來(lái)看，使用該系統(tǒng)是理想的，而無(wú)需首先提供校準(zhǔn)或訓(xùn)練數(shù)據(jù)。因此，我們對(duì)從用戶研究中收集的數(shù)據(jù)進(jìn)行了獨(dú)立于用戶的分析。使用由其他參與者提供的訓(xùn)練數(shù)據(jù)構(gòu)建訓(xùn)練模型（每個(gè)參與者每個(gè)手勢(shì)3個(gè)實(shí)例）。我們?yōu)槊總€(gè)參與者為每個(gè)手勢(shì)集運(yùn)行了分類(lèi)管道。識(shí)別4次定向滑動(dòng)的所有參與者的平均準(zhǔn)確度為87％，但是對(duì)于單行數(shù)字和Grafti unistrokes手勢(shì)，低于70％。這表明識(shí)別系統(tǒng)中的手勢(shì)越多，所需的訓(xùn)練就越多。但是，我們注意到4個(gè)方向滑動(dòng)手勢(shì)參與者的準(zhǔn)確性存在巨大差異，其中4個(gè)參與者的準(zhǔn)確率超過(guò)96％，而兩個(gè)參與者的準(zhǔn)確率大約為65％。對(duì)于兩個(gè)異常值，混淆矩陣表明某些手勢(shì)完全錯(cuò)誤分類(lèi)。這表明通過(guò)一小組手勢(shì)（例如，4個(gè)定向滑動(dòng)），一些用戶可以在不收集任何訓(xùn)練數(shù)據(jù)的情況下使用該系統(tǒng)。但是，某些用戶可能需要為無(wú)法識(shí)別的手勢(shì)提供校準(zhǔn)手勢(shì)。該研究?jī)H在相對(duì)較小的一組訓(xùn)練數(shù)據(jù)中進(jìn)行。需要進(jìn)一步調(diào)查一組更大的訓(xùn)練數(shù)據(jù)才能得出某些結(jié)論。

5.4?重新設(shè)計(jì)拇指輸入的單筆畫(huà)手勢(shì)

? ? ?在這項(xiàng)研究中，我們使用三個(gè)常見(jiàn)的單筆畫(huà)手勢(shì)集評(píng)估了FingerSound。但是，這些手勢(shì)集專門(mén)設(shè)計(jì)用于使用手寫(xiě)筆輸入，這可能不適合基于拇指的手勢(shì)。與使用觸筆進(jìn)行輸入相比，拇指具有相對(duì)有限的移動(dòng)自由度。當(dāng)用手寫(xiě)筆書(shū)寫(xiě)時(shí)可以很容易地區(qū)分的手勢(shì)，在用拇指進(jìn)行時(shí)可能會(huì)引起混淆，因?yàn)槲覀兊南到y(tǒng)不是直接測(cè)量拇指的運(yùn)動(dòng)軌跡，而是捕捉環(huán)上的旋轉(zhuǎn)運(yùn)動(dòng)。視覺(jué)上可區(qū)分的一些姿勢(shì)可能難以分類(lèi)，例如“D”和“P”，“V”和“J”。但是，我們也注意到我們的系統(tǒng)可以很容易地識(shí)別出一些視覺(jué)上相似的手勢(shì)。例如“U”和“V”或四個(gè)方向滑動(dòng)。這些手勢(shì)都有不同的起始位置。我們的觀察是我們的系統(tǒng)可以很容易地區(qū)分手勢(shì)之間的不同起始位置。此外，參與者報(bào)告說(shuō)，用拇指進(jìn)行一些手勢(shì)是不舒服的。例如，“Y”要求用戶通過(guò)將拇指朝向右上方向移動(dòng)來(lái)手掌上的手勢(shì)，這是具有挑戰(zhàn)性的，因?yàn)槟粗冈谠搮^(qū)域中的移動(dòng)自由度有限。

? ? ? ?盡管我們的系統(tǒng)能夠識(shí)別出超過(guò)92％準(zhǔn)確度的單行手勢(shì)，但只有少數(shù)手勢(shì)會(huì)導(dǎo)致大多數(shù)分類(lèi)錯(cuò)誤，例如“D”和“P”。 如果修改這些手勢(shì)的設(shè)計(jì)以適應(yīng)拇指手勢(shì)，那么這些手勢(shì)將更容易被識(shí)別。 因此，我們總結(jié)了我們對(duì)該研究的觀察，作為未來(lái)拇指手勢(shì)設(shè)計(jì)實(shí)踐的指導(dǎo):

（1）如果方向或起點(diǎn)不同，可以區(qū)分視覺(jué)上相似的手勢(shì)。
（2）避免設(shè)計(jì)軌跡相似的姿勢(shì)，只根據(jù)長(zhǎng)度進(jìn)行設(shè)計(jì)。
（3）避免設(shè)計(jì)將拇指移向手掌邊緣的手勢(shì)，因?yàn)檫@符合人體工程學(xué)的不舒服。

5.4 硬件限制和改進(jìn)

? ? ? ??當(dāng)前系統(tǒng)設(shè)計(jì)的一個(gè)限制是環(huán)僅用作感測(cè)單元并且連接到識(shí)別算法運(yùn)行的膝上型計(jì)算機(jī)。 它無(wú)法獨(dú)占運(yùn)行整個(gè)算法。 但是，我們預(yù)計(jì)這種限制可以通過(guò)以下兩種方式之一解決。 一個(gè)是隨著技術(shù)的進(jìn)步，處理器和電池可以比現(xiàn)在更小。 因此，所有的硬件都可能潛入環(huán)本身，盡管摩爾定律的限制使得這種可能性降低。 另一種是在環(huán)上添加無(wú)線傳輸單元（例如，藍(lán)牙）。 然后，數(shù)據(jù)處理和識(shí)別可以在另一個(gè)便攜式設(shè)備上進(jìn)行，例如智能手機(jī)。 我們預(yù)計(jì)第二種方法將更加普及，因?yàn)樗谌肓宋覀冊(cè)谛袠I(yè)中觀察到的互聯(lián)智能設(shè)備的當(dāng)前趨勢(shì)。

? ? ??傳感器漂移是另一個(gè)需要解決的問(wèn)題，才能在實(shí)際應(yīng)用中廣泛部署。在當(dāng)前系統(tǒng)中，我們?cè)诿總€(gè)參與者啟動(dòng)系統(tǒng)之前校準(zhǔn)傳感器一次。將環(huán)放置在工作臺(tái)上2.5秒，程序記錄累積的o ff組，然后用于校準(zhǔn)所有傳感器值。在每個(gè)參與者的一小時(shí)用戶研究期間，我們沒(méi)有觀察到由傳感器漂移引起的識(shí)別系統(tǒng)的任何顯著影響。然而，如果系統(tǒng)部署較長(zhǎng)時(shí)間，則傳感器可能保持漂移，從而影響手勢(shì)識(shí)別系統(tǒng)的性能。這個(gè)問(wèn)題的一個(gè)流行的解決方案是使用IMU傳感器組中的其他傳感器來(lái)補(bǔ)償漂移。

5.6 提高識(shí)別速度

? ? ? ?為了對(duì)新的手勢(shì)實(shí)例進(jìn)行分類(lèi)，我們當(dāng)前的實(shí)現(xiàn)計(jì)算了未分類(lèi)實(shí)例與訓(xùn)練集中的每個(gè)實(shí)例之間的DTW距離。隨著訓(xùn)練集中手勢(shì)的數(shù)量增加，系統(tǒng)響應(yīng)時(shí)間也增加，這可以影響交互體驗(yàn)。由于計(jì)算DTW距離是最耗時(shí)的計(jì)算，因此減少DTW距離計(jì)算的數(shù)量將減少響應(yīng)時(shí)間。因此，不是使用每個(gè)訓(xùn)練樣本計(jì)算DTW距離，而是實(shí)時(shí)分類(lèi)系統(tǒng)應(yīng)該僅使用來(lái)自每個(gè)手勢(shì)集的一些預(yù)先選擇的模板樣本來(lái)計(jì)算距離。可以基于它們與相同手勢(shì)的其他訓(xùn)練樣本的DTW距離來(lái)選擇這些代表性樣本。通常，選擇與其他人具有最小DTW距離的樣本作為模板。例如，如果我們選擇每個(gè)手勢(shì)1個(gè)樣本作為模板，則與當(dāng)前實(shí)現(xiàn)相比，響應(yīng)時(shí)間將減少三分之二。此外，即使訓(xùn)練樣本的大小增加，實(shí)時(shí)響應(yīng)時(shí)間也不會(huì)改變。較低的采樣率還可能潛在地減少DTW計(jì)算所需的時(shí)間，這也可以提高識(shí)別速度，正如我們?cè)谇耙还?jié)中所討論的那樣。

5.7自定義拇指手勢(shì)

? ? ? ?雖然我們只展示了對(duì)三個(gè)單行程手勢(shì)集（4,10和28個(gè)手勢(shì)）的識(shí)別，但該系統(tǒng)有可能識(shí)別更廣泛的拇指手勢(shì)，包括用戶自己設(shè)計(jì)的手勢(shì)。 這些定制的手勢(shì)可以被用戶映射到不同的功能，例如用于其他連接設(shè)備的解鎖手勢(shì)。

5.8 激活手勢(shì)

? ? ??當(dāng)前系統(tǒng)僅在實(shí)驗(yàn)室環(huán)境中進(jìn)行評(píng)估，其中在所有會(huì)話期間檢測(cè)到手勢(shì)事件時(shí)觀察到零假陽(yáng)性。 但是，如果用戶參與其他體重運(yùn)動(dòng)較多的活動(dòng)，可能會(huì)出現(xiàn)更多誤報(bào)錯(cuò)誤。 這是每個(gè)手勢(shì)識(shí)別系統(tǒng)在實(shí)際部署之前必須解決的難題。 我們的解決方案是設(shè)計(jì)一個(gè)激活手勢(shì)來(lái)啟動(dòng)整個(gè)系統(tǒng)。 這意味著，僅當(dāng)檢測(cè)到激活手勢(shì)時(shí)，系統(tǒng)才開(kāi)始識(shí)別全套手勢(shì)。 可以從與其他手勢(shì)混淆最少的手勢(shì)中選擇激活手勢(shì)。 例如，我們可以選擇“X”作為我們系統(tǒng)的激活手勢(shì)，因?yàn)樗哂?00％的精度和99％的召回率，如圖10所示。

5.9 應(yīng)用

? ? ? ?但是，FingerSound并非設(shè)計(jì)用于所有任務(wù)的輸入。 它可能不適合編寫(xiě)長(zhǎng)文本，因?yàn)槭褂肍ingerSound的輸入在速度和準(zhǔn)確性方面不如使用傳統(tǒng)鍵盤(pán)。 一些參與者報(bào)告說(shuō)，長(zhǎng)時(shí)間使用拇指輸入（在研究中一小時(shí)），身體要求很高。 另外，對(duì)于需要極快響應(yīng)的應(yīng)用可能不是所希望的，例如第一人稱視點(diǎn)拍攝或賽車(chē)游戲。

? ? ? ?鑒于其當(dāng)前的設(shè)計(jì)和性能，FingerSound更適合用于需要短響應(yīng)的其他設(shè)備或應(yīng)用程序。 例如，家庭娛樂(lè)系統(tǒng)使用遙控器進(jìn)行輸入。 但是，要輸入文本，用戶必須使用繁瑣的輸入技術(shù)，例如在屏幕上導(dǎo)航QWERTY鍵盤(pán)的方向按鈕。 通過(guò)使用FingerSound，可以通過(guò)簡(jiǎn)單地用拇指抓住手來(lái)完成文本輸入。

? ? ? ??FingerSound還可以用作智能手表的替代輸入設(shè)備。 由于手表屏幕相對(duì)較小，因此輸入短文本或數(shù)字非常具有挑戰(zhàn)性。 這些人可能會(huì)遮擋內(nèi)容。 FingerSound允許智能手表用戶使用相同的手或不同的手在他們的手表上輸入而不會(huì)遮擋屏幕。

? ? ? ?與其他基于手勢(shì)的輸入技術(shù)類(lèi)似，FingerSound無(wú)法提供完美的識(shí)別準(zhǔn)確度，這意味著用戶在使用系統(tǒng)時(shí)可能會(huì)遇到識(shí)別錯(cuò)誤。 為了提供最佳的用戶體驗(yàn)，需要補(bǔ)償這些錯(cuò)誤。 一種顯而易見(jiàn)的方法是進(jìn)一步提高系統(tǒng)精度，我們將在下一節(jié)中討論。 另一個(gè)同樣重要的解決方案是在應(yīng)用程序的上下文中適當(dāng)?shù)卦O(shè)計(jì)交互。 例如，設(shè)計(jì)者應(yīng)該考慮使用最準(zhǔn)確和最有效的手勢(shì)來(lái)訪問(wèn)“刪除”功能，這有助于糾正錯(cuò)誤。

5.10 限制和未來(lái)工作

5.10.1提高準(zhǔn)確性和效率。 該系統(tǒng)僅在基于實(shí)驗(yàn)室的環(huán)境中進(jìn)行測(cè)試。 然而，在系統(tǒng)部署在野外時(shí)，僅使用三個(gè)訓(xùn)練樣本來(lái)實(shí)現(xiàn)類(lèi)似的識(shí)別性能可能是具有挑戰(zhàn)性的。 一種解決方案是在嘈雜的環(huán)境中收集更多的訓(xùn)練數(shù)據(jù)。 另一種是采用更先進(jìn)的算法，如隱馬爾可夫模型，以提高識(shí)別效率和準(zhǔn)確性。 此外，當(dāng)前的噪聲訓(xùn)練數(shù)據(jù)是在實(shí)驗(yàn)室環(huán)境中收集的，這可能不能最好地代表日常活動(dòng)中的噪聲。 在日常活動(dòng)中收集噪音數(shù)據(jù)可能有助于改善表現(xiàn)。 例如，我們當(dāng)前的噪聲樣本是在基于實(shí)驗(yàn)室的環(huán)境中收集的。 雖然它在研究中有效，但我們計(jì)劃在未來(lái)的自然環(huán)境下收集日常活動(dòng)中的噪聲數(shù)據(jù)。

? ? ? ?我們計(jì)劃進(jìn)行的未來(lái)工作的另一部分是提高輸入準(zhǔn)確性和效率。 正如我們所討論的，應(yīng)用更先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)（例如，HMM）可以在更大的訓(xùn)練數(shù)據(jù)集的情況下提高準(zhǔn)確性。 此外，采用自動(dòng)完成系統(tǒng)將進(jìn)一步提高輸入效率。 我們計(jì)劃將來(lái)進(jìn)一步調(diào)查這些問(wèn)題。

5.10.2其他。 我們還計(jì)劃用9度IMU傳感器更換陀螺儀傳感器。 基于新傳感器，可以實(shí)施傳感器漂移補(bǔ)償算法以增加傳感器數(shù)據(jù)的穩(wěn)定性。
當(dāng)前系統(tǒng)中的另一個(gè)問(wèn)題是環(huán)被電纜束縛，這可能限制其移動(dòng)自由度并降低識(shí)別精度。 環(huán)的方向也會(huì)影響系統(tǒng)的性能。 為了解決這些問(wèn)題，我們計(jì)劃在未來(lái)通過(guò)添加無(wú)線通信模塊使整個(gè)系統(tǒng)可移植，這樣我們就可以在環(huán)的方向上保持一致并在野外部署系統(tǒng)。

6、結(jié)論
? ? ? ? FingerSound是一種輸入技術(shù)，使用環(huán)形識(shí)別單指拇指手勢(shì)，包括接觸式麥克風(fēng)和陀螺儀傳感器。 具有DTW的距離函數(shù)的KNN模型被實(shí)現(xiàn)為僅針對(duì)每個(gè)手勢(shì)使用三個(gè)訓(xùn)練樣本來(lái)識(shí)別手勢(shì)。 一項(xiàng)有19名參與者的用戶研究表明，FingerSound能夠識(shí)別4個(gè)方向滑動(dòng)，10個(gè)單行程數(shù)字和28個(gè)Grafti字母，平均準(zhǔn)確度分別為92％，98.19％和92.46％。 我們討論了在將其部署到實(shí)際應(yīng)用程序之前需要解決的潛在應(yīng)用程序，機(jī)會(huì)和挑戰(zhàn)。

總結(jié)

以上是生活随笔為你收集整理的论文翻译——FingerSound：Recognizing unistroke thumb gestures using a ring的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。