人机交互技术概论
PS：說明一下，這個是網(wǎng)上的某大牛寫的吧，沒有搜到相關(guān)文獻(xiàn)，也沒有找到原出處，時間大概是10年或更早寫的。
人機(jī)交互技術(shù)(Human-Computer Interaction，HCI)致力于人與計(jì)算機(jī)的協(xié)調(diào)，旨在消融這兩個智能系統(tǒng)間的通訊和對話界線，使得人與機(jī)器的信息交流便捷而通暢。計(jì)算機(jī)系統(tǒng)的人機(jī)交互是以用戶界面(User Interface，UI)為中介的人與計(jì)算機(jī)間信息傳遞和轉(zhuǎn)換過程：人向計(jì)算機(jī)傳達(dá)交互意圖 — 用戶通過其側(cè)重于多媒體信息接受的感覺通道(包括：視覺、聽覺、觸覺和嗅覺等)對用戶界面中諸如語音、圖形和圖像等多媒體信息的感知，先利用邏輯思維和形象思維能力產(chǎn)生對交互意圖的心理描述，再按用戶界面對交互的輸入要求使用其側(cè)重于過程控制與信息輸入的效應(yīng)通道為(包括：手、嘴、眼、頭、足及身體等)來實(shí)施交互行；計(jì)算機(jī)向人傳遞計(jì)算和反饋結(jié)果 — 它利用其感知機(jī)制從精確的用戶界面框架結(jié)構(gòu)中獲取用戶的交互信息，并完成獲取交互行為信息的感知處理、判斷用戶交互意圖的認(rèn)知處理和回饋交互結(jié)果的響應(yīng)處理等一系列計(jì)算過程，最終運(yùn)用其輸出機(jī)制以用戶界面所定義的特定形式輸出其計(jì)算結(jié)果。
從信息傳遞的角度來看，用戶界面的任務(wù)是為人類的感覺和效應(yīng)通道與計(jì)算機(jī)的感知和輸出機(jī)制提供通信接口，計(jì)算機(jī)系統(tǒng)的人機(jī)交互包含互不可分的兩類感知過程：一類是人對計(jì)算機(jī)所提供信息的感知過程。在這個過程中，計(jì)算機(jī)利用其計(jì)算能力和各種媒體處理技術(shù)將計(jì)算機(jī)可供交互的輸入要求或交互處理結(jié)果的反饋以適當(dāng)形式在用戶界面上呈現(xiàn)給用戶；而人類使用感覺通道(如：視覺和聽覺)接受和理解用戶界面所提供的各種信息。這種感知過程的關(guān)鍵是用戶界面所呈現(xiàn)信息的形式和豐富程度，并部分與用戶的心理因素及其認(rèn)知能力相關(guān)，這決定了人機(jī)交互中計(jì)算機(jī)與人間通信的輸出帶寬。另一類是計(jì)算機(jī)對人及其所處環(huán)境的感知過程。在這個過程中，人類按照計(jì)算機(jī)所要求的輸入事件使用效應(yīng)通道(如：語音和動作等)在用戶界面中輸入交互操作和指令；計(jì)算機(jī)則通過對來自用戶界面的用戶交互媒介信號的處理和分析來獲取和識別用戶交互意圖，并以適當(dāng)形式在用戶界面上呈現(xiàn)給用戶。這種感知過程不僅取決于計(jì)算機(jī)感知和識別人和物及其檢測用戶情緒變化或用戶個性等信息處理能力，而且取決于用戶有意識地將交互意圖“分解”和“組織”為計(jì)算機(jī)所特有輸入事件過程中所付出的“認(rèn)知努力”，這決定了人機(jī)交互中計(jì)算機(jī)與人間通信的輸入帶寬。此外，如果計(jì)算機(jī)是可以感知外部世界的機(jī)器，還存在兩種特殊的感知：一種是計(jì)算機(jī)感知并傳遞人及其環(huán)境信息，人借助于計(jì)算機(jī)傳遞感知信息，它基本上不屬于人機(jī)交互的感知，但可以作為人機(jī)交互感知的基礎(chǔ)。例如：在視頻會議、遠(yuǎn)程教學(xué)和遠(yuǎn)程醫(yī)療等系統(tǒng)中，計(jì)算機(jī)并不一定需要識別人的交互行為和信息，而只成為兩人或多人之間的相互交流的媒介；另一種是人作為虛擬世界中的成員而從計(jì)算機(jī)中獲得的感知，這種感知是人機(jī)交互的感知，而且人和計(jì)算機(jī)的感知地位是等同的，其感知信息的形態(tài)不僅內(nèi)容豐富，而且可以是現(xiàn)實(shí)世界里所看不到的(例如：虛擬的場景、文本和語音等)。
從信息轉(zhuǎn)換的角度來看，用戶界面的作用是實(shí)現(xiàn)“用戶認(rèn)知空間”與“計(jì)算機(jī)信息處理空間”間信息的雙向映射。由于人類的交互意圖通常是一個涉及人的認(rèn)知和行為因素的高維復(fù)雜信息，且這些信息是非精確的或模糊的；而計(jì)算機(jī)遵循線性信息表示和存儲模式來表示和處理交互信息，所能捕獲和處理的必須是形式化的精確信息，且其感知和處理結(jié)果不一定能夠依從人的感知規(guī)則。兩者間的差異決定了其雙向映射實(shí)現(xiàn)的技術(shù)復(fù)雜性和方式多樣性，因此，人機(jī)交互技術(shù)的任務(wù)就是要選擇合適的映射方式來解決其技術(shù)實(shí)現(xiàn)的復(fù)雜性與用戶交互的易用性問題。技術(shù)實(shí)現(xiàn)的復(fù)雜性主要體現(xiàn)在如何提升計(jì)算機(jī)感知和識別用戶交互行為和狀態(tài)并進(jìn)而理解其交互意圖；用戶交互的易用性則表現(xiàn)為如何充分利用和協(xié)調(diào)人類的多個感覺和效應(yīng)通道并進(jìn)而降低其完成交互行為所需付出的“認(rèn)知努力”。顯然，一個良好的映射方式將會極大地提高人機(jī)交互的自然性和高效性。在人機(jī)交互技術(shù)發(fā)展歷程中，人機(jī)交互的界面形式經(jīng)歷了手工作業(yè)、命令接口(作業(yè)控制語言及交互命令語言批處理)、(文本)菜單到多通道、多媒體人機(jī)交互和虛擬現(xiàn)實(shí)系統(tǒng)；人機(jī)交互的信息載體經(jīng)歷了以文本和符號為主字符用戶界面(Character UI)、以二維圖形為主的圖形用戶界面(Graphic UI)、兼顧視聽感知的多媒體用戶界面(Media UI)及綜合運(yùn)用多種感覺(包括觸覺等)的虛擬現(xiàn)實(shí)系統(tǒng)(VR：Virtual Reality)；人機(jī)交互的信息維度從一維(主要指文本流)、二維(主要是利用色彩、形狀、紋理等維度信息的二維圖形技術(shù))、三維(主要是三維圖形技術(shù)，但圖形顯示仍以二維平面為主)向多維空間(利用人的多個感覺通道和效應(yīng)通道的信息)發(fā)展，計(jì)算機(jī)與用戶間的通信帶寬不斷提高。就其技術(shù)機(jī)理本質(zhì)而言，這種發(fā)展蘊(yùn)涵著對人機(jī)交互中兩個主體不同側(cè)重點(diǎn)的映射方式演化：
一種是以機(jī)器為中心的受限方式。這種方式強(qiáng)調(diào)將計(jì)算機(jī)的信息處理需求有效地呈現(xiàn)給用戶，為用戶提供一個形式化、半雙工、串行的低維度信息展現(xiàn)和操作界面，主要表現(xiàn)在兩個方面：一是人的交互需基于離散事件，用戶界面等同于一個解釋器，它接受事件輸入并反饋計(jì)算機(jī)處理的結(jié)果，在此過程中，多維信息矢量被壓縮為一個低維矢量，形成一個串行的輸入流；二是人的交互必須基于精確交互：用戶在交互中需要把意圖按模型要求“分解”并“組織”為計(jì)算機(jī)所特有的輸入事件，以完全說明用戶交互目的和意度。用戶必須面對機(jī)器操作定義的限制并付出較多的認(rèn)知努力來使用計(jì)算機(jī)。從用戶角度來看，這種方式支持的是受限人機(jī)交互(Formal HCI)，用戶需飽受命令記憶和新功能學(xué)習(xí)之苦。例如，用戶通過使用鼠標(biāo)、鍵盤和顯示器來與傳統(tǒng)的桌面計(jì)算機(jī)進(jìn)行交互時，與計(jì)算機(jī)及其上運(yùn)行軟件間的交互存在著“受限的”交互次序：完成特定序列的操作來創(chuàng)建Word文檔、輸入文本并將其打印，等等。這種方式的實(shí)現(xiàn)關(guān)鍵在于計(jì)算機(jī)及其軟件處理能力展示的有效性和合理性及用戶操作的簡便性和易記憶程度，具體表現(xiàn)為兩個方面的問題：一是如何充分而有效地展示計(jì)算機(jī)及其軟件的處理能力，即：如何定義操作及其布局，如：彈出菜單、下拉菜單、分層菜單等；二是如何讓用戶方便地使用和記憶，即：用戶采用何種方式進(jìn)行操作，如：命令語言、文字菜單和圖標(biāo)點(diǎn)擊，等等。顯然這種方式限制了人機(jī)間的通信帶寬，使得既不能有效地利用當(dāng)今計(jì)算機(jī)的強(qiáng)大計(jì)算和處理能力，也給用戶使用電腦有諸多不便。
傳統(tǒng)用戶界面都是采用了這種映射方式。它主要包括三大類：
(1). 命令語言交互(Command HCI)：這種人機(jī)交互始于聯(lián)機(jī)終端的出現(xiàn)，用戶與計(jì)算機(jī)間借助一種雙方都能理解的語言進(jìn)行對話。根據(jù)語言特點(diǎn)可分為：① 形式語言。這是一種人工語言，特點(diǎn)是簡潔、嚴(yán)密、高效，如：應(yīng)用于數(shù)學(xué)、化學(xué)、音樂、舞蹈等各領(lǐng)域的特殊語言，計(jì)算機(jī)語言則不僅是操縱計(jì)算機(jī)的語言，而且是處理語言的語言；② 自然語言。特點(diǎn)是具有多義性、微妙、豐富。③ 類自然語言。這是計(jì)算機(jī)語言的一種特例，命令語言的典型形式是動詞后面接一個名詞賓語，即：“動詞+賓語”結(jié)構(gòu)，二者都可帶有限定詞或量詞。命令語言可以具有非常簡單的形式，也可有非常復(fù)雜的語法。它要求驚人的記憶和大量的訓(xùn)練，且容易出錯，但具有靈活和高效的特點(diǎn)，適合于專業(yè)人員使用。
(2). 圖形交互(Graphic HCI)：圖形用戶界面(Graphics UI，GUI)是當(dāng)前人機(jī)交互的主流，成熟的商品化系統(tǒng)有Apple的Macintosh、IBM的PM(Presentation Manager)、Microsoft的Windows和運(yùn)行于Unix環(huán)境的X-Window、OpenLook和OSF/Motif等。這種界面包含三個重要思想：① 桌面隱喻(Desktop Metaphor)，即在用戶界面中用人們所熟悉的桌面上的物品來清楚地表現(xiàn)計(jì)算機(jī)可處理的能力；② WIMP(Windows、Icons、Menu and Pointer)是組成圖形用戶界面的基本單元，以可重疊多窗口管理的窗口管理系統(tǒng)為核心，使用鍵盤和鼠標(biāo)器作為輸入設(shè)備，并廣泛采用事件驅(qū)動(Event-Driven)技術(shù)；③ 直接操作及所見即所得(What You See is What You Get)的界面，交互過程極大地依賴用戶視覺和手動控制的參與，具有強(qiáng)烈的直接操作特點(diǎn)。菜單(Menu)本身與圖形人機(jī)交互并沒有必然聯(lián)系，在圖形用戶界面出現(xiàn)前，字符型菜單已經(jīng)在用戶界面中得到了廣泛應(yīng)用。但圖形人機(jī)交互中菜單的表現(xiàn)形式比字符人機(jī)交互更為豐富，在菜單項(xiàng)中可以顯示不同的字體、圖標(biāo)甚至產(chǎn)生三維效果，同時，還可以諸如層疊式(Hierarchy)、彈出式(PopUp)、下拉式(PullDown)和滾動式(scrolling)及其組合等多種形式出現(xiàn)，菜單式人機(jī)交互與命令語言人機(jī)交互相比，用戶只需確認(rèn)而不需回憶系統(tǒng)命令，從而大大降低記憶負(fù)荷，其缺點(diǎn)是靈活性和效率較差，可能不適合于專家用戶。圖形人機(jī)交互具有一定的文化和語言獨(dú)立性，并可提高視覺目標(biāo)搜索的效率；其主要缺點(diǎn)是需要占用較多的屏幕空間，并且難以表達(dá)和支持非空間性的抽象信息的交互。
(3). 直接操縱(Direct-manipulation HCI)：直接操縱更多地借助物理的、空間的或形象的表示，而不是單純的文字或數(shù)字表示。前者已為心理學(xué)證明有利于“問題解決”和“學(xué)習(xí)”。視覺的、形象的(藝術(shù)的、右腦的、整體的、直覺的)人機(jī)交互對于邏輯的、直接性的、面向文本的、左腦的、強(qiáng)迫性的、推理的人機(jī)交互是一個挑戰(zhàn)。直接操縱人機(jī)交互的操縱模式采用“賓語+動詞”結(jié)構(gòu)，Windows 95設(shè)計(jì)者稱之為“以文檔為中心”，用戶最終關(guān)心的是其欲控制和操作的對象，即：只關(guān)心任務(wù)語義，而不用過多為計(jì)算機(jī)語義和句法而分心。對于大量物理、幾何空間及形象的任務(wù)，直接操縱表現(xiàn)出巨大的優(yōu)越性，但它在抽象而復(fù)雜的應(yīng)用中具有局限性。對于用戶界面設(shè)計(jì)者來說，圖形的設(shè)計(jì)比較因難，需大量測試和實(shí)驗(yàn)；而復(fù)雜和抽象語義的表示比較困難，不容易實(shí)現(xiàn)交互與應(yīng)用程序的獨(dú)立設(shè)計(jì)。
另一種是以用戶為中心的非受限方式。這種方式強(qiáng)調(diào)將對人類自然能力(尤其交流、運(yùn)動和感知能力)與計(jì)算設(shè)備及其感知和推理結(jié)合起來，通過采用多種模態(tài)(Multimodal)感知人類的自然行為，并以易理解的多媒體(Multimedia)形式實(shí)現(xiàn)多通道(Multichannel)通信，建立“以人為中心”的感知用戶界面(Perceptive User Interface，PUI)[10]。這種界面旨在充分使用人類諸如語音、手勢、視線及頭部跟蹤等多個感覺和效應(yīng)通道，并使之可選擇地并行和協(xié)作來實(shí)現(xiàn)多通道、非精確、高帶寬、高效及不限制地點(diǎn)的人機(jī)通信[11]，以拓展人機(jī)間信息通信的“帶寬”，減少人類的交互認(rèn)知努力，提高人機(jī)交互的自然性和高效性。從用戶角度來看，這種方式支持的是非受限人機(jī)交互(Informal HCI)[12][13]，其主要出發(fā)點(diǎn)是借助于媒體感知技術(shù)獲取并理解用戶動作、行為、習(xí)慣、偏好及其它相關(guān)交互信息，來緩解以至于消除計(jì)算機(jī)和用戶對交互意圖的認(rèn)識和描述存在的精確信息(人機(jī)系統(tǒng)的內(nèi)部表示)和非精確信息(人機(jī)系統(tǒng)的外部表示)間的“鴻溝”；其實(shí)現(xiàn)的關(guān)鍵在于計(jì)算設(shè)備對人的動作和行為識別的有效性，因此，支持這種交互方式的用戶界面又稱為基于識別的用戶界面(Recognition-based User Interface)。
這種方式的用戶界面則代表著人機(jī)交互技術(shù)的發(fā)展方向，體現(xiàn)了對人的因素的重視，標(biāo)志著人機(jī)交互技術(shù)從“人適應(yīng)計(jì)算機(jī)”向“計(jì)算機(jī)不斷地適應(yīng)人”方向發(fā)展，就是要給用戶“充分的自由”，使得人類不再需要按機(jī)器的要求扭曲自己最自然的思維和行為方式，而可以像在電腦出現(xiàn)前人類那樣自由地工作和生活。傳統(tǒng)的界面事實(shí)上成為隔離物質(zhì)世界和信息世界之間的屏障，虛擬現(xiàn)實(shí)、網(wǎng)絡(luò)計(jì)算、智能代理和軟件機(jī)器人、計(jì)算機(jī)支持的協(xié)同工作等技術(shù)的應(yīng)用，將實(shí)現(xiàn)“虛物實(shí)化”和“實(shí)物虛化”，消除物理對象和抽象對象、輸入裝置和輸出裝置在交互空間中的差別，并為人提供多感覺通道的自然臨境體驗(yàn)；語音及文字識別和自然語言理解等言語計(jì)算，手寫體和手繪草圖識別等筆式計(jì)算及手勢和表情識別、視覺-目標(biāo)拾取認(rèn)知技術(shù)等視覺計(jì)算等技術(shù)的不斷發(fā)展和完善，將不斷提高人機(jī)交互的智能化程度，使機(jī)器能夠根據(jù)上下文及使用者的特點(diǎn)主動識別人的身體姿態(tài)、手勢、語音和表情等各種自然行為，進(jìn)而判斷出人的意圖。同時，機(jī)器的功能齊全、高效，既適于人的操作使用，也能滿足人的審美和認(rèn)知需要，機(jī)器的操控和使用將更加符合人的習(xí)慣，并具備聽、看和說的能力，人可以語言、文字、圖像、手勢、表情等自然方式與機(jī)器打交道，恰如與他人交流一樣自然。因此，用戶界面是能模擬多種智能和真實(shí)環(huán)境的虛擬空間，人們能夠在任何時間、任何地點(diǎn)與任何需要的環(huán)境(包括人)以最自然和“身臨其境”的方式來完成所需要完成的工作；實(shí)現(xiàn)“無形而又無處不在，有形而又自然和諧”的普適交互(Ubiquitous/Pervasive HCI)模式，這種方式的特性體現(xiàn)在以下三個方面：
? 以用戶為中心(Human-Centered)：以用戶對人機(jī)交互的需求變化為出發(fā)點(diǎn)，使人機(jī)交互的外在形式和內(nèi)部機(jī)制能符合不同用戶的需要。人類的交互行為是自然的，用戶將可利用語音、手勢、筆劃等自然方式，不受地點(diǎn)限制地與計(jì)算機(jī)進(jìn)行交互，既能滿足用戶個性化的需要，又使得用戶不脫離自然社會關(guān)系(包括社會經(jīng)濟(jì)環(huán)境和人類溝通交流)。
? 多模態(tài)(Multimodal)交互：充分利用人類多種感覺和效應(yīng)通道的互補(bǔ)特性，并使之可選擇地、充分地并行和協(xié)作來捕捉用戶的交互意圖，從而增進(jìn)用戶交互的自然性。模態(tài)(modal)和通道(Channel)間的聯(lián)系和區(qū)別主要在于：人類通過視覺、聽覺、觸覺、味覺和嗅覺這五種感官的信息發(fā)送和接收來實(shí)現(xiàn)與世界交互的，一種模態(tài)對應(yīng)一種官能；而通道是指信息傳遞的過程或途徑。在人機(jī)交互應(yīng)用中，通道描述一種交互技術(shù)，這種技術(shù)可基于某種特殊設(shè)備，如：鍵盤或鼠標(biāo)，也可基于某種特殊行為，如口語、書面語或手勢。如：命令語言用戶界面中的每個命令都會使用視覺和觸覺等多種模態(tài)；而圖形用戶交互既使用了視覺和觸覺等多種模態(tài)，又用到了諸如鍵盤、鼠標(biāo)和聲音及圖像等多種通道。多模態(tài)人機(jī)交互是使用同等方式將兩種或兩種以上輸入模態(tài)相結(jié)合的技術(shù)，其重點(diǎn)是將基于諸如語音識別、筆形手勢識別、計(jì)算機(jī)視覺等傳感識別的輸入技術(shù)集成到用戶界面中。也就是說，多模態(tài)人機(jī)交互使用多種模態(tài)來實(shí)現(xiàn)多種通道通信。使用多種模態(tài)生成單獨(dú)的通道，如：利用視覺和聲音進(jìn)行三維用戶定位，屬多傳感器融合(Multisensor Fusion)；類似地，使用一種模態(tài)生成多種通道，如：左手鼠標(biāo)指示，右手鼠標(biāo)選擇，則屬于多通道或多設(shè)備(Multichannel or multi-device)人機(jī)交互。
? 多媒體感知((Multimdia Perceptive)：機(jī)器利用其感知及推理能力對來自用戶感覺和效應(yīng)通道的交互信號進(jìn)行識別、集成和協(xié)調(diào)，并獲取用戶動作和行為習(xí)慣、偏好及其它相關(guān)信息，并以人類易理解的多媒體信息方式為用戶提供輸出信息，從而提供不受時空限制而又效能最大化的個性化計(jì)算服務(wù)。這種人機(jī)交互方式的雙向信息流動是以多媒體感知和處理為核心的：用戶通過其感覺和效應(yīng)通道傳遞的交互意圖在計(jì)算機(jī)內(nèi)表示為文本、語音、圖形和圖像等多媒體信息，人到機(jī)(Human to Compute)信息流動是多媒體信息的獲取及識別過程；計(jì)算機(jī)經(jīng)過處理的信息需要以文本、語音、圖形和圖像等用戶理解概念所需的多媒體信息形式展現(xiàn)出來，機(jī)到人(Computer to Human)的信息展流動是多媒體信息的合成和呈現(xiàn)過程。
自Weiser博士提出普適計(jì)算(Ubiquitous/Pervasive Computing)以來，人類開始向未來計(jì)算探索的進(jìn)程，也催生了以網(wǎng)格計(jì)算(Grid Computing)和云計(jì)算(Cloud Computing)為代表的計(jì)算分布化(Distribution)、以嵌入式計(jì)算(Embed Computing)為代表的計(jì)算透明化(Transparent)、以虛擬現(xiàn)實(shí)(Virtual Reality)和可穿戴計(jì)算機(jī)(Wearable Computer)為代表的計(jì)算機(jī)系統(tǒng)擬人化(Personate)和有形化(Tangible)、以手持電腦(PDA)和智能手機(jī)(Smart Phone)為代表的計(jì)算機(jī)系統(tǒng)微型化(Micromation)和隨身化(Mobile)及以智能空間(Smart Space)和環(huán)境智能(Ambient Intelligence)為代表的計(jì)算機(jī)系統(tǒng)嵌入化(Embeded)和無形化(Invisible)等眾多新型計(jì)算技術(shù)，推動著“機(jī)箱時代”邁向一個嶄新時代：計(jì)算設(shè)備將從人類視野中“消失”，那些裝在機(jī)箱中的聲音、視頻和通信等將“游蕩”于我們周圍環(huán)境中而變得“無處不在”。這個時代具有兩個重要特征：一方面，小型化嵌入式計(jì)算設(shè)備將使得人類生活的自然環(huán)境“具有”計(jì)算能力，它能自主感知人的存在，并在人類需要時出現(xiàn)和對其行為作出反應(yīng)；另一方面，計(jì)算將日常生活化，能幫助人類安排、構(gòu)造和控制日常生活，人類將能享受的計(jì)算服務(wù)，人類能以最自然的方式、在任何時間、任何地點(diǎn)、通過任何設(shè)備從環(huán)境中“無意識地”獲取“有感覺”的計(jì)算資源和計(jì)算服務(wù)。概括地講，在這個時代，人類生活將片刻離不開機(jī)器，人與機(jī)器間的交流更加自然和沒有阻礙，人和計(jì)算間將是非侵入且不可見的交互，現(xiàn)實(shí)世界就成為用戶界面，用戶只需運(yùn)用其日常技能來操作和使用計(jì)算設(shè)備，而不再關(guān)注交互媒體形式，也無需特定的用戶界面，即：Idea Interface is no interface。這既對人機(jī)交互技術(shù)提出了更高的要求和新的挑戰(zhàn)，也為人機(jī)交互技術(shù)的發(fā)展注入了新的動力，因此，自然、高效、無障礙的新型人機(jī)交互技術(shù)成為該領(lǐng)域發(fā)展方向和研究熱點(diǎn)。
新型人機(jī)交互技術(shù)的最主要特性就在于用戶交互的“非受限性(Informaity)”：機(jī)器給人以最小的限制并對人的各種動作做出反應(yīng)，人是主動參與者，可以最大的自由度操作機(jī)器，如日常生活中人與人間的交流一樣自然、高效和無障礙。這種人機(jī)交互技術(shù)強(qiáng)調(diào)兩個關(guān)鍵特征：一是交互隱含性。理想的人機(jī)交互應(yīng)當(dāng)使用戶把所有注意力集中于完成任務(wù)而無需為交互操作分心，且應(yīng)允許使用模糊表達(dá)手段來避免不必要的認(rèn)識負(fù)荷，有利于提高交互活動的自然性和高效性。傳統(tǒng)用戶界面都是等待用戶輸入命令才開始采取行動，而新穎人機(jī)交互技術(shù)的用戶界面則應(yīng)是積極地感覺和理解世界，并讓用戶在各個層次上根據(jù)目標(biāo)和已有知識采取行動，并以充分性代替精確性。理想地，這是一個使用“被動”或“非侵入性”感知的“主動”交互方式，無需用戶顯式說明交互成分，僅在交互過程中隱含地表現(xiàn)而允許非精確的交互，如：用戶視線自然地落在所感興趣的對象上；用戶的手自然地握住被操縱的目標(biāo)；等等。二是交互多模態(tài)性和雙向性。允許使用多種感知模態(tài)(如：視覺、聽覺、觸覺等)或多個感覺和效應(yīng)通道，突破了模態(tài)和鼠標(biāo)鍵盤顯示器通信通道的限制，使用連續(xù)形式和并行形式在內(nèi)的多種模態(tài)。盡管感覺通道側(cè)重于多媒體信息的接受，效應(yīng)通道側(cè)重于交互控制與信息輸入，但兩者是密不可分、相互配合：只用一種通道不能充分表達(dá)意圖，就需要其它通道信息輔助。有時，使用輔助通道僅為增強(qiáng)表達(dá)力，否則，就必須允許充分地并行和協(xié)作的通道配合關(guān)系。此外，人的感覺和效應(yīng)通道通常具有雙向性特點(diǎn)，如：視覺可看又可注視；手可控制又可觸及；等，新穎人機(jī)交互技術(shù)讓用戶避免生硬、頻繁或耗時的通道切換，從而提高自然性和效率。如：視線跟蹤系統(tǒng)可促成視覺交互雙向性；聽覺通道在利用三維聽覺定位器實(shí)現(xiàn)交互雙向性；等等。
新型人機(jī)交互技術(shù)的核心問題在于如何確保計(jì)算設(shè)備對人的動作和行為識別的有效性并實(shí)現(xiàn)人機(jī)的和諧共處。計(jì)算設(shè)備及其傳感器是透明和被動的，但可以主動感知人類相關(guān)通信通道并輸出人類可理解的結(jié)果。這就需要不同類型和層面技術(shù)的集成，并隨著關(guān)鍵維度或特征發(fā)生變化，包括：輸入模態(tài)的數(shù)目和類型；通信通道的數(shù)目和類型；使用并行模式、串行模式或同時使用并行和串行模式的能力；識別模式的大小和類型；傳感器和通道的集成方法及支持的應(yīng)用種類，等等。依據(jù)充分利用人類感覺和效應(yīng)通道并使得人機(jī)交互更加自然的目標(biāo)，新型人機(jī)交互的關(guān)鍵技術(shù)主要集中在以下幾個方面：
(1). 支持語音交互(Speech-Based HCI)的言語計(jì)算(Speech Computing)：語音是人類一種重要而靈活的通信模態(tài)，言語交互的核心是語音識別，其任務(wù)就是利用語音學(xué)和語言學(xué)知識，先對語音信號進(jìn)行基于信號特征的模式分類(這是語音信號處理的范疇)得到拼音串，再利用語言學(xué)知識對拼音串進(jìn)一步處理，得到一個符合語法和語義的句子。簡單地說，語音識別就是讓計(jì)算機(jī)能聽懂人說話，將人說的話轉(zhuǎn)換成計(jì)算機(jī)文本。
(2). 支持筆跡交互(Pen-Based/Calligraphic HCI)的筆跡計(jì)算(Calligraphic Computing)：筆跡交互是通過計(jì)算機(jī)軟硬件技術(shù)和相關(guān)領(lǐng)域的研究，模擬人類“筆錄紙現(xiàn)”這一日常技能的一種人機(jī)交互方式。在這種用戶界面中，用戶借助鼠標(biāo)、筆跡交互器及觸摸屏等設(shè)備用手自由地書寫或繪制各種文字和圖形，計(jì)算機(jī)通過對這些輸入對象的識別和理解獲得執(zhí)行某種任務(wù)所需要的信息。它充分利用書寫的自然性和墨水豐富的表達(dá)能力，從而拓寬了人機(jī)交互的頻帶，使人們通過筆跡交互自然地使用計(jì)算機(jī)的高性能計(jì)算能力：從計(jì)算機(jī)處理角度看，筆跡交互可以在一個或多個連續(xù)的筆畫中自然地提交計(jì)算任務(wù)所需要的命令和參數(shù)；從人機(jī)交互角度來看，它通過將用戶的交互意圖映射為由壓力、方向、位置和旋轉(zhuǎn)等信息共同構(gòu)成的多維矢量序列[11][2]；從認(rèn)知心理學(xué)角度看，用戶的交互意圖通過幾個效應(yīng)和感知通道提交。與言語交互相比，筆跡交互以視覺形象表達(dá)和傳遞概念，既有抽象、隱喻等特點(diǎn)，還具有形象、直觀等特征，易于理解和記憶，更適于推論和構(gòu)思；與傳統(tǒng)圖形圖像工具相比，它具有自然、簡便，可表達(dá)不完備模糊概念，擁有強(qiáng)大的信息表達(dá)能力，有利于創(chuàng)造性思想的快速表達(dá)、抽象思維的外化和自然交流。
(3). 支持視覺交互(Vision-based HCI)的視覺計(jì)算(Vision Computing)：在人類日常面對面交互中，除使用語音和文字外，還可利用身體各部位的姿態(tài)和動作(即所謂身體語言)來表達(dá)自己的意思。視覺和言語是聯(lián)合表達(dá)、相互補(bǔ)充的通道，諸如臉部表情、注視焦點(diǎn)、肢體動作及其它活動等行為線索能為交流提供相關(guān)上下文信息，這些信息不僅能加強(qiáng)語音的表達(dá)能力，還能起到語音交互所不能起到的作用，并影響交談的內(nèi)容和進(jìn)程，如：頭部動作可能是“否定”或“肯定”的信號，臉部表情可能是“無奈”或“贊許”的表式，注視角度可能可消除“這邊”或“那邊”等語言中指代不明的問題。視覺交互技術(shù)(Vision-based Interaction)的目標(biāo)就是在人機(jī)交互中采用計(jì)算機(jī)視覺作為有效的輸入模態(tài)，探測、定位、跟蹤和識別用戶交互中有價值的行為視覺線索，進(jìn)而預(yù)測和理解用戶交互意圖并做出響應(yīng)。這種技術(shù)可以支持人機(jī)交互中的一系列的功能，如：人臉檢測、定位和識別(確定場景中的人數(shù)、位置和身份等)；頭和臉部的跟蹤(用戶的頭部、臉部的位置和方向)；臉部表情分析(用戶表情狀態(tài)：微笑、大笑、皺眉、說話、困乏等)；視聽語音識別(協(xié)助判斷用戶說話內(nèi)容)；眼睛注視跟蹤(用戶的眼睛朝向)；身體跟蹤(用戶身體的位置，身體的動作等)；手跟蹤(確定用戶手的位置，二維或三維模型、手的結(jié)構(gòu)等)；步態(tài)識別(識別人的走路/跑步的風(fēng)格)；姿勢、手勢和活動識別等，最終實(shí)現(xiàn)人與機(jī)器的“行為交互(Behaviour Interaction)”。
(4). 支持情感交互(Affective-based HCI)的情感計(jì)算(Affective Computing)：眾所周知，人類相互之間的溝通與交流是自然而富有感情的，計(jì)算機(jī)沒有情感能力，就很難指望它具有類似人一樣的智能，也很難期望人機(jī)交互真正實(shí)現(xiàn)和諧與自然。因此，人們在與計(jì)算機(jī)交互的過程中，也期望計(jì)算機(jī)具有情感和自然和諧的交互能力[14]。而情感交互就是要賦予計(jì)算機(jī)類似于人一樣的觀察、理解和生成各種情感特征的能力，它是通過各種傳感器獲取由人的情感所引起的表情及其生理變化信號，利用“情感模型”對這些信號進(jìn)行識別，從而理解人的情感并做出適當(dāng)?shù)捻憫?yīng)。其重點(diǎn)就在于創(chuàng)建一個能感知、識別和理解人類情感的能力，并能針對用戶的情感做出智能、靈敏、友好反應(yīng)的個人計(jì)算系統(tǒng)[14]。擁有情感能力的計(jì)算機(jī)能夠?qū)θ祟惖那楦羞M(jìn)行獲取、分類、識別和響應(yīng)，進(jìn)而幫助使用者獲得高效而又親切的感覺，并有效減輕人們使用電腦的挫敗感，甚至幫助人們便于理解自己和他人的情感世界。情感交互還能幫助我們增加使用設(shè)備的安全性、使經(jīng)驗(yàn)人性化、使計(jì)算機(jī)作為媒介進(jìn)行學(xué)習(xí)的功能達(dá)到最佳化。
(5). 支持可穿戴交互(Wearable HCI)的穿戴計(jì)算(Wearable Computing)：可穿戴計(jì)算機(jī)是一類超微型、可穿戴、人機(jī)“最佳結(jié)合與協(xié)同”的移動信息系統(tǒng)。可穿戴計(jì)算機(jī)在體系結(jié)構(gòu)、功能、形態(tài)、用途及使用方式上與現(xiàn)在流行的筆記本電腦、掌上電腦(HPC)、個人數(shù)字助理(PDA)等移動計(jì)算裝置迥然不同：可穿戴計(jì)算機(jī)不只是將計(jì)算機(jī)微型化和穿戴在身上，它還實(shí)現(xiàn)了人機(jī)的緊密結(jié)合，使人腦得到“直接”和有效的擴(kuò)充與延伸，增強(qiáng)了人的智能。這種交互方式由微型的、附在人體上的計(jì)算機(jī)系統(tǒng)來實(shí)現(xiàn)，該系統(tǒng)總是處在工作、待用和可存取狀態(tài)，使人的感知能力得以增強(qiáng)，并主動感知穿戴者的狀況、環(huán)境和需求，自主地做出適當(dāng)響應(yīng)，從而弱化了“人操作機(jī)器”，而強(qiáng)化了“機(jī)器輔助人”。
上述技術(shù)都是利用人與人及人與世界間口頭或非口頭的交互方式，使用各種模態(tài)來實(shí)現(xiàn)多通道通信，本質(zhì)上都屬于支持感知交互的感知計(jì)算(Sentient Computing)。
(6). 支持虛擬交互(VR HCI)的虛擬現(xiàn)實(shí)(Virtual Reality)：虛擬現(xiàn)實(shí)的基本原理是采用攝像或掃描的手段(而不是傳統(tǒng)的建模手段)來創(chuàng)建虛擬環(huán)境中的事件和對象，生成一個逼真的三維視覺、聽覺、觸覺或嗅覺等感覺世界，讓用戶可以從自己的視點(diǎn)出發(fā)，利用自然的技能和某些設(shè)備對這一生成的虛擬世界客體進(jìn)行瀏覽和交互考察。其特點(diǎn)包括：逼真的感覺(視覺、聽覺、觸覺、嗅覺等)、自然的交互(運(yùn)動、姿勢、語言、身體跟蹤等)、個人的視點(diǎn)(用戶的眼、耳、身所感到的感覺信息)和迅速的響應(yīng)(感覺信息根據(jù)視點(diǎn)變化和用戶輸入及時更新)。這些特點(diǎn)可概括為三大特征：沉浸感(Iimmersion)：是指用戶作為主角存在于虛擬環(huán)境中的真實(shí)程度；交互性(Iinteraction)：指用戶對虛擬環(huán)境內(nèi)的物體的可操作程度和從環(huán)境得到反饋的自然程度(包括實(shí)時性)；想象力(Imagination )：指用戶沉浸在多維信息空間中，依靠自己的感知和認(rèn)知能力全方位地獲取知識，發(fā)揮主觀能動性，尋求解答，形成新的概念。
(7). 支持人腦交互(Brain-Computer Interaction)的腦計(jì)算(Brain Computing)：最理想的人機(jī)交互形式是直接將計(jì)算機(jī)與用戶思想和目的進(jìn)行連接，無需再包括任何類型的物理動作或解釋，實(shí)現(xiàn)“Your wish is my command”的交互模式[15]。雖然在可預(yù)見的未來這種思想不太可能實(shí)現(xiàn)，但對“人腦計(jì)算機(jī)界面(Brain-Computer Interface，BCI)”的初步研究可能是邁向這個方向的一步，它試圖通過測量頭皮或者大腦皮層的電信號來感知用戶相關(guān)的大腦活動，從而獲取命令或控制參數(shù)。人腦交互不是簡單的“思想讀取”或“偷聽”大腦，而是通過監(jiān)聽大腦行為決定一個人的想法和目的，是一種新的大腦輸出通道，一個可能需要訓(xùn)練和掌握技巧的通道。
當(dāng)前，采用第一種方式的圖形用戶界面仍是應(yīng)用的主流，尤其是以超文本標(biāo)記語言(HTML)及超文本傳輸協(xié)議(HTTP)為基礎(chǔ)的網(wǎng)絡(luò)瀏覽器和搜索引擎的桌面網(wǎng)絡(luò)用戶界面最為普遍，包含了適應(yīng)不同帶寬(從高速視頻點(diǎn)播到低速移動電話)、不同尺寸(從手表、掌上電腦到墻壁大小)的各種用戶界面；而采用第二種方式的語音、手寫等易用而方便的界面也正逐步普及，多通道、多媒體的自然、高效、智能化用戶界面正得到快速發(fā)展和應(yīng)用。
?
http://www.sciencenet.cn/m/user_content.aspx?id=332668
總結(jié)
- 上一篇： opengl 五角星画法 源代码
- 下一篇： 邮箱收取后删除服务器邮件设置,邮件为什么