2017人機交互技術概論

　　人機交互技術(Human-Computer Interaction，HCI)致力于人與計算機的協(xié)調，旨在消融這兩個智能系統(tǒng)間的通訊和對話界線，使得人與機器的信息交流便捷而通暢。下面是YJBYS小編整理的人機交互技術概論，希望對你有幫助!

　　計算機系統(tǒng)的人機交互是以用戶界面(User Interface，UI)為中介的人與計算機間信息傳遞和轉換過程：人向計算機傳達交互意圖 — 用戶通過其側重于多媒體信息接受的感覺通道(包括：視覺、聽覺、觸覺和嗅覺等)對用戶界面中諸如語音、圖形和圖像等多媒體信息的感知，先利用邏輯思維和形象思維能力產生對交互意圖的心理描述，再按用戶界面對交互的輸入要求使用其側重于過程控制與信息輸入的效應通道為(包括：手、嘴、眼、頭、足及身體等)來實施交互行;計算機向人傳遞計算和反饋結果 — 它利用其感知機制從精確的用戶界面框架結構中獲取用戶的交互信息，并完成獲取交互行為信息的感知處理、判斷用戶交互意圖的認知處理和回饋交互結果的響應處理等一系列計算過程，最終運用其輸出機制以用戶界面所定義的特定形式輸出其計算結果。

　　從信息傳遞的角度來看，用戶界面的任務是為人類的感覺和效應通道與計算機的感知和輸出機制提供通信接口，計算機系統(tǒng)的人機交互包含互不可分的兩類感知過程：一類是人對計算機所提供信息的感知過程。在這個過程中，計算機利用其計算能力和各種媒體處理技術將計算機可供交互的輸入要求或交互處理結果的反饋以適當形式在用戶界面上呈現(xiàn)給用戶;而人類使用感覺通道(如：視覺和聽覺)接受和理解用戶界面所提供的各種信息。這種感知過程的關鍵是用戶界面所呈現(xiàn)信息的形式和豐富程度，并部分與用戶的心理因素及其認知能力相關，這決定了人機交互中計算機與人間通信的輸出帶寬。另一類是計算機對人及其所處環(huán)境的感知過程。在這個過程中，人類按照計算機所要求的輸入事件使用效應通道(如：語音和動作等)在用戶界面中輸入交互操作和指令;計算機則通過對來自用戶界面的用戶交互媒介信號的處理和分析來獲取和識別用戶交互意圖，并以適當形式在用戶界面上呈現(xiàn)給用戶。這種感知過程不僅取決于計算機感知和識別人和物及其檢測用戶情緒變化或用戶個性等信息處理能力，而且取決于用戶有意識地將交互意圖“分解”和“組織”為計算機所特有輸入事件過程中所付出的“認知努力”，這決定了人機交互中計算機與人間通信的輸入帶寬。此外，如果計算機是可以感知外部世界的機器，還存在兩種特殊的感知：一種是計算機感知并傳遞人及其環(huán)境信息，人借助于計算機傳遞感知信息，它基本上不屬于人機交互的感知，但可以作為人機交互感知的基礎。例如：在視頻會議、遠程教學和遠程醫(yī)療等系統(tǒng)中，計算機并不一定需要識別人的交互行為和信息，而只成為兩人或多人之間的相互交流的媒介;另一種是人作為虛擬世界中的成員而從計算機中獲得的感知，這種感知是人機交互的感知，而且人和計算機的感知地位是等同的，其感知信息的形態(tài)不僅內容豐富，而且可以是現(xiàn)實世界里所看不到的(例如：虛擬的場景、文本和語音等)。

　　從信息轉換的角度來看，用戶界面的作用是實現(xiàn)“用戶認知空間”與“計算機信息處理空間”間信息的雙向映射。由于人類的交互意圖通常是一個涉及人的認知和行為因素的高維復雜信息，且這些信息是非精確的或模糊的;而計算機遵循線性信息表示和存儲模式來表示和處理交互信息，所能捕獲和處理的必須是形式化的精確信息，且其感知和處理結果不一定能夠依從人的感知規(guī)則。兩者間的差異決定了其雙向映射實現(xiàn)的技術復雜性和方式多樣性，因此，人機交互技術的任務就是要選擇合適的映射方式來解決其技術實現(xiàn)的復雜性與用戶交互的易用性問題。技術實現(xiàn)的復雜性主要體現(xiàn)在如何提升計算機感知和識別用戶交互行為和狀態(tài)并進而理解其交互意圖;用戶交互的易用性則表現(xiàn)為如何充分利用和協(xié)調人類的多個感覺和效應通道并進而降低其完成交互行為所需付出的“認知努力”。顯然，一個良好的映射方式將會極大地提高人機交互的自然性和高效性。在人機交互技術發(fā)展歷程中，人機交互的界面形式經(jīng)歷了手工作業(yè)、命令接口(作業(yè)控制語言及交互命令語言批處理)、(文本)菜單到多通道、多媒體人機交互和虛擬現(xiàn)實系統(tǒng);人機交互的信息載體經(jīng)歷了以文本和符號為主字符用戶界面(Character UI)、以二維圖形為主的圖形用戶界面(Graphic UI)、兼顧視聽感知的多媒體用戶界面(Media UI)及綜合運用多種感覺(包括觸覺等)的虛擬現(xiàn)實系統(tǒng)(VR：Virtual Reality);人機交互的信息維度從一維(主要指文本流)、二維(主要是利用色彩、形狀、紋理等維度信息的二維圖形技術)、三維(主要是三維圖形技術，但圖形顯示仍以二維平面為主)向多維空間(利用人的多個感覺通道和效應通道的信息)發(fā)展，計算機與用戶間的通信帶寬不斷提高。就其技術機理本質而言，這種發(fā)展蘊涵著對人機交互中兩個主體不同側重點的映射方式演化：

　　一種是以機器為中心的受限方式。這種方式強調將計算機的信息處理需求有效地呈現(xiàn)給用戶，為用戶提供一個形式化、半雙工、串行的低維度信息展現(xiàn)和操作界面，主要表現(xiàn)在兩個方面：一是人的交互需基于離散事件，用戶界面等同于一個解釋器，它接受事件輸入并反饋計算機處理的結果，在此過程中，多維信息矢量被壓縮為一個低維矢量，形成一個串行的輸入流;二是人的交互必須基于精確交互：用戶在交互中需要把意圖按模型要求“分解”并“組織”為計算機所特有的輸入事件，以完全說明用戶交互目的和意度。用戶必須面對機器操作定義的限制并付出較多的認知努力來使用計算機。從用戶角度來看，這種方式支持的是受限人機交互(Formal HCI)，用戶需飽受命令記憶和新功能學習之苦。例如，用戶通過使用鼠標、鍵盤和顯示器來與傳統(tǒng)的桌面計算機進行交互時，與計算機及其上運行軟件間的交互存在著“受限的”交互次序：完成特定序列的操作來創(chuàng)建Word文檔、輸入文本并將其打印，等等。這種方式的實現(xiàn)關鍵在于計算機及其軟件處理能力展示的有效性和合理性及用戶操作的簡便性和易記憶程度，具體表現(xiàn)為兩個方面的問題：一是如何充分而有效地展示計算機及其軟件的處理能力，即：如何定義操作及其布局，如：彈出菜單、下拉菜單、分層菜單等;二是如何讓用戶方便地使用和記憶，即：用戶采用何種方式進行操作，如：命令語言、文字菜單和圖標點擊，等等。顯然這種方式限制了人機間的通信帶寬，使得既不能有效地利用當今計算機的強大計算和處理能力，也給用戶使用電腦有諸多不便。

　　傳統(tǒng)用戶界面都是采用了這種映射方式。它主要包括三大類：

　　(1). 命令語言交互(Command HCI)：這種人機交互始于聯(lián)機終端的出現(xiàn)，用戶與計算機間借助一種雙方都能理解的語言進行對話。根據(jù)語言特點可分為：① 形式語言。這是一種人工語言，特點是簡潔、嚴密、高效，如：應用于數(shù)學、化學、音樂、舞蹈等各領域的特殊語言，計算機語言則不僅是操縱計算機的語言，而且是處理語言的語言;② 自然語言。特點是具有多義性、微妙、豐富。③ 類自然語言。這是計算機語言的一種特例，命令語言的典型形式是動詞后面接一個名詞賓語，即：“動詞+賓語”結構，二者都可帶有限定詞或量詞。命令語言可以具有非常簡單的形式，也可有非常復雜的語法。它要求驚人的記憶和大量的訓練，且容易出錯，但具有靈活和高效的特點，適合于專業(yè)人員使用。

　　(2). 圖形交互(Graphic HCI)：圖形用戶界面(Graphics UI，GUI)是當前人機交互的主流，成熟的商品化系統(tǒng)有Apple的Macintosh、IBM的PM(Presentation Manager)、Microsoft的Windows和運行于Unix環(huán)境的X-Window、OpenLook和OSF/Motif等。這種界面包含三個重要思想：① 桌面隱喻(Desktop Metaphor)，即在用戶界面中用人們所熟悉的桌面上的物品來清楚地表現(xiàn)計算機可處理的能力;② WIMP(Windows、Icons、Menu and Pointer)是組成圖形用戶界面的基本單元，以可重疊多窗口管理的窗口管理系統(tǒng)為核心，使用鍵盤和鼠標器作為輸入設備，并廣泛采用事件驅動(Event-Driven)技術;③ 直接操作及所見即所得(What You See is What You Get)的界面，交互過程極大地依賴用戶視覺和手動控制的參與，具有強烈的直接操作特點。菜單(Menu)本身與圖形人機交互并沒有必然聯(lián)系，在圖形用戶界面出現(xiàn)前，字符型菜單已經(jīng)在用戶界面中得到了廣泛應用。但圖形人機交互中菜單的表現(xiàn)形式比字符人機交互更為豐富，在菜單項中可以顯示不同的字體、圖標甚至產生三維效果，同時，還可以諸如層疊式(Hierarchy)、彈出式(PopUp)、下拉式(PullDown)和滾動式(scrolling)及其組合等多種形式出現(xiàn)，菜單式人機交互與命令語言人機交互相比，用戶只需確認而不需回憶系統(tǒng)命令，從而大大降低記憶負荷，其缺點是靈活性和效率較差，可能不適合于專家用戶。圖形人機交互具有一定的文化和語言獨立性，并可提高視覺目標搜索的效率;其主要缺點是需要占用較多的屏幕空間，并且難以表達和支持非空間性的抽象信息的交互。

　　(3). 直接操縱(Direct-manipulation HCI)：直接操縱更多地借助物理的、空間的或形象的表示，而不是單純的文字或數(shù)字表示。前者已為心理學證明有利于“問題解決”和“學習”。視覺的、形象的(藝術的、右腦的、整體的、直覺的)人機交互對于邏輯的、直接性的、面向文本的、左腦的、強迫性的、推理的人機交互是一個挑戰(zhàn)。直接操縱人機交互的操縱模式采用“賓語+動詞”結構，Windows 95設計者稱之為“以文檔為中心”，用戶最終關心的是其欲控制和操作的對象，即：只關心任務語義，而不用過多為計算機語義和句法而分心。對于大量物理、幾何空間及形象的任務，直接操縱表現(xiàn)出巨大的優(yōu)越性，但它在抽象而復雜的應用中具有局限性。對于用戶界面設計者來說，圖形的設計比較因難，需大量測試和實驗;而復雜和抽象語義的表示比較困難，不容易實現(xiàn)交互與應用程序的獨立設計。

　　另一種是以用戶為中心的非受限方式。這種方式強調將對人類自然能力(尤其交流、運動和感知能力)與計算設備及其感知和推理結合起來，通過采用多種模態(tài)(Multimodal)感知人類的自然行為，并以易理解的多媒體(Multimedia)形式實現(xiàn)多通道(Multichannel)通信，建立“以人為中心”的感知用戶界面(Perceptive User Interface，PUI)[10]。這種界面旨在充分使用人類諸如語音、手勢、視線及頭部跟蹤等多個感覺和效應通道，并使之可選擇地并行和協(xié)作來實現(xiàn)多通道、非精確、高帶寬、高效及不限制地點的人機通信[11]，以拓展人機間信息通信的“帶寬”，減少人類的交互認知努力，提高人機交互的自然性和高效性。從用戶角度來看，這種方式支持的是非受限人機交互(Informal HCI)[12][13]，其主要出發(fā)點是借助于媒體感知技術獲取并理解用戶動作、行為、習慣、偏好及其它相關交互信息，來緩解以至于消除計算機和用戶對交互意圖的認識和描述存在的精確信息(人機系統(tǒng)的內部表示)和非精確信息(人機系統(tǒng)的外部表示)間的“鴻溝”;其實現(xiàn)的關鍵在于計算設備對人的動作和行為識別的有效性，因此，支持這種交互方式的用戶界面又稱為基于識別的用戶界面(Recognition-based User Interface)。

　　這種方式的用戶界面則代表著人機交互技術的發(fā)展方向，體現(xiàn)了對人的因素的重視，標志著人機交互技術從“人適應計算機”向“計算機不斷地適應人”方向發(fā)展，就是要給用戶“充分的自由”，使得人類不再需要按機器的要求扭曲自己最自然的思維和行為方式，而可以像在電腦出現(xiàn)前人類那樣自由地工作和生活。傳統(tǒng)的界面事實上成為隔離物質世界和信息世界之間的屏障，虛擬現(xiàn)實、網(wǎng)絡計算、智能代理和軟件機器人、計算機支持的協(xié)同工作等技術的應用，將實現(xiàn)“虛物實化”和“實物虛化”，消除物理對象和抽象對象、輸入裝置和輸出裝置在交互空間中的差別，并為人提供多感覺通道的自然臨境體驗;語音及文字識別和自然語言理解等言語計算，手寫體和手繪草圖識別等筆式計算及手勢和表情識別、視覺-目標拾取認知技術等視覺計算等技術的不斷發(fā)展和完善，將不斷提高人機交互的智能化程度，使機器能夠根據(jù)上下文及使用者的特點主動識別人的身體姿態(tài)、手勢、語音和表情等各種自然行為，進而判斷出人的意圖。同時，機器的功能齊全、高效，既適于人的操作使用，也能滿足人的審美和認知需要，機器的操控和使用將更加符合人的習慣，并具備聽、看和說的能力，人可以語言、文字、圖像、手勢、表情等自然方式與機器打交道，恰如與他人交流一樣自然。因此，用戶界面是能模擬多種智能和真實環(huán)境的虛擬空間，人們能夠在任何時間、任何地點與任何需要的環(huán)境(包括人)以最自然和“身臨其境”的方式來完成所需要完成的工作;實現(xiàn)“無形而又無處不在，有形而又自然和諧”的普適交互(Ubiquitous/Pervasive HCI)模式，這種方式的特性體現(xiàn)在以下三個方面：

　　以用戶為中心(Human-Centered)：以用戶對人機交互的需求變化為出發(fā)點，使人機交互的外在形式和內部機制能符合不同用戶的需要。人類的交互行為是自然的，用戶將可利用語音、手勢、筆劃等自然方式，不受地點限制地與計算機進行交互，既能滿足用戶個性化的需要，又使得用戶不脫離自然社會關系(包括社會經(jīng)濟環(huán)境和人類溝通交流)。

　　多模態(tài)(Multimodal)交互：充分利用人類多種感覺和效應通道的互補特性，并使之可選擇地、充分地并行和協(xié)作來捕捉用戶的交互意圖，從而增進用戶交互的自然性。模態(tài)(modal)和通道(Channel)間的聯(lián)系和區(qū)別主要在于：人類通過視覺、聽覺、觸覺、味覺和嗅覺這五種感官的信息發(fā)送和接收來實現(xiàn)與世界交互的，一種模態(tài)對應一種官能;而通道是指信息傳遞的過程或途徑。在人機交互應用中，通道描述一種交互技術，這種技術可基于某種特殊設備，如：鍵盤或鼠標，也可基于某種特殊行為，如口語、書面語或手勢。如：命令語言用戶界面中的每個命令都會使用視覺和觸覺等多種模態(tài);而圖形用戶交互既使用了視覺和觸覺等多種模態(tài)，又用到了諸如鍵盤、鼠標和聲音及圖像等多種通道。多模態(tài)人機交互是使用同等方式將兩種或兩種以上輸入模態(tài)相結合的技術，其重點是將基于諸如語音識別、筆形手勢識別、計算機視覺等傳感識別的輸入技術集成到用戶界面中。也就是說，多模態(tài)人機交互使用多種模態(tài)來實現(xiàn)多種通道通信。使用多種模態(tài)生成單獨的通道，如：利用視覺和聲音進行三維用戶定位，屬多傳感器融合(Multisensor Fusion);類似地，使用一種模態(tài)生成多種通道，如：左手鼠標指示，右手鼠標選擇，則屬于多通道或多設備(Multichannel or multi-device)人機交互。

　　多媒體感知((Multimdia Perceptive)：機器利用其感知及推理能力對來自用戶感覺和效應通道的交互信號進行識別、集成和協(xié)調，并獲取用戶動作和行為習慣、偏好及其它相關信息，并以人類易理解的多媒體信息方式為用戶提供輸出信息，從而提供不受時空限制而又效能最大化的個性化計算服務。這種人機交互方式的雙向信息流動是以多媒體感知和處理為核心的：用戶通過其感覺和效應通道傳遞的交互意圖在計算機內表示為文本、語音、圖形和圖像等多媒體信息，人到機(Human to Compute)信息流動是多媒體信息的獲取及識別過程;計算機經(jīng)過處理的信息需要以文本、語音、圖形和圖像等用戶理解概念所需的多媒體信息形式展現(xiàn)出來，機到人(Computer to Human)的信息展流動是多媒體信息的合成和呈現(xiàn)過程。

　　自Weiser博士提出普適計算(Ubiquitous/Pervasive Computing)以來，人類開始向未來計算探索的進程，也催生了以網(wǎng)格計算(Grid Computing)和云計算(Cloud Computing)為代表的計算分布化(Distribution)、以嵌入式計算(Embed Computing)為代表的計算透明化(Transparent)、以虛擬現(xiàn)實(Virtual Reality)和可穿戴計算機(Wearable Computer)為代表的計算機系統(tǒng)擬人化(Personate)和有形化(Tangible)、以手持電腦(PDA)和智能手機(Smart Phone)為代表的計算機系統(tǒng)微型化(Micromation)和隨身化(Mobile)及以智能空間(Smart Space)和環(huán)境智能(Ambient Intelligence)為代表的計算機系統(tǒng)嵌入化(Embeded)和無形化(Invisible)等眾多新型計算技術，推動著“機箱時代”邁向一個嶄新時代：計算設備將從人類視野中“消失”，那些裝在機箱中的聲音、視頻和通信等將“游蕩”于我們周圍環(huán)境中而變得“無處不在”。這個時代具有兩個重要特征：一方面，小型化嵌入式計算設備將使得人類生活的自然環(huán)境“具有”計算能力，它能自主感知人的存在，并在人類需要時出現(xiàn)和對其行為作出反應;另一方面，計算將日常生活化，能幫助人類安排、構造和控制日常生活，人類將能享受的計算服務，人類能以最自然的方式、在任何時間、任何地點、通過任何設備從環(huán)境中“無意識地”獲取“有感覺”的計算資源和計算服務。概括地講，在這個時代，人類生活將片刻離不開機器，人與機器間的交流更加自然和沒有阻礙，人和計算間將是非侵入且不可見的交互，現(xiàn)實世界就成為用戶界面，用戶只需運用其日常技能來操作和使用計算設備，而不再關注交互媒體形式，也無需特定的用戶界面，即：Idea Interface is no interface。這既對人機交互技術提出了更高的要求和新的挑戰(zhàn)，也為人機交互技術的發(fā)展注入了新的動力，因此，自然、高效、無障礙的新型人機交互技術成為該領域發(fā)展方向和研究熱點。

　　新型人機交互技術的最主要特性就在于用戶交互的“非受限性(Informaity)”：機器給人以最小的限制并對人的各種動作做出反應，人是主動參與者，可以最大的自由度操作機器，如日常生活中人與人間的交流一樣自然、高效和無障礙。這種人機交互技術強調兩個關鍵特征：一是交互隱含性。理想的人機交互應當使用戶把所有注意力集中于完成任務而無需為交互操作分心，且應允許使用模糊表達手段來避免不必要的認識負荷，有利于提高交互活動的自然性和高效性。傳統(tǒng)用戶界面都是等待用戶輸入命令才開始采取行動，而新穎人機交互技術的用戶界面則應是積極地感覺和理解世界，并讓用戶在各個層次上根據(jù)目標和已有知識采取行動，并以充分性代替精確性。理想地，這是一個使用“被動”或“非侵入性”感知的“主動”交互方式，無需用戶顯式說明交互成分，僅在交互過程中隱含地表現(xiàn)而允許非精確的交互，如：用戶視線自然地落在所感興趣的對象上;用戶的手自然地握住操縱的目標;等等。二是交互多模態(tài)性和雙向性。允許使用多種感知模態(tài)(如：視覺、聽覺、觸覺等)或多個感覺和效應通道，突破了模態(tài)和鼠標鍵盤顯示器通信通道的限制，使用連續(xù)形式和并行形式在內的多種模態(tài)。盡管感覺通道側重于多媒體信息的接受，效應通道側重于交互控制與信息輸入，但兩者是密不可分、相互配合：只用一種通道不能充分表達意圖，就需要其它通道信息輔助。有時，使用輔助通道僅為增強表達力，否則，就必須允許充分地并行和協(xié)作的通道配合關系。此外，人的感覺和效應通道通常具有雙向性特點，如：視覺可看又可注視;手可控制又可觸及;等，新穎人機交互技術讓用戶避免生硬、頻繁或耗時的通道切換，從而提高自然性和效率。如：視線跟蹤系統(tǒng)可促成視覺交互雙向性;聽覺通道在利用三維聽覺定位器實現(xiàn)交互雙向性;等等。

　　新型人機交互技術的核心問題在于如何確保計算設備對人的動作和行為識別的有效性并實現(xiàn)人機的和諧共處。計算設備及其傳感器是透明和被動的，但可以主動感知人類相關通信通道并輸出人類可理解的結果。這就需要不同類型和層面技術的集成，并隨著關鍵維度或特征發(fā)生變化，包括：輸入模態(tài)的數(shù)目和類型;通信通道的數(shù)目和類型;使用并行模式、串行模式或同時使用并行和串行模式的能力;識別模式的大小和類型;傳感器和通道的集成方法及支持的應用種類，等等。依據(jù)充分利用人類感覺和效應通道并使得人機交互更加自然的目標，新型人機交互的關鍵技術主要集中在以下幾個方面：

　　(1). 支持語音交互(Speech-Based HCI)的言語計算(Speech Computing)：語音是人類一種重要而靈活的通信模態(tài)，言語交互的核心是語音識別，其任務就是利用語音學和語言學知識，先對語音信號進行基于信號特征的模式分類(這是語音信號處理的范疇)得到拼音串，再利用語言學知識對拼音串進一步處理，得到一個符合語法和語義的句子。簡單地說，語音識別就是讓計算機能聽懂人說話，將人說的話轉換成計算機文本。

　　(2). 支持筆跡交互(Pen-Based/Calligraphic HCI)的筆跡計算(Calligraphic Computing)：筆跡交互是通過計算機軟硬件技術和相關領域的研究，模擬人類“筆錄紙現(xiàn)”這一日常技能的一種人機交互方式。在這種用戶界面中，用戶借助鼠標、筆跡交互器及觸摸屏等設備用手自由地書寫或繪制各種文字和圖形，計算機通過對這些輸入對象的識別和理解獲得執(zhí)行某種任務所需要的信息。它充分利用書寫的自然性和墨水豐富的表達能力，從而拓寬了人機交互的頻帶，使人們通過筆跡交互自然地使用計算機的高性能計算能力：從計算機處理角度看，筆跡交互可以在一個或多個連續(xù)的筆畫中自然地提交計算任務所需要的命令和參數(shù);從人機交互角度來看，它通過將用戶的交互意圖映射為由壓力、方向、位置和旋轉等信息共同構成的多維矢量序列[11][2];從認知心理學角度看，用戶的交互意圖通過幾個效應和感知通道提交。與言語交互相比，筆跡交互以視覺形象表達和傳遞概念，既有抽象、隱喻等特點，還具有形象、直觀等特征，易于理解和記憶，更適于推論和構思;與傳統(tǒng)圖形圖像工具相比，它具有自然、簡便，可表達不完備模糊概念，擁有強大的信息表達能力，有利于創(chuàng)造性思想的快速表達、抽象思維的外化和自然交流。

　　(3). 支持視覺交互(Vision-based HCI)的視覺計算(Vision Computing)：在人類日常面對面交互中，除使用語音和文字外，還可利用身體各部位的姿態(tài)和動作(即所謂身體語言)來表達自己的意思。視覺和言語是聯(lián)合表達、相互補充的通道，諸如臉部表情、注視焦點、肢體動作及其它活動等行為線索能為交流提供相關上下文信息，這些信息不僅能加強語音的表達能力，還能起到語音交互所不能起到的作用，并影響交談的內容和進程，如：頭部動作可能是“否定”或“肯定”的信號，臉部表情可能是“無奈”或“贊許”的表式，注視角度可能可消除“這邊”或“那邊”等語言中指代不明的問題。視覺交互技術(Vision-based Interaction)的目標就是在人機交互中采用計算機視覺作為有效的輸入模態(tài)，探測、定位、跟蹤和識別用戶交互中有價值的行為視覺線索，進而預測和理解用戶交互意圖并做出響應。這種技術可以支持人機交互中的一系列的功能，如：人臉檢測、定位和識別(確定場景中的人數(shù)、位置和身份等);頭和臉部的跟蹤(用戶的頭部、臉部的位置和方向);臉部表情分析(用戶表情狀態(tài)：微笑、大笑、皺眉、說話、困乏等);視聽語音識別(協(xié)助判斷用戶說話內容);眼睛注視跟蹤(用戶的眼睛朝向);身體跟蹤(用戶身體的位置，身體的動作等);手跟蹤(確定用戶手的位置，二維或三維模型、手的結構等);步態(tài)識別(識別人的走路/跑步的風格);姿勢、手勢和活動識別等，最終實現(xiàn)人與機器的“行為交互(Behaviour Interaction)”。

　　(4). 支持情感交互(Affective-based HCI)的情感計算(Affective Computing)：眾所周知，人類相互之間的溝通與交流是自然而富有感情的，計算機沒有情感能力，就很難指望它具有類似人一樣的智能，也很難期望人機交互真正實現(xiàn)和諧與自然。因此，人們在與計算機交互的過程中，也期望計算機具有情感和自然和諧的交互能力[14]。而情感交互就是要賦予計算機類似于人一樣的觀察、理解和生成各種情感特征的能力，它是通過各種傳感器獲取由人的情感所引起的表情及其生理變化信號，利用“情感模型”對這些信號進行識別，從而理解人的情感并做出適當?shù)捻憫�。其重點就在于創(chuàng)建一個能感知、識別和理解人類情感的能力，并能針對用戶的情感做出智能、靈敏、友好反應的個人計算系統(tǒng)[14]。擁有情感能力的計算機能夠對人類的情感進行獲取、分類、識別和響應，進而幫助使用者獲得高效而又親切的感覺，并有效減輕人們使用電腦的挫敗感，甚至幫助人們便于理解自己和他人的情感世界。情感交互還能幫助我們增加使用設備的安全性、使經(jīng)驗人性化、使計算機作為媒介進行學習的功能達到最佳化。

　　(5). 支持可穿戴交互(Wearable HCI)的穿戴計算(Wearable Computing)：可穿戴計算機是一類超微型、可穿戴、人機“最佳結合與協(xié)同”的移動信息系統(tǒng)�？纱┐饔嬎銠C在體系結構、功能、形態(tài)、用途及使用方式上與現(xiàn)在流行的筆記本電腦、掌上電腦(HPC)、個人數(shù)字助理(PDA)等移動計算裝置迥然不同：可穿戴計算機不只是將計算機微型化和穿戴在身上，它還實現(xiàn)了人機的緊密結合，使人腦得到“直接”和有效的擴充與延伸，增強了人的智能。這種交互方式由微型的、附在人體上的計算機系統(tǒng)來實現(xiàn)，該系統(tǒng)總是處在工作、待用和可存取狀態(tài)，使人的感知能力得以增強，并主動感知穿戴者的狀況、環(huán)境和需求，自主地做出適當響應，從而弱化了“人操作機器”，而強化了“機器輔助人”。

　　上述技術都是利用人與人及人與世界間口頭或非口頭的交互方式，使用各種模態(tài)來實現(xiàn)多通道通信，本質上都屬于支持感知交互的感知計算(Sentient Computing)。

　　(6). 支持虛擬交互(VR HCI)的虛擬現(xiàn)實(Virtual Reality)：虛擬現(xiàn)實的基本原理是采用攝像或掃描的手段(而不是傳統(tǒng)的建模手段)來創(chuàng)建虛擬環(huán)境中的事件和對象，生成一個逼真的三維視覺、聽覺、觸覺或嗅覺等感覺世界，讓用戶可以從自己的視點出發(fā)，利用自然的技能和某些設備對這一生成的虛擬世界客體進行瀏覽和交互考察。其特點包括：逼真的感覺(視覺、聽覺、觸覺、嗅覺等)、自然的交互(運動、姿勢、語言、身體跟蹤等)、個人的視點(用戶的眼、耳、身所感到的感覺信息)和迅速的響應(感覺信息根據(jù)視點變化和用戶輸入及時更新)。這些特點可概括為三大特征：沉浸感(Iimmersion)：是指用戶作為主角存在于虛擬環(huán)境中的真實程度;交互性(Iinteraction)：指用戶對虛擬環(huán)境內的物體的可操作程度和從環(huán)境得到反饋的自然程度(包括實時性);想象力(Imagination )：指用戶沉浸在多維信息空間中，依靠自己的感知和認知能力全方位地獲取知識，發(fā)揮主觀能動性，尋求解答，形成新的概念。

　　(7). 支持人腦交互(Brain-Computer Interaction)的腦計算(Brain Computing)：最理想的人機交互形式是直接將計算機與用戶思想和目的進行連接，無需再包括任何類型的物理動作或解釋，實現(xiàn)“Your wish is my command”的交互模式[15]。雖然在可預見的未來這種思想不太可能實現(xiàn)，但對“人腦計算機界面(Brain-Computer Interface，BCI)”的初步研究可能是邁向這個方向的一步，它試圖通過測量頭皮或者大腦皮層的電信號來感知用戶相關的大腦活動，從而獲取命令或控制參數(shù)。人腦交互不是簡單的“思想讀取”或“偷聽”大腦，而是通過監(jiān)聽大腦行為決定一個人的想法和目的，是一種新的大腦輸出通道，一個可能需要訓練和掌握技巧的通道。

　　當前，采用第一種方式的圖形用戶界面仍是應用的主流，尤其是以超文本標記語言(HTML)及超文本傳輸協(xié)議(HTTP)為基礎的網(wǎng)絡瀏覽器和搜索引擎的桌面網(wǎng)絡用戶界面最為普遍，包含了適應不同帶寬(從高速視頻點播到低速移動電話)、不同尺寸(從手表、掌上電腦到墻壁大小)的各種用戶界面;而采用第二種方式的語音、手寫等易用而方便的界面也正逐步普及，多通道、多媒體的自然、高效、智能化用戶界面正得到快速發(fā)展和應用。

【人機交互技術概論】相關文章：

專升本藝術概論復習筆記06-24

專升本藝術概論復習總結08-20

專升本藝術概論的復習筆記07-22

電子商務概論試題201608-12

廣告學概論復習寶典08-16

電子商務概論試題及答案08-14

成考專升本藝術概論的復習筆記06-24

專升本藝術概論的復習知識點07-22

成人考專升本藝術概論的復習筆記07-22