2017人机交互技术概论
新型人机交互技术的核心问题在于如何确保计算设备对人的动作和行为识别的有效性并实现人机的和谐共处。计算设备及其传感器是透明和被动的，但可以主动感知人类相关通信通道并输出人类可理解的结果。这就需要不同类型和层面技术的集成，并随着关键维度或特征发生变化，包括：输入模态的数目和类型;通信通道的数目和类型;使用并行模式、串行模式或同时使用并行和串行模式的能力;识别模式的大小和类型;传感器和通道的集成方法及支持的应用种类，等等。依据充分利用人类感觉和效应通道并使得人机交互更加自然的目标，新型人机交互的关键技术主要集中在以下几个方面：
(1). 支持语音交互(Speech-Based HCI)的言语计算(Speech Computing)：语音是人类一种重要而灵活的通信模态，言语交互的核心是语音识别，其任务就是利用语音学和语言学知识，先对语音信号进行基于信号特征的模式分类(这是语音信号处理的范畴)得到拼音串，再利用语言学知识对拼音串进一步处理，得到一个符合语法和语义的句子。简单地说，语音识别就是让计算机能听懂人说话，将人说的话转换成计算机文本。
(2). 支持笔迹交互(Pen-Based/Calligraphic HCI)的笔迹计算(Calligraphic Computing)：笔迹交互是通过计算机软硬件技术和相关领域的研究，模拟人类“笔录纸现”这一日常技能的一种人机交互方式。在这种用户界面中，用户借助鼠标、笔迹交互器及触摸屏等设备用手自由地书写或绘制各种文字和图形，计算机通过对这些输入对象的识别和理解获得执行某种任务所需要的信息。它充分利用书写的自然性和墨水丰富的表达能力，从而拓宽了人机交互的频带，使人们通过笔迹交互自然地使用计算机的高性能计算能力：从计算机处理角度看，笔迹交互可以在一个或多个连续的笔画中自然地提交计算任务所需要的命令和参数;从人机交互角度来看，它通过将用户的交互意图映射为由压力、方向、位置和旋转等信息共同构成的多维矢量序列[11][2];从认知心理学角度看，用户的交互意图通过几个效应和感知通道提交。与言语交互相比，笔迹交互以视觉形象表达和传递概念，既有抽象、隐喻等特点，还具有形象、直观等特征，易于理解和记忆，更适于推论和构思;与传统图形图像工具相比，它具有自然、简便，可表达不完备模糊概念，拥有强大的信息表达能力，有利于创造性思想的快速表达、抽象思维的外化和自然交流。
(3). 支持视觉交互(Vision-based HCI)的视觉计算(Vision Computing)：在人类日常面对面交互中，除使用语音和文字外，还可利用身体各部位的姿态和动作(即所谓身体语言)来表达自己的意思。视觉和言语是联合表达、相互补充的通道，诸如脸部表情、注视焦点、肢体动作及其它活动等行为线索能为交流提供相关上下文信息，这些信息不仅能加强语音的表达能力，还能起到语音交互所不能起到的作用，并影响交谈的内容和进程，如：头部动作可能是“否定”或“肯定”的信号，脸部表情可能是“无奈”或“赞许”的表式，注视角度可能可消除“这边”或“那边”等语言中指代不明的问题。视觉交互技术(Vision-based Interaction)的目标就是在人机交互中采用计算机视觉作为有效的输入模态，探测、定位、跟踪和识别用户交互中有价值的行为视觉线索，进而预测和理解用户交互意图并做出响应。这种技术可以支持人机交互中的一系列的功能，如：人脸检测、定位和识别(确定场景中的人数、位置和身份等);头和脸部的跟踪(用户的头部、脸部的位置和方向);脸部表情分析(用户表情状态：微笑、大笑、皱眉、说话、困乏等);视听语音识别(协助判断用户说话内容);眼睛注视跟踪(用户的眼睛朝向);身体跟踪(用户身体的位置，身体的动作等);手跟踪(确定用户手的位置，二维或三维模型、手的结构等);步态识别(识别人的走路/跑步的风格);姿势、手势和活动识别等，最终实现人与机器的“行为交互(Behaviour Interaction)”。
(4). 支持情感交互(Affective-based HCI)的情感计算(Affective Computing)：众所周知，人类相互之间的沟通与交流是自然而富有感情的，计算机没有情感能力，就很难指望它具有类似人一样的智能，也很难期望人机交互真正实现和谐与自然。因此，人们在与计算机交互的过程中，也期望计算机具有情感和自然和谐的交互能力[14]。而情感交互就是要赋予计算机类似于人一样的观察、理解和生成各种情感特征的能力，它是通过各种传感器获取由人的情感所引起的表情及其生理变化信号，利用“情感模型”对这些信号进行识别，从而理解人的情感并做出适当的响应。其重点就在于创建一个能感知、识别和理解人类情感的能力，并能针对用户的情感做出智能、灵敏、友好反应的个人计算系统[14]。拥有情感能力的计算机能够对人类的情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们便于理解自己和他人的情感世界。情感交互还能帮助我们增加使用设备的安全性、使经验人性化、使计算机作为媒介进行学习的功能达到最佳化。
(5). 支持可穿戴交互(Wearable HCI)的穿戴计算(Wearable Computing)：可穿戴计算机是一类超微型、可穿戴、人机“最佳结合与协同”的移动信息系统。可穿戴计算机在体系结构、功能、形态、用途及使用方式上与现在流行的笔记本电脑、掌上电脑(HPC)、个人数字助理(PDA)等移动计算装置迥然不同：可穿戴计算机不只是将计算机微型化和穿戴在身上，它还实现了人机的紧密结合，使人脑得到“直接”和有效的扩充与延伸，增强了人的智能。这种交互方式由微型的、附在人体上的计算机系统来实现，该系统总是处在工作、待用和可存取状态，使人的感知能力得以增强，并主动感知穿戴者的状况、环境和需求，自主地做出适当响应，从而弱化了“人操作机器”，而强化了“机器辅助人”。
上述技术都是利用人与人及人与世界间口头或非口头的交互方式，使用各种模态来实现多通道通信，本质上都属于支持感知交互的感知计算(Sentient Computing)。
(6). 支持虚拟交互(VR HCI)的虚拟现实(Virtual Reality)：虚拟现实的基本原理是采用摄像或扫描的手段(而不是传统的建模手段)来创建虚拟环境中的事件和对象，生成一个逼真的三维视觉、听觉、触觉或嗅觉等感觉世界，让用户可以从自己的视点出发，利用自然的技能和某些设备对这一生成的虚拟世界客体进行浏览和交互考察。其特点包括：逼真的感觉(视觉、听觉、触觉、嗅觉等)、自然的交互(运动、姿势、语言、身体跟踪等)、个人的视点(用户的眼、耳、身所感到的感觉信息)和迅速的响应(感觉信息根据视点变化和用户输入及时更新)。这些特点可概括为三大特征：沉浸感(Iimmersion)：是指用户作为主角存在于虚拟环境中的真实程度;交互性(Iinteraction)：指用户对虚拟环境内的物体的可操作程度和从环境得到反馈的自然程度(包括实时性);想象力(Imagination )：指用户沉浸在多维信息空间中，依靠自己的感知和认知能力全方位地获取知识，发挥主观能动性，寻求解答，形成新的概念。
(7). 支持人脑交互(Brain-Computer Interaction)的脑计算(Brain Computing)：最理想的人机交互形式是直接将计算机与用户思想和目的进行连接，无需再包括任何类型的物理动作或解释，实现“Your wish is my command”的交互模式[15]。虽然在可预见的未来这种思想不太可能实现，但对“人脑计算机界面(Brain-Computer Interface，BCI)”的初步研究可能是迈向这个方向的一步，它试图通过测量头皮或者大脑皮层的电信号来感知用户相关的大脑活动，从而获取命令或控制参数。人脑交互不是简单的“思想读取”或“偷听”大脑，而是通过监听大脑行为决定一个人的想法和目的，是一种新的大脑输出通道，一个可能需要训练和掌握技巧的通道。
当前，采用第一种方式的图形用户界面仍是应用的主流，尤其是以超文本标记语言(HTML)及超文本传输协议(HTTP)为基础的网络浏览器和搜索引擎的桌面网络用户界面最为普遍，包含了适应不同带宽(从高速视频点播到低速移动电话)、不同尺寸(从手表、掌上电脑到墙壁大小)的各种用户界面;而采用第二种方式的语音、手写等易用而方便的界面也正逐步普及，多通道、多媒体的自然、高效、智能化用户界面正得到快速发展和应用。
【2017人机交互技术概论】相关文章：
6.职业速记概论