1.2.3 人机交互

人机交互是一门研究系统与用户之间交互关系的学科，系统可以是各种各样的产品、机器，也可以是计算机化的系统和软件。生理信号传感技术的进步及其可用性的突破使新层次的交互方式成为可能。采集分析交互过程中的生理信号数据，可以对用户的意图和认知进行识别与评估，并给出相应的交互反馈。近几年，越来越多的生理信号被应用于人机交互的不同领域，在拓展不同交互方式的同时，也出现了很多新型的交互设备，这些设备使得生理信号的应用不再局限于医疗场景。本节根据不同生理信号在设计领域中的应用，介绍脑机交互、肌机交互与眼动交互三种常见的交互方式。

1.脑机交互

脑接交互技术已广泛应用于产品设计与艺术创作。BioMuse应用程序使用眼动信号和脑电信号，让有运动障碍和瘫痪的人能够操作电脑，同时也可以用于生成音乐。为了提高参观者对中国艺术品的兴趣和理解，Chen 等(2021)设计了一个以脑电信号控制为基础的中国画创作互动装置（见图1.6），参观者可以通过佩戴商业脑电信号耳机来控制线条、颜色和人物动作的产生。该装置提供了一种新颖的“用意念绘画”的体验，同时还将参观展览转变为一种愉快的游戏体验。Stein 等(2018)使用Emotiv EPOC脑电信号耳机监测个人兴奋水平，当玩家的兴奋度降低时，这些信息可触发动态难度调整机制，通过降低较弱玩家的难度或增加较强玩家的难度，以确保玩家沉浸于游戏中并享受游戏乐趣。

脑机交互除了应用于上述互动艺术和游戏设计，也越来越多地应用于帮助特殊人群进行生理康复和治疗心理疾病。Wang 等(2018)设计了一种基于脑电信号和眼动信号的跑酷游戏系统帮助青少年锻炼情绪控制，尤其是帮助克服青少年多动症。埃莉萨(Elisa)以两名患有肌萎缩性侧索硬化症、失去绘画能力的艺术家为研究对象，将脑机交互技术应用于绘画创意表达。研究表明，脑机接口(brain-com puter interface, BCI)控制的精度为70%~90%，两名用户都对脑绘画系统非常满意。因为脑绘画使他们更好地融入家庭与社会，从而提升了他们的幸福感、有用性、自尊感、幸福感。目前，实际投入市场使用的具有代表性的脑机交互设备，有BrainCO公司的脑机器人手和使用精神反馈力量减轻压力和改善健康的焦点卡姆头带等。

图1.6 基于脑电控制的中国画创作互动装置

2.肌机交互

肌机交互是通过人体肌肉的肌电信号对外部设备进行控制与沟通的交互方法。Caramiaux等(2015)通过解码手臂肌肉的肌电信号识别不同的手势；Linderman等(2009)通过解码手部和前臂肌肉的肌电信号识别不同的手写字体，证明了只通过肌电信号即可重建笔迹的可行性；李宁(2021)通过上肢外骨骼表面肌电信号实现了单侧肢体运动功能受损用户的上肢控制；杜群(2021)采用表面肌电信号预估手臂肌肉收缩力度，完成智能仿生手对物体抓握力度的控制，并提高其灵活性和智能性。肌机交互也是康复外骨骼系统常用的一种控制方式，它能感知用户的真实意图，实时反映患者的肌肉活动程度。

3.眼动交互

眼动跟踪技术可以应用于探索认知过程及产品的智能控制。马春晖(2019)通过视觉引导技术对轮椅进行前、后、左、右四个方向的移动操控；Nasor 等(2018)利用虹膜运动控制计算机屏幕光标运动，让残疾人能够控制计算机光标进行上、下、左、右四个方向的移动；刘昕(2019)基于眼动信号数据设计了眼动行为实时识别算法，实现了键盘界面的操作和无人平台的控制；朱琳等(2020)通过捕获眼动信号数据开发了一套眼动信号控制的交互式地图原型系统，可对地图进行眼动交互。还有学者将眼动跟踪技术应用于虚拟现实场景中，通过识别眼睛当前注视的物体，实现虚拟现实场景中用户对物体的操控，就像我们点击鼠标或触碰图标一样。这项技术不仅可以营造一种身临其境的体验，还可以缓解部分虚拟现实(VR)产品使用者所产生的眩晕感。此外，产品还配有虹膜扫描功能，它可以提高产品使用的安全度。

成熟的眼动追踪研究和交互应用技术的专业设备的通常成本较高。因此，近年来不断涌现低成本的眼动交互系统的研究。如基于外观人眼视线方向估计的人机交互方法。其使用一个简单快速的卷积神经网络模型粗略估计人眼在屏幕上的注视点，进而将眼动识别和视线跟踪结果用于计算机界面的控制与交互。该研究让使用者仅用一个普通的单目摄像头就可以实现眼动跟踪，并利用眼动控制来完成计算机上大部分的交互指令。