基于表面肌电和加速度信号融合的动作识别和人体行为分析研究

以人为中心的智能化人机交互一方面要求计算机具有自动检测、分析和理解人类更多的姿势、行为动作、生理心理状态、语言、情感和触觉等自然能力；另一方面要求其应用和服务具备感知周围情境信息的能力,并且能够根据感知情境的变化提供相应的服务。基于人体行为动作识别技术的非键盘输入方式既适用于微型化可移动设备使用环境和双手无法空闲的交互场合,又适用于聋哑人与正常人交流的手语识别系统和其他新颖的人机交互技术研究平台。同时,作为情境感知中的重要因素之一,行为感知在移动健康监护具有重要研究意义,对空巢独居老年人或慢性疾病患者提供日常行为监测服务,发现异常情况及时报警并采取救援行动,这对保障老年人和患者的生活很有裨益。 本文以精细手指按键动作、手语手势动作以及下肢步态动作为研究对象,对基于表面肌电(Surface electromyogranphy, SEMG)信号或／和加速度(Acceleration, ACC)信号的多类行为动作的感知与识别进行了深入研究,并开展了一定规模的用户测试实验。其中,基于按键动作识别和虚拟键盘模拟手机交互平台的实现可促进智能化人机交互接口技术的发展和应用推广；融合SEMG和ACC信号的下肢动态步态动作的识别研究一方面提高了步态行为动作识别的准确性,另一方面将人体行为动作SEMG识别技术推广到智能化的情境感知应用领域,对指导人类行为理解、康复医学工程等领域的研究具有重要意义；而中国普乐手语手势动作的识别研究实现了较小训练负担下中国汉字较高识别结果,为聋人与健听人的交流提供了强有力的桥梁,其研究成果将直接造福于聋人群体。本文主要的研究工作和创新点包括： 1.基于SEMG信号手指按键动作识别和虚拟键盘交互实现。此研究旨在探索实现随时随地“无形”键盘输入方式的可行性。主要研究工作如下：1)以右手16类手指按键动作和4类控制动作为研究对象,对包含信号采集、活动段分割、特征提取和分类识别在内的手势动作SEMG信号识别方法进行了研究,提出了一种适用于实时交互平台的算法；2)结合神经肌肉控制生理学知识确定了多通道SEMG电极安放位置；3)构建了基于手势动作识别的虚拟键盘进行模拟手机交互,并开展用户调查实验。基于多类手势动作识别的虚拟键盘交互技术,其手势动作的平均识别率可达94%,且用户经过适当的动作训练后可实现任意平面手势动作SEMG无形虚拟键盘的“随身携带”。同时,用户调查实验结果显示了该交互方式具有一定的新颖性,是一种用户可完全接受的人机交互方式。 2.融合SEMG和ACC信号的人体日常行为动作感知和跌倒检测研究。此研究的目标是通过对用户日常行为动作感知与识别,实现独居老年人或者慢性疾病患者的健康监护,保障其生活质量。主要研究工作包括：1)从健康监护平台的实时性和低计算复杂度要求出发,引入身体姿态的概念,将日常行为动作分解为静态行为动作、各静态行为动作转换形成的动态转移动作,以及一类特殊的由“站”到“站”产生的步态行为动作。2)提出直方图负熵的概念,利用熵表征时间序列不确定度和复杂度的能力,实现了基于ACC信号直方图熵的静态动作和动态动作活动段分割。对于静态动作活动段信号,采用多级夹角阂值决策算法实现了不同身体姿态的识别,对于动态行为动作,结合动态动作活动段的前后身体姿态变化信息将其成功识别为动态转移动作和步态行为动作。3)采用SEMG和ACC信号融合的双流HMMs进行了特定步态行为动作模式识别,同时结合身体姿态变化信息和合加速度幅值阈值信息实现了正常转移动作和跌倒动作的判断。4)设计连续日常行为动作和跌倒动作数据采集实验,验证了该方法进行日常行为感知和跌倒检测的有效性。在行为感知和识别中引入身体姿态信息,有效节约了分类识别系统的计算资源开销；前后身体姿态变化信息和活动段内合加速度幅值阈值相结合的方法提高了跌倒检测的准确性,为未来独居老年人和慢性疾病患者的健康监护提供保障方案奠定了研究基础；融合SEMG和ACC信号进行步态行为动作分类识别研究,一方面提高了步态行为动作的识别率,另一方面将下肢行为动作SEMG引入情境感知领域的行为感知应用中,开启了情境感知领域中行为感知的应用思路。 3.融合SEMG和ACC信号的词汇量可扩展的连续中国普乐手语识别研究。此研究旨在采用较小负担的用户训练样本,实现词汇量可扩展的中国普乐手语识别方法。这部分的研究工作主要包括：1)采用要素概念,充分利用SEMG在检测精细手形动作方面的优势和ACC在检测大尺度的运动轨迹方面的优点,创新性地提出了融合SEMG和ACC信号中国普乐手语手势动作执行方案。该方案涉及的手形和运动轨迹要素其规模较小且数目恒定,并不会随着中国汉字词汇量的扩展而发生变化,从而保障了较小的用户训练负担。2)针对连续手势动作相对于孤立手势动作活动段分割中存在的两种信噪比低的情况,提出模糊熵算法,实现了连续手势动作活动段的有效分割。3)分别采用各要素分类器并加入决策融合机制,对由223个中国汉字构成的504个日常情境句子进行分类识别。实验结果表明,提出的模糊熵算法可以有效解决连续手势动作活动段分割问题,确定要素分类器的先后顺序可以进一步降低用户训练负担,其决策融合机制在一定程度上减少了中国汉字识别的传递误差。该手语识别方法实现了较小训练负担基础上中国汉字较高的识别结果,为中国手语手势动作识别提供了一种补充形式,为连续手语识别系统的应用推广提供了新思路。 本论文的研究得到了国家863高科技研究发展计划“基于肌电传感器和加速计的手势交互设备研究”(2009AA012322)、中央高校基本科研业务费专项资金“基于情境感知的多源信息分析和理解”(WK2100230002)、Nokia芬兰赫尔辛基研究中心和北京研究院合作项目,以及中国科学技术大学研究生创新基金资助。