基于三维加速度传感器的手势识别及交互模型研究

随着以人为本交互理念的提出,自然人机交互技术已经成为当前计算机应用研究的重要方向。手势识别是一种重要的人机交互技术,目前通常采用基于图像处理的方法,虽然基于这种方法的研究已经取得了一定成果,然而由于该方法对光线、背景等外部条件的依赖比较强,对特定的场合和人群的应用时,存在局限性;同时,现有的交互模型并不能很好地支持诸如手势、语音等自然交互方式的应用。 针对基于图像的手势识别方法应用的局限性问题,本文提出基于三维加速度传感器的手势识别方法。首先将手势分割为若干原子手势,利用加速度传感器采集每个原子手势执行过程中的三维加速度信息,这些加速度信息经过预处理之后,被作为手势动作的特征量;然后根据这些特征量为每个原子手势建立离散的隐马尔科夫模型(HMM),采用Baum-Welch算法对模型进行优化,同时利用插值的方法克服训练数据不足的影响;最后利用优化的模型识别原子手势,被识别的原子手势组合成复杂、连续的手势动作。 针对现有交互模型对自然交互方式支持的欠缺问题,本文在已有交互模型研究及其分析的基础上,建立了支持手势输入并且具有反馈机制的手势交互模型,并对该模型进行了形式化描述。该模型由用户、人机交互对象构件、表现构件、对话控制构件和应用程序构件五个部分组成,在人机交互对象构件的支持下,用户通过手势、语音等交互方式,以方式原语、概念原语和任务原语与表现构件、对话控制构件和应用程序构件进行通信,完成自然交互。 在理论研究的同时,本文还对基于三维加速度传感器的手势识别方法进行了实验验证。以四种自定义手势的和单个阿拉伯数字以及阿拉伯数字串的书写识别为例进行了实验。本研究不仅将三维加速度传感器的手势识别方法用于人机交互,而且为手势识别方法提供了理论扩充,为自然人机交互提供了框架支持。