基于Kinect的手势识别及其应用

手势作为一种重要的人机交互方式被广泛应用。它不仅使得用户体验更加自然灵活,而且能够在一定程度上提高生产效率和安全程度,改善生活质量,促进行业创新和社会进步。手势识别技术一直是近年来研究热点之一。 基于视觉的手势识别技术一直面临着光照、噪声、遮挡等因素的挑战,近年来以Kinect为代表的一系列能够获取实时景深数据的硬件设备的开发与应用,为这些问题的解决提供了一个巨大的研究空间。本文在研究了近年来手势识别的理论基础和关键技术的基础上,提出了一个融合深度信息的手势识别框架,并通过实验验证了该识别方法的有效性。最后基于本文的识别框架,设计并实现了一个基于手势识别的演示控制系统。 本文将手势识别分为静态和动态两个部分,其中静态手势识别作为动态手势识别的基础。在静态手势识别中,首先充分利用深度信息来辅助手部分割；针对较为理想的分割结果,本文提出了一个基于规则的跟踪策略简易有效地实现了双手实时跟踪；随后对提取出的手势进行特征描述并利用监督学习的方法进行手势识别。在动态手势识别中,本文采用自底向上的分层定义策略将手势应用中的各类功能性手势视为动态手势基本单元、运动轨迹与其它动态手势的组合,并利用有限状态机原理和场景深度数据对动态手势基本单元进行识别。相应实验结果表明,本文的融合深度信息的手势识别框架有着良好的准确性、实时性和鲁棒性。在该手势识别框架的基础上,本文针对基于手势识别的演示控制系统予以重点研究,为手势识别的具体应用提供了实践参考。