基于Kinect手势识别的虚拟环境体感交互技术研究

目前大多数虚拟环境中的人机交互应用仍然是基于鼠标、键盘、头盔显示器、数据手套、操纵杆等交互设备,难以让用户获得真实、自然的感觉,严重地制约了虚拟环境的实用价值。体感技术与虚拟环境技术的有机结合,可以生成一个完全逼真的,集视、听、触、情等多种感知的智能虚拟环境,给予人们自然、真实感受的同时,更能从数字化虚拟空间自由获得丰富、准确的信息与知识。本文面向虚拟环境自然人机交互应用需求,结合体感技术与虚拟环境技术,设计了一种基于手势识别的虚拟环境体感交互方法。基于Kinect体感器,获取手势数据,并采用不同的算法分别对静态及动态手势进行识别。研究了符合人体行为习惯的手势设计方法,设计了基于手势识别的虚拟矿井自然交互系统,实现了与虚拟矿井更加自然的人机交互,增加了用户的自然感及真实感。主要包括以下内容:首先,研究了基于手势识别的虚拟环境自然交互设计方法。提出一种基于手势识别的虚拟环境体感交互框架。在此基础上,研究了虚拟环境自然交互手势设计方法,以及基于Kinect的深度信息获取、人体骨骼追踪等关键技术。其次,研究了基于Kinect静态手势识别方法。基于深度图-灰度直方图分割出手势,根据手腕像素特征分割出手掌,并采用中值滤波进行平滑处理,并提出一种融合K曲率与凸缺陷的指尖检测方法。在此基础上,研究、实现了基于Kinect的静态手势识别算法,通过在不同环境下的测试,验证了算法的准确性和鲁棒性。然后,研究了基于Kinect动态手势识别方法。根据关节点信息实现对动态手势轨迹的追踪,在获取的关节点信息基础上,研究了动态手势特征提取及动态手势表示方法。提出了一种改进的动态时间规整(IDTW)动态手势识别算法,对传统的动态时间规整算法(DTW)的搜索路径进行约束与特征加权,并在公开的手势数据集上进行测试,结果表明,所提出的算法减少运算量的同时也提高了整体识别率。最后,面向虚拟矿井自然人机交互应用需求,设计了基于Kinect手势识别的虚拟矿井体感交互系统,定义虚拟矿井交互手势。通过典型交互场景,测试、验证了所提基于手势识别的虚拟环境体感交互方法的准确性和有效性。