基于三维视觉的手势跟踪及人机交互中的应用

人机交互技术是近年来计算机科学领域研究的热点。作为人类和计算机系统之间信息交流的接口,人机交互技术对人类社会的影响巨大。人类通过计算机输入设备,想计算机输入指令信息,而计算机系统则通过输出系统来显示其执行的结果,这是人机交互的最基本的形式。人机交互技术对人类利用计算机系统处理信息的方式和效率有着直接的影响。近年来,计算机科学的发展日新月异,计算机系统性能得到的极大的提升,各类传感设备层出不穷。人机交互技术的研究开始向着让人和计算机系统以更加自然、更加舒服并且更加有效率的方式交流信息的方向发展。对于计算机系统而言,则要求其更加智能化,能够明白人类所表达的含义。通过这样的努力,最终达到人机之间的交互实现无缝对接,即人性化和智能化。 本文选取了肢体语言中的手势作为研究出发点,探讨了手势跟踪在人机交互中的应用。本文的采用了一款新型的摄像头Kinect,该摄像头可以采集物体的RGB信息和深度信息。根据采集得到的RGB信息和深度信息,本文提出了基于三维视觉的手势跟踪算法,并给出了其在人机交互中的应用实例。 本文提出的基于三维视觉的手势跟踪算法结合了肤色识别和深度分割结合的各自优点。利用传统的肤色识别来检测手势往往需要对用户所处的位置做限制,在复杂背景下,肤色识别很难分割出图像中手的部位。本文的提出的方案是,先对RGB图像做肤色识别,再利用深度信息做图像分割,将手所在区域的深度图像提取出来,再通过三维空间到二维空间的转换计算,将深度分割的结果映射到RGB图像中,对比肤色识别的结果,从而滤去背景的干扰,提取出手的位置。最后,根据连续两帧图像的手势检测的结果做跟踪。和传统的手势检测的方法相比较,本文提出的方法在环境背景相对复杂的情况下,手势检测和跟踪的效果比较理想,对用户的限制较小,更重要的是,可以对手势做三维空间的检测和跟踪。