基于摄像头的手势交互系统的研究

近年来,随着新的硬件和应用领域不断涌现,计算机与人类日常生活联系越来越紧密,而人机交互方式仍然仅局限于键盘、鼠标及光笔等,这些交互方式虽然越来越熟悉,但它们限制了人机交流的速度和自然性。因而,基于视觉的手势交互逐渐成为研究热点,在计算机游戏、机器人控制和家用电器控制等方面具有广阔的应用前景。 本文对基于单个摄像头手指定位的交互方法进行了研究,涉及到手势图像的分割、手势特征提取和手势识别等领域,本论文的研究主要包括以下几个方面: 1、在手势分割阶段,研究了一种复杂背景下的手势图像预处理方法。本文通过连续手势图像序列中的运动和肤色信息来进行分割。首先进行差影法处理,然后对分割后的图像,在肤色聚类的特性下,利用RGB空间模型进行粗分割,再用改进的HSV空间模型进行细分割。实验结果表明,这种方法简单,易于实现,分割效果较好,并可用于实时图像处理。 2、在手势特征提取阶段,采用双边遍历二次扫描方法对图像平面中手指指尖定位问题进行了研究。首先确定分割后手势所在的区域,通过计算手部图像的重心坐标和手势方向,使用双边遍历二次扫描方法对分割后的手势图像进行扫描分析,进而得到了手指指尖坐标位置。实验结果表明,这种方法不仅具有较高的定位精度,对强噪声背景下的抗干扰性也有较大改善。 3、建立了一个基于单个摄像头的手指触发人机交互系统。该系统利用摄像头进行图像采集,通过手指在交互面板上的移动和点击完成自然、有效的人机交互操作。它根据指尖的位置和停留时间为参数来判断指尖是否触发,可被用来实现虚拟鼠标的光标定位。