单目视觉伺服的手势识别与人机交互研究

作为新一代的人机交互方式,基于计算机视觉(Computer Vision)的单目手势识别具有重要的理论研究价值和实际应用前景。本文对单目视觉下手势识别的主要流程包括手势图像的预处理、特征提取、手势的识别进行了研究,并在Microsoft Visual Studio 2008环境下实现了对从普通摄像头输入的5个常见简单手势的识别,并以此为基础研制出一个简单的手势交互系统,从而验证算法的可行性。最后在手势交互系统基础上开发出一个具有实际应用价值的教学原型系统,以说明单目手势识别所具有的现实意义。 首先,从摄像头获取的视频流中采集手势图像,经过预处理建立手势模型库。在手势图像的预处理阶段本文对手势加入了人工标记点,从而可以在较为复杂的背景下获得较好的分割效果。在手势图像特征提取阶段,本文采用手势二值图像的距离分布特征作为识别手势的鲁棒特征,通过距离分布特征来描述手势图像的形状特征可以描述手势的总体形状信息。同时利用这种方法进行手势识别还具有平移不变性和尺度不变性的特点,因为选择图像重心作为基准点,并且所有图像的目标区域均被划分为相同数目的距离区域,所以手势目标在视野中的位置,以及缩放大小对距离分布特征的影响微乎其微。利用这种方法进行识别,手势特征不随旋转、平移、大小的变化而变化,提高了手势识别的鲁棒性。 本文的研究主要围绕基于单目视觉鲁棒手势识别的算法改进及其在人机交互中的应用进行,其独创性体现在三个方面：首先,提出采用像素距离分布特征法提取手势区域的鲁棒特征,实现了具有旋转不变性的自然态手势识别。与一般方法相比,采用这种方法识别的手势最大特点是具有旋转不变性,实时的手势识别可以在旋转的图像中摆脱干扰,增强了识别的鲁棒性。第二,本文提出了采用添加人工标记点的方法,去除类肤色区域干扰区域问题,具有独创性。采用像素距离分布特征方法进行手势识别,对肤色的分割精确度要求较高。在背景复杂的情况下,如果存在一定数量类肤色区域干扰,手势的距离分布特征就会变化较大,这将直接影响识别的结果,本文通过添加人工标记点方法成功解决了这个问题。第三,开发的基于手势识别的人机交互系统原型具有简单教学功能,拓展了基于视觉手势人机交互的应用领域。