基于Kinect深度信息的手势识别研究

近年来,手势识别由于其广泛应用于虚拟现实、计算机游戏和手语识别等方面而成为人机交互领域中的热门话题。传统的手势识别方法根据捕获图像设备的不同可以分为两大类型。第一种类型是基于数据手套的手势识别。该方法使用不方便,并且可能阻碍手势的自然关节,因此不是一个非常受欢迎的手势识别方法。另一种类型是基于光学传感器的手势识别。然而,该方法敏感于光照条件和背景,限制了它在真实世界中的应用。深度传感器Kinect的出现,为基于视觉的手势识别提供了新的机会。使用Kinect传感器可以鲁棒地检测和分割人手。尽管最近许多基于Kinect的方法成功用于人体跟踪和人类动作识别,使用Kinect进行手势识别仍然是一个开放的问题,该项技术在人机交互中的应用也具有很大潜力。本文利用Kinect的深度信息进行静态和动态的两种手势识别技术的研究,主要工作和贡献为:1、提出了基于部分的静态手势识别算法。现有使用Kinect的基于部分的静态手势识别算法通过深度信息分割出手势,使用形状分解方法检测到手指,再采用手指-陆地移动距离FEMD作为相异性度量来匹配手指部分。然而,FEMD敏感于手指部分的变化,因此,本文对该算法提出了两方面的改进。首先,提出了改善的FEMD距离以削弱手指部分变化和噪声的影响。然后,提出一个新的基于离散曲线演化的手势形状分解方法准确而有效地分割出手指部分。定性和定量的实验结果都表明本文基于部分的手势识别算法可以实现目前最好的性能。2、提出了一种基于深度投影图的静态手势识别算法。大多数现有的工作仅使用Kinect采集的深度图去分割出手势,却没有充分利用深度图传送的形状信息。本文设计一种新的特征描述符来有效地从深度图捕捉和编码手势的形状信息,并提出一种基于该特征描述符的静态手势识别算法。首先,获取手势在三个正交平面上的投影图,生成深度投影图。然后,提取三个投影图的轮廓片段包特征,并级联成原始深度手势的特征向量。最后,对手势进行分类。实验结果表明,本文提出的基于深度投影图的静态手势识别算法识别准确率高,能有效克服杂乱背景、自遮挡以及其他不利因素的影响。3、提出了一种基于深度运动图的动态手势识别算法。考虑到动态手势的深度序列携带了丰富的形状和运动信息,本文设计一种新的特征描述符来表征手势,并提出一种基于该描述符的动态手势识别算法。首先,深度序列的每一帧都被投影到三个正交平面上。然后,通过计算和阈值化连续帧投影图的差异来得到运动能量的二值图,并积累整个深度序列的运动能量二值图来产生深度运动图。接着,提取深度运动图的方向梯度直方图特征,并级联为动态手势深度序列的表达。最后,对手势进行分类。实验结果验证了基于深度序列的动态手势识别算法的有效性。