基于RGBD深度图像的实时手势识别研究

手势识别是机器视觉以及人机交互的研究热点之一,在虚拟现实、机器人遥控、智能驾车、办公辅助、游戏娱乐、手语识别等领域应用前景十分广阔。随着计算机软硬件技术的不断增强,由深度摄像机捕获的深度图像因为其三维信息可以为手势识别提供更丰富的数据,而被广泛应用于手势识别研究当中。本文选取了Kinect深度摄像机,利用其获取的RGBD深度图像,对手势进行实时处理。本文主要对静态手势和动态手势进行手势分割和识别,并将手势识别的研究应用到了原型系统的开发当中,设计了一套基于实时手势识别的汽车驾驶交互模拟平台。具体如下:1)针对复杂背景当中手势分割的问题,本文提出了基于MTS的手势分割方法,利用手部运动信息进行运动区域定位,设定动态阈值对手部区域进行提取,然后利用肤色特征将图像映射到HSV和YCbCr彩色空间当中进行肤色定位,可以实时地将手部准确提取出来。2)针对静态手势识别过程中的特征提取问题,本文提出了多特征融合进行手势提取,融合了手的轮廓特征、几何参数特征与Hu矩特征,并制作了静态手势数据集SHGD,通过SVM分类器进行训练分类,得到分类模型。经实验,算法对本文设计的8个静态手势都具有良好的识别准确率。3)针对动态手势识别中的有效匹配问题,本文基于DTW时间序列匹配算法,加入了kNN的分类策略,从而提出了k-DTW动态手势识别算法。制作了动态手势数据集DHGD,利用DTW距离计算作为kNN的核心测算部分。并通过距离加权对手势类别相关性进行投票,从而进行有效匹配。实验结果表明,利用k-DTW算法对本文设计的4个动态手势识别具有较高的准确率。4)基于静态和动态手势识别研究,本文将手势识别应用到了原型系统的开发当中,设计了基于实时手势识别的汽车驾驶交互模拟平台,并且为了便于理解平台的原理、结构和功能,实现了一套车载手势识别交互原型系统。该原型系统实现了电话接听模块、音乐播放模块和汽车偏道检测报警模块。通过模拟环境,该原型系统可以利用手势识别有效地辅助驾驶员驾驶。实验表明,该原型系统具有较好的识别率、实时性与稳健性。