连续手势分割与识别方法的研究和应用

游戏、手语识别、虚拟操作等诸多场景下,作为一种人机交互的媒介,手势的价值日益凸显。手势的识别与分割也一直是计算机视觉领域的重要课题。近年来,深度摄像仪器发展迅速,为手势识别研究打开了新的局面。目前,手势分割算法的相关研究虽然取得了不错的成果,却也存在着一些局限。为此,我们提出了一种逐帧判断手势标签分布概率进而分割连续手势的实时算法。此外,不同于传统的特征提取方案,在深度图上,我们设计了一种基于随机点与其相关点深度差值的特征提取方案。实验时,该算法在one-shot-learning数据集CGD2011上取得了不错的效果。然后,我们注意到,已有的手势相关数据集的标签标注方式存在着一些不足。为此,我们提出了为手势序列进行更细粒度的标签标注的思路,并设计了基于关节点信息与深度信息的特征提取方案,采用LSTM模型用于连续手势的识别与分割。我们设计并录制了数据集用于实验,实验结果证明,为手势序列进行更细粒度的标签标注更适用于连续手势的识别,且我们的算法具有不错的手势识别效果。最后,我们将手势识别算法应用于虚拟试衣系统。虚拟试衣场景下,手势是非常适用的人机交互方式。我们设计了简单易识别的3个静态手势与4个动态手势,并设计了实时的手势识别算法,取得了不错的效果。