基于三维骨架序列的人体行为识别研究

作为计算机视觉和增强现实领域一个新兴的研究方向,人体行为识别具有极高的理论研究价值。而在智能家居,运动分析,游戏娱乐和医疗康复等应用领域,人体行为识别起着非常核心的作用。早期的人体行为识别研究是基于视频序列分析的,尽管提出各种各样的视频分析算法,但是由于复杂背景、光照变化、遮挡等因素的影响,精确的人体行为识别仍存在诸多困难,在应用领域受到了很大的限制。然而随着经济型深度视觉捕获设备的出现,更具判定性和压缩性的三维人体骨架数据更容易获取,基于视频序列的行为识别所遇到的问题能够得到解决,人体行为识别又迎来新的曙光。本文对基于Kinect获取的人体三维骨架序列进行行为识别研究。对特征描述、高层模型的建立和模型与特征序列之间相似性度量等关键技术进行了研究。通过建立高层模型来描述特征序列,解决了特征序列匹配时存在的时间动态性问题。本文的主要工作和创新点都是围绕着特征序列的动态性问题展开的,主要包括以下三点：1.提出了基于分层模型的人体行为识别算法通过分层结构将行为类别分成若干小组,从而将复杂任务分解为简单的子任务。根据人体各个部位的运动情况,将所有的行为类别分成若干组,然后在每个组里用已经训练好的SVM分类模型对骨架序列提取的特征进行分类。使用姿态特征在时间轴上连成的特征轨迹来描述行为。为了测量长度不一的特征轨迹之间的相似性,本文使用了各向异性扩散滤波器平滑特征,并用傅里叶时间金字塔提取频率信息作为最终的分类特征。由于使用频率信息作为特征,该方法能够解决行为的重复性和不完整性的问题。实验结果表明,与之前的方法相比,基于分层模型的方法能够获得更高的识别率。2.提出了基于向量空间的实时人体行为识别算法使用特征向量空间表示行为的方式解决了轨迹序列匹配时存在的时间动态性问题。提出了最新的基于人体骨架序列的时空帧特征,它描述了人体的运动信息和相对位置信息。将每一帧动作的特征表达为向量空间的一点,则一个动作表达成点的集合。为了能够实时识别行为,使用Kmeans算法对特征进行聚类,使用聚类中心构成的向量空间来表示行为。向量空间描述行为的方式,解决了行为的周期性、不完整性和时间动态性问题。在两个最新的行为骨架数据库上进行测试,实验结果表明,该算法能有效提高识别率,并且能够实时进行识别。3.提出了基于加权图和全局最优相似性测量的人体行为识别算法首次提出加权图行为描述方法,从每一类行为的帧特征集合中提取聚类中心,构成加权图的顶点,聚类中心两两之间的时间相关性,构成加权图的边。提出了一个时间聚类算法计算边的权重。提出了基于动态规划的全局最优行为序列匹配方法,计算加权图和特征序列之间的距离。此算法能够计算任意长度的行为序列和加权图之间的相似性,不需要对序列进行预分割,解决了匹配时存在的时间动态性问题。和使用向量空间表示行为的方式相比,加权图描述了聚类中心之间的时间相关性。在实验阶段,聚类算法、加权图顶点的个数等等一系列因素都被用来测试,大量的实验证明了提出的算法的鲁棒性。