单目视频人体运动跟踪和获取技术研究

视频人体运动分析是计算机视觉和计算机图形学相互融合的一个重要研究方向,其研究核心是从单个或多个视频序列中检测、跟踪人体,获取人体运动数据,重建人体的三维运动或描述和理解人体运动。视频人体运动分析的研究在人体动画、游戏、虚拟现实和增强现实、人机交互、视频监控、体育运动分析、辅助临床医疗诊断等领域均有着广阔的应用前景。 本文专注于视频人体运动分析中的运动跟踪和三维运动获取两个关键问题,研究了单目视频中的人体运动跟踪和运动获取方法。本文工作集中于从包含人体运动的单目视频中,跟踪人体的关节运动,估计用关节骨架表示的人体的相对三维运动。本文的研究有望帮助从包括影视、体育等在内的大量视频中得到丰富的人体运动数据,使在虚拟世界中重现人类多姿多彩的活动成为可能。 在充分了解掌握相关研究工作的基础上,针对所研究的问题,本文构造并实现了一个视频人体运动跟踪和获取的原型系统VHMTC(Video Human Motion Tracking and Capture)。本文完成的研究工作及主要贡献包括以下三个方面: ●提出一种适用于二维人体运动跟踪和三维运动估计的人体关节骨架模型。二维人体关节骨架模型,加上从视频帧中获取的外观模型,有效地保证了视频人体运动跟踪过程中模型和图像之间的准确匹配。树状结构的三维人体关节骨架模型,与二维模型有着同样的关节结构,方便了由2D关节点坐标序列估计对应的3D关节点坐标序列的计算。 ●提出一种新的单目视频中无标记的人体运动跟踪方法。通过学习得到的运动模型进行人体运动预测,基于上述的人体骨架模型对应的外观模型进行相似性计算。利用粒子滤波的条件密度传播技术,实现单目视频中的人体运动跟踪。充分利用粒子滤波的非高斯、非线性特性,对人体运动跟踪中的歧义性、复杂背景等有更好的鲁棒性。跟踪过程的每一步都形成并保留多个候选粒子,在发生跟踪失败时能自适应地校正,且能较好地处理遮挡问题。不需要运动捕捉设备获取的运动数据,而是直接从训练视频序列中获取训练数据。不需要进行图像差分、提取人体轮廓等图像处理操作,对背景没有特殊要求,也不需要任何关节标记。 ●提出一种从单目视频中重建人体三维运动的新方法。对于人体自身深度和