基于视频的三维人体运动捕获方法研究

基于视频的人体运动分析是近年来模式识别、智能人机接口以及虚拟现实等研究领域中一个备受关注的前沿方向。它不仅具有重要的研究意义，而且在智能监控、体育运动分析、动画生成等方面具有广阔的应用前景。因此，它吸引了越来越多的研究者的兴趣。基于视频的人体运动分析的主要目的，是从一组包含人的视频图像序列中检测、识别、跟踪人体行为，并对其进行分析和理解。其中，运动检测和运动跟踪等属于底层视觉问题，而行为的理解和描述属于高层视觉问题。 本文针对基于视频的人体运动分析中的人体运动的行为理解的视觉问题，即人体运动捕获进行了研究，重点研究如何从蹦床、体操等复杂高动态视频中提取人体3D运动信息。创新之处如下： 1、在总体思想与方法上，提出了一种新的基于视频的3D人体运动生成方法 从运动视频中获取人体的3D运动信息是一个非常困难的问题。目前国内外的研究成果，都是只能对特定条件下采集的运动视频进行处理，并且只能针对例如走，跑步等简单的周期性运动类型。我们针对记录人体复杂运动的高动态运动视频，进行了基于视频的3D运动信息生成的研究，旨在得到3D人体运动数据的精确、整体描述。在研究策略中，我们加入了一些基于领域的知识，即，针对某种运动类型，充分利用基于领域内采集的3D运动数据库，同时，采用视频图像处理与学习策略相结合的策略来提取视频中的人体3D运动信息。我们选用蹦床运动视频作为研究实例，并通过大量实验数据进行了验证。实验结果表明，本文的方法避免了摄像机定标的繁琐计算过程，能对任意给定的运动视频进行处理；其次，由于采用基于领域的学习策略，与现有方法相比，本文的方法在计算稳定性与结果精度方面都有了很大的提高：重构效率可以达到次线性级(sub-lineay)，能基本满足实时处理的要求；同时，经过量化测试，在输入视频数据较为理想的情况下，姿态重构的成功率稳定在97％以上；而且算法对图像噪声也具有较好的鲁棒性，在视频图像具有较大噪声的情况下，其姿态重构成功率也可以达到94.5％。在此基础上获取的连续3D人体运动数据也体现了良好的运动相关性和物理真实性。 2、提出了一种基于轮廓相似性匹配的人体姿态重构方法 3D人体姿态重构是基于视频的3D人体运动生成的基础。本文中，我们提出了一种改进的基于轮廓相似性匹配的人体姿态重构方法。该方法将经典的Hu矩不变量与仿射矩不变量(AMIs)相结合。实践证明，与经典的Hu矩方法相比，基于Hu矩不变量与仿射矩不变量(AMIs)相结合的方法不仅修正了Hu矩方法中由于旋转不变性所导致的误差，而且计算的总体效率也提高了10％以上。