视频序列中的人脸检测与跟踪

随着信息技术的高速发展,个人身份识别、安检、表情分析、智能人机交互系统等应用需求,人脸问题的研究作为计算机领域的核心课题之一,具有越来越广泛的实用价值和研究意义。人脸问题主要包括:人脸检测、人脸跟踪、人脸识别,以及其衍生出来的姿态和表情分析四个应用领域。本文主要针对人脸检测和人脸跟踪两个问题进行了研究。 在人脸检测方面,本文在众多学者研究基础上对人脸检测过程中出现的诸如复杂光照、多姿态、遮挡处理等问题做了以下研究: 1.运用“参考白”的方法对图像颜色直方图进行线性调整,从而对图像进行光照补偿,校正色偏,减少色偏对肤色提取的影响。 2.利用肤色模型提取肤色区域。将肤色区域变成二值图像,然后对其进行闭运算,合并相邻区域作为候选人脸图像,以去除掉大背景区域,减小检测范围。 3.在彩色图像中利用眼睛和嘴唇的颜色特征提取它们的位置,然后根据人的双眼和嘴巴近似成等腰三角形的关系判定人脸位置,完成彩色图像中人脸的检测。 4.针对肤色提取受光照影响较大的问题,提出了一种基于人脸灰度分布特征、主分量分析方法(PCA)和数学形态学运算相结合的多级弱分类器级联的新的灰度图像人脸检测方法。该方法采用窗口遍历搜索的方式,将搜索窗口依次通过三级弱分类器判断是否为人脸,如果是则给出双眼的位置。试验证明该方法对各种光线、不同人脸尺寸、表情姿态、部分遮挡、复杂背景等都有较好的检测效果。 在人脸跟踪方面,针对跟踪过程中会出现的遮挡、光照背景的变化、人脸及脸部器官非刚性的特点、人脸运动的不规则不均匀性等问题,采用一种基于粒子滤波的复杂环境下人脸跟踪算法。 该算法首先在第一帧确定人脸位置并初始化核函数下的颜色直方图人脸模板,然后在粒子空间匹配人脸模板,计算相似度,并最终以粒子位置加权和的方式确定人脸位置。该算法的优点是对非线性、非高斯系统的状态估计问题无需给出量测方程。实验结果证明了该算法对诸如复杂背景和人脸遮挡等情况的有效性。 最后在VC++6.0环境下构造人脸检测与跟踪实用系统,完成视频中的人脸检测与跟踪,并给出了算法的流程图。