基于音视频融合的定位跟踪算法

目标定位跟踪技术在军事目标跟踪、监控系统、说话人识别等许多领域都有广泛的应用。传统的音频和视频跟踪方法利用单一的音频信息或视频信息进行跟踪,在复杂环境下鲁棒性差,研究复杂场景中具有鲁棒性和实时性的跟踪方法具有重要的意义。因此本文对基于音视频信息融合的定位跟踪算法进行了研究。 本文首先研究了音频跟踪技术和视频跟踪技术。音频跟踪部分主要介绍了基于时延的麦克风阵列声源定位算法,并重点研究了广义互相关时延估计算法。视频跟踪部分主要研究了利用均值偏移算法的目标跟踪方法,利用目标的颜色特征实现跟踪,并对其进行了仿真。均值偏移算法是一种基于密度梯度上升的非参数化方法,通过迭代运算寻找目标位置,具有计算量小,实时性强的优点。然后,对粒子滤波进行了介绍,它是重要的信息融合工具之一。粒子滤波是蒙特卡罗方法和贝叶斯滤波方法的结合,通过预测和更新两个步骤迭代地估计系统的状态,用一组加权的粒子来表示目标状态的后验概率估计,适用于非线性非高斯系统,并具有从目标暂时丢失中恢复的优点。之后,提出了一种粒子滤波框架下的音视频融合跟踪算法。利用麦克风阵列通过基于时延的声源定位算法获取音频信息,从摄像头得到的视频序列中获取颜色特征信息。为增强跟踪系统的鲁棒性,利用粒子滤波融合音视频两部分的信息来进行跟踪。为了增强跟踪系统的实时性,将均值偏移算法嵌入粒子滤波中。