立体视频感兴趣区域的提取及其编码技术的研究

立体视频是通过模拟人的立体感觉而设计的,在科学技术高速发展的现在受到了热烈的欢迎并有着广泛应用。立体视频是由多个通道的视频图像合成的,数据量很大,严重占用了存储空间和传输带宽,因此需要通过对其编码来进行压缩。立体视频的编码方法主要有基于块与基于对象的两种方法,其中基于对象的立体视频编码方法由于充分利用了立体视频两个通道间的冗余性而成为了立体视频编码的主要研究趋势。其中感兴趣区域的提取是基于对象的编码过程中最重要的部分,感兴趣区域提取的准确性直接影响了编码的有效性。 本文主要研究立体视频感兴趣区域的提取及其编码问题。对于感兴趣区域的提取的问题,本文将视差图分割技术与背景信息相结合,提出了一种基于视差图和背景统计的立体视频运动对象分割方法。对于编码问题,本文在提取出感兴趣区域的基础上,采用了H.264国际标准对其进行编码。 本文提出的立体视频感兴趣区域提取方法首先对立体图像对进行直方图规定化,再对欠采样的立体图像对进行立体匹配,根据视差图对处于不同视差平面上的对象进行初次分割。再对初次分割的结果进行过采样,结合canny边缘检测的方法得到初级对象分割模板。累积多帧的初次分割模板,通过背景统计技术得到重建的背景图像,再通过背景差分计算得到精确的感兴趣的前景区域。该算法结合了视差图分割和背景统计技术的优点,最终得到了精确的感兴趣的前景区域。通过仿真结果的分析可以看出,该方法有效地解决了基于区域匹配计算量过大的问题,提高了匹配的计算效率和准确度,可以将立体图像对中处于不同视差层面的目标分别提取出来,对于小遮挡立体图像对的对象分割十分有效。该方法计算复杂度较低,易于实现。 本文采用了H.264国际标准对立体视频进行编码。由于人眼会对前景区域有更高的视觉分辨率,因此本文对于提取出的主通道感兴趣区域及背景区域采用了不同的比特率进行编码,给感兴趣区域分配较高的码率、给背景区域分配较低码率以达到对立体视频进行高效压缩的目的。对于副通道,并不需要对其进行编码,而是对左右通道之间的视差图进行H.264编码,最后在解码端通过视差估计的逆运算计算出副通道视频序列。通过编解码结果可以看到,该方法具有很高的压缩比及PSNR,解码图像效果较好,没有出现明显失真。