传统视频编码主要是基于统计相关性去除空间、时间冗余,以达到尽可能高地压缩效果。然而作为视频最终的接受者,人类视觉系统(HVS)由于自身的一些特性,存在着感知冗余。为了得到这种感知冗余,研究者们已经做了大量的工作。其中广泛接受的是最小可觉察误差模型(Just-Noticeable-Distortion model, JND model),该模型模拟了人类视觉系统的两大特性,即亮度对比度和时空域掩藏效应,得到一个阈值。当变化值低于阈值时,人眼将不会感知到这个变化。将JND模型应用到视频编码中,对于JND阈值大的区域,由于敏感性低,可以压缩得大些,反之,压缩得小些,最终在码率基本不变的前提下,达到更好的主观感受。随着3D电影《阿凡达》的热播,全世界产生了3D热。3D效果是由多个视点的视频合成的,包含了大量的数据,由于带宽的限制,如何对多视点视频高效地压缩显得至关重要了。传统的多视点编码考虑了帧内、帧间、视间的统计冗余,然而如同单视点编码,可以发掘基于多视或立体视的JND模型,然而将其应用于多视点或立体视编码中,将可以达到更大的编码效果。
本文首先提出了一个多视JND模型(MJND),不仅考虑了时空域的掩藏效应,同时还考虑了深度图上的视觉冗余,通过主观实验与未考虑深度信息的其他JND模型相比,MJND模型能够更好地吻合视觉感知冗余。然后,将MJND模型应用于传统多视点编码(MVC)中,自适应量化步长和改进RD决策最优化。通过与传统编码框架进行对比时,在码率近似相同的情况了,MJND修改的MVC将得到更好的主观质量。
为了具体应用于立体视中,本文针对左右两个视点的立体视频,提出了一个双视JND模型(NBJND),通过仔细观察,左右视点合成的立体场景由三部分构成:边缘区域、立体区域、共有区域。由于边缘和立体区域的独有性,NBJND模型采用传统的JND模型,而对于共有区域,本文通过主观实验得到一个视间JND模型(IJND model),来描述其存在的视间掩藏效应。通过与其他模型的对比,NBJND模型能够更好地吻合立体视频的感知冗余。
最后,将NBJND模型修改成立体图像的JND模型,将修改的JND模型与SSIM结合,应用于立体图像的质量评价中,实验结果显示,提出的客观质量评价标准能够较好地吻合主观质量感受。
