高精度摄像机标定和鲁棒立体匹配算法研究

立体视觉是由两幅或多幅从不同视点拍摄的图像恢复场景三维信息的技术。立体视觉的终极目标是根据所观测的图像信息,建立被观测景物的三维模型。其中,正确获取场景的深度信息是实现这一目标的一个关键步骤。在一个立体视觉系统中,深度信息的获取通常借助于不同图像之间的匹配计算来完成。经过众多学者不断的努力,近年来立体视觉研究取得了令人称道的进展。利用Graph-cut、Belief-propagation等全局优化技术的立体匹配算法相继涌现。然而,由于立体视觉本身是一个病态问题,受稀疏纹理、遮挡、摄像机标定精度和重复场景等因素的影响,要在不同图像之间实现匹配进而获得场景完整和正确的深度信息,仍然是一个极富挑战性的研究课题。 在上述研究背景下,本文以立体视觉系统为研究对象,从高精度获取被观测场景的稠密视差信息的角度出发,对高精度立体摄像机标定和鲁棒立体匹配问题进行了深入研究。 在立体摄像机标定方面,提出了一个基于“棋盘”模式的全自动高精度立体摄像机标定方案,并在此基础上构建了一个实用的立体视觉系统。为了实现高精度的立体摄像机标定,研究了从图像中自动检测和标记用于标定目的的特征角点的问题。首先,利用“棋盘”模式黑白相间的特点,用黑白模板对观测图像做卷积运算,并将卷积运算的峰值点作为特征角点的候选。然后,利用一种改进的Delaunav三角例格算法,完成对候选角点的自动筛选和标记。在此基础上,提出了一种基于几何约束的全局曲线拟合算法,将对棋盘格边缘进行拟合得到的三次曲线的交点作为真实角点,从而获得特征角点的高精度位置信息。实验结果表明,本文提出的方法能大幅度提高特征角点的检测精度,从而达到显著提高摄像机标定精度的目的。目前,实际构建的立体视觉系统的标定精度优于4‰,可以满足精确恢复场景三维信息的要求。 在立体匹配方面,提出了一种基于区域间协调优化的立体匹配算法。该算法以图像区域为匹配基元,利用区域的彩色特征以及相邻区域间应满足的平滑和遮挡关系定义了区域的匹配能量函数,并引入区域之间的合作竞争机制,通过协同优化使所定义的匹配能量极小化,从而得到比较理想的视差结果。算法首先对参考图像进行分割,利用相关法得到各分割区域的初始匹配;然后采用一种基于投票的鲁棒平面拟合方法对各区域的视差进行拟合,得到各区域的视差平面参数;最后,基于协同优化的思想,采用局部优化的方法完成对各分割区域视差平面参数的迭代优化,得到鲁棒的视差估计结果。实验结果表明,本文提出的方法在性能上可以利目前最好的立体匹配算法相媲美,得到的视差结果接近于真实视差。