基于几何不变量的视觉计算

随着计算机智能化的发展越来越迅速,计算机也开始像人一样有了可以观察的眼睛,它们将摄像机捕捉到的画面读入到内存中,然后对画面进行各种各样的处理,比如图像中的特定目标检测,特定目标识别和特定目标跟踪等等,这就形成了这些年来最热门的研究领域之一——计算机视觉。而在计算机视觉研究领域中,图像匹配、目标识别受到广泛关注。比如在一些主动视觉系统中,通常需要多个代理对同一场景中的感兴趣目标一起进行处理,以提高系统智能分析感兴趣目标的能力。这种情况下多视图图像匹配则是系统中的核心算法。但主动视觉系统的视场角一般较大,通常在宽基线成像模型下采集到多个视图,视间显著的仿射畸变增加了图像匹配问题的复杂性。同时,主动视觉系统以最佳视角观察目标并保持目标在图像平面的中心位置基本不变,因此摄像头需做实时的姿态调整,由此导致的视间几何关系变化进一步加深了匹配问题的解决难度。 针对这样一种系统需要,本文引出了几何不变量的概念。几何不变量描述的是图像中基于像素的本质特征,它能够在剧烈的图像变换条件下保持自身的不变性,并且它要有容易被检测到的特征载体,这两个条件是图像匹配算法能够利用几何不变量进行成功匹配的保证。本文正是在几何不变量的基础上进行了宽基线图像匹配算法的研究以及感兴趣目标对应技术的研究。 首先,本文对几何不变量应用的必要性及已有的几何不变量方法进行了全面的综述,指出应用在特定的宽基线条件下的图像匹配需要怎样的几何不变量。 其次,本文对基于几何不变量的宽基线图像匹配的整个算法流程进行详细分析与讨论,研究了从特征提取,特征描述,特征匹配到生成多视几何关系每个部分的算法选择及适用性,并在已有的最佳特征提取算法MSER及最佳特征描述算法SIFT基础上创新性地提出了将这两种算法结合的方法以形成更鲁棒高效的图像匹配结果。实验证明,这种结合与叠加的方法可以获得更准确的匹配点对以及更准确的视间几何关系。 最后,本文在几何不变量的基础上提出了一种新的解决感兴趣目标对应问题的方法——多外极线约束法。它弥补了以往基础矩阵法与单应矩阵法的缺陷,能够更适用于实时视觉系统,经过实验证明,它能够生成十分准确的一对一对应的感兴趣目标,并且不需要借助任何附加的对图像内容进行搜索的过程,鲁棒高效。 基于几何不变量的视觉计算应用范围非常广,本文也提出了下一步的研究方向。