基于特征点的图像配准与拼接技术研究

图像拼接技术是计算机视觉、图像处理和计算机图形学的研究热点,它可以用来建立大视角的高分辨率图像,在虚拟现实领域、医学图像处理领域、遥感技术领域和军事领域中均有广泛的应用。图像拼接就是将同一场景的相互有部分重叠的一系列图片拼接成大幅的、宽视角的、与原始图像接近且失真小、没有明显缝合线的高分辨率图像。图像拼接的质量主要依赖于图像的配准精度。目前,基于特征点匹配的图像配准是一种主要针对仿射变换模型和透视变换模型的图像配准技术,它不仅能够适用于重合度较低的图像之间的配准,而且还能够应用于运动场景图像以及含有遮盖物体图像之间的配准,在实际应用中得到了广泛的使用。因此,研究基于特征点的图像配准和拼接技术具有重要的理论意义和实用价值。本文主要以特征点匹配为主线,针对目前流行的Harris特征点和SIFT（Scale Invariant Feature Transform）特征点匹配技术进行了深入系统地研究。主要研究工作及贡献如下: 1.研究并分析了摄像机成像几何的基本原理,重点对8参数透视变换矩阵的存在条件以及8参数透视矩阵退化为6参数仿射矩阵的条件进行了论证,由此引出了图像拼接中几种常用的变换模型―相似变换、仿射变换以及透视变换,给出了每种模型的实际应用场合。 2.针对传统的特征点匹配算法对于图像旋转变化敏感的问题,提出了一种基于特征点旋转归一化的图像配准算法（IPNR）。系统研究了Harris特征点的基本原理以及几种传统的匹配方法,包括像素差的平方和（SSD）、像素的互相关信息（CC）、归一化互相关信息（NCC）。分析比较了各种匹配方法的性能以及存在的不足之处。提出了在特征点匹配过程中将邻域窗口进行旋转归一化,有效解决了特征点匹配对于图像旋转变化敏感的问题。仿真结果表明,该算法能有效地克服传统特征点匹配算法对图像旋转变化敏感的问题,将正确匹配的概率提高30%以上,效果明显优于传统的特征点匹配算法。 3.针对传统的特征点匹配方法对噪声敏感的问题,提出了一种基于特征点不变矩的图像配准算法（IPIM）。图像的矩特征是一种以图像分布的各阶矩来描述灰度的统计特性的方法,它对噪声和光照的变化不太敏感,并具有旋转和尺度不变性。对图像的矩特征研究发现,传统的Hu氏矩中φ3,φ5两个矩对于图像的旋转变化是不稳定的,因此对Hu氏矩进行了改进,并在此基础上,利用改进后的Hu氏矩作为特征点的描述符进行匹配,解决了传统特征点匹配方法对于旋转和噪声敏感的问题。仿真结果表明该算法具有较好的旋转不变性和抗噪声性能,匹配效果优于传统的算法。 4.针对IPIM方法对图像亮度变化敏感的问题,提出了一种基于特征点伪Zernike矩的图像配准算法（IPPZM）。由于伪Zernike矩比Hu矩具有更多的矩数量以及更好的抗噪声性能,本算法选用特征点邻域窗口的伪Zernike矩作为特征点描述符。数字图像的像素离散性质使得伪Zernike矩的计算产生误差,不同阶矩的计算精确度不同。因此,为保证描述符的准确性与较低的计算复杂度,需要对伪Zernike矩进行优化选择,并对矩的选取数量加以限制。仿真结果表明该算法不仅有效解决了IPIM算法对亮度变化敏感的问题,而且在旋转不变性和抗噪声性能上比IPIM算法有了进一步的提高。 5.针对Harris特征点对于尺度变化敏感的问题,提出了一种改进的基于SIFT特征的图像配准算法。该算法借助于SIFT特征对于旋转和尺度的不变性以及对于噪声、视角变化和光照变化等良好的鲁棒性,解决了Harris特征检测对于尺度变化敏感的问题,使得较大尺度变化下的图像配准成为可能。同时,对SIFT特征点的提取方法进行了改进,预先去除了部分较不稳定的特征点,提高了匹配的速度和正确匹配的概率。实验结果证明该算法对于旋转、尺度变化均具有不变性、对于噪声以及图像亮度变化具有较好的鲁棒性,且匹配速度比改进前提高了近1倍。 6.针对图像拼接中累计误差对合成图像质量影响严重的问题,提出了一种基于特征点的整体优化调整方法。如果仅利用图像局部配准的结果对图像序列进行拼接,则会因为误差的累计而造成合成图像中出现重影或者图像变得模糊。该方法利用基于特征点的图像配准算法中得到的正确匹配点,对具有匹配关系所有图像的变换矩阵进行整体优化和调整,使累计误差降低。实验结果表明,该方法可以有效降低图像序列中的累计误差,提高最终合成图像的质量。