图像拼接技术的研究、实现与应用

图像拼接技术是近几年计算机图形图像处理、计算机视觉等领域众多学者研究的热点,并且在视频监控、电视会议、虚拟现实、医学图像处理、遥感技术和军事等领域中均有广泛的应用。根据应用场合的不同,图像拼接技术又可分为实时视频图像拼接技术和静态图像拼接技术,针对这两方面技术的研究和应用目前还有很多亟待解决的问题,本文主要围绕其中制约图像拼接速度和质量的几个关键问题进行研究,主要研究工作和贡献如下： 1、传统的折射法多相机视频拼接系统由于相机视差和拼接方式的原因,在近景处易出现因图像配准误差引起“鬼影”现象。针对这一问题,本文提出了一种自适应实时视频拼接系统。首先,为了减小相机体积引起的视差,在设计图像采集装置中采用了体积较小的针孔式相机,并用张氏标定法对其进行图像畸变校正；然后,用相位相关法和Levenberg-Marquardt算法确定图像之间的初始几何配准关系,在此基础上,提出了基于模板匹配的算法实时修正调整图像之间的配准关系,以进一步消除视差的影响。实验表明：本文设计的自适应实时图像拼接系统在不同的景深均能获得良好的拼接效果,解决了传统拼接系统在近景处出现“鬼影”的现象,同时该系统还具有算法复杂度小、实时性好、视频图像拼接装置设计简单等优点。 2、平面镜折反射是近年来兴起的全景视频流生成方法。针对传统平面镜折反射法对硬件装置设计精度要求太高、价格昂贵且生成的视频图像存在拼缝感等缺点,提出了一种改进的平面镜折反射视频图像拼接系统。首先,通过建立几何成像数学模型论证推导了视差对视频图像拼接的影响,分析了视点不一致的成因及对拼接影响的必然性和规律性,在此基础上,提出了一种对设计和加工精度要求不高的多平面镜装置,该装置可通过调整微调螺母把三个相机的光心近似成像于同一个点,解决了相机之间视点不一致的问题；接着用改进的比值匹配法对图像进行配准；最后,利用非线性加权融合算法消除拼缝。本文设计的平面镜折反射视频拼接系统拟用在货车运行故障动态检测系统(Trouble of Moving Freight Car Detection System,简称TFDS)中,以解决传统的TFDS图像抓拍装置不能捕获货车底部完整景象的缺陷。实验表明：本文提出的平面镜折反射视频图像拼接装置具有实时性好、分辨率高、无拼痕、成像效果不受景深影响等优点,能够实时的把TFDS中3个相机获取的货车底部图像拼接成一张无缝完整的大视场图像；同时,基于本文提出的设计思想,还可以扩展设计出具有良好拼接效果的平面镜折反射全景相机。 3、针对当前图像拼接软件和算法在动态场景中拼接效果不好甚至出现无法完成拼接的问题,本文在结合SIFT和动态规划的基础上,提出了一种改进的最佳缝合线搜索准则。首先,采用SIFT算法和RANSAC算法完成图像之间的配准；然后,提出了一种改进的最佳缝合线搜索准则,解决了传统最佳缝合线搜索准则容易造成运动物体“残缺”的问题；接着,采用动态规划方法进行最佳缝合线搜索,建立的缝合线复杂度相对其它方法低,而且思路也相对简单。最后,提出了层次式多分辨率拼接的思想,实现缝合线和曝光差异平滑过渡处理。结合AutoStitch、Microsoft ICE、Panorama Maker等商业拼接软件的实验效果对比表明：本文提出的算法在一般性和大曝光差异的动态场景中均取得了很好的拼接效果,同时在宽基线的静态场景拼接中也获得了较好的效果。 4、在不向的应用场合,本文采用不同的图像融合方法。针对第三章和第四章中的实时视频拼接场合,采用了加权融合算法,该算法实现简单,速度快,很好的保证了实时性；而在第五章中,由于对拼接速度未做要求,采用了多分辨率图像融合算法,该算法复杂度较高,但是具有较好的融合效果,从而保证了拼接质量。