改进加权融合在消除图像拼接重影中的运用

图像拼接是计算机视觉与图像处理领域一个研究热点，其目的是把含有重叠区域的同一场景的两幅或者多幅图像合成为一幅具有较高分辨率的全景图像[1]。由于待拼接图像的重叠部分内容不仅随时间的变化会发生变化，而且可能受到几何变换、配准与运动物体的影响，两幅图像间的重叠部分便容易存在差异，此时若直接对重叠区域进行融合处理，拼接结果将会产生重影现象，图像融合[2-4]技术消除重影现象是图像拼接重要的环节。

图像融合是生成一幅宽视觉图像的最后一步，它既解决了图像的画质问题又能消除连接缝、光度和色度的影响。文献[5]提出的直接平均值法是基于配准图像重叠区域的像素灰度值，容易造成融合图像出现带状问题，甚至影响拼接图像的视觉效果。最大值法[6]是指重叠区域并不是对两幅待拼接的图像进行平均，而是采用比较待拼接图像对应点像素值大小进行融合，容易出现重叠区域不流畅等问题。加权平均法[7]与直接平均法一样均是利用图像的像素灰度值，该算法包含帽子函数加权平均法[8]和渐进渐出加权平均法[9]，该算法融合后容易出现重影等问题。

针对上述问题，本文在基于SURF算法的图像配准基础上，对图像融合进行了改进，提出了改进加权融合算法，通过实验验证，该方法能有效的消除图像重影等问题。

2 重影产生的因素(Factors of ghosting)

图像拼接在实际应用中，极易产生重影现象，本文将分别从拍摄因素与算法因素两方面分析图像拼接产生原因。

2.1 拍摄因素

在处理图像的技术领域中，不管是对图像进行怎样的处理，都首先要通过拍摄设备拍取图像，作为后续图像处理的第一步，图像的拍摄方式，对图像拼接有着十分重要的影响。按照相机的拍摄情况，可以将拍摄图像的方式分为三类。

(1)旋转相机获得。旋转相机拍摄是将照相机绕着相机的垂直轴旋转，然后每旋转一定的角度拍摄一张图片。此外拍摄的图片必须要包含超过一定比例的重叠区域，当重叠区域过小时，图像会由于匹配的特征点对不足，而导致拼接失败。当重叠区域过大时，则需要多张图像进行拼接才能获取到更宽视野的图像，影响拼接的实时性。一般情况下，重叠区域占整幅图像的40%—50%，图像能够找到足够配准的特征点对，但由于该方法采集的图像都不在同一个平面上，需要采用投影变换将图像变换在同一个平面内，这导致图像会存在变形，影响拼接图像的质量。

(2)水平移动相机获得。水平移动相机拍摄的情况是在确定要拍摄的平面后，保持相机的姿态，平行于该平面进行移动。通过这种拍摄方式拍摄出的图片都位于同一平面上，拍摄时相机距离拍摄的目标越远，则目标越小。由于采用水平移动相机的方式对拍摄的要求非常苛刻，因此在现实应用中很少有采用这种拍摄方进行拍摄。

(3)通过手持相机进行拍摄。手持相机进行拍摄在我们实际操作过程中是被采用最多的方式，但这种方式是最难以进行配准与拼接的。这种拍摄方式既包含了旋转照相机又包含了水平移动相机。在拍摄时，站在原地不动，通过旋转的方式进行拍摄的话，相机并不能确保是围绕同一垂直轴，导致最终采集的图像并不在同一个平面上；通过平移的方式进行拍摄时，拍摄目标与相机之间的距离很难控制，不能保证距离完全不变。因此此种拍摄方式对配准与拼接也是极为不利的。

理想情况下，无论何种拍摄方式，相邻图像的重叠区域都应该具有相同的特征，但是实际操作过程中，一方面由于拍摄图像的存在一定的时间差，且相机的轨迹很难控制，使得图像间光照强度可能存在差异，另一方面，拍摄图像过程中相机存在视差，图像重叠区域中目标并不能完全重合，此外，若拍摄场景中存在运动目标，由于拍摄时存在时间差，图像间重叠区域中必然存在差异。在图像拼接过程中，不管是何种原因导致了的图像重叠区域存在不同，这必然使得最终的拼接结果存在重影现象。

2.2 算法因素

图像拼接过程中，拍摄条件与拍摄环境是我们无法改变的，但巧妙的拼接算法能够提高拼接图像的质量，消除客观因素对拼接的影响。线性渐变融合方法是图像拼接中广泛应用的融合方法，其基本原理如下：

假设和分别为待拼接的图像序列，为融合后的图像，和分别为待拼接图像的权值，该算法的公式表达如式(1)所示。

(1)

式中，和计算方法如下：设当前重叠区域的像素横坐标为，重叠区域左、右边界的横坐标分别为和，那么，，由此可以看出的计算与重叠区域宽度有关，且，。图像重叠区域中，权值从1缓慢变化到0，则由0缓慢变化到1，这样就实现了两幅待拼接图像、之间的平滑过渡。权值的变化如图1所示。

图1 权值变化示意图

Fig.1 Schematic diagram of weight change

通过文献分析及实验分析，个别融合算法易产生重影现象，由此可知此种图像拼接方法在实际拼接中存在很大的局限性，为了消除实际拼接中存在的重影问题，必须改进当前拼接融合方法或提出新的消除重影方法。

3 改进加权融合(Improved weighted fusion)

本文基于运动目标设置两幅图像的加权系数，加权系数的具体求取方法如式(2)所示。

(2)

其中，为图像重叠区域任一点像素的横坐标，为重叠区域左边界x坐标最小值，为重叠区域右边界x坐标最大值，为虚拟拼接线到重叠区域中心点横坐标的距离，在权值函数中引入参数能够使虚拟拼接线避开运动目标的干扰。改进的融合权值函数如图2所示。

图2 权值取值函数

Fig.2 Weight value function

图2中横轴为像素点横坐标，纵轴为权值大小，和分别代表左侧和右侧图像权值取值函数。本文设计的两权值函数皆为非线性函数，两权值具有较大的差异，目的是较大程度地消除两幅图像的相互影响。图2中间的虚线为本文融合算法将会产生的虚拟拼接线，且虚拟拼接线所在的位置直接关系到是否能够消除运动目标的干扰。虚拟拼接线的自适应调整方法如图3所示，分别为重叠区域中心线在运动目标右侧，重叠区域中心线在运动目标左侧，重叠区域中心线穿过运动目标左半部分，重叠区域中心线穿过运动目标有半部分。为了能使虚拟拼接线完全避免运动目标的干扰，本文将运动目标的范围左右边界分别扩充50。由此可得具体求解如下：

当或时，；

当且时，；

当且时，

其中，为运动目标左边界，为运动目标右边界。将值带入公式(2)求得加权系数后，通过公式(3)对图像进行融合，即可消除运动目标对拼接的影响。

(3)

图3 运动目标在重叠区域的位置示意图

Fig.3 The location of moving targets in overlapping regions

4 讨论(Discussion)

本文采用AMD A8-5500B APU 3.19GHz、3.21GB内存的计算机，采用vs2010编程环境下，对加权融合、动态规划寻找拼接线法[10]、文献[11]中方法，以及本文所提方法进行对比分析。

采用图4(a)和图4(b)对拼接算法进行分析验证，四种方法的融合结果如图5所示。其中图5(a)运用加权融合算法虽然能够消除图像的拼接缝，但因运动目标的干扰产生了重影；动态规划拼接线法是将图像分解为多幅尺度图像进行拼接后再合成为最后的融合图像，可实现整幅图像平滑过渡，并能够降低对配准误差的敏感度，消除重影，但该方法限制了拼接线的搜索方向，使拼接线不能避开目标的边缘，产生穿越现象，最终仍然产生重影，运用动态规划拼接线法如图5(b)所示；图5(c)为选用文献[11]方法，该方法运算量小，能够消除运动目标的干扰，但图5(c)图像由于光照差异存在拼接痕迹；如图5(d)所示，本文融合算法拼接效果优于其他算法的拼接效果。为了体现本文所提融合算法的实用性和可靠性，采用客观指标对其融合效果进行评价[12,13]。

(a)待拼接图像左图 (b)待拼接图像右图

(a)Left mosaic image (b)Right mosaic image

图4 测试图像

Fig.4 Test image

(a)加权融合 (b)动态规划拼接线拼接

(a)Weighted fusion (b)Dynamic programming splicing

(c)文献[11]中方法 (d)本文融合算法

(c)Method of reference (d)Improved fusion algorithm

图5 图像融合效果对比

Fig.5 Comparison of image fusion

表1给出了基于灰度标准差、空间频率信息熵加权、清晰度加权质量评价结果，测试图像为图5四种算法的拼接结果。测试结果中可以看出，本文拼接算法拼接后的图像灰度标准差、空间频率信息熵加权、清晰度加权值相比其他三种算法均有所提高，而灰度标准差值、空间频率值越大说明融合图像的灰度分布越分散，信息熵加权、清晰度加权值越大则表明融合后的图像过渡更加平滑，融合算法方案更优，同时，重影拼接的实时性较好。

表1 测试结果

Tab.1 Result of test

评价

方法

融合

方法 融合时间（ms）

加权融合 124.1156 18.3447 0.5534 0.5788 101.34

动态规划 123.2813 20.6384 0.6456 0.6643 235.42

文献[11] 124.1317 18.3564 0.7843 0.7964 131.11

本文算法 124.3582 20.6994 0.8153 0.8278 140.81

5 结论(Conclusion)

本文在研究图像拼接中的融合方法的基础上，提出了基于改进加权融合算法实现图像拼接，从而消除图像拼接中产生的重影。该方法通过求取差异图像确定运动目标区域，并基于其边界求取加权系数，实验表明该融合算法能自适应的消除运动目标的干扰，灰度标准差、信息熵加权、清晰度加权评价指标相比其他融合拼接算法均有所提高，即融合图像的质量与清晰度得到改善。同时，提高了图像去重影拼接的实时性。

参考文献(Reference)

[1] 祝继华,等.基于图像配准的栅格地图拼接方法[J].自动化学报,2015,41(2):285-294.

[2] 桂振文,等.一种融合多传感器信息的移动图像识别方法[J].自动化学报,2015,41(8):1395-1404.

[3] 潘荣江,等.一种基于LCS的物体碎片自动拼接方法[J].计算机学报,2005,28(3):350-356.

[4] 贺行政,康荣学,任贵文.安全生产监控中的红外图像融合技术研究[J].中国安全生产科学技术,2016,12(S1):268-271.

[5] 雷飞,等.基于改进SURF的实时视频拼接方法[J].计算机技术与发展,2015,25(3):32-35.

[6] 漆昇翔,等.面向机载应用的多传感器图像融合技术综述[J].航空电子技术,2016(14):5-11.

[7] Richard Szeliski,Heung-Yeung Shum.Creating full view panoramic image mosaics and environment maps[C].In:Computer Graghics Procceding,Annual Conference Series,ACM SIGGRAPH,Los Angeles,California,

1997:251-258.

[8] H Nicolas. New Methods for Dynamic Mosaicking[J].IEEE Transactions on Image Processing,2011,10(8):1239-1251.

[9] 葛仕明,等.基于梯度场的拼接缝消除方法[J].计算机辅助设计与图形学学报,2007,19(2):227-232.

[10] Smith S M,Brady J M.SUSAN-a new approach to low level image processing[J].International Journal of Computer Vision,1997,23(9):45-78.

[11] Yang Y,et al.A research on registration and de-ghosting algorithm in image mosaic[C].Wireless Communications & Signal Processing (WCSP),2013 International Conference on.IEEE,2013:1-5.

[12] 于大海,等.图像灰度标准差对介质阻挡丝状放电分布均匀性的定量评价[J].中国电机工程学报,2013,33(28):193-196.

[13] 姚汉英,等.SAR图像拼接效果的评价方法研究[J].计算机工程,2010,36(15):196-198.

作者简介：

徐 敏(1988-)，女，硕士，助教.研究领域：数字图像处理.