ABSTRACT

An improved algorithm is Proposed for image fusion based on lifting wavelet transform in the paper. According to the characteristics of lifting wavelet decomposition of the low and high frequency components of the respective, different fusion rules are adopted, namely low frequency coefficient selection method and the weighted average method, choosing the high frequency coefficient, the variance of wavelet coefficients and the absolute value of the wavelet coefficients are considered synthetically decision fusion. The experimental results show that, when we take the average gradient, the information entropy, the standard deviation, root mean square error and peak signal to noise ratio as the objective evaluation criteria of image fusion, image fusion algorithm has better fusion effect than Laplasse Pyramid fusion image and the traditional wavelet transform; it improves the accuracy of image fusion effectly.

Keywords:Image Fusion, Fusion Rule, Wavelet Transform, Lifting Wavelet Transform

基于提升小波变换的图像融合改进算法的研究

江泽涛¹，杨阳²，郭川²

¹桂林电子科技大学计算机科学与工程学院，广西 桂林

²南昌航空大学信息工程学院，江西 南昌

Email: zetaojiang@126.com, 912335524@qq.com, 1002204643@qq.com

收稿日期：2015年3月26日；录用日期：2015年4月7日；发布日期：2015年4月14日

摘 要

提出了一种基于提升小波变换的图像融合改进算法。针对提升小波分解后的低频和高频分量各自的特点，选用不同的规则进行融合，即低频系数采用选择法和加权平均相结合的策略，高频系数时，把小波系数的方差与绝对值综合起来考虑决定融合小波系数。实验结果表明，当采用平均梯度、信息熵、标准差、均方根误差和峰值信噪比作为客观评价准则，该算法的融合图像比拉普拉斯金字塔融合图像和传统的小波变换的融合图像具有更好的融合效果，较好地提高了图像融合精确度。

关键词 :图像融合，融合规则，小波变换，提升小波变换

1. 引言

图像融合是将两个或两个以上的传感器对某一场景获取多幅图像信息加以综合，从而获取单一传感器无法获取的信息。图像融合的目的是减少不确定性。

由于现有的基于小波变换的图像融合算法计算较复杂、速度较慢等缺点，本文提出了一种基于提升小波变换的图像融合改进算法。针对提升小波分解后的低频和高频分量各自的特点，选用不同的规则进行融合，该方法在保持原有的基于传统小波变换融合方法的融合性能的前提下，可以使融合处理的计算量大大减少，融合速度显著提高。

2. 提升小波的分解与重构

Sweldens提出了用提升方法构造小波的新思路，并证明所有经典小波分析都可以找到相应等效的提升方法[1] 提升方案把第一代小波变换过程分为分裂、预测和更新(或修正)三个阶段[2] 。

1) 分裂：是将信号偶数和奇数样本分离，即

(1)

其中：表示信号的低频近似分量，表示信号的高频细节分量。

2) 预测：预测过程是一个对偶提升的过程，应保持偶样本不变，利用数据间的相关性，定义预测算子，用相邻的偶数序列来预测奇数序列。预测误差为

(2)

3) 更新：经过以上两个步骤产生的系数子集的某些性质(如均值)并不和原始数据中的性质一致，因此需要构造一个更新算子去更新，使得修正后的 (记为)只包含信号的低频成分。即

(3)

与经典小波分析方法相比，第二代小波构造方法的优越性体现在：a) 与经典的Mallat算法相比，其运算量减少一半，在对图像数据的进行处理时，可以减少约3/4的运算量[3] 。b) 易于构造非线性小波变换[4] 。

提升小波重构就是将分解的三个步骤倒过来：

1) 反修正 (4)

2) 反预测 (5)

3) 合并 (6)

式中的表示将和分别作为偶数序列和奇数序列拼接成原始信号。采用基于提升方案的小波变换对信号进行分解和重构的过程如图1所示。

信号进行传统小波变换是用滤波器对信号进行卷积滤波，由于时域卷积在频域变为乘积，所以传统小波变换往往依赖于傅立叶变换在频域中进行设计。从以上的分析可以看出：对信号进行提升小波变换用的是时域中的函数插值思想，即对信号进行预测来产生高频信号，然后再通过更新来获得低频信号，只需在时域中进行，大大节省了内存。Daubechies和Sweldens证明了[5] ；任意具有有限长滤波器的离散小波变换都可以通过对它的多相矩阵进行因式分解化为有限的提升步骤来解决，传统的小波变换转化为提升算法之后，运算速度大有提高。另外，提升小波变换可以实现整数小波变换，计算过程不产生任何浮点误差，具有精确的重构原始信号，以及对原始图像的尺寸没有严格的要求等优点。

3. 算法的改进

相对于传统的小波变换，提升小波变换具有良好的、适合硬件实现的特点。提升算法不依赖于傅立叶变换，在空间域就能完成小波变换，实现对频率域信号的分析，因此不需要很强的傅立叶分析背景便可以理解小波的特性和小波变换。由于摒弃了传统的傅立叶变换，将高低通滤波器转化成一系列的预测和更新步骤，而预测和更新步骤的实现往往很简单，并且具有很大的重复性，从而简化了小波分解和重构的实现结构，降低了运算复杂度。提升算法可以进行同址运算，大大减少了程序所需要的存储开销。这些特点使得提升算法非常适合硬件实现，可以有效地提高硬件系统的性能，以及硬件资源的利用率，极大地改善了运行速度、占用少量内存空间。

基于提升小波变换的图像融合基本原理与基于传统小波变换的图像融合方法类似。首先采用提升方案对已配准的源图像先进行提升小波分解，然后对各分解层分别进行融合处理，各分解层上的不同频率分量可采用不同的融合算子进行融合处理，最后进行提升小波逆变换重构融合图像[6] [7] 。以两幅图像为例，融合原理如图2所示。

大部分基于小波变换的图像融合算法主要研究如何选择融合图像中的高频细节系数，而对低频近似系数直接采用“平均法”处理，这在一定程度上降低了图像的对比度。图像的低频成分包括了图像的主要能量，决定了图像的轮廓。因此，正确地选择低频系数能够很好地提高图像的视觉效果。综合考虑融合图像的质量和执行速度，本章提出了一种基于提升小波变换的图像融合改进算法，在以往的低频与高频融合规则上，均进行了改进，融合图像较好地保留了输入图像的细节和边缘，全局清晰，融合效果好。

3.1. 低频部分融合规则

图像经过提升小波变换[8] 后得到低频分量是对源图像的近似描述，包含了图像的轮廓和纹理信息，以及平均灰度，一般采用加权平均法来处理。但是由于聚焦的不同，图像差异较大，这样处理会弱化它们之间的差异，降低目标的可识别性。由于这个原因，本文采用以下方法来处理低频分量：

图1. 提升小波变换的分解和重构示意图

图2. 提升小波变换融合算法原理图

(7)

其中，为融合后的低频分量，和分别为左聚焦和右聚焦图像的低频部分，和分别为低频分量的均值。

3.2. 高频部分融合规则

对于图像的高频成分，小波系数绝对值越大表示相应位置的灰度值变化也越大，同时还表示其包含着比较多的图像信息，这也说明其重要性程度也越大，它在一定程度上反映了源图像对融合图像的贡献程度的大小。方差的大小对应着数据组分布情况，方差值越大对应着数据组分布程度也越大。在图像数据中，图像数据的像素值变化越大，那么就表明方差也越大，比如含边缘的图像数据块对应的方差值相对来说比较大，清晰图像块的方差值要比不清晰图像块的方差值大。基于小波系数的上述性质，对于小波系数先后有人提出了基于小波系数绝对值取大的融合规则和基于小波系数窗口方差取大的融合规则，这两种方法的融合过程计算简单，而且融合效果都不错，但是这两种方法有可能引入噪声系数。针对此问题，本文提出了将小波系数绝对值大小和小波系数窗口方差大小结合起来考虑，融合规则如下：

1) 两幅图像A和B，如果图像A在点的小波系数绝对值比图像B在点的小波系数绝对值大，且图像A在以点为中心元素的窗口方差比图像B在以点为中心元素的窗口方差大，则取图像A在点的小波系数作为融合图像在的小波系数。

2) 两幅图像A和B，如果图像A在点的小波系数绝对值比图像B在点的小波系数绝对值大，但图像A在以点为中心元素的窗口方差比图像B在以点为中心元素的窗口方差小，则取图像B在以点为中心元素的窗口的各小波系数绝对值均值和作为融合图像在的小波系数。

3) 两幅图像A和B，如果图像A在点的小波系数绝对值比图像B在点的小波系数绝对值小，且图像A在以点为中心元素的窗口方差比图像B在以点为中心元素的窗口方差小，则取图像B在点的小波系数作为融合图像在的小波系数。

4) 两幅图像A和B，如果图像A在点的小波系数绝对值比图像B在点的小波系数绝对值小，且图像A在以点为中心元素的窗口方差比图像B在以点为中心元素的窗口方差大，则取图像A在以点为中心元素的窗口的各小波系数绝对值均值和作为融合图像在的小波系数。

5) 其他的情况就取两幅图像A和B在点小波系数的平均值作为融合图像在的小波系数。

上述思想用数学公式可表示为：

(8)

其中，为融合图像在点的融合系数，为图像A在点的小波系数，为图像B在点的小波系数，为图像A在以点为中心元素的窗口的各小波系数绝对值均值和，为图像B在以点为中心元素的窗口的各小波系数绝对值均值和，为图像A在以点为中心元素的窗口方差系数，为图像B在以点为中心元素的窗口方差系数。

由于该融合规则把小波系数绝对值大小和小波系数窗口方差大小结合起来考虑，所以在一定程度上克服了融合两幅图像小波系数时有可能引入噪声系数的不足。

4. 实验结果及分析

通过实验我们将本章提出的算法与拉普拉斯金字塔、传统的小波变换以及低频近似系数直接采用“平均法”处理的融合算法相比较。图3中，(a)、(b)分别是两幅已经过配准的多聚焦图像[9] [10] ，其中图(a)为聚焦右边的钟表图像，图(b)为聚焦左边的钟表图像，大小都为256 × 256。图(c)和图(d)为分别使用基于拉普拉斯金字塔和DBSS(2,2)小波变换[11] 的融合图像，这两种算法都采用本文提出的融合规则。图(e)为使用提升小波 + 均值规则的融合图像，即融合规则采用低频部分取平均，高频部分取系数绝对值最大的融合算法。图(f)为本章算法融合图像。实验中，拉普拉斯金字塔中的滤波器= [1 4 6 4 1]/16，提升小波变换使用db4作为小波基，四种方法的分解层数均为2。从图3融合结果来看，四种算法融合后的图像都包含了源图像的有用信息，得到了左右聚焦都清晰的图像。相比较容易看出，提升小波 + 均值规则的融合图像效果最差，其他三种算法融合图像的细节和边缘较好，全局清晰，视觉效果差不多。

(a) 聚焦右边 (b) 聚焦左边

图3. 多聚焦图像及其融合结果

本章采用平均梯度、信息熵、标准差、均方根误差和峰值信噪比来作为图像融合效果的客观评价标准。

1) 平均梯度

平均梯度具备反应图像细节反差程度和纹理变化特征的功能，同时也反应了图像的清晰度。一般来说，平均梯度值越大，表明图像越清晰。

(9)

式中，、分别为图像的行数和列数；表示图像在像素点的灰度值，，。

2) 信息熵

对于灰度范围的图像直方图，为灰度值等于的像素数与图像总像素数之比，为灰度级总数，其信息熵定义为

(10)

图像信息熵反应了图像携带的信息量的多少。融合图像的熵值越大，说明携带了源图像越多的信息量，融合效果越好。

3) 标准差

标准差是一种表示分散程度的统计观念，它反映了图像灰度值的分布情况。标准差的大小与图像质量正相关。标准差越大，说明图像灰度级分布越分散，图像的有用信息就越多；标准差越小，图像灰度级分布集中，图像的对比度也减小，色调单一得不到太多有用的信息。标准差的计算公式为：

(11)

式中：表示融合后图像的灰度，表示融合图像灰度的均值。

4) 均方根误差

均方根误差表示融合图像与标准图像的偏离程度，均方根误差越小，说明融合效果越好。其计算公式为：

(12)

其中：为融合图像，为标准图像。

5) 峰值信噪比

峰值信噪比越大，图像的视觉效果就越好。其计算公式为：

(13)

式中：

表1是对图3中融合图像的客观数据统计。本章算法的融合图像中的平均梯度、信息熵、标准差和峰值信噪比都比其他几种算法的高，并且均方根误差比其他几种算法的小，说明本章算法较好地提高了清晰度和提取更多源图像的信息，融合效果更好。所以，从主、客观分析来看，本章算法的融合效果在这几种方法中是最好的。

表1. 多聚焦图像融合结果的平均梯度、信息熵、标准差、均方根误差和峰值信噪比

5. 小结

本文提出了一种基于提升小波变换[12] -[16] 的图像融合改进算法，该算法使用提升小波变换代替传统的小波变换或拉普拉斯金字塔，提出了采用不同的融合策略合并相应的低频系数和高频系数，本文通过仿真比较，性能明显优于拉普拉斯金字塔、传统的小波变换以及低频近似系数直接采用“平均法”处理的融合算法，本文算法简单、执行速度快、节省内存空间，融合图像能够较好地保留细节和边缘，同时保留了源图像的有用信息，全局清晰，融合效果良好，在自动目标识别与跟踪、遥感、医学图像处理、智能机器人等领域有着广阔的应用前景，特别适用于实时系统。

科研情况

国家自然科学基金项目——由二维图像序列重建三维图像拼接与融合方法研究(编号：61272216)。

基金项目

本文是由中国自然科学基金会(61272216)和中国航天创新基金会(CASC201102)资助。

文章引用

江泽涛,杨 阳,郭 川, (2015) 基于提升小波变换的图像融合改进算法的研究
Study on the Improvement of Image Fusion Algorithm Based on Lifting Wavelet Transform. 图像与信号处理,02,11-19. doi: 10.12677/JISP.2015.42002

参考文献 (References)