ABSTRACT

A new image fusion method for infrared and visible light image based on object detection technique is proposed in this paper. The object detection is utilized to separate infrared image into object and background region. And NSCT is applied to fuse the background and visible light image. The final fused image is obtained by fusing the background fused image and infrared object image. Fusion experiments indicate that the proposed method is efficient and effective. Besides, it achieves better performance than the conventional fusion methods.

Keywords:Image Processing, Image Fusion, Object Detection, Nonsubsampled Contourlet Transform (NSCT)

目标检测的红外和可见光图像融合

李婵飞¹，胡锦龙²，韩彦净¹

¹重庆邮电大学移通学院，重庆

²中科院光电技术研究所，四川 成都

Email: 454329847@qq.com

收稿日期：2015年6月26日；录用日期：2015年7月9日；发布日期：2015年7月14日

摘 要

针对红外图像和可见光图像融合，提出了一种基于目标检测的图像融合方法。该方法运用目标检测技术将红外图像分割为目标和背景区域，同时运用非下采样轮廓波变换将红外背景区域和可见光图像融合得到融合背景图像，然后将融合背景图像和红外目标区域融合得到最终融合图像。实验结果表明，该方法具有可行性和高效性，且比其他图像融合方法具有更好的性能。

关键词 :图像处理，图像融合，目标检测，非下采样轮廓波变换

1. 引言

图像融合不是简单的数据叠加，而是对多个图像传感器获得的互补或冗余信息进行集合的过程。它使得新图像满足图像处理中的特征提取、目标识别或分割的需要。因此，图像融合技术被广泛应用于计算机视觉、军事、遥感和医学等领域。

红外图像和可见光图像分别是通过红外成像传感器与可见光成像传感器获得的。由于两种传感器工作原理不同, 性能也就不同。红外图像能较好地反应图像的热目标特性，但对场景亮度变化特征不敏感, 且图像清晰度较低；可见光图像能够较好地反应目标所在的场景细节信息，且清晰度较高。红外和可见光图像融合能有效地综合红外图像目标特征信息和可见光图像的场景细节信息，得到信息更全面的融合图像 [1] 。

拉普拉斯金字塔 [2] (LP)和小波变换 [3] [4] (DWT)是较常用的多分辨率图像融合工具。但是，它们都缺乏平移不变性，且方向分析能力有限，不能全面地表示图像信息。非下采样轮廓波变换 [5] (NSCT)变换是一种多尺度、多方向、平移不变的多分辨率工具，利用该工具进行图像融合能有效提取源图像的方向细节信息，得到融合效果较好的图像。

现阶段的红外和可见光图像融合技术大部分都是对图像融合准则进行研究，该类融合方法不能很好地保留可见光图像背景细节信息，突出红外目标人物信息 [6] [7] 。为此，本文引进了目标检测技术。在图像融合前利用目标检测技术将红外图像分割为背景和目标图像；然后利用NSCT变换将红外背景和可见光图像进行融合得到融合背景图像；再将该融合背景图像和红外目标图像融合得到最后的融合图像。

2. 目标检测

图像的目标区域里包含重要目标信息，且目标信息应尽可能地保留，目标检测的目地就是分割出源图像的目标和背景区域。在红外图像中，热目标人物特征比较清晰，且目标区域灰度均值要远高于背景区域灰度均值，因此可利用这一特征将红外图像中的目标人物检测出来。本文运用一种结合灰度直方图熵法 [8] 和Sobel [9] 边缘检测的红外图像目标检测方法，该方法可以较准确地检测出红外目标图像。

首先，运用一维灰度直方图熵法得到红外图像分割目标的阈值；再运用Sobel边缘检测得到红外图像可能的目标图像边缘，计算得到边缘内部区域均值；最后，比较均值和阈值的大小。如果均值 > 阈值，对应区域是目标区域；否则就是背景区域。经过这些步骤检测出红外图像的目标区域，进而得到背景区域。

3. NSCT变换

非下采样轮廓波变换(Nonsubsampled Contourlet Transform，NSCT)是一种重要的多尺度几何分析工具。它具备平移不变性，有很好的方向性，能更好地表达图像的边缘方向信息。

NSCT变换首先运用非下采样塔式滤波器组NSP对图像进行多尺度分解，再运用非下采样方向滤波器组NSDFB对第一步得到的各带通子带图像进行分解，得到图像不同尺度、方向上的子带系数。

NSCT的多尺度特性是通过平移不变的滤波器结构获得的，它利用一个双通道二维非下采样滤波器组完成类似于拉普拉斯金字塔的分解。图像经过一级NSP分解得到一个与源图像大小相同的低频子带和高频子带图像，经过级分解得到个不同尺度下的高频子带图像和1个低频子带图像。对某一尺度下的子带图像运用NSDFB进行级分解，就能得到与原图像大小相同的个不同方向的子带图像，如图1所示。

4. 融合准则

图像融合规则是多分辨率图像融合的核心，它的优劣对融合图像质量的好坏起着重要作用。融合准则主要包括低频和高频子带融合准则。

图像的低频子带主要包含源图像的近似特性，占据图像的主要能量。在本文融合方法中，低频采用高斯模糊逻辑[10] 权值融合准则。该融合准则可以较好的保持红外图像的目标信息和可见光图像的背景细节信息，融合准则如下：

(1)

(2)

(3)

其中表示融合图像低频系数，和分别表示红外和可见光图像的低频系数，和分别表示红外和可见光图像的低频权值系数。

本文融合方法中，高频子带采用绝对值取大法的融合准则，该融合准则既能够得到边缘细节较丰富、清晰度较高的融合图像，又可以提高融合速度。

5. 基于目标检测的红外和可见光图像融合

本文提出一种基于目标检测的红外和可见光图像融合方法，具体步骤如下：

图1. NSCT分解示意图

1) 运用节1一维灰度直方图熵和Sobel边缘检测相结合的目标检测方法将红外图像分割为目标与背景区域；

2) 运用节2的NSCT变换将红外背景和可见光图像分别分解为低频子带和高频子带；

3) 运用节3的高斯模糊逻辑融合准则将红外背景区域低频子带和可见光图像低频子带进行融合得到融合背景图像低频子带；运用节3的绝对值取大融合准则将红外背景区域高频子带和可见光图像高频子带进行融合得到融合背景图像高频子带；

4) 运用NSCT逆变换将融合背景图像低频和高频子带融合得到融合背景图像；

5) 运用加权融合准则将红外目标和融合背景融合图像融合得到最终融合图像。具体准则如下：

(4)

其中表示融合图像，表示红外目标图像，表示背景融合图像，表示权重系数，且，。

6. 实验结果与分析

为了验证所提出方法的有效性，选择两组典型的红外和可见光图像进行实验。融合方法分别为基于Laplacian塔变换的图像融合方法(LPT)，基于小波变换的图像融合方法(DWT)，基于NSCT变换的图像融合方法(NSCT)与本文提出的方法。它们的分解层数均为4层，高频融合准则均为绝对值取大法。LPT、DWT和NSCT1低频融合准则为均值法；NSCT2低频融合准则为高斯模糊逻辑权值法(NSCT2)。融合结果如图2和图3所示。

从图2和图3可知，本文融合方法得到的融合图像对比度最高，目标人物最清晰，且能较好地反映道路、栏杆等细节信息，便于人眼观察。

然而，主观评价极易受人的视觉特性、心理状态等因素影响，为了更客观科学地对实验结果进行评价分析，特采用标准差，信息熵，互信息[11] [12] 三项指标进行分析，结果如表1和表2所示。

从表1和表2可知，本文融合算法融合图像的标准差、信息熵、互信息都要高于其它融合方法，说明本文融合方法获得到的融合图像清晰度最高，且能很好地保留源图像的有用信息。

综合可知，本文融合算法的融合效果优于其它方法。

图2. 实验1

图3. 实验2

表1. 实验1客观评价指标表

表2. 实验2客观评价指标表

7. 结论

本文提出一种基于目标检测红外与可见光图像融合方法。该方法首先运用目标检测技术将红外图像分割为目标和背景区域，同时运用非下采样轮廓波变换将红外背景区域和可见光图像融合得到融合背景图像，最后将融合背景图像和红外目标区域融合得到最终融合图像。文章采用红外和可见光图像系列进行实验，结果表明运用本方法所得的融合图像能较好地保留红外图像目标信息，具有清晰度较高的背景信息，且具有最高的标准差、信息熵、互信息，是一种可行有效的融合方法。

文章引用

李婵飞,胡锦龙,韩彦净, (2015) 目标检测的红外和可见光图像融合
Infrared and Visible Light Images Fusion Utilizing Object Detection. 图像与信号处理,03,47-52. doi: 10.12677/JISP.2015.43006

参考文献 (References)