Journal of Image and Signal Processing
Vol.06 No.02(2017), Article ID:20215,11 pages
10.12677/JISP.2017.62010

A Method of Image Dehazing Using Atmospheric Scattering Model

Lichun Duan, Chao Liu, Wei Zhong, Liqing Chen, Murong Jiang*

Department of Computer Science and Engineering, School of Information Science and Engineering, Yunnan University, Kunming Yunan

Received: Mar. 25th, 2017; accepted: Apr. 8th, 2017; published: Apr. 11th, 2017

ABSTRACT

In view of the problem that the image under foggy days is not clear, the atmospheric scattering model is used to process the image dehazing. First, the Curvelet transform extracts the image edge and calculates the vanishing point on the basis of the intersection of straight line edges. Then it calculates the depth of field value according to the vanishing point. The radiation coefficient of incident light in the foggy image is obtained, which means that the real color value of the image is obtained and the image dehazing is finished. When calculating the depth of field value, it respectively calculates the depth of field value of every foggy image’s pixel at the same time, which solves the partial area color distortion problem that is caused by using single depth of field, and makes the processed image look more natural. Finally, the validity of the method is verified by experiments.

Keywords:Image Dehazing, Atmospheric Scattering Model, Vanishing Point, Depth of Field

一种利用大气散射模型实现图像去雾的方法

段立春,刘超,钟玮,陈丽清,蒋慕蓉*

云南大学,信息学院计算机科学与工程系,云南 昆明

收稿日期:2017年3月25日;录用日期:2017年4月8日;发布日期:2017年4月11日

摘 要

针对雾天图像清晰度不高的问题,我们采用大气散射模型进行图像去雾处理,利用Curvelet变换提取图像边缘,根据边缘相交的直线先计算灭点值,再由灭点计算景深值,得到含雾图像中入射光的辐射系数,即图像真实的颜色值,达到图像去雾的目的。在景深值计算中,分别对含雾图像的每个像素点都做一次景深计算,在一定程度上可以解决由于单一景深导致部分区域颜色失真的问题,使去雾后图像的颜色更自然。最后,通过实验验证了方法的有效性。

关键词 :图像去雾,大气散射模型,灭点,景深

Copyright © 2017 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

由于大雾等恶劣天气的影响,图像设备难以采集到清晰的图像(如图1所示),对捕捉到的含雾图像进行去雾处理,减轻甚至消除雾天对图像设备所产生的影响是图像复原的主要任务之一。

目前,较为普遍的去雾算法主要分为两类 [1] :第一类是基于物理模型的场景图像复原算法,第二类是基于图像增强处理的去雾算法。第一类大多是从含雾图像降质的物理方面成因入手 [2] ,Oakley等人提出基于场景几何学方法 [3] ,建立一个新的物理模型,这个模型含有三个参数,对模型参数进行逆向计算,得出的结果再用来计算含雾图像中的每一个像素点的反射以及散,射通量的相对影响值,但是这种方法只能用于灰度级图像,并不适用于彩色图像,且场景深度是由前置空运相机拍摄得到的。Cozman、Krotkov等人在1997年第一次在含雾图像的去雾处理中使用到了大气散射模、型 [4] [5] ,用晴好条件下景点的颜色值和大气光颜色值线性表示出图像设备采集到的图像颜色值,再拿采集到的图像色度值减去大气光色度值,就能复原出晴好天气下景物的色度值。只是这种算法在去雾处理时,采集到图像的景深很难准确计算,天空的亮度值受到了悬浮颗粒散射影响,现实环境中其他光线往往也能导致这个方法瘫痪。第二类主要从时域、频域这两个方面来选择相应的图像增强算法,Jisha John、Grewe等人提出的基于小波融合的去雾算法 [6] [7] [8] ,对多幅含雾图像进行融合来获得一张较好的图像,但是这种方法只能相对地提高图像质量,并不能实现真正意义上的去雾。

Figure 1. Foggy image

图1. 带雾图像

2. 大气散射模型

1975年,麦卡特尼(McCartney)等人根据Mie散,射理论,利用入射,光衰减模型和大气光成像模型来描述景物的成像机制,提出了大气散射模型 [9] :

(1)

其中:为入射光的辐射系数(图像真实的颜色值),为图像设备所获得的含雾图像的颜色,为大气光色度,为大气散射系数,d为景深 [10] 。

当已知大气散射系数时,由公式(1)可知,若要实现退化图像的复原,就要知道景深d与大气光色度。通过自左向右对含雾图像的直方图进行扫描,找到直方图中最高峰值点就是大气光色度。现在,只需计算出退化图像中每一景深d即可。

沿着图像中深度增加的方向选择一个景物消失的近似位置,称为灭点(Vanishing Point,又叫做消失点),场景点的深度与它们在图像上对应的像点到灭点的距离成反比 [11] 。根据图像的灭点,可以找到汇聚在这个灭点的互相平行的直线集合,通过灭点可以确定空间线条的延伸方向。依据这些直线,可以分析出图像方向和景深等立体空间的信息,这样我们就能计算出图像采集点与场景点的距离。

图像透视一般有两种:平行透视和成角透视。真实场景中的这组平行线与画面成90度,就是平行透视,只有1个灭点,如图2;真实场景中的这组平行线与画面所成的角度只要不是90度,都是成角透视,一般有2个灭点,如图3

Figure 2. The vanishing point of parallel perspective

图2. 平行透视灭点

Figure 3. The vanishing point of angled perspective

图3. 成角透视灭点

3. 基于灭点检测的去雾计算方法

去雾计算的具体步骤如下:

步骤1:灭点检测。为了便于实验的理解,利用了图4城市建筑图来做仿真实验,并且得出了每一步的实验图。

第一步:边缘检测。对原始含雾彩色图转化为灰度图,并染色,如图5,再使用传统边缘检测算法(SOBEL算法)对含雾原图像进行提取,返回低阈值的图,像边缘,如图6

第二步:边缘检测稀疏。使用稀疏算法,对图像的高密度边缘进行稀疏,除去无用的边缘,只保留原图像主要框架,如图7

第三步:Curvelet变换。对图7使用Curvelet变换 [12] [13] [14] ,如图8,删除任何对灭点检测没有作用的绝对水平、绝对垂直的边缘,只返回又窄又长的最优细尺度边缘,如图9

第四步:灭点检测。选择在上个步骤得到的边缘中,把边缘转相交,也就得到了很多交的点,如图10。利用RANSAC算法 [15] ,从得到的交点样本中,拟合误差范围内包含样本最多的线性模型。再把最优的模型两两相交,即得到图像的灭点坐标(170.9762, 150.1190),如图11所示,绿色小圆圈就是灭点位置。

第五步:灭点校验。由于灭点对图像复原至关重要,为了验证RANSAC算法检测到的灭点准确性,

Figure 4. The original image to be processed

图4. 待处理原图像

Figure 5. Dyeing

图5. 染色

Figure 6. The image edge by Sobel algorithmic detection

图6. Sobel算法检测的图像边缘

Figure 7. Thin edge

图7. 稀疏边缘

Figure 8. Curvelet transform

图8. Curvelet变换

图10中选4条直线并在每条直线上选6个点,如图12所示,量得这24个点的坐标如表1

依据最小二乘一,拟合原一,理,拟合出4条直线。如图13所示。

Figure 9. The bordered line of vanishing point

图9. 灭点的边缘直线

Figure 10. The intersection of bordered line

图10. 边缘直线交叉点

Figure 11. Vanishing point

图11. 灭点

Figure 12. The 24 optional points

图12. 自选的24个点

Figure 13. The four fitting line

图13. 拟合的4条直线

Table 1. The 24 intersections of line

表1. 24个直线相交点

对于拟合的4条直线分别两两相交,求它们相交的点坐标,如表2

从表中,可以看出,各条直线交点坐标基本上都和RANSAC算法得出的灭点(170.9762, 150.1190)附近,甚至相当。因此,可以判定坐标(170.9762, 150.1190)就是该雾天图像的精确值。RANSAC算法计算的灭点完全可以用来做景点深度估计。

Table 2. The six checked coordinates of vanishing point

表2. 校验得到的6个灭点坐标

Figure 14. The original image

图14. 原图像

Figure 15. The image of dehazing

图15. 去雾后图像

步骤2:计算景深d。

传统景深计算方法是利用求得灭点坐标,直接对整幅图像进行景深计算,然后得出一个景深值,再利用这个值对整幅图像做去雾处理。这样做的优点是计算方便,时间复杂度小。但是,如果场景如果多而且复杂,这样一个景深值往往无法代替所有的景深值。本文对原方法进行改进,利用上面

Figure 16. The image of dehazing

图16. 去雾后图像

Figure 17. The image of dehazing

图17. 去雾后图像

Figure 18. The image of dehazing

图18. 去雾后图像

Figure 19. The image of dehazing

图19. 去雾后图像

计算出的灭点分别对含雾图像的每个像素点都做一次景深计算。

首先计算出灭点到图像四个边缘点(1,1)、(1,512)、(512,1)、(512,512)距离:

那么,利用景深计算公式,求出图像上每一个像,素点的景深:

这样,就会得到个景深距离d的值。

步骤3:计算散射系数。如果把雾天空气中散射介质看成均匀介质的话,则变成已知。

步骤4:大气光色度。周围大气光色度的获取可以从直方图中获取。从含雾图像的直方图中选取几个峰值点。对就做加权处理,得到的是需要的含雾图像大气光色度

步骤5:图像设备所获得的含雾图像的颜色

步骤6:有了这4个变量,对于含雾图像的每个像素,分别都使用公式还原其原来的颜色,共计算512 × 512次。然后得到512 × 512个,再合成一副图像,即景物去雾后的图像。

为了验证方法的有效性,采取了不同观测点、不同场景、不同雾气浓度、不同的天空亮度等3幅随机城市建筑图作为代表。

图14透视方式:成角透视;雾气大小:浓雾;视觉景深距离:>1000 m;图像亮度:偏暗;图16透视方式:平行透视;雾气大小:中雾;视觉景深距离:0~1000 m;图像亮度:中等;图18透视方式:多点透视;雾气大小:轻雾;视觉景深距离:>1000 m;图像亮度:中等。

实验结果显示,原图像图14图16图18雾气浓度较低,亮度值均匀,使用本文去雾方法后图15图17图19效果较好,而且没有颜色失真,图像看起来更自然。

4. 结论

本文利用大气散射模型进行图像去雾处理,最大的优点是对含雾图像的每个像素点都做一次景深值计算,避免了不同的景深范围差较大的含雾图像对去雾处理的影响,在一定程度上可以解决由于单一景深导致部分区域颜色失真的问题,使去雾后图像的颜色更自然。

基金项目

论文得到国家自然科学基金(No.11161055)的资助。

文章引用

段立春,刘超,钟玮,陈丽清,蒋慕蓉. 一种利用大气散射模型实现图像去雾的方法
A Method of Image Dehazing Using Atmospheric Scattering Model[J]. 图像与信号处理, 2017, 06(02): 78-88. http://dx.doi.org/10.12677/JISP.2017.62010

参考文献 (References)

  1. 1. 王一涵. 雾天图像增强方法研究[D]: [硕士学位论文]. 西安: 西安电子科技大学, 2012.

  2. 2. Narasimhan, S. and Nayar, S. (2003) Interactive Deweathing of an Image Using Physical Models. Proceeding of IEEE Workshop on Corlor and Photometric Methods in Computer Vision, Chicago, 1-8.

  3. 3. Oakley, J.P. and Satherley, B.L. (1998) Improving Image Quality in Poor Visibility Conditions Using a Physical Model for Contrast Degradation. IEEE Transactions on Image Processing, 7, 167-179. https://doi.org/10.1109/83.660994

  4. 4. Cozman, F. and Krotkov, E. (1997) Depth from Scattering. Springer, US.

  5. 5. Cantor, A. (1977) Optics of the Atmosphere—Scattering by Molecules and Particles. IEEE Journal of Quantum Elec-tronics, 14, 698-699. https://doi.org/10.1109/JQE.1978.1069864

  6. 6. John, J. and Wilscy, M. (2008) Enhancement of Weather Degraded Video Sequences Using Wavelet Fusion. 7th IEEE International Conference on IEEE, Cybernetic Intelligent Systems (CIS), London, 9-10 September 2008, 1-6. https://doi.org/10.1109/ukricis.2008.4798926

  7. 7. Grewe, L. and Brooks, R. (1998) Atmospheric Attenuation Reduction through Multisensor Fusion. Proceedings of the SPIE International Conference Society for Optical Engineering on Sensor Fusion: Architectures, Algorithms and Applications II, Orlando, 102-109.

  8. 8. 杨仁虎. 基于小波分析的数字图像清晰化方法研究[D]: [硕士学位论文]. 成都: 成都理工大学, 2006.

  9. 9. 胡学友. 雾天降质图像的增强复原算法研究[D]: [博士学位论文]. 安徽: 安徽大学, 2011.

  10. 10. 谷秀平. 基于Curvelet变换的图像去噪和增强[D]: [硕士学位论文]. 天津: 天津理工大学, 2010.

  11. 11. Zhang, J.L., Gao, B. and Gu, X.P. (2010) Traffic Images Enhancement Based on Vanishing Point Detection and Atmospheric Scattering Model. Proceedings of 3rd International Congress on Image and Signal Processing, Yantai, 16-18 Octorber 2010, 766-770.

  12. 12. 袁芳. Curvelet变换在数字图像去噪和压缩中的研究[D]: [硕士学位论文]. 西安: 西安电子科技大学, 2010.

  13. 13. Candes, E.J., Demanet, L., Donoho, D.L, et al. (2005) Fast Discrete Curvelet Transforms. Applied and Computational Mathematics, California Institute of Technology, 1-43.

  14. 14. Eriksson, B. (2007) Automatic Image De-Weathering Using Curvelet-Based Vanishing Point Detection. Communications on Pure & Applied Mathematics, 2007, 219-232.

  15. 15. Candes, E.J. (2000) Curvelets, Multiresolution Representation, and Scaling Laws. Proceedings of SPIE—The International Society for Optical Engineering, 4119, 1-12. https://doi.org/10.1117/12.408568

期刊菜单