 Journal of Image and Signal Processing图像与信号处理, 2012, 1, 1-7 http://dx.doi.org/10.12677/jisp.2012.11001 Published Online October 2012 (http://www.hanspub.org/journal/jisp.html) Nonlinear Colorful Image Enhancement Based on Retinex* Xian chu an Yu #, Feng Ni, Dan Hu, Libao Zhang, Jindong Xu College of Information Science and Technology, Beijing Normal University, Beijing Email: #yuxianchuan@163.com Receiv ed: Aug . 29th, 2012; revised: Sep. 5th, 2012; accepted: Sep. 15th, 2012 Abstract: To overcome the drawbacks of color distortion and losing details of multi-scale Retinex with color restoration, a nonlinear colorful image enhancement algorithm based on retinex is proposed. Firstly, the image is transformed from RGB color space to YCbCr color space, in order to avoid the defect of color distortion when it is processed directly in the RGB color space. Secondly, the image is locally adapted according to the modified Retinex model, which can retain the details well. Then, Gamma correction is used for global intensity control to compress dynamic range of the image. Finally, the result is transformed from YCbCr color space to RGB color space. Experiments show that our method has a good performance on either natural photo or remote sensing image, which reduces the color distortion, improves the visual appearance and enhances the detailed information.. Applying to remote sensing image classification, the result of the image processed in our method is more reliable and more accurate. Keywords: Retinex; Hvs; Image Enhancement; Nonlinear Transform 一种基于 Retinex 的非线性彩色图像增强算法* 余先川#，倪锋，胡丹，张立保，徐金东 北京师范大学信息科学与技术学院，北京 Email: #yuxianchuan@163.com 收稿日期：2012年8月29日；修回日期：2012 年9月5日；录用日期：2012年9月15 日 摘 要：针对多尺度Retinex 彩色恢复(MSRCR)算法容易造成颜色失真和丢失细节信息的缺点，本文提出了一 种基于 Retinex 的非线性彩色图像增强算法。首先将图像从 RGB 空间转换到 YCbCr 空间，从而避免了直接在 RGB 空间进行处理时易造成颜色失真的缺陷，然后采用改进的 Retinex 模型进行局部自适应增强，很好地保留了图像 的细节信息，再利用 Gamma 校正做全局亮度调整，对图像的整体动态范围进行压缩，最后再将图像从 YCbCr 空间转换到 RGB 空间。实验结果表明，算法对自然图像和遥感影像的处理结果都很有效，没有出现颜色失真现 象，在改善视觉效果的同时也增强了图像的细节信息。 关键词：Retinex；HVS；图像增强；非线性变换 1. 引言 一个图像处理系统通常可以分为3个阶段，分别 是图像预处理阶段、特征抽取阶段和识别分析阶段。 图像预处理阶段是非常重要的，如果这阶段处理不 好，后面的工作根本无法展开。图像增强是图像预处 理中非常重要的一种方法。 Retinex 理论是由 Land[1,2]提出的一个关于人类视 觉系统如何调节感知到物体的颜色和亮度的模型，指 出了图像色彩的恒常性，也就是说同样的物体在不同 的光源或光线底下颜色是恒定的。根据 Retinex 理论， 人眼中的图像的成像主要由两个因素决定，分别为入 *本文受国家自然科学基金(41072245, 41272359)、北京市自然科学 基金(4102029)资助。 #通讯作者。 Copyright © 2012 Hanspub 1  一种基于 Retinex 的非线性彩色图像增强算法 射光和反射物体，相应地一幅图像可以看成是由光照 图像和反射图像两部分组成。在颜色恒定的条件下， 就可以分别对光照图像和反射图像进行调整来达到 图像增强的目的。Horn[3] 指出光照可以用二维 Laplacien 加以估计。Hurlbert[4]从数学角度对 Retinex 理论进行了研究，并指出光照估计问题等价于泊松方 程的求解。在此基础上，Jobson 等人[5-7]提出了单尺度 Retinex(SSR)、多尺度Retinex(MSR)和多尺度 Retinex 彩色恢复(MSRCR)算法，用于增强图像的对比度。事 实上，由于 SSR 和MSR 等算法都假设光照在空间上 是均匀分布的，这样就导致在高对比度边缘附近容易 出现光晕现象；另外由于需要进行卷积运算，计算复 杂性也较高。此后还有一些学者提出了一些改进算 法，Kimmel等人[8]提出了一种 Retinex 的变分表达形 式，Meylan 等人对在 Retinex 方法的基础上提出了一 种自适应的高斯滤波方法[9]和一种全局处理和局部处 理相结合的方法[10]，Bertalmio 等人[11]基于 Wilson- Cowan 等式提出了一种用于彩色视觉的 Retinex 算法， Morel 等人[12]指出如果路径是对称随机漫步的，那么 仅通过两次快速傅立叶变换就可以实现经典的 Retinex 算法。 对彩色图像增强最简单的方法是直接对彩色图 像的 R、G、B三个分量进行处理，再将处理结果合 成为彩色图像，但是由于三个分量增强的幅度不一 致，很容易导致颜色失真。经典的 SSR 和MSR 算法 通常用于对灰度图像进行处理。MSRCR算法直接对 彩色图像的 R、G、B三个分量进行处理，在处理完 之后再进行颜色恢复，但是其结果很大程度上依赖于 参数的设定，若是参数设定得不好，往往会出现颜色 失真的现象，同时会丢失一些细节信息。针对颜色失 真的缺点，将空间变换的思想引入到基于 Retinex的 图像增强研究领域，有效地解决了这一问题。一个有 效的空间变换应该具有如下三方面的特点：1) 具有可 逆性；2) 较低的计算复杂性；3) 在变换后的空间中 亮度是一个独立的分量。本文采用 RGB空间到 YCbCr 空间的变换。本文提出的算法首先将图像从 RGB 空 间转换到 YCbCr空间，然后进行全局和局部两方面的 调整，再将结果转换到RGB 空间，从而实现了图像 的增强。由于采用了空间变换的方法，从而避免了颜 色的失真，同时在局部自适应增强的过程中对原有的 Retinex 照射反射模型进行了改进，采用了加权求和的 形式，所以图像的细节信息也得到了很好的保留，实 验结果也证实了提出方法的有效性。 2. Retinex彩色图像增强 2.1. 空间变换 为了避免颜色失真，在YCbCr 空间对图像进行增 强。其中 Y与YUV 空间中的 Y含义一致，代表亮度 分量，Cb，Cr 同样都指色彩，只是在表示方法上 不 同而已。在空间变换之前，首先要对图像数据进行归 一化的处理。图像的归一化处理可以将图像数据转换 到一个预先设定的变化范围。设 ,, I ijk为图像像素 点 ,ij第k通道的值，图像的大小为，有 R、G、 B三个通道，图像数据中的最小值和最大值分别为 mn nmi I 和 max I 。设 ,,Nijk为图像数据归一化处 理后像素点 ,ij 在第 通道的取值，设定的变化范围 是 k ,ab ，计算公式如下： ,, min ,, maxmin1 9 baIijk I Nijk a IIe (1) 由于出现了除法运算，一旦分母为 0，将导致程 序无法正确运行。为了克服这个缺陷，可在分母加上 一个极小的数以避免除零的情况发生，这里取的是 1e 9 。 在归一化处理之后，可以进行空间变换。由 RGB 空间到 YCbCr 空间的转换公式如下： 0.299 0.5870.114 0.169 0.331 0.500 0.500 0.4190.081 YRG CbR GB CrR G B B (2) 而由 YCbCr 空间到 RGB空间的转换公式如下： 1.403 0.344 0.714 1.773 RY Cr G YCbCr BY Cb (3) 其中，R、G、B为彩色图像在 RGB 空间三个分量上 的取值，Y、Cb、Cr 为对应的像素点在 YCbCr 空间三 个分量上的取值。 2.2. 改进的 Retinex 照射反射模型 根据 Retinex 理论[1,2]，一幅图像 由照射分 ,Yxy Copyright © 2012 Hanspub 2  一种基于 Retinex 的非线性彩色图像增强算法 Copyright © 2012 Hanspub 3 , 量 与反射分量两部分构成，即： ,Lxy ,Yxy ,Lxy ,Rxy ,,Lxy ln ,Lx ,Rxy ln ,Yx 结果可以更好地保留原始图像中的细节信息，因 此对 Retinex 照射反射模型进行如下改进：将增强后 的亮度分量记为 ,Yxy ，根据(6)则有， Yxy Rxy (4) 在对数域中可表示为： 12 12 121 ,expln, ln, expln ,ln ,ln , expln ,ln , YxykRxy kLxy kYxy LxykLxy kYxykk Lxy ln ,ln,Yxyy Rxy (5) 在经典的 Retinex 算法中，通常是通过对 (数值范围为[0,255])进行高斯平滑来提取 ，然后在对数域中通过对原图像和光照图像的 比较来提取反射图像。本文采用Mean Shift 滤波进行光照估计，该滤波算法可以有效地消除光晕 现象。Mean Shift算法是一种有效的统计迭代算法， 是由 Fukunage[13]在1975 年首先提出的。Cheng[14]对 Mean Shift算法进行了改进，并将其应用于聚类和全 局优化。Comaniciu[15]将该方法应用到图像特征空间 的分析，对图像进行平滑和分割处理，并证明了其收 敛性。图 1所示是采用 Mean Shift滤波对 Lena 图像 进行光照估计的结果，从图中可以看出该滤波算法很 好地保持了图像的边缘结构。 最终在改进的 Retinex 射反射模型中照 ， ,Yxy 可表示为：(令tk 11 ，22 tkk) 1 12 ,expln, ln,YxytYxytLxy (7) 3. 算法流程 本文提出的基于 Retinex的非线性彩色图像增强 算法 的处理步骤如下： 个部分：归一化和空间 转换 主要包括如下四个步骤：图像预处理、局部自适 应增强、全局亮度调整和图像恢复。算法流程如图 2 所示： 具体 1) 图像预处理主要包括两 在对数域中，反射图像可以表示为(数据经过了归 一化，数值范围是[0,1])： 。首先对图像数据进行归一化处理，参见公式(1)， 设定的变化范围是[0,1]。然后将数据从 RGB 空间变换 到YCbCr 空间，变换方法如公式(2)所示，YCbCr 空 间中的图像数据记为 I。 ln,ln,Rxyy Lxy (6) 对光照图像和原始图像进行加权求和所得到的 (a) Lena (b) Mean Shift滤波结果 Figure 1. Filtered result by Mean Shift 图1. 基于 Mean Shift的滤波 Figure 2. Flow chart of nonlinear colorful image enhancement based on Retinex 图2. 基于 Retinex 的非线性彩色图像增强算法的算法流程图  一种基于 Retinex 的非线性彩色图像增强算法 2) 局部自适应增强：记中的第一个 分量 局亮度调整：利用 Gamma 校正对图像进行 全局 I分量即亮度 为Y，采用 Mean Shift滤波进行光照估计，光照 图像记为 L，然后根据改进的Retinex 照射反射模型 中的公式(7)进行加权求和，就得到了增强后的亮度分 量Y。 3) 全 的调整，提高图像的整体亮度[9]。调整的方法为 1 I I (8) 其中 11 min1, 63 avg Y 2 ，当 大于 2时， 不进行整体动态范围压缩； 越小， avg Y avg Y1 越小，对黑 节暗区的有拉伸的效果，这样可 保护细 ，避免图像 失真。 avg Y在对数域中进行计算： 以 11 lnY , im jn avg ij Ymn (9) 然后用步骤 2)中得到的亮度分量 替换掉 Y I 中 的亮 空间转换 和归 见公式(3)。然后进行归一化， 图像增强的评价方法 对图像增强效果的评价主要有定性和定量两个 方面 4.2. 自然图像的增强 使用 MSRCR 算法和本文算法分别对两幅自然图 像进 图像 的统计 度分量，这样就得到增强后的图像。 4) 图像恢复与图像预处理相对应，包括 一化。将图像数据从YCbCr 空间转换到 RGB 空 间，变换的方法如下参 归一化的计算方法参见公式(1)，设定的变化范围是 [0,255]。 4. 实验与分析 4.1. 。定性主要依靠图像的视觉效果进行评价，具有 主观性。而如何采用定量的方法对图像增强效果进行 评价目前并没有统一的标准，这里采用反映图像亮度 的均值和反映图像细节信息的熵和清晰度作为统计 参数，对增强后的图像进行评价。 行处理(图像数据来自于 L. Meylan的主页 http://lcavwww.epfl.ch/alumni/meylan)，记为自然 1和自然图像 2，图像大小均为 360 288像素，实验 结果分别如图 3和图4所示，图像 参数分别如 表1和表 2所示。 (a) 原图 (b) MSRCR算法增强的结果 (c) 本文算法增强的结果 (a) Original figure (b) Enha result by MSRCR (c) Enhanced result by our algorthm Figure 3. Exfor image 1 nced i periment result comparison 图3. 自然图像 1实验结果对比图 (a) 原图 (b) MSRCR算法增强的结果 (c) 本文算法增强的结果 Figure 4. Exp for image 2 图4. 自然图像 2实验结果对比图 eriment result comparison Copyright © 2012 Hanspub 4  一种基于 Retinex 的非线性彩色图像增强算法 Table 1. Mf image 1 表1. 度 原图 MS本文算法增强图像 ean value, information entropy and image definition o 自然图像 1的均值，信息熵和清晰 RCR 算法增强图像 R G B R B R G B G 均值 11 信息熵熵 清晰度度数度数 41 43 34 54 146 2366 67 55 4.4 4.3 4.1 4.6 4.9 5.0 4.8 5.1 5.2 4.6 4.6 4.6 5.7 5.5 5.1 6.1 6.1 7.1 T Mean value, informropy and image definit image 2 表2. 自然图像 2的均值，信息熵和清晰度 原图 MS本文算法增强图像 able 2.ation ention of RCR 算法增强图像 R G B R B R G B G 均值 11 信息熵熵 清晰度度数度数 76 81 73 76 159 73112 117 109 4.9 5.0 4.8 4.8 5.0 4.6 5.0 5.1 4.9 11.8 11.9 12.0 9.7 11.3 9.7 11.8 11.9 12.1 从数理统计(表1)和目视判读(图3)两方面分别对 自然 暗处 偏低，而 MSRCR 别对 自然 树的纹理和一部分草坪。MSRCR 算法处理得到的结 果与 像的亮度偏高，而用本文 算法 3.3.1 遥感影像 1实验与分析 验数据是 2004 年11月10 多光谱影像(B2，B3， B4 图像1实验结果进行分析和比较，结论如下： 1) 从图 3中可以看出，原图的对比度偏低，一些 的细节不明显。MSRCR算法处理得到的结果与 原图相比，许多暗处的细节都凸现出来了，但由于是 直接在 RGB 空间进行处理的，所以颜色有些失真； 用本文的算法处理后，图像的对比度得到了增强，和 MSRCR 算法处理的结果相比，颜色没有失真，而且 窗外天空中淡蓝色的云彩也得到了保留。 2) 从表 1中可以看出，原图的亮度 算法处理得到的图像的亮度偏高，而用本文 算法处理得到的图像的亮度介于两者之间，视觉效果 较好。信息熵值越大，反映了图像携带的信息量越多； 清晰度值越大，说明对应的图像越清晰。从表 1中可 以很明显地看出本文算法处理得到的图像的信息熵 值和清晰度值最大，MSRCR算法处理得到的图像次 之，原始图像的信息熵值和清晰度值最小，这说明本 文算法处理得到的图像的细节信息最为丰富。 从数理统计(表2)和目视判读(图4)两方面分 图像 2实验结果进行分析和比较，结论如下： 1) 从图 4中可以看出，由于阴影的存在，遮挡了 原图相比，许多暗处的细节都凸现出来了，但是 颜色出现了明显的失真，而且天空中蓝色的云朵和白 色云朵的界限也变得模糊了；用本文的算法处理后， 图像的对比度得到了增强，和 MSRCR算法处理的结 果相比，颜色没有失真，而且天空中云朵间的边缘信 息也得到了很好的保留。 2) 从表 2中可以看出，原图的亮度偏低，而 MSRCR 算法处理得到的图 处理得到的图像的亮度介于两者之间，视觉效果 较好。信息熵值越大，反映了图像携带的信息量越多； 清晰度值越大，说明对应的图像越清晰。从表 2中可 以很明显地看出本文算法处理得到的图像的信息熵 值和清晰度值都不低于原图，而 MSRCR算法处理得 到的图像某些信息熵值和清晰度值会低于原图。 4.3. 遥感影像的增强 遥感影像1采用的实 日北京师范大学主校区 SPOT5 波段)，影像大小为 512 512像素，分辨率为 2.5 Copyright © 2012 Hanspub 5  一种基于 Retinex 的非线性彩色图像增强算法 m(已处理)，该区域主要地物有操场、绿地和建筑物 等地物，采用提出的算法 CR 算法分别对实验 影像进行增强处理，结果如图 5所示，影像的统计参 数如表 3所示。 从遥感影像 1实验结果的数理统计(表3)和目视 判读(图5)可知： 和MSR 。MSRCR 算法处理得到的结果与 原图 R算法处理得到的影像的亮度偏高，而用本文 算法 1) 从图 5中可以看出，原图的对比度偏低，一些 暗处的细节不明显 相比，对比度得到了增强，但整体颜色偏绿；由 于本文算法中采用了空间变换的方法，因此影像的对 比度得到了增强的同时，却没有出现颜色失真的现 象。 2) 从表 3中可以看出，原图的亮度偏低，而 MSRC 处理得到的影像的亮度介于两者之间，视觉效果 较好。从表 3中可以很明显地看出本文算法处理得到 的影像的信息熵值和清晰度值最大，MSRCR 算法处 理得到的影像次之，原始影像的信息熵值和清晰度值 最小，这说明本文算法处理得到的影像的细节信息最 为丰富。 3.3.2. 遥感影像 2实验与分析 遥感影像 2为北京颐和园北部 2004 年11 月10 日的 SPOT5 多光谱影像(B2，B3，B4 3个波段)，影 像大小为 512 512 像素，分辨率是 10 m，该区域主要 有湖泊、绿地、建筑物等地物，采用提出的算法和 MSRCR 算法分别对实验影像进行增强处理，结果如 图6所示，影像的统计参数如表 4所示。 从遥感影像 2实验结果的数理统计(表4)和目视 判读(图6)可知： 1) 从图 6中可以看出，原图的对比度偏低，一些 暗处的细节不明显。MSRCR算法处理得到的结果整 体颜色偏绿，由于原图中本来绿色的部分就占了很大 的比例，结果导致图像丢失了许多边缘信息；本文算 法处理的结果增强了影像的对比度，而且没有出现颜 色失真的现象。 2) 从表 4中可以看出，MSRCR 算法处理得到的 影像中绿色亮度分量明显偏高，导致图像偏绿。从表 4中可以很明显地看出本文算法处理得到的影像的信 息熵值和清晰度值最大，MSRCR 算法处理得到的影 像次之，原始影像的信息熵值和清晰度值最小，这说 (a) 原图 (b) MSRCR算法增强的结果 (c) 本文算法增强的结果 Figurement result comparison for remote sensing image 1 1实验结果对比图 Table 3. Mg image 1 算法增强影像 5. Experi 图5. 遥感影像 ean value, information entropy and image definition of remote sensin 表3. 度 遥感影像 1的均值，信息熵和清晰 原图 MSRCR算法增强影像 本文 R G B R G B R G B 均值 72 68 66 126 132 94 89 87 信息熵熵 清晰度度数度数 151 4.8 4.7 4.4 5.1 4.9 4.7 5.1 5.0 4.8 16.6 14.7 11.8 17.3 16.8 12.7 18.1 16.1 13 Copyright © 2012 Hanspub 6  一种基于 Retinex 的非线性彩色图像增强算法 (a) 原图 (b) MSRCR算法增强的结果 (c) 本文算法增强的结果 Figurement result comparison for remote age 2 图6. 遥感影像 2实验结果对比图 Table 4. Mean value,ag 算法增强影像 6. Experisensing im information entropy and image definition of remote sensing im 表4. 遥感影像 2的均值，信息熵和清晰度 原图 MSRCR算法增强影像 本文 R G B R G B R G B 均值 102 106 112 116 162 122 135 138 145 信息熵熵 4. 4.4.5.5.5. 4. 清晰度度数度数 4 4.8 1 9 0 0 0 5.1 8 21.1 21.3 18.7 21.2 16.1 18.7 21.2 21.3 18.9 理得到的影像 息最为丰富。 5. 结论 间变换的方法在 YCbCr 空间对图像进行 [1] E. Land, J. McCann. Lightness and retinex theory. Journal of the Optical Society 61(1): 1-11. n Retinex theory and implications fns: Color vision and the Journal of the Optical Society of America A, 1986, 3: 1684- 92. [5] D. J. Jobson, Z. Rahman and G. A. Woodell. Properties and performance of a center/surround retinex. IEEE Transactions on 5, 5907, Ar- tive filter. CGIV, 2004: 359-363. 9, 103(1-2): 69-72. recognition. IEEE 明本文算法处 的细节信 本文提出一种基于 Retinex的彩色图像增强算法， 首先采用空 处理，从而有效地避免了颜色失真的现象，另一方面 在局部自适应增强的过程中采用加权求和的形式，使 得原始图像的细节信息得到了很好的保持。自然图像 与遥感影像实验分析表明，算法对自然图像和遥感影 像的处理效果都很好，既增强了细节信息，也改善了 视觉效果。自然与遥感影像的增强处理采用本文提出 的算法是有效和可靠的。 参考文献 (References) of America, 1971, [2] E. Land. Recent advances i or cortical computatio some Transactions on Information Theory, 1975, 21: 32-40. [14] Y. Cheng. Mean shift, mode seeking, and clustering. IEEE Tran- sactions on Pattern Analysis and Machine Intelligence, 1995, natural image. Proceedings of the National Academy of Sciences of the United States of America, 1983, 80(16): 5163-5169. [3] B. K. P. Horn. Determining lightness from an image. Computer Graphics and Image Processing, 1974, 3: 277-299. [4] A. Hurlbert. Formal connections between lightness algorithms. Image Process, 1997, 6(3): 451-462. 16 [6] Z. Ra hman, D. J. Jobson and G. A. Woodell. I mage enhan cement, image quality, and noise. Proceeding of SPIE, 200 ticle ID: 59070N. [7] Z. U. Rahman, D. J. Jobson and G. A. Woodell. Retinex pro- cessing for automatic image enhancement. Journal of Electronic Imaging, 2004, 13(1): 100-110. [8] R. Kimmel, M. Elad, D. Shaked, et al. A variational framework for retinex. International Journal of Computer Vision, 2003, 52(1): 7-23. [9] L. Meylan, S. Susstrunk. Color image enhancement using a Retinex-based adap [10] L. Meylan, S. Susstrunk. High dynamic range image rendering with a Retinex-based adaptive filter. IEEE Transactions on Image Processing, 2006, 15(9): 2820-2830. [11] M. Bertalmio, J. D. Cowan. Implementing the Retinex algorithm with Wilson-Cowan equations. Journal of Physiology, Paris (France), 200 [12] J. M. Morel, A. B. Petro and C. Sbert. A PDE formalization of Retinex theory. IEEE Transactions on Image Process, 2010, 19(11): 2825-2837. [13] K. Fukunaga, L. D. Hostetler. The estimation of the gradient of a density function, with application in pattern 17(8): 790-799. [15] D. Comaniciu, P. Meer. Mean shift: A robust approach toward feature space analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619. Copyright © 2012 Hanspub 7 |