 Computer Science and Application 计算机科学与应用, 2013, 3, 91-95 http://dx.doi.org/10.12677/csa.2013.32016 Published Online April 2013 (http://www.hanspub.org/journal/csa.html) Development and Prospect of the Image Color Tr ansfer Techniques* Xiuhua Teng, Min Chen, Zhiqiang Lin College of Information Science of Engineering, Fujian University of Technology, Fuzhou Email: tengxiufang@vip.sina.com Received: Feb. 14th, 2013; revised: Feb. 27th, 2013; accepted: Mar. 11th, 2013 Copyright © 2013 Xiuhua Teng et al. This is an open access article distributed under the Creative Commons Attribution License, which permits unre- stricted use, distribution, and reproduction in any medium, provided the original work is properly cited. Abstract: After presenting the definition of image color transfer, we categorize common color transfer methods into two categories based on global and pixel matching. Then we analyze and evaluate the various techniques based on these two categories, and summarize the challenges of each technique. Finally we discuss the use cases of image color transfer in the areas of advertising and medicine. We also summarize the prospects for its future development. Keywords: Color Transfer; Point Matching 图像色彩传递技术的发展与展望* 滕秀花，陈 敏，林志强 福建工程学院信息科学与工程学院，福州 Email: tengxiufang@vip.sina.com 收稿日期：2013 年2月14 日；修回日期：2013 年2月27 日；录用日期：2013 年3月11 日 摘 要：在给出图像色彩传递的定义后，将常见的色彩传递方法分为基于全局的方法和基于点匹配的方法两大 类。以此为基础，对国内外现有的图像色彩技术进行了分析与探讨，并对该技术当前面临的主要难题进行了分 析，最后介绍了该技术在广告、医学等领域的应用，并展望了其未来的发展。 关键词：色彩传递；点匹配 1. 引言 色彩传递是近年来图像处理领域提出的一个新 课题。所谓色彩传递，就是给定源图像和目标图像， 将源图像的颜色信息传递给目标图像，使目标图像具 有源图像的色彩情境。 色彩传递可用于彩色视觉对象的色彩校正和再 渲染，改变彩色对象的光照效果等，给人一种全新的 视觉感和特殊的艺术效果；也可用于灰度图像上色， 提高灰度图像的视觉效果等，因此目前在商业广告、 动漫、医学等领域具有广泛的应用价值。该领域发展 算法也从二维扩展到三维[1]。 2. l 颜色空间 在色彩传递过程中，颜色空间的选择对算法传递 效果具有很大的影响。色彩传递算法常常用到是 l 颜色空间，其中， 表示亮度信息，l 分别表示红绿 和 黄蓝信息。采用这个颜色空间主要是因为它的三 个分量近似正交，能够最大限度的减小一个分量的变 化给另外两个风量造成的影响。 *资助项目：福建省科技厅项目 2008F3003。 在进行颜色处理之前必须先将图像从 RGB 颜色 Copyright © 2013 Hanspub 91  图像色彩传递技术的发展与展望 空间转化到 l 颜色空间，具体步骤如下： 1) 先将 RGB 空间转化到 LMS 空间 0.3811 0.5783 0.0402 0.1967 0.7244 0.0782 0.0241 0.1288 0.8444 LR M G S B 2) 接着，将 LMS 空间转换到 l 空间 1 311 1 1112 6110 1 2 lL M S 3) 当图像处理结束后，要重新显示输出时，还须 将l 空间转化为 RGB l 转化为 LMS 3 3 11 16 11 16 1202 2 Ll M S LMS->RGB 4.46793.5873 0.1193 1.2186 2.38090.1624 0.04970.2439 1.2405 RL G BS M 为了改善色彩传递效果，近年来国内外学者做了 大量的工作。本文作者提出的利用色彩传递过程中已 获得的彩色纹理信息辅助配准[2]，以及利用源图自身 校正的色彩传递[3]，这两种算法从不同的角度对传递 后的局部图像进行优化，都能够在一定程度上修正了 传统算法中色彩误传现象，提高了处理效果；基于多 维特征向量的概念并结合 ANN 搜索技术进行色彩传 递[4]，在保证效果的前提下，一定程度上提高了搜索 速度。 近年的研究工作主要集中于两个个方面：一、在 全局传递思想的基础上，结合聚类的图像分割技术， 实现分区域传递；二、在像素点传递的基础上，根据 图像色彩在空间上的连续性，利用部分色彩传递结 果，对其他未传递的区域进行色彩扩展，从而实现整 幅图像的自动化传递过程。 3. 全局色彩传递 全局色彩传递可以理解为将源图像的整体颜色 统计信息传输至目标图，达到改变图像色彩的目的。 3.1. 低阶统计变换 Reinhard 等人使用低阶统计信息[5]–均值和标准 差，首先计算源图像和目标图像各个通道的均值l s rc m、 s rc m 、 s rc m 、、m l dst mdst 、mdst ，源和目标图的标准 差l 图 s rc 、 s rc 、 s rc 、l dst 、dst 、dst ；然后从源图 像中移走均值，将剩余部分按照标准差的比值缩放， 最后加入目标图像的均值得到合成的结果图像，其变 换公式如下 ll l srcdstsrc srcdst s rcdstsrc srcdst s rcdstsrc srcdst l src srcsrc srcsrc src srcsrc src ll m m llm m m m 经过运算使得目标图像和源图的各通道的低阶 统计信息一致，达到色彩传递的效果。 3.2. 高阶统计变换 由于自然图像中包含有大量的局部性、方向性、 带通性结构，这些局部细节在低阶统计信息中体现的 不够充分，而高阶统计信息——斜度和峰度[6]可以体 现图像的细节信息，因此赵国英等人对源图像的斜度 和峰度进行模变换或幂变化，使源图像的斜度或峰度 接近于目标图像的斜度和峰度，其目的是使结果图像 和源图像具有相似的三阶或四阶统计性质，从而使颜 色变换的效果更佳真实。 基于全局的色彩传递方法计算相对简单，速度 快，比较适合于两图的色彩传递单一以及两图整体颜 色结构信息比较相似的情况，这样目标图调整后各通 道的分布情况比较集中，与源图在视觉上会比较接 近。当源图颜色比较丰富时，传递效果较差，因为目 标图中的颜色在做全局性的调整后，在合成的图像中 可能出现新颜色[7]如图 1，而且新颜色与源图和目标 Copyright © 2013 Hanspub 92  图像色彩传递技术的发展与展望 图的颜色可能都相差甚远，使结果所表达的意境与源 图完全不同，有时候有些失真。 4. 基于聚类的区域色彩传递 由于图像中包含多个不同颜色区域时，全局类传 递的算法可能失效。因为该类算法不能有效分辨出这 些区域包含的不同统计信息，导致混合传输以及不自 然的传输效果。Welsh等人采用分而治之的方法[8]使 这问题得到了一定的，但未能提供足够的分区信息， 也没能给出匹配域的选择标准。钱小燕、张二虎等对 源图像和目标图像进行颜色聚类分析[9-11]，根据输入 图像聚类域的统计信息，在样本图像中找到一个与统 计信息最为接近的域作为该聚类域的匹配域，最后将 隶属度向量引入色彩传递方程，实现图像间的自动色 彩传递。 利用聚类算法实现区域间颜色传递，也存在一些 弊端，除了可能区域配对错误之外，经常出现颜色信 息不连续，特别是边界颜色过渡不平滑。为了改善图 像整体的视觉效果，往往还需要进一步的平滑处理。 5. 像素点颜色传递 5.1. 像素点单独匹配 基于像素点色彩传递，根据像素领域的特征的相 似性进行配对，把源图配对像素的颜色信息传递到目 标图像的相应像素。 目前灰度图像的色彩传递算法主要以文献[8]提 出的像素点匹配的方法为框架，即通过一定的权值匹 配方法，将目标灰度图像的每个像素点各自匹配到源 图的一个像素点，将源图像素点的彩色信息赋值给的 配准目标图像素点，从而实现色彩在源图和目标图之 间的传递。算法可以归结为如下步骤：1) 将源图和目 标图转换到 l 色彩空间；2) 对目标图像的亮度通道 1采用高斯分布模型做归一化处理，使源图和目标图 源图 目标图 结果图 Figure 1. Global-based transfer 图1. 基于全局的传递 像的亮度通道均值和方差均相同；3) 对源图像提取一 定比例的样本点，目标图像像素点与样本点之间作如 下计算： 22 0.5 0.5 tst s Ell (1) 其中，E为权值， 为目标图像像素点的亮度值， t l s l为 源图像样本点的亮度值， t 为目标图像像素点周围某 个邻域内亮度值的均方差， s 为源图样本点邻域内亮 度值的均方差，为目标图像的像素查找权值最接近的 样本点，将样本点的彩色通道取值赋值给目标图对应 像素点；4) 最后目标图转换回 RGB 彩色空间，完成 色彩传递。 像素点单独匹配算法存在如下问题：1) 结果图像 出现噪声像素如图 2，或大面积的误传，影响了整幅 图像的视觉效果； 2) 为目标图像的每个像素查找配准 像素之前，需要建立样本集合，为了能够将源图的颜 色信息尽量完整的传递到目标图像，因此建立的样本 集合会很大，因此算法复杂度就会比较大，本文作者 针对像素点匹配实验时，针对内容单一的图像随机性 提取 30%的像素点构成样本集合时效果良好，而图像 内容稍微复杂一点的，则需要提取70%像素点，因此 如何提高效率也是目前主要的工作之一。 5.2. 像素点颜色扩展 扩展类算传递法考虑了像素间的空间相关性原 理，即相邻像素只有亮度相近时才能分配相近的颜 色，针对构成简单的图像可以根据加入少量人工辅 助，事先在各区域粗略地涂上颜色线条，不同颜色的 彩色线条在一定范围内扩展，最后在物体边界汇合。 这类算法最大的工作是边界提取，Levin 的算法通过 对领域像素分配一个决定于亮度的权值较好地解决 了边界递定位问题[12]，滕升华算法是根据梯度引导颜 色线条扩展[13]，把色彩传递转换为对拉普拉斯方程的 求解问题。这两种算法颜色信息是人工指定的，没有 源图 目标图 结果图 Figure 2. Pixel-based transfer 图2. 基于像素的传递 Copyright © 2013 Hanspub 93  图像色彩传递技术的发展与展望 用到任何的源图，颜色信息设定需要人工参与，主观 性强。孟敏结合了 Levin 的算法思想，用线条指定两 幅图像的传递区域[14]，达到了局部颜色传递的目的， 然后根据梯度扩展颜色信息，最终全部颜色得到传 递。 基于全局思想的色彩传递具有高效的优势，因为 是整体性特征的转移，比较容易丢失细节信息，如图 3所示；而基于像素点的颜色传递虽然匹配运算耗时 长，但是相对更能够保留细节信息。 6. 图像色彩传递技术面临的难题与展望 由于色彩传递在广告、医疗、电影等领域有重大 的应用价值，国内外的研究者对其进行了广泛和深入 的研究，针对不同类型的图像提出了多种方法。但目 前色彩传递还存在很多困难，特别是图像数据差异大 的情况下，高精度、全自动传递实现更是存在较大困 难。下面简述色彩传递技术存在的几大问题： 1) 差异图像的匹配。尽管国内外学者目前在图像 之间的匹配方面展开了许多研究工作，有些形成软件 系统，但是大多是针对图像内容比较接近的情况。在 源图和目标图像内容存在较大差异时，色彩传递后的 结果图像就会出现不自然情境，甚至失效。因此如何 更加有效的发现和描述像素的特征信息，使单独像素 点的匹配更加准确也是目前色彩传递一个重要的研 究方向。 2) 自动配准的实现。自动配准是色彩传递的前提 条件。自动配准是指不需要人工干预，计算机可根据 既定的规则自动完成两个图像之间的配准。但在目前 的研究中，很多方法还需要一些人工的干预，无法实 现全自动。因此为了提高自动程度，提高精确性，需 要更精确的区域纹理特征描述方式。 3) 快速配准算法的实现。除了需要自动图像配准 技术，在建立 3维图像、设置视频色彩传递时，还必 须拥有快速的图像配准算法。但基于特征的点对点的 匹配方法中，特征的匹配运算耗时长。当图像尺寸变 源图 目标图 全局传递结果 像素匹配结果 Figure 3. The comparison of the global-based and pixel-based results 图3. 基于全局和像素的结果比较 大，图像数据量增大，特征点数量随之增多，特征匹 配的计算更是呈几何级数增长，在这种情况下要实现 高精度的配准，必然占用较长的运算时间。因此如何 提高配准处理速度，达到快速的要求也是图像色彩传 递的一大难题。 因此，建立新的理论框架，提高算法的运算速度， 提高色彩传递精度是色彩传递技术的主要发展方向。 因此针对上述难点尽量挖掘现有方法的新的研究方 向。 1) 针对不同图像类型的应用，寻找不同的图像特 征描述方式[15]。进一步结合其他图像处理技术如纹理 传递[16]等先进技术，以扩展其应用价值。如解决夜视 图像分辨率低，亮度细节模糊的问题；医学图像的细 节信息，进一步处理，以期得到更多的患者信息，帮 助医生更为准确的定位病灶；挑战人脸图像申请多变 性的特征，辅助人脸识别领域飞跃。 2) 提高算法的运算效率，将算法应用扩展到 3 维，甚至视频文件。 参考文献 (References) [1] X. Z. Xiao, L. Z. Ma. Color transfer in correlated color space. Proceeding of the 2006 ACM International Conference on Vir- tural Reality Continuum and Its Applications, Hong Kong, 14-17 June 2006: 305-309. [2] 滕秀花, 陈昭炯, 叶东毅. 一个利用色彩纹理信息的灰度图 像色彩传递方法[J]. 计算机研究与发展, 2005, 42: 256-259. [3] 滕秀花, 陈昭炯. 一种利用源图自身校正的图像色彩传递算 法.贵州大学自然(科学版), 2009, 26(12): 2866-2868. [4] 滕秀花, 陈昭炯, 叶东毅. 一 个新的基于多维特征向量和 ANN 搜索技术的灰度图像色彩传递算法[J]. 计算机应用, 2006, 26(12): 2866-2868. [5] R. Erik, A. Michael, G. Bruce, et al. Color transfer between images. IEEE Computer Graphics and Applications, 2001, 21(5): 34-41. [6] 赵国英, 向世明, 李华. 高阶矩在颜色传输中的应用[J]. 计 算机辅助设计和图形学学报, 2004, 16(1): 62-66. [7] 杨静, 陈昭炯. 不同颜色空间中全局色彩传递算法的分析研 究[J]. 计算机工程与应用, 2007, 43(25): 80-82. [8] T. Welsh, M. Ashikhmin and K. Mueller. Transferring color to greyscale images. ACM Transactions on Graphics, 2002, 21(3): 277-280. [9] 钱小燕, 肖亮, 胡慧中. 模糊颜色聚类在颜色传输中的应用[J]. 计算机辅助设计与图形学学报, 2006, 18(9): 1332-1336. [10] 张二虎, 张洋. 基于Mean-Shif聚类的色彩传递算法[J]. 西安 理工大学学报, 2009, 25(1): 105-109. [11] 向遥, 李宏, 谢政, 张卫. 基于高斯混合模型的区域颜色迁移 [J]. 中国图像图形学报, 2006, 11(11): 1728-1731. [12] A. Levin, D. Lischinski and Y. Weiss. Colorization using opti- mization. Proceedings of ACM SIGGRPAPH, Los Angeles, 2004: 689-693. [13] 滕升华, 安军, 邹谋炎. 一种基于拉普拉斯方程的图像彩色 化方法[J]. 中国图像图形学报, 2006, 11(4): 545-548. [14] 孟敏, 刘利刚. 勾画式局部颜色迁移[J]. 计算机辅助设计与 Copyright © 2013 Hanspub 94  图像色彩传递技术的发展与展望 Copyright © 2013 Hanspub 95 图形学学报, 2008, 20(7): 838-842. [15] E. Kalogeerakis. Learning hatching for pen-and-ink illustration of surfaces. ACM Transactions on Graphics (TOG), 2012, 31(1): Article No. 1. [16] H. Lee, S. Seo, S. Ryoo and K. Yoon. Directional texture transfer. In: Proceeding NPAR ‘10 Proceedings of the 8th International Symposium on Non-Photorealistic Animation and Rendering, New York: ACM, 2010: 43-48. |