Advances in Education
Vol.06 No.03(2016), Article ID:17576,8 pages
10.12677/AE.2016.63019

The Design of Experiment on Image Inpainting Using Structure Sparisity

Chen Hu, Wenjing Yu*, Xiaoyu Zhang, Cheng Fang, Zunhan Yang, Ning Chen

Experimentation Center for Electronics and Information Education, East China University of Science and Technology, Shanghai

Received: Apr. 28th, 2016; accepted: May. 12th, 2016; published: May. 19th, 2016

Copyright © 2016 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

ABSTRACT

The investigation on the sparisity of natural image is the basis of image inpainting using structure sparisity of images. The experiment is designed to deepen students’ understanding about the concept of structure sparisity and the implementation to the image inpainting technology. In the experiment, the conception and implementation of structure sparisity and sparisity expression are introduced to achieve image inpainting by image patch sparisity. The experiments and comparisons with the classical algorithm are performed. In the paper, the process, virtue and shortage of inpainting in different inpainting algorithms are compared, which is helpful for students to understand the process and the meaning of image inpainting.

Keywords:Image Inpainting, Structure Sparisity, Sparisity Expression

基于结构稀疏的图像修复实验设计

胡晨,于文静*,张晓宇,方成,杨尊涵,陈宁

华东理工大学电子与信息实验教学中心,上海

收稿日期:2016年4月28日;录用日期:2016年5月12日;发布日期:2016年5月19日

摘 要

对于自然图像稀疏先验的大量研究工作,为利用图像的结构稀疏性实现图像的修复奠定了基础。为了使学生了解结构稀疏的概念,并将这一特征应用于图像修复,本文设计了基于结构稀疏的图像修复实验。通过本实验,旨在使学生了解结构稀疏性及图像块稀疏表达的概念及应用,通过图像块稀疏实现图像修复,比较结构稀疏实现图像修复与经典图像修复的不同。文中提供不同算法在修复过程中的实现方式的不同以及每种方法的优缺点,帮助学生更好理解算法的实现过程和图像修复的意义。

关键词 :图像修复,结构稀疏,稀疏表达

1. 引言

图像修复 [1] 是指针对图像破损区域,利用已知区域的图像信息及特定的修复算法,填充破损区域内的缺损信息,使得填充后的图像在视觉效果上连续、光滑、自然,且不为人眼察觉其修复痕迹的一种图像处理技术。图像的稀疏表达被引入到图像修复算法 [2] - [6] 中并获得了较好的修复效果。

本文使用Xu在IEEE Transition on Image Process中发表的Image Inpainting by Patch Propagation Using Patch Sparsity [4] 中的算法设计这一实验。该算法中利用图像块的结构稀疏性确定修复的优先权,利用图像的稀疏表达实现图像块的填充。这一算法设计的实验,可以帮助学生深刻理解图像稀疏的含义。

通过具体实验使学生对结构稀疏的概念和用法有更深入了解,并学会如何用结构稀疏算法实现图像修复。实验中通过MATLAB程序设计实现图像修复算法,通过实验的学习,学生可以学会如何利用结构稀疏性实现修复优先权的计算、图像块的匹配、对修复算法的比较,并了解评价标准。基于这一标准学生对于不同修复算法修复的图像进行比较,进一步了解算法的优缺点。

2. 结构稀疏算法的原理 [4]

图像修复过程中,为了避免纹理区域的过度延伸,修复过程中优先权的确定,要求结构区域的点获得优先修复,以达到更好的修复效果。

在文献 [4] 中,Xu定义图像块稀疏度为结构稀疏性和图像块稀疏表达的统称。

结构稀疏性:通过定义图像块与周围图像块的相似稀疏程度来度量其处于图像结构的置信程度。结构稀疏性被用于定义图像块的优先度,结构稀疏性强的图像块具有较高的可能性处于图像的结构上,因此被优先选择。

图像块稀疏表达:通过已知区域图像块的稀疏线性组合来填充所选择的图像块。我们约束该线性组合为稀疏组合,即仅用非常少的几个图像块的线性组合系数非零。该方法即提高了填充的稳健性,同时避免了填充结果中可能产生的光滑效应。

在图像修复中结构稀疏性的数学表达形式如下:

1) 用结构稀疏性计算图像块的优先权 [4] [7] [8]

图1(a),定义图像块的相邻图像块为中心点属于如下集合的图像块:

(1-1)

其中,为像素p的邻域,那么的相似性为:

(a) Selection ofimage blocks (b) Filling image blocks(a) 图像块选择 (b) 图像块填充

Figure 1. The picture direction on the sparsity of image blocks

图1. 图像块稀疏性注释图

(1-2)

为待修复块与已知图像块的SSD距离,为满足的归一化常量。

(1-3)

最终的修复优先权

(1-4)

其中是由文献 [6] 定义的可信度因子项。

2) 利用稀疏表达实现图像块的填充 [4] [7] [8]

Xu算法从已知图像样本块中,选取与待修复块最为相似的个样本块,待修复块近似为这些已知图像块的线性加权组合(如图3(b))。

(1-5)

通过求解一个有约束的最优化问题得到线性组合系数,从而得到最佳匹配块

(1-6)

(1-7)

其中,表示已知图像块中待修复块未知像素相应位置的像素值。是衡量图像块已知信息和待加权信息比重的参数。

算法的基本思想是:以系数非零图像块集合为空集开始,每次从已知的图像块集合选择一个新的非零元素,重新构造满足组合系数求和约束且使得局部图像块一致性误差较小(如公式(1-6))的组合,直到误差达到(1-6)的约束要求。

3. 实验设计

图像修复实验设计需同时兼具科学性与趣味性,图像修复实验作为图像处理课程内容的补充与增强,应具有以数字图像处理课程的先修课程和计算机处理能力。

先修课程:高等数学、数字信号处理、数字图像处理。

计算机语言:MATLAB

MATLAB作为欧美科学界、工程界、教育界广泛使用的科学计算与工程仿真语言已在我国广大工科院校普及。数字信号处理,数字图像处理课程大都引入MATLAB语言作为解题工具及仿真环境。

本文介绍的数字图像修复实验为创新类实验内容,应以了解文献 [9] 内容为基础,本实验在文献 [9] 基础上进一步深入研究图像修复内容。

实验环境:操作系统,win7或以上版本;

MATLAB2010或以上版本含图像处理toolbox,

图像分解操作,结构修复操作,纹理修复操作相关的程序,

PSNR计算程序,

BSDC图像库中图像

实验内容:

1) 图像的基本操作 [10] - [12]

图像的输入输出函数:imread()从图像文件中读取(载入)图像

Imshow()显示图像

imwrite()把图像写入(保存)图像文件中

impixel确定像素颜色值

图像的基本处理函数:im2bw()转换图像为二进制图像

imcrop()图像的裁剪

imresize()图像比例缩放变换

gradient()梯度函数

空域滤波:filter2(fspecial(’gaussian’,n,sigma),Y)对于图像Y进行高斯滤波

数学运算函数:sqrt()求平方根

exp()指数函数

2) 图像修复算法的实现过程

根据图2给出的基于结构稀疏图像修复算法实现的流程图,提供两种算法的程序代码,分别存放在计算机的D:\图像修复\criminis\criminis.m和D:\图像修复\xu\xu.m中。在D:\图像修复\criminis目录下存放getpixel.m,priority.m,getpatch.m,mask.m等程序中分别存放实现算法中的像素点选取,优先权的计算,图像块的匹配,掩码图中破损区域的获取的实现函数。Xu算法的程序存放在D:\图像修复\xu目录下只是算法实现原理不同程序代码不同。其中,Xu的程序中priority.m中的函数priority_xu(),实现上一节中的(1)利用结构稀疏性计算图像块的优先权。getpixel.m中函数getpixel()实现程序流程图中的查找P(p)最大的点。在getpatch.m中的getpatch_xu()实现上一节(2)中的方法查找到最匹配的图像块。在Xu.m中利用程序流程图,调用相应的函数,实现整个修复算法。学生修改程序中原始图像中的文件名和破算图像文件名运行程序Xu.m,可实现利用Xu的算法对确定的图像进行修复。

实验所需要的图像存放在目录D:\图像修复\Original中,实验所需的破损图像存放在D:\图像修复\degrade中。

Figure 2. Flowsheet of image inpainting algorithm based on structure sparsity

图2. 基于结构稀疏的图像修复算法实现流程图

3) 修复过程的比较

图为Criminisi算法 [9] 和Xu的算法对于破损区域修复的修复的过程,通过这一过程比较可以看出利用Xu的结构稀疏方法能更有效的沿着结构边缘进行修复。在Crimnisi算法中,优先权定义基于isophote方向和未知区域边缘方向的内积。如图3第二行沿着条状纹理的方向为 isophote方向在缺失区域的右上角,缺失边界与isophote方向垂直,具有较高的优先度。从右上角到左下角填充,导致最后填充结果中,条形纹理扩散到平滑纹理区域内,如图3第二行f图 [8] 。

实验中学生可以利用(2)中提供的程序和图像,分别调用Criminisi.m和Xu.m后利用程序中利用image1=imread('d:\图像修复\Original\test.bmp');输入原始图像;image4=imread('d:\ 图像修复\degrade\test_d.bmp');输入破损图像。利用MATLAB中的Breakpoint,在程序运行中设置断点,实现程序分布执行获取执行后的修复图像。

观察不同算法修复过程,并把程序生成的效果图与图3 (文献 [4] 提供)的图像比较。

4) 不同修复算法实现及效果比较

学生直接运行Criminisi.m和Xu.m,找到对应的原始图像和破损图像,运行即可对算法修复的效果进行比较。利用所给程序及图像,进行实验与文献所提供的图4图5的效果图进行分析比较。利用Xu的算法和利用Criminisi算法对于各种破损图像进行修复的效果,学生可以利用程序实现并进行比较。

5) 实验结果

峰值信噪比(Peak Signal Noise Ratio, PSNR)基于图像像素灰度值进行统计和平均计算,是常用的衡量信号失真的指标。尽管对部分图像或视频质量评价时可能与主观感知的质量产生较大的偏差,这是因为

(a) (b) (c)(d) (e) (f)

Figure 3. Comparison between the process of different inpainting algorithms

图3. 不同算法修复过程比较

(a) Original image (b) Broken image(c) The repair of Criminisi algorithm (d) The repair of Xu algorithm(a) 原图 (b) 破损图 (c) Criminisi算法修复(d) Xu算法修复

Figure 4. Comparison images of the restoration effect after the removal of the figure

图4. 人物移除后图像修复结果的比较图

(a) Original image (b) Broken image (c) The repair of criminisi algorithm (d) The repair of Xu algorithm(a) 原图 (b) 破损图 (c) Criminisi算法修复 (d) Xu算法修复

Figure 5. Comparison of the result of scratch image inpainting

图5. 划痕图像修复结果的比较

人眼的视觉对于误差的敏感度并不是绝对的,其感知结果会受到许多因素的影响而产生变化,但PSNR对于多数图像质量评价仍然是有效的 [13] 。PSNR值越大说明修复效果图像与参考图像(本文中使用参考图像为原始图像)越相似,修复效果越好,算法性能越高。

为参考图像在像素坐标处的灰度值或彩色值,为修复后图像在相应像素位置处的灰度值或彩色值。对于一幅的图像,峰值信噪比公式为:

(2-1)

实验结束后,要求学生提供利用两种算法程序对图像修复后的结果图,(3)中修复过程图。计算两种算法对应的PSNR以表格形式列出。通过对比分析两种算法效果和优缺点。有兴趣的同学可以了解一下文献 [14] [15] ,运用已有代码实现这两个算法。

4. 结语

本文在分析利用图像块的结构稀疏实现图像修复的基本原理后,提供程序流程图及程序代码。学生根据实验中提出的要求自己完成不同图像,不同特征及不同修复算法图像修复,最后对修复结果与文献中提出的结果进行对照并给出自己的分析。通过生动的图像结果对比,激发学生对于这一方向的兴趣。利用评价标准对修复结果进行比较,希望能对于学生在这一方向的研究上具有一定的指导作用。同时,可以引导学生在未来的研究上面对图像进行更深一步的处理。

基金项目

国家自然科学基金资助项目(61271349)。

文章引用

胡 晨,于文静,张晓宇,方 成,杨尊涵,陈宁. 基于结构稀疏的图像修复实验设计
The Design of Experiment on Image Inpainting Using Structure Sparisity[J]. 教育进展, 2016, 06(03): 120-127. http://dx.doi.org/10.12677/AE.2016.63019

参考文献 (References)

  1. 1. Bertalmio, M., Sapiro, G., Caselles, V., et al. (2000) Image Inpainting. Proceedings of ACM SIGGRAPH, New Orleans, 23-28 July 2000, 417-424.

  2. 2. Elad, M., Starck, J.L., Querre, P. and Donoho, D.L. (2005) Simultaneous Cartoon and Texture Image Inpainting Using Morphological Component Analysis. Applied and Computational Harmonic Analysis, 19, 340-358. http://dx.doi.org/10.1016/j.acha.2005.03.005

  3. 3. Guleryuz, O.G. (2003) Nonlinear Approximation Based Image Recovery Using Adaptive Sparse Reconstructions. Proceedings of 2003 International Conference on Image Processing, Vol. 1, 713-716. http://dx.doi.org/10.1109/icip.2003.1247061

  4. 4. Xu, Z.B. and Sun, J. (2010) Image Inpainting by Patch Propagation Using Patch Sparsity. IEEE Transactions on Image Processing, 19, 1153-1165. http://dx.doi.org/10.1109/TIP.2010.2042098

  5. 5. Zhang, Q and Li, J.J. (2012) Examplar-Based Image Inpainting Using Color Distribution Analysis. Journal of Information of Science and Engineering, 28, 641-654.

  6. 6. Fadili, M.J., Starck, J.L. and Murtagh, F. (2009) Inpainting and Zooming Using Sparse Representations. The Computer Journal, 52, 64-79. http://dx.doi.org/10.1093/comjnl/bxm055

  7. 7. 张晴. 基于样本的数字图像修复技术研究[D]: [博士学位论文]. 上海: 华东理工大学.

  8. 8. 孙剑. 基于视觉先验的图像处理模型与算法研究[D]: [硕士学位论文]. 西安: 西安交通大学.

  9. 9. Criminisi, A., Pérez, P. and Toyama, K. (2004) Region Filling and Object Removal by Exemplar-Based Inpainting. IEEE Transactions on Image Processing, 13, 1200-1212. http://dx.doi.org/10.1109/TIP.2004.833105

  10. 10. 张德丰. 数字图像处理(MATLAB版) [M]. 北京: 人民邮电出版社, 2009: 15-30.

  11. 11. 王家文. MATLAB7.6图形图像处理[M]. 北京: 国防工业出版社, 2009: 21-32.

  12. 12. 张德丰. MATLAB数字图像处理[M]. 北京: 机械工业出版社, 2012: 276-285.

  13. 13. Renaud, R., Baroncini, V. and Gusmao, A.A., et al. (2005) Final Report from the Video Quality Experts Group on the Validation of the Objective Models of Video Quality Assessment. http://www.wqeg.org

  14. 14. Wong, A. and Orchard, J. (2008) A Nonlocal-Means Approach to exemplar-Based Inpainting. Proceedings of 15th IEEE International Conference on Image Processing, San Diego, 12-15 October 2008, 2600-2603. http://dx.doi.org/10.1109/icip.2008.4712326

  15. 15. Wu, J.Y. and Ruan, Q.Q. (2006) Object Removal by Cross Iso-photes Exemplar-Based Inpainting. Proceedings of 18th International Conference on Pattern Recognition, Hong Kong, 810-813.

*通讯作者。

期刊菜单