![]() Optoelectronics 光电子, 2013, 3, 25-28 http://dx.doi.org/10.12677/oe.2013.32006 Published Online June 2013 (http://www.hanspub.org/journal/oe.html) The Technique and Application of Image Super-Resolution Reconstruction Lulu Yu, Hua Zou* College of Science, Hohai University, Nanjing Email: *yululu_02@163.com Receiv ed: Apr. 30th, 2013; revised: May 3rd, 2013; accepted: May 29th, 2013 Copyright © 2013 Lulu Yu, Hua Zou. This is an open access article distributed under the Creative Commons Attribution License, which permits unre- stricted use, distribution, and reproduction in any medium, provided the original work is properly cited. Abstract: Image super-resolution reconstruction technique and its application are introduced in this pap er. Image super resolution technology process is to obtain more additional information than single image, and then with specific algo- rithm, the additional information is pu t into the original image to obtain an image with high quality and high definition. Super-resolution reconstruction includes two kinds of technology: reconstruction-based technology and learning-based technology. The reconstruction-based technology is estimating a high-resolution image from inputting images according to specific degradation model. Learning-based technology is supplying inputting images with prior knowledge from training examples. This paper introduces some major algorithms of reconstruction-based technology and learning-based technology in detail. As people are getting higher and higher requirement for the resolution of the digital image, image super resolution technology is applied more widely in many fields, such as military, medicine, bank, exploration, etc. Keywords: Image Super-Resolution; Application of Image Super-Resolution; Degradation Model; Learning Model; Maximum A Posteriori (MAP) 图像超分辨重建技术及其应用 于璐璐,邹 华* 河海大学理学院,南京 Email: *yululu_02@163.com 收稿日期:2013 年4月30 日;修回日期:2013 年5月3日;录用日期:2013 年5月29 日 摘 要:本文介绍图像超分辨的重建技术及其应用,图像超分辨技术的过程即获得比单幅图像更多的额外信息, 然后通过特定的算法,把这些额外的信息融入到原来的图像当中,获得一幅高质量、高清晰度的图像。图像超 分辨率重建技术可以分为基于重建的超分辨率重建技术和基于学习的超分辨率重建技术。基于重建的超分辨重 建技术主要是依据退化模型,通过不同的算法来估计高分辨率图像。而基于学习的超分辨率重建技术则是从训 练样本中获得先验信息,对原始低分辨率图像进行补充。本文详细介绍了基于重建和基于学习的超分辨重建技 术的一些主要算法。随着人们对数字图像的分辨率要求越来越高,图像超分辨技术应用逐渐广泛,涉及军事、 医学、银行、勘探等很多领域。 关键词:图像超分辨;图像超分辨应用;退化模型;学习模型;最大后验概率估计(MAP) 1. 引言 在光学中分辨率的定义起源于 Rayleigh的两点分 辨率标准,即Rayleigh 判据:当一个衍射图样中央亮 斑的最大值点与另一个图样的一级极小值点位置重 合时,所对应的两个像点或物点刚好可分辨出,相应 *通讯作者。 Copyright © 2013 Hanspub 25 ![]() 图像超分辨重建技术及其应用 的两个像点或物点的(角)间距,即光学系统的分辨极 限[1]。超分辨率则是超越光学系统的分辨极限,超分 辨技术即通过硬件或软件的方法,无需减小波长或增 大数值孔径,从而获得超过衍射极限信号的一种方法 [2,3]。超分辨技术从超分辨处理方法上可以分为超分辨 修复和超分辨重建。从研究方向上可以分为横向超分 辨研究,纵向超分辨研究以及两者结合即三维超分辨 研究。从应用领域角度可以分为光学超分辨技术和介 质超分辨技术。超分辨技术在现代科学技术中起着重 要作用,并且在图像处理[4]、光存储[5]、激光打印[6]、 共焦显微镜[7]、和天文学[8]中有着广泛应用。 人类有 75%的信息来源于视觉系统,具体讲就是 图像。针对数字图像而言,由于图像采集的过程中, 模糊、运动、噪声等因素的影响,使得图像丢失了一 部分信息,影响了最初所获图像的质量。传统图像重 建与恢复技术作用于单幅图像,无法利用额外的信 息,并且有一些技术上的难题无法克服。超分辨技术 从传统的图像恢复与重建技术而来,但是突破了传统 方法的束缚,提出利用多幅图像之间的信息互补来重 建高分辨率图像。图像超分辨率重建技术即获得比单 幅图像所能提供的更多的额外信息,然后通过某种方 式把信息融合到图像中,获得高质量的图像。图像超 分辨重建的目的是通过一幅或多幅低分辨率降质图 像来估计一幅视觉效果较好的高分辨率图像。图像超 分辨技术主要分为两大类:基于重建的超分辨技术和 基于学习的超分辨技术。基于重建的超分辨技术按照 特定的退化模型,通过输入的图像来估计高分辨图 像。基于学习的超分辨技术从训练样本中获取先验知 识,对输入图像的信息进行补充,可以获得比基于重 建的算法更好的效果。 2. 基于重建的图像超分辨技术的典型方法 基于重建的超分辨技术是按照特定的退化模型 [9],通过输入图像来估计高分辨图像。因此,在进行 图像的超分辨重建之前需要建立退化模型,其作用是 模拟原始高分辨率图像如何经过一系列复杂的过程 而退化成低分辨率降质图像。退化过程中的退化因素 很多,也很复杂,通常认为最重要的图像退化因素有 噪声、大气扰动、模糊、采样过程的降质等。退化过 程如图 1所示。 Figure 1. Degradation model of super-resolution reconstruction 图1. 超分辨重建技术的退化模型 该模型可用公式 kk atmkk g DB HMfn 描述,其 中,gk为观察到的低分辨率图像;f为原始高分辨率 图像;nk为空间域加性噪声;Hatm 代表大气扰动矩阵; Mk,Bk,D分别为形变、光学模糊和下采样的矩阵表 达式。 假设对于所有的gk,Bk,Mk,nk是相同的,上式 可以进一步简化为 g = Hf + n,其中 H被称为退化矩 阵。针对下面不同的算法可能退化模型会有差别,但 是此表述仍不失一般性。 2.1. 基于最大后验概率估计(MAP)的超分辨 重建方法 针对单幅图像提高分辨率方法中存在的不足,设 计出了一种基于最大后验概率估计(MAP)框架下的, 利用多帧序列图像的高分辨率图像重建方法。该算法 是一种广泛使用的超分辨重建方法,它把超分辨图像 重建问题看成一个概率统计问题。它以贝叶斯定理理 论作为理论依据[10]。MAP 估计算法中的数据一致项 一般采用 L2 误差范数,Elad 等对 L1 范数进行了研究, 认为 L1范数相当于对各低分辨率帧对应像素求中值, L2 范数相当于求平均值,使用 L1 范数具有更好的鲁 棒性。对于正则化项,Michael K. Ng等采用 TV (tolal variation)正则化项取代Laplacian 正则化项,认为该正 则化方法使算法具有鲁棒性并能保持图像边缘纹理 信息。Xuelong Li等引入了一种基于梯度一致性的新 的正则化项,改进了超分辨效果。MAP 估计具有运算 速度快、算法稳定、解的唯一性等优势。 2.2. 基于 P-M 扩散的超分辨图像重建方法 超分辨重建技术有频域算法和空域算法两种,相 Copyright © 2013 Hanspub 26 ![]() 图像超分辨重建技术及其应用 对于频域算法,空域算法适用于更广泛的运动模型, 适用性更强。但是,超分辨重建的空域算法的计算量 一般很大,因此快速稳健的算法对于超分辨重建十分 重要。Farsiu 等提出一种基于Perona-Malik(P-M)扩散 的空域超分辨率图像重建方法。Guo[11]等人对该算法 进行了改进,首先分析了 lp 范数的稳健性以及 P-M 扩散保持图像纹理和边缘的特点,将两者相结合,并 加入了图像特征描述项和抑制图像明亮特征的调整 项,最后给出了迭代格式进行迭代求解。实验结果表 明,这种方法的峰值信噪比(PSNR) 平均提高了 0.85 dB,图像质量也得到了提高。 2.3. 基于小波域隐马尔科夫树的序列图像的 超分辨率重建算法 鉴于基于小波域隐马尔可夫树的噪声抑制性和 较好的边缘保持性,提出一种基于小波域隐马尔可夫 树的序列图像的超分辨率重建算法[12]。针对小波系数 进行统计建模,讨论了不同尺度小波系数之间的隐马 尔可夫树结构,利用了序列图像的运动信息,运用极 大后验概率估计和贝叶斯原理,将小波域 HMT 作为 图像先验知识并给出了超分辨率重建算法,最终通过 EM 算法和共轭梯度算法的交替迭代进行优化计算, 使重建效果得到了明显的改进。 2.4. 基于集合理论的方法 凸集投影(POCS)超分辨方法以集合理论为基础, 将高分辨率图像的每一个先验知识转化成限制凸集, 对初始图像轮流向各凸集进行投影获得超分辨图像。 先验信息的增加意味着解区的缩小。POCS 算法的研 究主要集中于提高效果等方面。Chuangbai Xiao等通 过对点扩散函数在图像边缘纹理处进行加权运算,有 效消除了边缘振荡效应[13]。POCS超分辨重建方法一 般对配准具有较高的要求,大的配准误差会引起性能 的急剧下降,因此研究对配准误差等具有鲁棒性的 POCS 方法具有重要的意义。 3. 基于学习的图像超分辨技术的典型方法 基于学习的超分辨率重建技术的基本思想是寻 找低分辨率图像与其对应的高分辨率图像之间的映 射关系,在已知低分辨率图像的情况下,通过某种方 法求出最优解[14]。如图 2所示。 Figure 2. Forecasting process of learning-based on technology 图2. 基于学习的超分辨重建技术的预测过程 3.1. 基于流形学习的超分辨重建技术 流行学习是一种非线性的降维方法[15]。它以微分 几何学作为理论基础,结合神经科学提供的生物学依 据,其目的是找出隐藏在高维数据中的低维结构,将 高维结构中的数据在低维空间中重新表示。而超分辨 率的定义是由低分辨率图像重建高分辨率图像;若将 图像或图像块看作空间中的点,那么,超分辨率的目 的可以表示为将低维空间中的数据在高维空间中重 新表示,由此可以将超分辨率看作流形学习的逆过 程,前者是从低维向高维转换,而后者则是从高维向 低维转换,进而可以利用流形学习的思想和方法解决 超分辨问题。 3.2. 基于独立分量分析(ICA)的超分辨重建技术 该算法利用 ICA 从高分辨率训练图像中提取出 独立分量,并对 ICA 系数进行先验估计[16]。对 于 给 定 的低分辨率图像,结合最大后验概率估计求出 ICA 系 数,进行ICA 反变换得到高分辨率图像的近似估计, 并利用局部结构张量对图像进行精化处理得到重建 图像。该算法在实现人脸超分辨重建的同时可以保持 人脸整体结构特征,且对光照、表情、姿态等具有一 定的鲁棒性,将重建结果用于人脸识别,有效提高了 辨识效率。 4. 超分辨图像重建技术的应用 数字图像作为信息的载体,有着无可比拟的优 势,图像的分辨率越高,信息的承载量越多,人们从 中获得有用的信息也就越多,因而超分辨率重建技术 的应用正在快速的增长,在军事、医学和安全监控等 领域具都有十分重要的应用。 1) 在军事系统中的应用:在采集军事与气象遥感 Copyright © 2013 Hanspub 27 ![]() 图像超分辨重建技术及其应用 Copyright © 2013 Hanspub 28 图像时,由于受到成像条件与成像系统分辨率的限 制,不可能获得清晰度很高的图像,而通过利用超分 辨率重建技术,在不改变卫星图像探测系统的前提 下,可实现高于系统分辨率的图像观测。在公共安全 领域,超分辨图像重建技术也有着很广阔的应用,超 分辨率图像重建技术可以利用普通监视录像资料,重 建出高清晰的目标图像,从而有利于相关人员的辨识 [17]。 2) 在医学成像系统中(如CT、MRI 和超声波仪器 等)的应用:可以用超分辨率重建技术来提高图像质 量,对病变目标进行仔细地检测,在医学检测中往往 需要通过层析成像技术识别并确定出病体的精确位 置及详细情况:如阴影的边缘、病体占位的大小及位 置等。由于硬件设备及现有的成像技术的限制,我们 还不能够获取满足更高要求的高清晰图像。由于层析 成像技术的特殊机理,超分辨率图像重建技术可以在 该领域获得重要的应用[18]。 3) 在银行、证劵等部门的安全监控系统中的应 用:当有异常情况发生后,可对监控录像进行超分辨 率重建,提高图像要害部分的分辨率,从而为事件的 处理提供重要的线索[19]。 4) 在资源与环境的卫星遥感应用领域中的应用: 地球资源卫星的发射是为了获取多光谱图像,通过对 这些图像进行一系列的处理,可以获取不同的有用信 息。例如:植被的分类及分布、区域地理结构以及水 资源的分布面积等信息。但是由于现有成像技术的限 制,图像的分辨率限制了图像的判别和定位的精度。 利用超分辨率图像重建技术对这些图像进行重建,从 而提高所需资料的获取精度[20]。 5. 结论 综上所述,图像超分辨重建技术主要分为基于重 建的超分辨技术和基于学习的超分辨技术。针对两种 技术,有不同的算法,这些算法有着各自的特点,在 实际应用中可以满足不同领域的需求。随着信息时代 的到来,数字图像作为信息的载体,有着无可比拟的 优势。图像的分辨率越高,数字图像的信息承载量越 多,从而更能满足人们对信息的需求。针对图像超分 辨率技术的更多更好算法会应运而生,图像超分辨技 会得到突飞猛进的发展。 术 6. 致谢 本篇文章在写作过程中得到了河海大学理学院 应用物理系多位老师的支持,正是他们的悉心指导, 才使得这篇文章顺利完成,在此特别感谢。同时,对 在本篇文章中所有引用过的资料、图片、文献以及研 究思路的所有者,表示谢意。 参考文献 (References) [1] S. M. Mansfield, W. R. Studenmund, G. S. Kino, et al. High- numerical-aperture lens system for optical storage. Optics Let- ters, 1993, 18(4): 305-307. [2] C. J. R. Sheppard, Z. S. Hegedus. Axialbehavior of pupil-plane filters. Journal of the Optical Society of America, 1988, 5(5): 643-647. [3] W. J. Kozlovshy, A. G. Dewey, A. Juliana, et al. Optical re- cording in the blue using a frequency-doubled diode laser. SPIE Proceedings, 1992, 1316: 410-415. [4] F. Rousseau. A non-local approach for image super-resolution using intermodality priors. Medical Image Analysis, 2010, 14(4): 594-605. [5] J. S. Wei. On the dynamic readout characteristic of nonlinear super-resolution optical storage. Optics Communications, 2013, 291: 143-149. [6] T. Sandstrom. Printing sub-100nm random-logic patterns using binary mask and synthetic-aperture lithography (SAL). SPIE Proceedings, 1998, 3334: 590-596. [7] W.-Q. Zhao, Z.-D. Feng and L.-R. Qiu. A shaped annular beam tri-heterodyne confocal microscope with good anti-environmental interference capability. Chinese Physics, 2007, 16(6): 1624-1631. [8] T. Bauer. Super-resolution imaging: The use case of optical astronomy. Proceedings of the IADIS International Conference Computer Graphics, Visualization, Computer Vision and Image Processing, Rome, 2011: 49-59. [9] 肖宿, 韩国强, 沃焱. 数字图像超分辨重建技术综述[J]. 计 算机科学, 2009, 36(2): 8-12. [10] R. R. Schulz, R. L. Stevenson. A Bayesian approach to image expansion for i mproved defi nition. IEEE Transactions on Image Processing, 1994, 3(3): 233-242. [11] 郭良益, 王正明, 易成龙. 一种基于P-M 扩散的超分辨图像 重建方法[J]. 光电子激光, 2010, 21(2): 289-292. [12] 周文婷, 王庆. 基于小波域 HMT模型的序列图像超分辨率重 建[J]. 计算机应用技术, 2009, 26(8): 3134-3136. [13] C. B. Xiao, J. Yu and K. N. Su. Gibbs artifact reduction for POCS super-resolution image reconstruction. Frontiers of Com- puter Science in China, 2008, 2(1): 87-93. [14] J. Liu, J. P. Qiao. Learning-based super-resolution reconstruction. CAAI Transactions on Intelligent Systems, 2009, 4(3): 199-207. [15] 廖秀秀, 韩国强, 沃焱等. 基于流行学习和梯度约束的图像 超分辨率重建[J]. 华南工工大学学报(自然科学版), 2012, 40(4): 8-15. [16] 乔建萍. 基于独立分量分析的人脸超分辨率重建技术[J]. 计 算机工程, 2011, 37(3): 180-182. [17] 盛卫星, 方大纲, 杨正龙等. 一般非综合孔径雷达方位超分 辨研究[J]. 南京理工大学学报, 2000, 24(4): 289-295. [18] 戴光智, 孙宏伟, 杨欧. 超声成像检测中图像分辨率问题研 究[J]. 电脑知识与技术, 2010, 6(21): 5937-5939. [19] 刘文萍, 吴立德. 人脸图像自动识别技术[J]. 计算机应用与 软件, 2000, 10: 25-30. [20] 郭强, 许建民, 陈桂林. 三轴稳定平台下提高线列探测器光 学遥感仪图像空间分辨率的方法研究[J]. 红外与毫米波学报, 2005, 24(1): 39-44. |