设为首页 加入收藏

1. 引言

在光学中分辨率的定义起源于Rayleigh的两点分辨率标准，即Rayleigh判据：当一个衍射图样中央亮斑的最大值点与另一个图样的一级极小值点位置重合时，所对应的两个像点或物点刚好可分辨出，相应的两个像点或物点的(角)间距，即光学系统的分辨极限^[1]。超分辨率则是超越光学系统的分辨极限，超分辨技术即通过硬件或软件的方法，无需减小波长或增大数值孔径，从而获得超过衍射极限信号的一种方法^[2,3]。超分辨技术从超分辨处理方法上可以分为超分辨修复和超分辨重建。从研究方向上可以分为横向超分辨研究，纵向超分辨研究以及两者结合即三维超分辨研究。从应用领域角度可以分为光学超分辨技术和介质超分辨技术。超分辨技术在现代科学技术中起着重要作用，并且在图像处理^[4]、光存储^[5]、激光打印^[6]、共焦显微镜^[7]、和天文学^[8]中有着广泛应用。

人类有75%的信息来源于视觉系统，具体讲就是图像。针对数字图像而言，由于图像采集的过程中，模糊、运动、噪声等因素的影响，使得图像丢失了一部分信息，影响了最初所获图像的质量。传统图像重建与恢复技术作用于单幅图像，无法利用额外的信息，并且有一些技术上的难题无法克服。超分辨技术从传统的图像恢复与重建技术而来，但是突破了传统方法的束缚，提出利用多幅图像之间的信息互补来重建高分辨率图像。图像超分辨率重建技术即获得比单幅图像所能提供的更多的额外信息，然后通过某种方式把信息融合到图像中，获得高质量的图像。图像超分辨重建的目的是通过一幅或多幅低分辨率降质图像来估计一幅视觉效果较好的高分辨率图像。图像超分辨技术主要分为两大类：基于重建的超分辨技术和基于学习的超分辨技术。基于重建的超分辨技术按照特定的退化模型，通过输入的图像来估计高分辨图像。基于学习的超分辨技术从训练样本中获取先验知识，对输入图像的信息进行补充，可以获得比基于重建的算法更好的效果。

2. 基于重建的图像超分辨技术的典型方法

基于重建的超分辨技术是按照特定的退化模型^[9]，通过输入图像来估计高分辨图像。因此，在进行图像的超分辨重建之前需要建立退化模型，其作用是模拟原始高分辨率图像如何经过一系列复杂的过程而退化成低分辨率降质图像。退化过程中的退化因素很多，也很复杂，通常认为最重要的图像退化因素有噪声、大气扰动、模糊、采样过程的降质等。退化过程如图1所示。

图1. 超分辨重建技术的退化模型

该模型可用公式描述，其中，g_k为观察到的低分辨率图像；f为原始高分辨率图像；n_k为空间域加性噪声；H_atm代表大气扰动矩阵；M_k，B_k，D分别为形变、光学模糊和下采样的矩阵表达式。

假设对于所有的g_k，B_k，M_k，n_k是相同的，上式可以进一步简化为g = Hf + n，其中H被称为退化矩阵。针对下面不同的算法可能退化模型会有差别，但是此表述仍不失一般性。

2.1. 基于最大后验概率估计(MAP)的超分辨重建方法

针对单幅图像提高分辨率方法中存在的不足，设计出了一种基于最大后验概率估计(MAP)框架下的，利用多帧序列图像的高分辨率图像重建方法。该算法是一种广泛使用的超分辨重建方法，它把超分辨图像重建问题看成一个概率统计问题。它以贝叶斯定理理论作为理论依据^[10]。MAP估计算法中的数据一致项一般采用L2误差范数，Elad等对L1范数进行了研究，认为L1范数相当于对各低分辨率帧对应像素求中值，L2范数相当于求平均值，使用L1范数具有更好的鲁棒性。对于正则化项，Michael K. Ng等采用TV (tolal variation)正则化项取代Laplacian正则化项，认为该正则化方法使算法具有鲁棒性并能保持图像边缘纹理信息。Xuelong Li等引入了一种基于梯度一致性的新的正则化项，改进了超分辨效果。MAP估计具有运算速度快、算法稳定、解的唯一性等优势。

2.2. 基于P-M扩散的超分辨图像重建方法

超分辨重建技术有频域算法和空域算法两种，相对于频域算法，空域算法适用于更广泛的运动模型，适用性更强。但是，超分辨重建的空域算法的计算量一般很大，因此快速稳健的算法对于超分辨重建十分重要。Farsiu等提出一种基于Perona-Malik(P-M)扩散的空域超分辨率图像重建方法。Guo^[11]等人对该算法进行了改进，首先分析了lp范数的稳健性以及P-M扩散保持图像纹理和边缘的特点，将两者相结合，并加入了图像特征描述项和抑制图像明亮特征的调整项，最后给出了迭代格式进行迭代求解。实验结果表明，这种方法的峰值信噪比(PSNR)平均提高了0.85 dB，图像质量也得到了提高。

2.3. 基于小波域隐马尔科夫树的序列图像的超分辨率重建算法

鉴于基于小波域隐马尔可夫树的噪声抑制性和较好的边缘保持性，提出一种基于小波域隐马尔可夫树的序列图像的超分辨率重建算法^[12]。针对小波系数进行统计建模，讨论了不同尺度小波系数之间的隐马尔可夫树结构，利用了序列图像的运动信息，运用极大后验概率估计和贝叶斯原理，将小波域HMT作为图像先验知识并给出了超分辨率重建算法，最终通过EM算法和共轭梯度算法的交替迭代进行优化计算，使重建效果得到了明显的改进。

2.4. 基于集合理论的方法

凸集投影(POCS)超分辨方法以集合理论为基础，将高分辨率图像的每一个先验知识转化成限制凸集，对初始图像轮流向各凸集进行投影获得超分辨图像。先验信息的增加意味着解区的缩小。POCS算法的研究主要集中于提高效果等方面。Chuangbai Xiao等通过对点扩散函数在图像边缘纹理处进行加权运算，有效消除了边缘振荡效应^[13]。POCS超分辨重建方法一般对配准具有较高的要求，大的配准误差会引起性能的急剧下降，因此研究对配准误差等具有鲁棒性的POCS方法具有重要的意义。

3. 基于学习的图像超分辨技术的典型方法

基于学习的超分辨率重建技术的基本思想是寻找低分辨率图像与其对应的高分辨率图像之间的映射关系，在已知低分辨率图像的情况下，通过某种方法求出最优解^[14]。如图2所示。

图2. 基于学习的超分辨重建技术的预测过程

3.1. 基于流形学习的超分辨重建技术

流行学习是一种非线性的降维方法^[15]。它以微分几何学作为理论基础，结合神经科学提供的生物学依据，其目的是找出隐藏在高维数据中的低维结构，将高维结构中的数据在低维空间中重新表示。而超分辨率的定义是由低分辨率图像重建高分辨率图像；若将图像或图像块看作空间中的点，那么，超分辨率的目的可以表示为将低维空间中的数据在高维空间中重新表示，由此可以将超分辨率看作流形学习的逆过程，前者是从低维向高维转换，而后者则是从高维向低维转换，进而可以利用流形学习的思想和方法解决超分辨问题。

3.2. 基于独立分量分析(ICA)的超分辨重建技术

该算法利用ICA从高分辨率训练图像中提取出独立分量，并对ICA系数进行先验估计^[16]。对于给定的低分辨率图像，结合最大后验概率估计求出ICA系数，进行ICA反变换得到高分辨率图像的近似估计，并利用局部结构张量对图像进行精化处理得到重建图像。该算法在实现人脸超分辨重建的同时可以保持人脸整体结构特征，且对光照、表情、姿态等具有一定的鲁棒性，将重建结果用于人脸识别，有效提高了辨识效率。

4. 超分辨图像重建技术的应用

数字图像作为信息的载体，有着无可比拟的优势，图像的分辨率越高，信息的承载量越多，人们从中获得有用的信息也就越多，因而超分辨率重建技术的应用正在快速的增长，在军事、医学和安全监控等领域具都有十分重要的应用。

1) 在军事系统中的应用：在采集军事与气象遥感图像时，由于受到成像条件与成像系统分辨率的限制，不可能获得清晰度很高的图像，而通过利用超分辨率重建技术，在不改变卫星图像探测系统的前提下，可实现高于系统分辨率的图像观测。在公共安全领域，超分辨图像重建技术也有着很广阔的应用，超分辨率图像重建技术可以利用普通监视录像资料，重建出高清晰的目标图像，从而有利于相关人员的辨识^[17]。

2) 在医学成像系统中(如CT、MRI和超声波仪器等)的应用：可以用超分辨率重建技术来提高图像质量，对病变目标进行仔细地检测，在医学检测中往往需要通过层析成像技术识别并确定出病体的精确位置及详细情况：如阴影的边缘、病体占位的大小及位置等。由于硬件设备及现有的成像技术的限制，我们还不能够获取满足更高要求的高清晰图像。由于层析成像技术的特殊机理，超分辨率图像重建技术可以在该领域获得重要的应用^[18]。

3) 在银行、证劵等部门的安全监控系统中的应用：当有异常情况发生后，可对监控录像进行超分辨率重建，提高图像要害部分的分辨率，从而为事件的处理提供重要的线索^[19]。

4) 在资源与环境的卫星遥感应用领域中的应用：地球资源卫星的发射是为了获取多光谱图像，通过对这些图像进行一系列的处理，可以获取不同的有用信息。例如：植被的分类及分布、区域地理结构以及水资源的分布面积等信息。但是由于现有成像技术的限制，图像的分辨率限制了图像的判别和定位的精度。利用超分辨率图像重建技术对这些图像进行重建，从而提高所需资料的获取精度^[20]。

5. 结论

综上所述，图像超分辨重建技术主要分为基于重建的超分辨技术和基于学习的超分辨技术。针对两种技术，有不同的算法，这些算法有着各自的特点，在实际应用中可以满足不同领域的需求。随着信息时代的到来，数字图像作为信息的载体，有着无可比拟的优势。图像的分辨率越高，数字图像的信息承载量越多，从而更能满足人们对信息的需求。针对图像超分辨率技术的更多更好算法会应运而生，图像超分辨技术会得到突飞猛进的发展。

6. 致谢

本篇文章在写作过程中得到了河海大学理学院应用物理系多位老师的支持，正是他们的悉心指导，才使得这篇文章顺利完成，在此特别感谢。同时，对在本篇文章中所有引用过的资料、图片、文献以及研究思路的所有者，表示谢意。

参考文献 (References)

[1]       S. M. Mansfield, W. R. Studenmund, G. S. Kino, et al. Highnumerical-aperture lens system for optical storage. Optics Letters, 1993, 18(4): 305-307.

[2]       C. J. R. Sheppard, Z. S. Hegedus. Axialbehavior of pupil-plane filters. Journal of the Optical Society of America, 1988, 5(5): 643-647.

[3]       W. J. Kozlovshy, A. G. Dewey, A. Juliana, et al. Optical recording in the blue using a frequency-doubled diode laser. SPIE Proceedings, 1992, 1316: 410-415.

[4]       F. Rousseau. A non-local approach for image super-resolution using intermodality priors. Medical Image Analysis, 2010, 14(4): 594-605.

[5]       J. S. Wei. On the dynamic readout characteristic of nonlinear super-resolution optical storage. Optics Communications, 2013, 291: 143-149.

[6]       T. Sandstrom. Printing sub-100nm random-logic patterns using binary mask and synthetic-aperture lithography (SAL). SPIE Proceedings, 1998, 3334: 590-596.

[7]       W.-Q. Zhao, Z.-D. Feng and L.-R. Qiu. A shaped annular beam tri-heterodyne confocal microscope with good anti-environmental interference capability. Chinese Physics, 2007, 16(6): 1624-1631.

[8]       T. Bauer. Super-resolution imaging: The use case of optical astronomy. Proceedings of the IADIS International Conference Computer Graphics, Visualization, Computer Vision and Image Processing, Rome, 2011: 49-59.

[9]    肖宿, 韩国强, 沃焱. 数字图像超分辨重建技术综述[J]. 计算机科学, 2009, 36(2): 8-12.

[10]    R. R. Schulz, R. L. Stevenson. A Bayesian approach to image expansion for improved definition. IEEE Transactions on Image Processing, 1994, 3(3): 233-242.

[11]    郭良益, 王正明, 易成龙. 一种基于P-M扩散的超分辨图像重建方法[J]. 光电子激光, 2010, 21(2): 289-292.

[12]    周文婷, 王庆. 基于小波域HMT模型的序列图像超分辨率重建[J]. 计算机应用技术, 2009, 26(8): 3134-3136.

[13]    C. B. Xiao, J. Yu and K. N. Su. Gibbs artifact reduction for POCS super-resolution image reconstruction. Frontiers of Computer Science in China, 2008, 2(1): 87-93.

[14]    J. Liu, J. P. Qiao. Learning-based super-resolution reconstruction. CAAI Transactions on Intelligent Systems, 2009, 4(3): 199-207.

[15]    廖秀秀, 韩国强, 沃焱等. 基于流行学习和梯度约束的图像超分辨率重建[J]. 华南工工大学学报(自然科学版), 2012, 40(4): 8-15.

[16]    乔建萍. 基于独立分量分析的人脸超分辨率重建技术[J]. 计算机工程, 2011, 37(3): 180-182.

[17]    盛卫星, 方大纲, 杨正龙等. 一般非综合孔径雷达方位超分辨研究[J]. 南京理工大学学报, 2000, 24(4): 289-295.

[18]    戴光智, 孙宏伟, 杨欧. 超声成像检测中图像分辨率问题研究[J]. 电脑知识与技术, 2010, 6(21): 5937-5939.

[19]    刘文萍, 吴立德. 人脸图像自动识别技术[J]. 计算机应用与软件, 2000, 10: 25-30.

[20]    郭强, 许建民, 陈桂林. 三轴稳定平台下提高线列探测器光学遥感仪图像空间分辨率的方法研究[J]. 红外与毫米波学报, 2005, 24(1): 39-44.

NOTES

^*通讯作者。