在智能车应用领域,高分辨率的图像已经成为汽车功能模块中不可或缺的一部分。然而传统的基于稀疏表示的高分辨率图像重建方法中所用的训练样本块特征单一,这就导致需要大量的样本块来训练字典。为了减少训练样本块,本文提出一种基于块旋转策略和稀疏表示的超分辨率重建算法。通过将图像块旋转不同的角度,从而减少样本块,增加特征数量,丰富训练字典的类型。在重建过程中,采用自适应加权求和的方式求得高分辨率图像。实验证明,所提出的方法较传统的方法,不仅在主观质量上有明显的提升,在客观质量上也有较大幅度的提高。 In the intelligent vehicle applications, high resolution image has become an integral part of auto-mobile function module. However, the feature of the training image patch of the traditional sparse representation based reconstruction method is unitary, which leads to a large number of sample patches to train a dictionary. In order to reduce the number of training samples, this paper pro-posed a method based on patch rotation and sparse representation. By rotating the patch for dif-ferent angle, the number of the patches is reduced, the feature of the patch is increased and the dictionary type becomes rich. During the reconstruction process, the adaptive weighted method is used to obtain the high resolution image. Experiments show that, the proposed method compared with the traditional method, not only has significant improvement in subjective quality, but also greatly improves the objective quality.
夏静满1,厉伟1,汤捷1,2,刘荣1,李星灿2
1重庆华福车船电子设备制造有限公司,重庆
2重庆长鹏实业(集团)有限公司,重庆
Email: 515742230@qq.com
收稿日期:2015年5月3日;录用日期:2015年5月15日;发布日期:2015年5月22日
在智能车应用领域,高分辨率的图像已经成为汽车功能模块中不可或缺的一部分。然而传统的基于稀疏表示的高分辨率图像重建方法中所用的训练样本块特征单一,这就导致需要大量的样本块来训练字典。为了减少训练样本块,本文提出一种基于块旋转策略和稀疏表示的超分辨率重建算法。通过将图像块旋转不同的角度,从而减少样本块,增加特征数量,丰富训练字典的类型。在重建过程中,采用自适应加权求和的方式求得高分辨率图像。实验证明,所提出的方法较传统的方法,不仅在主观质量上有明显的提升,在客观质量上也有较大幅度的提高。
关键词 :旋转,自适应加权,高分辨率,稀疏表示
在现代智能车应用领域,越来越需要高分辨率的图像。然而,在一些条件下,由车载成像设别所拍摄的图像分辨率不高,这就明显的给后续处理和智能控制带来不便。为了在不改变硬件水平的条件下,增加图像的分辨率,超分辨率重建技术越来越受到关注。图像的超分辨率重建方法主要可以分为三个主要的方面:基于插值的方法、基于重建的方法和基于学习的方法。
基于插值的假设低分辨率图像是由高分辨率图像直接下采样得到的,因此对低分辨率图像进行上采样可获得高分辨率图像。在上采样的过程中,去混叠能力是非常重要的。插值方法又可以分为最近邻插值,双线性插值和双三次插值。最近邻插值相对简单,但是容易出现块效应。双线性插值虽然比最近邻插值复杂,但是有振铃效应。双三次插值最复杂,但是容易出现过拟合现象。
基于重建的方法是建立在对图像退化模型的合理建模上。这种方法还要结合相关的一些先验信息来重建高分辨率图像。对多张低分辨率图像融合时,最重要的是图像之间的运动估计与配准,精确的运动估计和配准有利于重建出高质量的高分辨率图像[
最近,基于学习的方法越来越受到关注。Freeman等[
但是这种传统的基于稀疏表示的方法在训练字典的时候,需要大量的样本,而且不能保证这些样本代表图像的大部分特征。为了克服这个问题,本文提出一种基于块旋转策略和稀疏表示的超分辨率重建算法。通过将图像块旋转不同的角度,从而减少样本块,增加特征数量,丰富训练字典的类型。在重建过程中,采用不同类别自适应加权求和的方式求得高分辨率图像。实验表明,所提出的方法与传统的方法相比,不仅在主观质量上有明显的提升,在客观质量上也有较大幅度的提高。
在传统的基于稀疏表示超分辨率重建方法中,首先要训练对应的字典,即高分辨率字典和低分辨率字典。在训练字典之前,需要从训练图像中选取对应的高分辨率图像块和低分辨率图像块。Yang等提出联合字典训练模型[
式中N和M分别代表高分辨率图像块和低分辨率图像块变换为列向量形式时的维度,
更进一步的,可以将式(1)简化为如下的形式:
式中,
对低分辨率图像的重建是分别对每一个低分辨率图像块进行重建的。对于每一个待重建的低分辨率图像块
强迫高分辨率图像块与低分辨率图像块共享同一个稀疏表示系数,那么高分辨率图像块就可以根据公式(4)来求得:
融合所有重建的高分辨率图像块,就得到最终的高分辨率图像输出:
传统的基于稀疏表示的方法,虽然选取了大量的训练样本块来保证训练字典的质量,但是,当选取的样本块很多时,计算的复杂度明显上升,而且,这些图像块还不一定能够包含多种图像块的特征。所以为了克服这个缺点,本文提出基于块旋转策略的训练样本构成方法。
假设在某个图像中,选取的训练用高分辨率图像为
在2.1节中,将图像块做旋转之后,高分辨率图像块和低分辨率图像块的集合中所包含的样本数量是明显不同的。而且,高分辨率图像块的样本数是低分辨率图像块样本数的5倍。对于同一个低分辨率图像块
式中,
通过旋转处理来训练字典一个明显的好处是,减少了从原始图像中提取的图像块的数量,以及保证了特征的多种表现形式。只需要选取少量的图像块,就可以实现字典表现的完整性。
对于每一个待重建的低分辨率图像块
这五类高分辨率的图像块得到之后,一个可行的办法就是将这五类图像块进行融合,得到最终的高分辨率图像块。本文提出一种自适应加权的块融合方法。公式(7)就是传统的基于稀疏表示的图像重建公式。虽然由公式(7)重建的图像块可以作为高分辨率图像块的近似,但是,这种方法重建的结果中容易出现振铃和瑕疵。将此结果作为初始结果,本文提出的自适应加权的重建模型如下:
式中,
低分辨率图像的获取模型一般表示为:
为了使得重建的图像满足低分辨率图像的获取模型,以及提升重建图像的质量,采用全局约束后处理模型来优化最终的结果。这种全局优化模型表示为:
此公式可以用简单的梯度下降算法来求解。
所有的实验都是在CPU为2.80 GHz和2.90 GB内存的台式电脑上实现。我们选择30幅图像作为训练图像,测试图像如图1所示。选取30,000个图像块来训练字典。字典大小设置为512。块大小设置为
图1. 测试图像
Image | Measures | Methods | |||
---|---|---|---|---|---|
Bicubic | LLE | SCSR | 所提方法 | ||
Butterfly | PSNR | 25.71 | 25.26 | 27.11 | 27.75 |
SSIM | 0.889 | 0.870 | 0.910 | 0.921 | |
Peppers | PSNR | 29.28 | 28.87 | 30.28 | 30.79 |
SSIM | 0.898 | 0.882 | 0.910 | 0.919 | |
Lena | PSNR | 29.79 | 29.95 | 30.76 | 31.01 |
SSIM | 0.824 | 0.816 | 0.847 | 0.853 | |
Parrot | PSNR | 30.70 | 29.99 | 31.86 | 32.01 |
SSIM | 0.880 | 0.864 | 0.897 | 0.900 | |
Koala | PSNR | 29.43 | 29.01 | 30.32 | 30.73 |
SSIM | 0.806 | 0.787 | 0.841 | 0.845 | |
Moth | PSNR | 25.99 | 25.95 | 27.16 | 27.71 |
SSIM | 0.825 | 0.806 | 0.852 | 0.868 | |
Tiger | PSNR | 24.53 | 23.85 | 25.49 | 25.74 |
SSIM | 0.805 | 0.763 | 0.848 | 0.856 |
表1. 不同方法的PSNR和SSIM值
重叠4个像素。用峰值信噪比(PSNR)和结构相似度(SSIM)来评价重建图像的客观质量。实验中,将双三次插值(Bicubic)、局部线性嵌入(LLE)和传统的基于稀疏表示的重建方法(SCSR)与本文方法对比。
表1中展示了不同算法重建的图像其PSNR和SSIM值。从表1中可以看出SCSR方法相比Bicubic、LLE方法有明显提高,而且与学习方法中的LLE方法相比也有较大幅度的提高。本文所提出的方法与SCSR方法相比,在PSNR和SSIM上均有提高。这是由于将训练图像块做旋转处理之后,增加了特征数量,而且字典所表征的特征也更多。
为了展示不同算法的视觉效果,我们选取了Parrot的重建结果以及局部放大图像,如图2所示。从图中我们可以观察到双三次插值不能很好地重建高频细节,而且图像出现模糊。虽然LLE方法能够恢复一些高频细节,但是在重建结果中出现明显的块效应,重建结果不真实。SCSR方法能够复原大量的高频细节和尖锐的边缘,但是在重建结果中出现模糊的边缘和不准确的几何结构。本文所提的方法不仅能够重建较好的边缘,纹理和细节,而且视觉效果更好。
为了克服智能车应用领域,获取图像的分辨率较低的问题,本文提出一种基于块旋转策略和稀疏表示的图像超分辨率重建方法。在稀疏表示模型下,块旋转策略主要是为了减少样本量,增加样本特征数据。为了重建高分辨率图像,提出一种自适应加权融合的图像重建方法。实验结果证明了所提方法在汽
(a) (b) (c)
图2. 不同方法3倍重建的Parrot图像;(a) Bicubic;(b) LLE;(c) SCSR;(d) 所提方法;(e) 原始高分辨率图像
车功能模块的研发设计中具有一定的应用潜力。
重庆市应用开发计划项目(cstc2013yykfC60006),重庆市应用开发计划项目(cstc2013yykfB60006)。
夏静满,厉 伟,汤 捷,刘 荣,李星灿, (2015) 基于块旋转和稀疏表示的图像超分辨率重建Image Super Resolution Based on Patch Rotation and Sparse Representation. 自然科学,02,5-11. doi: 10.12677/OJNS.2015.32002