西安石油大学，陕西 西安

收稿日期：2022年1月15日；录用日期：2022年2月11日；发布日期：2022年2月21日

摘要

岩石显微图像包含着油气藏分布信息，清晰度高的岩石显微图像包含更多的岩石物理特性。受限于图像采集设备及自然拍摄环境，岩石图像往往存在分辨率低，图像细节不清晰等问题。本文将基于深度学习的卷积神经网络模型应用到岩石图像的超分辨率处理。在对现有网络模型改进的基础上，提出了具有双分支残差结构的超分辨率重建模型，并将改进的模型应用于岩石图像数据集，实现了图像超分辨率效果的改善。实验结果表明本文提出的算法在岩石图像重建的峰值信噪比(PSNR)指标方面有所改善。

关键词

岩石图像，超分辨率重建，深度学习

Research on Rock Image Super-Resolution Based on DBResNet

Rumeng Tian, Lianxiang Zhu

Xi’an Shiyou University, Xi’an Shaanxi

Received: Jan. 15^th, 2022; accepted: Feb. 11^th, 2022; published: Feb. 21^st, 2022

ABSTRACT

Rock micro-image contains the information on oil and gas reservoir distribution. The higher rock micro-image resolution is, the more rock physical properties information it contains. Limited by image acquisition equipment and natural shooting environment, rock micro-image often has problems of low resolution and unclear image details. In this paper, deep learning-based convolutional neural network is researched for rock image super-resolution processing. A super-resolution reconstruction model with double branch residual network structure (DBResNet) is proposed after a modification of the current network model. With the application of proposed method to rock image, better super-resolution performance is obtained. The results show that the proposed algorithm improves the peak signal-to-noise ratio (PSNR) of rock image reconstruction.

Keywords:Rock Image, Super-Resolution Reconstruction, Deep Learning

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

岩石图像包含了岩石的特性信息，这些特性信息能够准确反映出油气藏分布情况，为学者研究油气开发和地质勘探提供有价值的参考 [1]。显微镜下分析岩石薄片，并对其进行分析是地质研究工作中非常重要的一部分 [1]，因此清晰、分辨率高的岩石图像对油气田开发以及地质勘探工作十分重要。但是受限于图像采集设备以及自然拍摄环境，经常无法获得清晰的岩石图像。在此需求的驱动下，将超分辨率重建技术应用于岩石显微图像，就显得尤为重要。

对于图像超分辨率的研究，最早使用的是基于插值的方法。但是基于插值的方法在重建图像细节以及图像纹理信息方面的能力有限 [2]。第二种是基于学习的方法。基于学习的方法分为浅层学习和深层学习，旨在学习低分辨率图像和高分辨率图像对之间的映射 [3]。但是基于浅层学习的方法依赖于从临近嵌入到稀疏编码的各种技术 [4]。基于深度学习的方法以卷积神经网络为主，自从Dong等人提出的SRCNN [5] 将卷积神经网络应用到图像超分辨处理，并且取得了显著的效果后，基于深度神经网络的图像超分辨率研究就引发了广泛的关注。2016年J. Kim等人提出的VDSR [6] 将网络深度推进到20层，并实现了重建效果的显著提升。SRResNet是SRGAN [7] 中的生成网络，采用了He等人提出的残差结构，将残差网络引入超分辨研究领域。Bee Lim [4] [8] 等人指出残差结构中的BN层是为了处理更高级别的图像处理任务。对于图像超分辨的研究，BN层非但不利于图像重建，而且会大大提高计算量 [4]。Bee Lim等人提出的EDSR将SRResNet的BN层去掉，减少了大量参数。与此同时，加深的网络深度可提取更多、更深层次的特征，在计算量和图像超分辨性能等方面都取得了明显的提升。但是上述模型中都是采用单分支的残差结构，残差结构中使用单一的卷积核。这不利于提取更丰富的图像特征，存在重建图像细节不清晰的问题。

针对上述问题，本文以EDSR为基础模型，并对网络结构进行改进，即使用双分支的残差结构来代替原有的单分支残差结构，并使用不同尺寸的卷积核，提取更丰富的图像特征，为图像重建提供更多信息，提升重建质量。本文的其余部分组织如下：第1部分在对EDSR算法进行介绍与分析基础上，提出了具有双分支残差结构(DBResNet)的超分辨处理算法模型。第2部分将所提出的算法应用于岩石图像数据集，通过与EDSR算法的对比，验证了所提算法在超分辨性能上的改进。最后在第3部分对全文做了总结。

2. DBResNet超分辨处理算法

具有双分支残差结构的超分辨处理模型是以EDSR为基础，通过使用双分支的残差结构来代替其单分支的残差结构而提出的新的超分辨处理算法。因此，在介绍新算法之前，有必要对EDSR算法的整体架构、组成模块、工作流程、损失函数，以及相关的评价指标作简单介绍。

2.1. EDSR的整体架构

EDSR是对SRResNet的改进，通过去掉其批归一化层来大大减少计算开销，使得在相同计算资源下可以加深网络的深度，提取更多特征，从而提升模型的性能。模型的整体架构如图1所示，同样给出的还有其局部模块的解释说明。

图1. 网络模型整体架构

按照功能，EDSR模型可分为特征提取和上采样重建两个步骤。特征提取又可分为浅层特征提取模块和残差模块。其第一个卷积层进行浅层的特征提取，卷积核大小为3 × 3，卷积步长为1，后续连接16个残差模块，且最后一级残差块的输出和残差结构的输入相加，从而形成全局残差。在整个卷积的过程中，图像尺寸保持不变。特征提取模块的输出进入上采样模块。模型的上采用部分使用的是亚像素卷积的方法。

2.2. EDSR的特征提取

EDSR模型主体由16个残差块线性堆叠构成，每个残差块结构如图2所示。残差网络可以解决深层次网络结构中因网络堆叠带来的梯度消失或退化的问题 [4]。每个残差结构的右边支路首先经过一个3*3的卷积，卷积步长为1，然后经过ReLU线性激活单元，接着再经过一个3*3卷积，最后卷积的输出与参残差结构的输入进行逐像素相加操作，结果即为此残差结构的输出。通过多个残差结构的级联处理，可以得到原输入图像不同深度的特征信息。

2.3. EDSR的上采样重建

特征提取模块的输出进入上采样模块，从而实现原图像的高分辨率重建。目前现有的上采样方法主要分为两大类：基于插值的方法和基于学习的方法 [2]。基于插值的方法是指通过传统的图像插值操作将图像放大，原理相对简单，但是会引入噪声放大的副作用 [2]。基于学习的上采样方法有转置卷积法和亚像素卷积法，这两种方法也被应用到不同的网络模型。例如转置卷积被应用到SRDenseNet [9]，亚像素卷积被应用到RDN [10] 和SRGAN [7] 等模型。由于亚像素卷积比转置卷积有更大的感受野，能够提供更多的邻域信息，更有利于重建图像细节 [2]，因此被EDSR所采用。

图2. EDSR的残差结构

亚像素卷积是通过卷积操作得到多个通道的特征图，然后对这些特征图进行重新排列，并在多个通道之间重组，从而放大图像。图3以放大因子2为例，展示了亚像素卷积的工作过程。其中输入图像为W*H，经过卷积处理得到4个尺寸为W*H的特征图，然后对4个特征图对应位置进行排列重组，得到2W*2H的图像，完成图像的上采样。

图3. 亚像素卷积

2.4. DBResNet超分辨处理对EDSR的改进

岩石图像中岩石的特性不仅需要通过轮廓、颜色等简单特征来描述，更需提取其它丰富的特征 [11]。大小不同的卷积核执行不同的卷积运算，不同的卷积运算获得图像的不同信息 [12]。使用卷积核不同的双分支卷积运算，可以提供更多的激活函数，增加网络的非线性表达能力。两个支路的卷积核提取的特征信息采用相加进行特征的融合，从而获得图像更丰富的特征信息 [12]。此外，尽管残差结构可以在一定程度上解决深层次网络的梯度消失或退化问题，但随着深度的增加，网络的参数数量及所需的训练时间仍会急剧增大，甚至带来无法收敛的问题。采用双分支结构的残差块，理论上可以用更少的网络深度获得相同或相近的性能。

本文对EDSR中的残差单元进行改进，改进后的残差块变为一个如图4所示的双分支结构，其中左分支采用1*1的卷积核，右分支采用3*3的卷积核。1*1的卷积核提取图像的细节信息，3*3的卷积核提取其轮廓信息。

图4. 双分支残差结构

2.5. 损失函数

在图像超分辨率的研究中，常用的损失函数有L₂均方误差损失(MSELoss)和L₁平均绝对误差(MAELoss)损失。由于MSE的取平方运算会放大较大误差和较小误差之间的差距，而MAE对样本的异常值显得更加健壮，因此本文的算法采用L₁损失。(1)式给出L₁损失的数学表达，其中r为放大因子，W和H分别表示图像的高和宽，f_H表示高分辨率图像，f_S表示通过模型重建的超分辨率图像。

$l_{MSE}^{SR}=\frac{1}{r^{2}WH}{\displaystyle {\sum }_{i=1}^{rW}{\displaystyle {\sum }_{y=1}^{rH}\left|f_H\left(x,y\right)-f_S\left(x,y\right)\right|}}$ (1)

2.6. 评价指标

本文从两个方面对重建效果进行评价：峰值信噪比(PSNR, Peak Signal-to-Noise Ratio)和主观感受。峰值信噪比(PSNR)的数学表达见式(2)：

$\text{PSNR}=10\cdot {\log }_{10}\left(\frac{MA{X}_I^2}{MSE}\right)$ (2)

其中MSE表示两张图像的均方误差， $MA{X}_I$ 表示重建图像的最大像素值。MSE的数学表达见式(3)：

$MSE=\frac{1}{mn}{\displaystyle {\sum }_{i=0}^{m-1}{\displaystyle {\sum }_{j=0}^{n-1}{\Vert I\left(i,j\right)-\hat{I}\left(i,j\right)\Vert }^2}}$ (3)

峰值信噪比(PSNR, Peak Signal-to-Noise Ratio)已经成为图像超分辨研究领域应用最广泛的评价指标之一。

3. 实验结果及过程分析

3.1. 数据集

实验使用新南威尔士大学Wang等人制作的岩石数据集。该数据集包含三种不同类型的岩石显微图像：碳酸盐(carbonate)、砂岩(sandstone)，以及二者的混合(shuffled)。本实验选取其中的碳酸盐图像数据集(carbonate2D)。carbonate2D一共1000张，包含了800张训练图像，100张验证图像和100张测试图像。

3.2. 实验过程

首先通过随机水平翻转、旋转90度等操作进行数据的增强。继而进行将所有的图像减去其均值的预处理。在网络的学习阶段，设置的初始学习率为0.0001，batch_size为16，并用L1损失代替L2损失，优化采用ADAM优化器。网络性能的提升可通过增加参数数量来实现 [4]，因此在卷积神经网络中，可以通过堆叠更多的层数，或者增大通道数，来实现网络性能的提升。但当层数增加到一定程度时，会使得训练极不稳定。因此本文采用的是增加通道数的方法，实验中的通道数设置为64。

实验使用Python3.8环境下的Pytorch框架。计算平台为Intel志强，处理器为双路E5-2660v3，一共有20核40线程，主频基准为2.6 GHz，最高为3.3 GHz。内存21 GB，频率为2133 Hz。

3.3. 实验结果及分析

3.3.1. 相同网络深度时基于双分支残差的模型与原始EDSR模型的性能对比

采用与原始EDSR模型相同的层数设置，即残差块的个数为16，通道数设置为64。图5给出了两种算法在放大系数为2时的PSNR随迭代次数的变化曲线，图6为Bicubic，EDSR以及本文提出的算法的重建效果视觉对比。从图5可以看出，双分支残差结构的PSNR值整体上高于原始的EDSR，平均提高了0.064 dB。

双分支的结构优点是可以融合更多的图像信息。从视觉效果来看，图6(d)的图像比Bicubic和EDSR的重建效果都要好。重建图像的岩石颗粒更加明显，更接近图6(a)所示的真实高分辨率图像。

图7和图8分别是在放大因子为4时的PSNR随迭代次数的变化曲线及重建效果视觉对比。从图7可以看出，双分支残差结构的PSNR值比EDSR平均提高了大约0.055 dB。图8可以看出本文提出的算法对比Bicubic有较明显的提升，对比EDSR重建的线条更加清晰，视觉效果上有所改善。实验结果表明，对于放大因子为4和2的超分辨率重建结果，改进后的基于DBResNet结构的模型，优于原始的网络模型。

图5. 放大因子为2时EDSR和双分支结构模型的PSNR值对比

图6. 碳酸盐数据集(0801×2)不同模型放大2倍效果图

图7. 放大因子为4时EDSR和双分支结构模型的PSNR值对比

图8. 碳酸盐数据集(0810×4)不同模型放大4倍效果图

3.3.2. 不同深度DBResNet的重建性能

由于在理论上，采用双分支残差结构的网络模型可以用更少的网络层数来获得与原始EDSR算法相同的性能，本实验对不同网络深度下的双分支残差模型在岩石图像超分辨处理上的性能进行了实验仿真。表1给出了在放大因子为4时，原始EDSR模型及不同网络深度的双分支模型的参数量及所需的训练时间。可以看出，对于同样16层的网络深度，双分支结构的参数量比原始EDSR增加了47.7%，训练时间增加了60%。由于双分支提取了图像更丰富的信息，因此可适当减少残差块数量。本文试验了深度为10，9，8，7几种情况的双支路残差模型在岩石图像超分辨处理上的性能。图9是其PSNR性能曲线，可以看出，深度为8，9，10的双分支模型的性能很是相近，层数为7时则开始明显下降。在层数为8时，双分支模型的PSNR曲线与EDSR有很大重合，基本上达到了原EDSR在网络深度为16时的性能。图10所示为网络深度为8的双分支模型在岩石图像超分辨重建效果上与其他方法的对比。从视觉效果来看，双分支结构获得了与EDSR相类似的性能，且在局部表现来看似乎更优。其参数数量相较于EDSR则减少了大约15%，训练时间缩短了54%。

表1. 不同模型的参数量及训练时间对比(×4)

图9. 不同残差块的PSNR曲线

图10. 碳酸盐数据集(0808×4)不同模型放大4倍效果图

4. 总结

本文在对EDSR算法进行剖析与研究的基础上，通过对原有的残差结构的改进，即使用双分支的残差结构来替换原有的单分支结构，提出了基于DBResNet的图像超分辨处理改进算法，并将其应用到岩石图像数据集。实验结果表明，改进后的模型不管是PSNR还是视觉效果，都取得了一定改善。

此外还证明，在保证相同超分辨率重建效果的前提下，使用改进后的残差结构可显著降低网络深度，从而大大减少参数数量，加快网络训练的学习时间。如要获得与深度为16的EDSR相当的超分辨处理效果，所提出的DBResNet结构只需要深度为8，此时的网络参数量减少了15%，相应的训练时间也明显缩短。

影响超分辨率图像重建效果的因素不光有网络模型，还与所采用的损失函数定义有关。本文采用MAE损失函数，对于PSNR值可能有较好的结果，但对于重建的视觉效果则不一定具有优势。因此在以后的实验中，可以考虑其他类型的损失函数定义，并引入与人类认知较为符合的感知损失项，以期取得更好的超分辨率效果。

文章引用

田茹梦,朱联祥. 基于双分支残差结构的岩石图像超分辨研究
Research on Rock Image Super-Resolution Based on DBResNet[J]. 计算机科学与应用, 2022, 12(02): 338-346. https://doi.org/10.12677/CSA.2022.122034

参考文献