贵州大学大数据与信息工程学院，贵州 贵阳

收稿日期：2023年11月2日；录用日期：2023年12月22日；发布日期：2023年12月29日

摘要

SKA1-low接收到的无线电信号转换为图像数据后，由于各种因素的干扰会导致图像的分辨率模糊不清，使得天文学家难以从中获取清晰完整的星系信息。针对这一现象，本文计划在生成对抗网络SRGAN的基础上，对其基础模块进行调整优化，使之更利于重建SKA星系图像。本文采用改进SRGAN的星系图像超分辨率重建算法在星系图像数据集上进行训练及测试，实验结果在原模型上PSNR值提升了3.02 db，SSIM值提升了0.0551 db；此外，本文另从定性与定量两方面与SRResCCGAN、IMDN、LAPAR、及BebyGAN等主流模型作对比，从定量角度分析，PSNR值分别提升了1.96 DB、1.59 DB、4.88 DB、0.81 DB，SSIM值分别提升了0.1103、0.056、0.0381、0.0141，两种主流评价指标数值均有所提升；从定性角度分析，本文模型相较于其他经典模型，重建所得图像的边缘信息更加清晰，更有效地复原了星系图像的细节信息。

关键词

SKA星系图像，超分辨率重建，生成对抗网络

Research on Super Resolution Reconstruction Technique of Galaxy Image

Jia Peng, Junxi Luo, Juan Zhou, Shuai Ma, Huanze Wei, Li Zhang^*

College of Big Data and Information Engineering, Guizhou University, Guiyang Guizhou

Received: Nov. 2^nd, 2023; accepted: Dec. 22^nd, 2023; published: Dec. 29^th, 2023

ABSTRACT

After the radio signal received by SKA1-low is converted into image data, the resolution of the image will be blurred due to various factors, making it difficult for astronomers to obtain clear and complete galaxy information. In view of this phenomenon, this paper plans to adjust and optimize the basic module of SRGAN based on the generation of adversarial network, so as to make it more conducive to the reconstruction of SKA galaxy images. In this paper, the galaxy image super-resolution reconstruction algorithm with improved SRGAN is used for training and testing on the galaxy image dataset. The experimental results show that the PSNR value is increased by 3.05 DB and SSIM value is increased by 0.0551 DB on the original model. In addition, this paper also made qualitative and quantitative comparisons with SRResCCGAN, IMDN, LAPAR and BebyGAN models. From a quantitative perspective, the PSNR value increased by 1.96 DB, 1.59 DB, 4.88 DB and 0.81 DB respectively. SSIM values increased by 0.1103, 0.056, 0.0381 and 0.0141 respectively, and the values of the two mainstream evaluation indicators were all improved. From the qualitative point of view, compared with other classical models, the edge information of the reconstructed image is clearer and the details of the galaxy image can be recovered more effectively.

Keywords:SKA Galaxy Image, Super Resolution Reconstruction, Generative Adversarial Network

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 概述

星系是由恒星、恒星遗骸、宇宙尘埃、星际气体和暗物质等诸多物质组成的引力束缚系统，是构成宇宙的基本单位。平方公里射电阵(Square Kilometer Array, SKA)是一种合成孔径阵列，由大量延伸数千公里的小直径无线电天线组成。具有如大视场、高灵敏度、高分辨率、宽频率覆盖等特点，为人类探索宇宙奥秘提供了必要条件。SKA旨在许多前沿科学领域取得重大发现，譬如星系的形成和演化过程、暗能量的性质、宇宙磁场的起源、引力的性质及地外文明等 [1] 。在SKA获取星系图像的过程中受到超距离、大气湍流因素等的影响，图像在形成、传输及储存的整个流程中，无法规避的会出现图像退化或降质的现象 [2] [3] [4] 。由于SKA硬件设施的研发及铺设费用极其昂贵，这使得如何利用图像超分辨率重建技术提升星系图像质量成为当前重要的研究手段之一。

图像超分辨率(Super Resolution, SR)技术是通过低分辨率(Low Resolution)图像重构其相应的高分辨率(High-Resolution)图像 [5] 。1984年，Tsai [6] 等人试图从频域方面着手进行超分辨率重建，利用多幅LR图像之间存在的相关联系，获得更丰富的图像细节信息，重建HR图像。当前，常见的图像超分辨率重建方法有三种，分别是：基于插值、基于重构和基于学习的方法。基于插值的方法有双线性插值、双三次插值和相邻插值法等；基于重构的方法有最大后验概率法(MAP)、凸集投影迭代法(POCS)及迭代反向投影法等，相较于插值方法可生成锐化边缘、抑制混叠伪影，具有较快的计算速度，但仍无法对复杂图像进行有效的重建；基于学习的方法常利用神经网络对大量样本进行训练，学习低分辨率与高分辨率图像之间的映射关系，是目前在图像超分辨率重建领域中运用最为广泛的手段。

2014年，Dong等人 [7] [8] 率先提出了一个基于卷积神经网络的HR图像重建算法(SRCNN)，不仅在重建效果上优于传统超分辨率重建算法，而且引领了利用神经网络解决超分辨率重建问题的新阶段；2016年，Kim等人以SRCNN为基石，延伸出深度递归卷积神经网络(DRCN) [9] 和极深超分辨网络(VDSR) [10] ，进一步提高了网络重建效果。其中，VDSR采用采用残差学习的方法在提高网络训练速度的同时优化网络性能，并且为防止训练中出现梯度爆炸现象，设定了可调整的梯度裁剪机制。而DRCN网络选取递归学习的方法，各递归层之间共享参数，利用不同卷积层、不同尺度之间的信息来加强特征学习，可在降低网络参数的同时提升模型重建效果；2016年，Ledig等人 [11] 提出了一种将残差学习与生成对抗网络(Generative, Adversarial Network, GAN)相结合的超分辨率生成对抗网络(SRGAN)，并添加感知损失函数解决了在缩放因子较大时图像细节纹理恢复困难的问题；类似于人类视觉，注意力机制可以将网络计算量聚集在重点区域。2016年，Zhang等人 [12] 对“Squeeze-and-excitation” [13] 模块进行了改进，并且提出通道注意力模块搭建出残差通道注意力机制重建算法提升了超分辨率模型的重建性能。

为了设计一个性能优越且更适用于星系图像超分辨率重建的模型，本文提出一个由残差密集块(RRDRB, Residual-in-residual Dense Residual Block)组成的生成器及改进后的鉴别器所构成的超分辨率重建网络our-SRGAN。首先，RRDRB是在RRDB的结构上添加一个额外的残差学习，以在不增加网络复杂性的情况下增大网络容量，用于恢复低分辨率星系图像的高频细节信息，使之成为构成生成器的主要组成成分；其次，去除原SRGAN模型中的BN层，减少所生成高分辨率图像中伪影的产生。经过对原SRGAN模型的进一步改进，使其具备更优秀的特征提取能力，在星系图像的超分辨率重建上取得了更出众的性能表现。本文的主要研究如下：

1) 模拟研究所需数据集。采用了专业软件Rascil模拟SKA低频阵列的LOWBD2配置进行观测，获取星系图像与其相对应的脏图。

2) 设计了新的基本块RRDBR。在密集块中每隔两层添加一个残差，可用于更精细的采集星系图像的特征信息，生成更高质量的图像。

3) 去除BN层。不仅能够降低模型的计算复杂度及内存占用量，还能提高模型泛化能力，减少伪影的产生。

4) 损失函数修改。在SRGAN中感知损失的基础上采用一对多的Best-buddy损失函数，通过利用图像中普遍存在的自相似性来灵活地查找及使用HR监督信号。

2. 相关研究

2.1. 生成对抗网络

2014年，Goodfellow等人提出生成对抗网络(GAN)，是一种经过对抗训练估算深度学习中生成模型的框架结构。GAN由负责学习训练数据分布的生成器与用于区分生成器所生成新样本真假的鉴别器组成。生成器与鉴别器交替训练提升各自性能，构成了博弈对抗关系，最终获得更优的模型效果。

2.2. 稠密连接网络

在深度学习网络当中，随着逐渐增加的网络层数，梯度消失和分散的问题会慢慢加剧。针对这一问题，研究人员提出了诸如ResNets、Highway Networks及随机深度网络等解决方案。各网络的结构及其训练过程均不相同，关键是如何构建早期特征层与后期特征层之间的段路径。为了确保各特征层之间信息流的传输最大，稠密连接网络(DenseNet)的每个层接收来源于其之前所有前馈层的额外特征输入，并且将自身的所有特征传递给所有后续层进行训练。因而，DenseNet可以更好的利用浅层特征信息、显著缓解梯度消失问题，同时其增强特征传播、推动特征重用的设计结构可极大的降低参数数量，是一个深入且有效的网络，其结构如图1所示。

图1. 稠密连接网络

3. 本文方法

3.1. 网络框架

本文针对重建的星系图像中边缘信息模糊与“伪影”现象进行改进，本文提出了一种结构增强的生成对抗网络重建算法(our-SRGAN)。our-SRGAN由生成器网络和判别器网络构成，其中生成器网络由特征提取模块X、特征增强模块Y和上采样重构模块Z组成，如图2所示。

图2. 生成器模型结构

生成器网络的输入是低分辨率图像。在特征提取模块A中通过卷积提取所需特征后，将其输入增强模块B进行非线性映射，接着经由上采样层和卷积层对图像进行重构，输出与之对应的高分辨率图像。鉴别器网络由卷积层与PReLU激活函数堆叠而成，会判断生成器网络所输出的高分辨率图像是否是真实图像。而由于批归一化层(Batch normalization，BN)在训练中图像会出现伪影现象，同时会导致模型的泛化能力受限。因而本文模型中去除了BN层，在降低网络的计算复杂度的情况下，提高本文网络在星系图像超分辨率任务中的重建性能，鉴别器结构如图3所示。

图3. 鉴别器模型结构

本文主要是对生成器网络的主干部分进行改进，在RRDB的基础上每隔两层密集块添加残差成为RRDB+，使用RRDB+ 代替原SRGAN的基本模块。RRDB+ 结构如图4(b)所示。

图4. RRDB+结构

3.2. 损失函数

为了使本文所提出模型更适用于星系图像的超分辨率重建，将一对多的MAE损失改进后使得不同的目标在不同的迭代中能够监督高分辨率patch的变化从而引导模型进一步优化。

首先对星系图像进行双三次下采样得到含真实GT图像与HR图像的三层图像金字塔，随即将估计的HR图像与其对应的真实GT图像金字塔展开为3 × 3的patch，并由GT图像组成图像监督候选数据库。而为了寻找最优的估计高分辨率patch ( ${\hat{O}}_x$ )，需在迭代中探寻相应的监督patch ( $P_y^{*}$ )，Best-Buddy损失定义如下：

$Q_{BB}\left({\hat{O}}_x,P_y^{*}\right)={\Vert {\hat{O}}_x-P_y^{*}\Vert }_1$ (1)

其中， $P_y^{*}$ 如式2-2， $\alpha \ge 0$ ， $\beta \ge 0$ ：

$P_y^{*}=\arg {\min }_{P\in \xi }\alpha {\Vert P-P_y\Vert }_2^2+\beta {\Vert P-{\hat{O}}_x\Vert }_2^2$ (2)

所以网络损失函数为：

$\varsigma ={\lambda }_1{Q}_{BB}+{\lambda }_2{Q}_{BP}+{\lambda }_3{Q}_P+{\lambda }_4{Q}_G$ (3)

其中， $Q_{BP}$ 指采用双三次下采样将HR转为LR，r是缩微因子， $R\left({\hat{I}}_{HR},r\right)$ 表示对图像进行双三次下采样； $Q_P$ 为感知损失， ${\vartheta }_i$ 表示预训练的VGG-19网络的第 层激活， ${\eta }_i$ 为标度系数；鉴别器对抗损失函数为 $Q_G$ ，各常数值分别设定为 ${\lambda }_1=0.1$ ， ${\lambda }_2=1.0$ ， ${\lambda }_3=1.0$ ， ${\lambda }_4=0.005$ 。

$Q_{BP}={\Vert R\left({\hat{I}}_{HR},r\right)-I_{LR}\Vert }_1$ (4)

$Q_P={\displaystyle {\sum }_i{\eta }_i}{\Vert {\vartheta }_i\left({\hat{I}}_{HR}\right)-{\vartheta }_i\left(I_{HR}\right)\Vert }_1$ (5)

$Q_G=-L_{h_r~P}\left[\log \left(1-\bar{D}\left(h_r\right)\right)\right]-L_{x_f~Q}\left[\log \left(\bar{D}\left(h_f\right)\right)\right]$ (6)

其中，

${\bar{D}}_{\left(x\right)}=\{\begin{array}{l}sigmoid\left(C\left(h\right)-L_{h_f~Q}C\left(h_f\right)\right),h为真\\ sigmoid\left(C\left(h\right)-L_{h_f~P}C\left(h_r\right)\right),h为假\end{array}$ (7)

$h_r$ 表示从分布P中采样的被屏蔽的真实数据， $h_f$ 表示从分布Q中采样的被屏蔽的假数据(即生成数据)， $C\left(h\right)$ 为未变换的鉴别器输出。

4. 实验分析

4.1. 实验数据及环境

按照视角径大小区分射电源可分为致密源与延展源两类，本文采用同时兼具点源及展源结构的射电星系作为模拟图像，选取Rascil软件模拟SKA低频阵列的LOWBD2进行观测，设置观测参数rmax为550，频率1e8，信道带宽为1e6。接着将生成的仪器脏束与图像作卷积得到对应的脏图，将原星系图像与其相对应的脏图组成图像对，原星系图像的大小为424 × 424，其对应脏图大小为106 × 106，将图像对输入到本文模型中进行训练及测试，选取了训练集2000张，验证集200张，测试集200张。

鉴于干涉阵列的天线数量有限，射电干涉测量只能采样到一部分空间频率，这也导致望远镜的点扩展函数附带有较大的旁瓣从而导致图像质量降低。本文结合生成对抗网络对实验数据集进行超分辨率重建，将观测所得退化图像作为低分辨率图像，原始星系图像作为高分辨率图像，模型将会输出重建图像与真实图像作比较，判断模型的重建性能。

本文所有模型的训练及测试均在同一台服务器上完成，并在Python3.8、Pytorch1.11.0、CUDA11.3及显存12 G的环境下训练。

4.2. 实验结果与分析

本文采用定性分析与定量分析对SRGAN、SRResCCGAN、IMDN、LAPAR、BebyGAN和our-SRGAN方法在星系图像数据集上的重建效果进行评价。SRGAN由生成网络和判别网络组成，将LR图像输入生成网络经过一系列卷积处理后，将得到的HR图像输入主体为VGG19的判别网络进行判断 [9] ；SRResCCGAN采用了残差块与条件生成对抗网络相结合的方法，同时加入了跳跃链接结构，使得网络在重建图像时更加高效准确 [14] ；IMDN提出了轻量化的Multi-distilation模块以实现内存和实时性之间的最优匹配，并且提出了自适应裁剪方法实现了任意尺度的放大 [15] ；LAPAR的核心思想是通过逐步重建HR图像的子带残差来提高图像分辨率，输入粗分辨率特征图预测高频残差，同时使用反卷积层向上采用得到更细的级别，表现出来更好的重建性能 [16] ；BebyGAN通过最小化真实图像与生成图像之间的感知损失提升图像的分辨率，生成的HR图像能够保持较好的细节和纹理 [17] 。

各算法在星系图像数据集上所得到的评价指标值如表1所示。从表1可以看出，相较于SRGAN、SRResCCGAN、IMDN、LAPAR、BebyGAN在PSNR上分别提升了3.02 DB、1.96 DB、1.59 DB、4.88 DB、0.81 DB，在SSIM上分别提升了0.0551、0.1103、0.056、0.0381、0.0141，验证了our-SRGAN重建星系图像的PSNR与SSIM指标均优于其他算法。

表1. 不同重建方法在星系图像数据集上的实验结果对比

图5. 六种方法重建的星系图像对比

此外，本文对星系图像进行了超分重建。如图5，图5(a)是原始星系图像，图5(b)是模拟观测后所得退化图像，图5(c)为通过SRGAN重建图像，图5(d)为通过SRResCGAN重建图像，图5(e)为通过IMDN重建图像，图5(f)为通过LAPAR重建图像，图5(g)为通过BebyGAN重建图像，图5(h)为通过our-SRGAN重建图像。从整体重建效果来看，SRGAN、IMDN与LAPARR重建效果较差，有许多点源尚未恢复；SRResCGAN、BebyGAN算法重建的星系图像恢复了基本轮廓，但仍具有明显的伪影；本文所提出模型相比之下重建的图像质量更高，但相较于原始星系图像，仍略显不足。从定性和定量两个方面分析，本文算法不仅在评价指标上得到了提升，同时也更好地恢复了细节信息，提高了星系图像质量。

5. 结束语

本文在深度学习领域研究SKA1-low的图像超分辨率重建，采用our-SRGAN生成对抗网络用于SKA成像系统的星系图像超分辨率重建中，使用RRDB+作为生成器的基本模块，具有更大的网络容量。实验结果表明，与主流方法相比，our-SRGAN在定性及定量两方面都有所提高，在星系图像中实现了更好的超分辨率重建效果，更加丰富星系图像的细节信息。在接下来的研究中，计划关注网络轻量化问题，在不降低太多重建性能的情况下，更大限度地提高网络的运行效率。

基金项目

国家自然科学基金(12273007, 11963003, 12242303)，贵州省优秀青年科技人才计划项目(黔科合平台人才-YQK[2023]006)，贵州省基础研究(自然科学)项目(黔科合基础-ZK[2022]一般143)，贵州大学培育项目(贵大培育[2020]76号)。

文章引用

彭 嘉,罗珺茜,周 娟,马 帅,韦焕泽,张 利. 星系图像超分辨率重建技术研究
Research on Super Resolution Reconstruction Technique of Galaxy Image[J]. 运筹与模糊学, 2023, 13(06): 7655-7662. https://doi.org/10.12677/ORF.2023.136750

参考文献