贵州大学大数据与信息工程学院，贵州 贵阳

收稿日期：2023年11月3日；录用日期：2023年12月22日；发布日期：2023年12月29日

摘要

射电天文稀疏干涉阵列成像过程中由于无线电接收器的带宽限制会使观测后的图像产生宽带合成波束效应，针对这个问题，本文设计了一个带宽合成波束效应的消除CycleGAN模型。该模型利用CycleGAN模型中的残差学习机制对具有空间复杂结构的射电源信号携带的带宽合成波束效应图像进行特征提取，进而提高恢复效果。通过天文通用软件CASA模拟出来的脏图和原图作为图像对模型进行训练。这种结合方式能够有效地将两种图像风格进行转换，从而使得模型能够更好地适应不同的射电源信号。实验结果显示，该深度学习算法与现有的宽带合成波束算法在图像指标PSNR和SSIM上得到明显提升，能够有效地恢复天空图像，这一技术将为我们提供更为准确的天文学数据，并推动天文学的发展。

关键词

深度学习，图像重建，宽带合成波束，射电干涉

Wideband Beam Effect Elimination of Sparse Array Based on Cyclic Consistency Adversarial Network

Juan Zhou, Junxi Luo, Jia Peng, Kaichao Long, Li Zhang^*

College of Big Data and Information Engineering, Guizhou University, Guiyang Guizhou

Received: Nov. 3^rd, 2023; accepted: Dec. 22^nd, 2023; published: Dec. 29^th, 2023

ABSTRACT

Due to the bandwidth limitation of the radio receiver, wideband beam effect is generated in the imaging of radio astronomy sparse interference array. To solve this problem, a CycleGAN model is designed to eliminate the beam effect. In this model, the residual learning mechanism of CycleGAN model is used to extract the features of bandwidth-synthesised beame ffect images carried by radio source signals with complex spatial structure, so as to improve the recovery effect. The model was trained by using the dirty map and the original image simulated by CASA—a astronomical software. This combination method can effectively convert the two image styles, so that the model can better adapt to different radio source signals. The experimental results show that the deep learning algorithm is significantly improved in PSNR and SSIM compared with the existing wideband synthetic beam algorithm, and can effectively restore the sky image. This technology will provide us with more accurate astronomical data and promote the development of astronomy.

Keywords:Deep Learning, Image Reconstruction, Wideband Beam, Radio Interference

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

甚大天线阵(Very Large Array, VLA)一个由27台25米口径的天线构建的巨大天线阵，位于2124米的高空，是全球最大的合成孔径射电望远镜 [1] VLA在厘米波段的最高分辨率可以达到0.05角秒，这一分辨率和地表上一些大型光学望远镜的分辨率差不多，灵敏度较高，成像时间较短，可分别做连续谱、射电谱线和甚长甚线干涉测量的研究工作 [2] 。

射电干涉阵列射电源成像时是无间断的，由光学系统的成像特性Van Citter-Zernike定理可知 [3] ，原始空间图像N与频域的得到的图像V呈傅里叶变换。由傅里叶变换的性质可知，在实际观测中，受限于天线数量或地理位置的限制，V在空间频率域上无法覆盖所需的观测区域，因此综合孔径成像系统真实可见度函数由公式(1)表示：

$V^{obs}=V\cdot S$ (1)

其中，V是实际可见度函数， $V^{obs}$ 是测量得到的可见度分布，S为采样函数，0代表未测量，1代表已测量。设S为 $B^D$ 的傅里叶反变换，则 $B^D$ 为脏束。 $V^{obs}$ 的傅里叶变换为实际观测可见度分布，也称为脏图 $N_{drity}$ ，可以用公式(2)和公式(3)表示：

$B^D={\displaystyle \iint S\cdot {\text{e}}^{-2\pi i\left(ul+vm\right)}\text{d}u\text{d}v}$ (2)

$N^{dirty}={\displaystyle \iint V^{obs}{\text{e}}^{-2\pi i\left(ul+vm\right)}\text{d}u\text{d}v}$ (3)

由于可见度的不完全采样，使得模拟得到的图像产生了旁瓣，这导致真实图像产生退化，由傅里叶卷积定理，频域内的相乘等于时域上的卷积，所以脏图是真实的射电源亮度分布图I与点扩展函数的卷积，公式如下：

$N^{dirty}=I\otimes B^D$ (4)

宽带合成波束效应是指干涉仪在成像过程中不同观测宽带对观测图像造成的图像干扰，在天文图像中有限的宽带中使得可见度分布产生径向拖尾现象，其程度随离视场中心距离的增大而加强。设 $h_0$ 为观测频段中心空间频率， $h_v$ 为该观测频段内另一个频段的空间频率，设 $h_0=\frac{v_0}{v}{h}_v$ 。当宽带接收机在每个基线和时间产生相位信息和频谱信息独立且固定的分布时，测量的全部空间频率范为观测频带中心频率范围的映射。将 $h_v$ 映射到 $h_0$ 的过程就是将 $\frac{v_0}{v}$ 到 $h_v$ 坐标进行收缩。根据傅里叶变换相似性定理，坐标系在空间域的收缩相当于是傅里叶域的反收缩。

$F\left(H_v\left(\frac{v_0}{v}{h}_v,\frac{v_0}{v}{h}_v\right)\right)={\left(\frac{v}{v_0}\right)}^2{N}_v\left(\frac{v}{v_0}l,\frac{v}{v_0}m\right)$ (5)

其中 $F\left(h_v,h_v\right)=N_v\left(l,m\right)$ ，当全部的空间频率以以上方式进行平均时，图像就会出现径向拖尾效应，不同的频率在图像中以不同的方向移动 [4] 。

目前基于VLA射电天文宽带图像成像技术也得以应用许久，例如多频合成成像技术等在内的诸多算法能在一定程度上消除宽带涂污问题，反卷积CLEAN算法及其他改变形式在一定程度上能够恢复受到PSF模糊影响的图像 [5] 。最早由C.G.Högbom在1974年提出用于解决射电波束成像中的干扰和噪声问题Högbom CLEAN算法 [6] ；随后J.M.Clark在1980年在Högbom CLEAN算法的基础上提出一种用于射电波束成像的图像重构算法——Clark CLEAN算法 [7] ，该算法可以得到更加清晰、更高分辨率的图像；在此之后R.Bhatnagar在2008年对前两种方法进行改进，提出一种旨在提高射电波束成像的质量和分辨率，结合多尺度图像处理和CLEAN技术用于应对复杂空间规划图像设计的Multi-Scale CLEAN (CH-MSCLEAN)算法 [8] ；Zhang在2016年高斯函数集合将复杂天体与合成波束进行参数化，构建天图反理论模型 [9] ，推动射电天文数据处理进行高动态范围重建时代；在2019年Zhang利用基于峰值信噪比的自适应循环增益技术来实现自适应CLEAN算法 [10] ，并在VLA中进行了验证；在2020年Zhang将自适应尺度与宽视场深度融合，首次实现宽视场与合成波束两个效应的自适应图像重建 [11] ；在2021年Zhang分别将宽带和合成波束两种效应结合，首次实现宽带观测下的自适应尺度重建 [12] ，同一时期，他还提出了随机多尺度模型 [13] ，在技术上解决了多尺度模型内存占用大和自适应计算量大的问题，并在SKA模拟观测数据进行了验证。因此可以使用Högbom MFS-CLEAN算法、Clark MFS-CLEAN算法和Multi-Scale MFS-CLEAN算法实现退化图像的高动态范围重建。但是在使用MFS算法对图像进行重建时，如果所观测的频带频谱不平坦，即存在频率相关的变化，可能会导致图像重建中产生伪源或者伪结构。为获取准确而有效的结果，本文计划引入基于深度学习的方法，实现对脏图到原图之间的高动态范围重建。

2. 相关研究

生成对抗神经网络(GAN)是Goodfellow提出的一种深度学习模型 [14] 。该模型由两个组件组成：GAN生成器(Generator)和判别器(Discriminator)。生成器需要不断改进其生成的数据来欺骗判别器，而判别器选用生成器生成的样本作为判断依据。GAN的核心思想是通过不断的对抗学习，生成器和判别器能够相互推动对方的进步，从而达到一个动态平衡的状态。GAN的网络构图由图1表示。

判别器D：才用了混合整流器结构，使用了线性函数和sigmoid激活函数，当输入真实数据x，生成器G会输出假数据G(z)。目标是做到对数据两种分类判断：True (来自真实数据的分布)或False (来自生成器的假数据G(z))。生成器G：采用maxout作为激活函数，随机噪声z被认为是输入。目标是让假数据在D上的性能D(G(z))和真实数据在D上的性能D(x)保持一致性。

随着GAN的提出，GAN在图像生成 [15] ，图像恢复 [16] 等方面占据重要地位。随着监督学习大量应用，Wang提出来有条件的GAN [17] ，该网络既能学习输入与输出之间的关系，还能学习训练时映射的损失函数。Fang利用CNN加入GAN的思想，得到DCGAN网络 [18] ，DCGAN提出了一个重要模型变化，以解决训练数据中出现的不稳定、模式崩溃和内部协变量转换等问题。Brock认为可以将BigGAN用于图像生成 [19] ，BigGAN生成器生成的图像质量足以以假乱真的水准，提出以来首次能够生成具有高保真度的图像。

图1. GAN的主要网络结构图

随着GAN的不断改进，图像到图像的翻译领域取得了巨大的成功，其中最典型的网络——Pix2pix [20] ，它在图像到图像的翻译任务上展现出明显的效果，该网络重点在在鉴别器D中使用输入x来操控D是否准确，z为噪声。其损失函数如公式(6)所示：

${\mathcal{L}}_{cGAN}\left(G,D\right)={\mathbb{E}}_{x,y}\left[\log \left(D\left(x,y\right)\right)\right]+{\mathbb{E}}_{x.z}\left[\log \left(1-D\left(x,G\left(x,z\right)\right)\right)\right]$ (6)

利用L₁ loss来操控生成图像与真实图像的区别，利用L₁ loss来操控整个图像的整体精度是为了通过最小化预测图像与真实图像之间的绝对差异，实现对图像生成或重建过程的控制。

${\mathcal{L}}_{L_1}\left(G\right)={\mathbb{E}}_{x,y,z}\left[{\Vert y-G\left(x,z\right)\Vert }_1\right]$ (7)

最后得到目标函数：

$G^{*}=\arg \underset{G}{\min }\underset{D}{\max }{\mathcal{L}}_{cGAN}\left(G,D\right)+\lambda {\mathcal{L}}_{L_1}\left(G\right)$ (8)

Pix2pix使用监督学习的方式利用GANs进行翻译。CycleGAN引入无监督学习的方式来解决这个问题，提高图像翻译质量，实现图像到图像之间的翻译任务 [21] ，CycleGAN主要将对偶学习与GAN进行结合，实现非匹配对图像之间的图像生成和转换。其中对偶学习是一种与双语翻译任务类似的双重学习。与Pix2pix模型相比，CycleGAN能够使用非成对数据进行训练，并且生成的描述更加一致、生动。

3. 网络模型

3.1. 网络结构

本文提出的算法模型是利用循环残差网络可以用于稀疏阵列宽带合成波束消除的思想，它的生成器网络架构是基于Johnson [22] 的生成器网络架构构建的，内部结构情况如表1所示，首先生成器采用三个卷积层对输入图像进行特征提取，然后送入残差模块实现图像编码的转换，最后在输出层输出图片；鉴别器引用70 × 70个PathGAN [23] ，用于区分70 × 70个重叠的图像补丁的真假，该补丁鉴别器可以以全卷积方式对任意大小图像实现特征提取。内部结构情况如表2所示，因此本文设计的将循环残差网络用于稀疏阵列宽带图像重建的网络结构简化图如图2所示：

表1. CycleGAN 生成器内部结构情况

表2. CycleGAN 判别器器内部结构情况

图2. 基于循环对抗一致性网络的稀疏阵列宽带合成波束消除网络结构图

3.2. 训练细节

CycleGAN含有两个生成器和两个鉴别器，CycleGAN可以实现两个域X和Y之间的映射关系，给出两个需要的训练样本 ${\left\{x_i\right\}}_{i=1}^N$ ， ${\left\{y_i\right\}}_{i=1}^M$ 其中 $x_i\in X$ ， $y_i\in Y$ ，X和Y的数据分布为： $x~p_{data}\left(x\right)$ 和 $y~p_{data}\left(y\right)$ 。其结构图如图3所示：

图3. CycleGAN结构图

引入两个对抗性判别器 $D_x$ 和 $D_y$ ，分别用于区分图像{x}和翻译图像 $\left\{F\left(y\right)\right\}$ 和图像{y}和翻译图像 $\left\{G\left(x\right)\right\}$ 的映射关系 $G:X\to Y$ and $F:Y\to X$ 。

CycleGAN的损失函数表示为： $Loss=Los{s}_{GAN}+Los{s}_{cycle}$ 。

具体的：

$Los{s}_{GAN}={\mathcal{L}}_{GAN}\left(G,D_Y,X,Y\right)+{\mathcal{L}}_{GAN}\left(F,D_X,Y,X\right)$ (9)

${\mathcal{L}}_{GAN}\left(G,D_Y,X,Y\right)={\mathbb{E}}_{y\sim p_{data}\left(y\right)}\left[\log D_Y\left(y\right)\right]+{\mathbb{E}}_{x\sim p_{data}\left(x\right)}\left[\log \left(1-D_Y\left(G\left(x\right)\right)\right)\right]$ (10)

${\mathcal{L}}_{GAN}\left(F,D_X,Y,X\right)={\mathbb{E}}_{x\sim p_{data}\left(x\right)}\left[\log D_X\left(x\right)\right]+{\mathbb{E}}_{y\sim p_{data}\left(y\right)}\left[\log \left(1-D_X\left(F\left(y\right)\right)\right)\right]$ (11)

其中在映射函数 $G:X\to Y$ 的目标函数是： $\min G\max D_Y{\mathcal{L}}_{GAN}\left(G,D_Y,X,Y\right)$ ；在映射函数 $F:Y\to X$ 的目标函数是： $\min F\max D_x{\mathcal{L}}_{GAN}\left(F,D_x,Y,X\right)$ 。

$Los{s}_{cycle}={\mathbb{E}}_{x\sim p_{data}\left(x\right)}\left[{\Vert F\left(G\left(x\right)\right)-x\Vert }_1\right]+{\mathbb{E}}_{y\sim p_{data}\left(y\right)}\left[{\Vert G\left(F\left(y\right)\right)\Vert }_1\right]$ (12)

在X域中，每给定一个图像x，G和F需要满足前向循环一致性： $x\to G\left(x\right)\to F\left(G\left(x\right)\right)\approx x$ ，同样的，在Y域中，每给定一个图像y也需要满足后向循环一致性： $y\to F\left(y\right)\to G\left(F\left(y\right)\right)\approx y$ 。其网络结构图像如下图4所示：

图4. CycleGAN 损失函数网络结构

$Los{s}_{GAN}$ 控制生成器和判别器相互促进， $Los{s}_{cycle}$ 控制生成器的输出与输入风格相同，内容相同。

因此，CycleGAN损失函数的完整的目标函数为：

$\mathcal{L}\left(G,F,D_X,D_Y\right)={\mathcal{L}}_{GAN}\left(G,D_Y,X,Y\right)+{\mathcal{L}}_{GAN}\left(F,D_X,Y,X\right)+\lambda {\mathcal{L}}_{cyc}\left(G,F\right)$ (13)

其中， $\lambda$ 控制这两个目标是否重要，最后得出目标函数：

$G^{*},F^{*}=\arg \underset{G,F}{\min }\underset{D_x,D_y}{\max }\mathcal{L}\left(G,F,D_X,D_Y\right)$ (14)

正是利用以上思想，将稀疏阵列带宽带合成波束效应消除问题转化为图像到图像的转换任务。通过将天文通用软件CASA模拟出来的脏图和原图作为两种不同风格的图像，实现宽带合成波束效应的消除。

本文使用两种技术来稳定训练网络模型。首先对于 ${\mathcal{L}}_{GAN}$ ，使用最小二乘损失替代负对数似然目标函数使训练过程更加稳定。其次，为了减少训练过程中的模型振荡的产生，本文采用Shrivastava提出的策略 [24] ，该策略已经被广泛应用 [25] 。

在实验中，设置方程(13)中 $\lambda =10$ ，使用批量处理大小为Adam优化器，所有网络初始学习率为0.0002。

4. 实验与分析

4.1. 实验数据集

本文选择SDSS项目发布的12期数据中的2000个星系图像作为图像数据集 [26] ，基于VLA阵列下更改后的具有6根天线的VLA配置进行模拟观测。为训练和评价本文网络模型，将模拟观测产生的512 × 512大小的脏图和512 × 512大小的原始模型图像作为图像对放入本文提出的网络模型进行训练和测试。最后将通过前述操作的数据集分为2个部分，分别是用于模型训练的1500张图像对和用于测试的500张图像对。

图5展示了CASA模拟观测出来的两张图像C、D的原始模型图像和模拟观测图像。由图5可见，随着观测和所需观测视场的变化，合成图像的观测结果发生径向退化，导致阵列分别率和灵敏度降低，进而引发了图像的径向涂污现象，使得一些大尺度结构和亮度强电源的产生的形状发生扭曲，降低成图质量。本文模型训练与测试均在同一台服务器上完成，并在Python3.8，pytorch1.8.1，CUDA11.0环境下运行，网络训练参数设置如表3所示。

表3. 网络训练参数

图5. 脏图与模型图；(a) 图像C的模型图像与脏图；(b) 图像D的模型图像与脏图

4.2. 实验结果与分析

经过训练后，将模型应用与射电星系数据集并进行测试，实验结果如图6所示。

图6. 本文算法图像重建结果；(a) C图宽带合成波束效应消除结果；(b) D图宽带合成波束效应消除结果

根据观察图，可以看出本文算法对于处理后的图像进行重建，使得重建图像在结构上与原始模型图像非常相似。这使得退化的图像得到了基本的形态恢复，并且展现出更加清晰且丰富的天体物理结构。此外，该算法在天文环境的重建方面表现得更加细腻，能够有效地重构那些弱点源信号。

为了验证本文算法在消除稀疏阵列宽带合成波束效应的可行性，图7给出了三种传统算法和本文算法的图像重建结果进行对比。第一行展示了模型图像C的不同图像重构算法的结果图，第二行展示了模型图像D的不同图像重构算法结果图。(a) 列显示了C、D两幅模型图像；(b) 列显示了分别模拟观测C、D时生成的脏图；(c) 列展示了Högbom MFS-CLEAN算法的图像重建结果图，可以看出一些明显的点源的细节部分得到改善，但图像复杂部分仍然无法恢复和识别；(d) 列展示了Clark MFS-CLEAN算法的图像重建结果图，图像整体恢复效果比Högbom MFS-CLEAN较好；(e) 列为Multi-Scale MFS-CLEAN算法的图像重建结果图，该算法在复杂空间结构恢复方面表现出色；(f) 列展示出本文算法的图像重建结果图，可以看出，本文算法的重建效果是这几种方法中最好的。

在采用传统实验算法对稀疏阵列宽带合成波束效应图像进行重建时，Högbom MFS-CLEAN算法使用的参设置分别为：niter = 10,000，hresshlod = 0.001，Cyclegain = 0.1，Cyclefactor = 1，Cyclesize = 0.1arcsec。Clark MFS-CLEAN算法的参数设置分别为：niter = 10,000，thresslod = 0.001，Cyclegain = 0.3，Cyclefactor = 3，Cyclesize = 0.1arcsec。Multi-Scale MFS-CLEAN算法的参数设置分别为：niter = 10,000，threshold = 0.001，Cyclegain = 0，Cyclefactor = 3，Cyclesize = 0.1arcsec，尺度设置为scales = [0, 3, 10, 30]。参数的选择和设置在一定程度上会影响这三种算法对图像重建效果，也是这类算法的缺点。

此外，为了证明本文算法的可行性，实验最后使用图像峰值信噪比(PSNR)和结构相似度(SSIM)作为重构后的图像质量评估指标。

假设原始图像为y，重建后的图像为 $\tilde{y}$ ，图像大小为 $m\times n$ 可得PSNR和SSIM分别为：

$\text{PSNR}\left(y,\tilde{y}\right)=10{\log }_{10}\frac{{\left(2^n-1\right)}^2}{\text{MSE}\left(y,\tilde{y}\right)}$ (15)

$\text{SSIM}\left(y,\tilde{y}\right)=\frac{\left(2{\mu }_y{\mu }_{\tilde{y}}+c_1\right)\left(2{\sigma }_{y\tilde{y}}+c_2\right)}{\left({\mu }_y^2{\mu }_{\tilde{y}}^2+c_1\right)\left({\sigma }_y^2{\sigma }_{\tilde{y}}^2+c_2\right)}$ (16)

公式中n为每个采样个数的比特数， ${\mu }_y$ 、 ${\mu }_{\tilde{y}}$ 分别表示y和 $\tilde{y}$ 的平均值， ${\sigma }_y^2$ ， ${\sigma }_{\tilde{y}}^2$ 分别为y和 $\tilde{y}$ 的方差， ${\sigma }_{y\tilde{y}}$ 是y和 $\tilde{y}$ 的协方差。 $c_1={\left(k_{1}L\right)}^2$ ， $c_2={\left(k_{2}L\right)}^2$ 是恒定不变的常数，L代表图像像素的动态范围。在图像重建任务中，PSNR和SSIM的值越大表示重构图像质量越高。

将计算所的数值记录于表4中。实验数据表明，针对上述两幅图像C和D，本文算法在图像的PSNR和SSIM值上面都有显著提升。

图7. 几种图像重建算法比较结果；(a) 原图；(b) 脏图；(c) Högbom；(d) Clark；(e) MSclean；(f) Ours

表4. 不同算法的PSNR与SSIM数值比较

5. 结论

射电天文图像由于观测过程中的不完全采样，会产生退化现象，稀疏阵列宽带成像时会产生宽带涂污现象，同时宽带成像出来的合成图像受到PSF的影响，使得观测得到的图像质量严重降低。传统的宽带图像重建算法虽然一直在使用，但在图像重构过程中需要大量的迭代过程，效率低下，无法满足实际应用的需求。针对这一问题，本文提出了一种基于CycleGAN模型的稀疏阵列宽带图像重建方法。通过大量样本学习实现稀疏阵列宽带合成波束效应的消除，可以更加广泛地应用在射电天文领域中。

实验结果表明，本文方法在提高退化图像质量之间和重构原始图像信息方面更加有效，可以更加准确地实现天体图像的恢复。相较于传统的方法，该方法具有更高的重构准确率和更短的训练时间，可以更好地满足实际应用的需求。双重任务之间的反馈信号有助于模型更好地学习到原始任务和双重任务之间的映射关系，从而得到更好的重构效果。

基金项目

国家自然科学基金(12273007, 11963003, 12242303)，贵州省优秀青年科技人才计划项目(黔科合平台人才-YQK[2023]006)，贵州省基础研究(自然科学)项目(黔科合基础-ZK[2022]一般143)，贵州大学培育项目(贵大培育[2020]76号)。

文章引用

周 娟,罗珺茜,彭 嘉,龙楷潮,张 利. 基于循环一致性对抗网络的稀疏阵列宽带合成波束效应消除
Wideband Beam Effect Elimination of Sparse Array Based on Cyclic Consistency Adversarial Network[J]. 运筹与模糊学, 2023, 13(06): 7663-7673. https://doi.org/10.12677/ORF.2023.136751

参考文献