¹成都信息工程大学，四川 成都

²四川省图形图像与空间信息2011协同创新中心，四川 成都

³重庆中烟工业有限责任公司重庆卷烟厂，重庆

收稿日期：2021年4月10日；录用日期：2021年5月7日；发布日期：2021年5月14日

摘要

近年来，基于深度学习的方法在医学图像去噪方面取得了很好的表现。然而，大多数基于深度学习的方法都需要成对的训练数据，这将影响如新型冠状病毒肺炎等病症的临床诊断。本文提出了一种用于磁共振成像(magnetic resonance image，简称MRI)去噪的无监督学习方法。首先，我们通过内容编码器和随机噪声编码器分离受噪声影响的低质MRI图像的内容信息和噪声信息。其次，利用Kullback-Leibler (KL)散度损失对噪声的分布进行正则化。第三，向模型加入对抗损失，使生成的去噪图像看起来更加真实。最后，我们增加了循环一致损失和感知损失来确保带噪图像和去噪图像内容信息的一致性。实验结果表明，我们提出的方法取得了良好的视觉效果。

关键词

MRI去噪，莱斯噪声，无监督深度学习，解缠表示

An Unsupervised Deep Learning Method for MRI Image Denoising

Fan Tang¹, Ying Fu^1,2*, Yan Li³

¹Chengdu University of Information and Technology, Chengdu Sichuan

²Image and Spatial Information 2011 Collaborative Innovation Center of Sichuan Province, Chengdu Sichuan

³Chongqing China Tobacco Industry Co., Ltd. Chongqing Cigarette Factory, Chongqing

Received: Apr. 10^th, 2021; accepted: May 7^th, 2021; published: May 14^th, 2021

ABSTRACT

Recently, medical image denoising methods based on deep learning have performed well. However, one challenge for most of these methods needs paired synthetic training data, which will affect clinic diagnosis such as COVID-19. In this paper, we proposed an unsupervised learning method for Magnetic Resonance Imaging (MRI) denoising. Firstly, we separated the content and noise of low-quality MRI images affected by noise through the content encoder and random noise encoder. Secondly, we used Kullback-Leibler (KL) loss to regularize the distribution of noise. Thirdly, we apply the adversarial loss on the model to make the denoising images look more realistic. Finally, we added cycle-consistency loss and perception loss to ensure the consistency of the noisy image and the denoised image. Experimental results showed the method we proposed achieved good visual results.

Keywords:MRI Denoising, Rician Noise, Unsupervised Deep Learning, Disentangled Representations

Copyright © 2021 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

MRI图像是一种以不同灰度显示不同结构的解剖和病理的断面图像，广泛应用于疾病的检测、诊断以及治疗监测。然而，MRI图像的成像过程往往伴随着随机噪声，这导致了低质MRI图像的产生。MRI图像的质量不仅会影响医生对患者病情的判断，还会降低图像配准、图像分割和图像分类等工作的准确性。图像去噪可以提高给定图像的质量，解决随机噪声引起的图像退化的问题。

为了在去除噪声的同时保持图像内容信息的完整性，研究人员提出了高斯滤波、双边滤波、算术均值滤波等经典空间像素特征去噪算法。与上述方法利用图像的局部信息不同，非局部均值去噪算法利用整个图像的信息进行图像去噪 [1]。2008年，José V等人成功地将改进的非局部均值去噪算法应用于MRI图像去噪 [2]。变换域去噪算法是先进行图像域变换，然后再进行图像去噪的一种间接去噪算法，具有代表性的去噪算法包括傅里叶变换、离散余弦变换、小波变换和多尺度几何分析等。Dabov等人将非局部均值算法中相似块的计算与小波变换域 [3] 中的去噪方法相结合提出了BM3D算法。基于BM3D算法，Eksioglu等人提出了MRI重建算法 [4]。此外，图像矩阵的低秩约束也是值得注意的 [5] [6]。张禹涵等人提出了一种将低秩约束和稀疏梯度先验 [7] 相结合的磁共振图像去噪模型。

卷积神经网络在图像识别 [8] [9] 领域取得了良好的成果。随后，基于卷积神经网络的图像去噪算法并 [10] [11] 也引起了研究人员的注意。其中，DnCNN [10] [12]，PRI-PB-CNN [13]，MIFCN [14] 等方法具有很强的扩展性，不仅对自然图像有很好的去噪效果，而且可以很好地应用于MRI图像去噪。

生成对抗网络在生成真实图像 [15] [16] 方面有很大的优势，因此研究人员将生成对抗网络和卷积神经网络结合起来进行图像去噪 [17]。主流去噪算法属于监督领域，需要配对的训练数据 [18] [19]。然而，我们很难在现实生活中获得配对数据来训练模型。迁移学习是一种在医学图像分析领域 [20] 广泛使用的方法，陆思源等人将其用于医学图像检测 [21]。在训练数据不配对的情况下，我们也利用迁移学习来训练模型。我们提出了一种基于深度学习 [22] 的无监督图像去噪方法来获得高质量的自然图像和MRI图像。

本文的主要贡献可以总结如下：1) 提出了一种基于生成对抗网络的无监督学习方法用于医学图像去噪，并且该方法不需要成对训练的数据；2) 用解缠表示分离低质MRI图像的内容信息和噪声信息。

2. 方法

本模型由以下部分组成，如图1所示：1) 受随机噪声影响的低质图像域的内容编码器 $E_L^C$ ；高质图像域的内容编码器 $E_H^c$ ；2) 随机噪声编码器 $E^n$ ；3) 低质图像判别器 $D_L$ 和高质图像判别器 $D_H$ ；4) 低质图像生成器 $G_L$ 和高质图像生成器 $G_H$。

此外，样本数据如图2所示，样本 $l\in L$ 属于低质图像域；样本属于高质图像域 $h\in H$ ； $z_N=E^n\left(l\right)$ 是噪声特征的分布。

图1. 去噪模型框架图

图2. 从SBD获取的用于实验的合成数据。(a)、(b)、(c)、(d)分别截取自(A)、(B)、(C)、(D)。(A)和(C)是干净的MRI图像。(B)和(D)是带有噪声的MRI图像

2.1. 解缠表示

在无监督域中，由于数据是不成对的 [23] [24] [25]，所以我们很难将图像的内容信息与噪声信息分开。本文从两个方面提高带噪图像内容信息和噪声信息的分离程度。一方面，尽可能多的从低质图像中提取有效的内容信息。由于高质图像未受噪声影响，所以 $E_H^c$ 可从中提取到不带噪声的内容信息。为了能从低质图像中更好的提取内容信息，我们采用了 $E_L^C$ 和 $E_H^c$ 共享权重参数的策略。另一方面，我们通过添加KL散度损失来约束噪声特征的分布 $z_N$，使其近似正态分布 $p\left(z\right)~N\left(0,1\right)$，KL散度损失如式(1)所示：

$KL\left(q\left(z_N\right)\left|\right|p\left(z\right)\right)=-{\displaystyle \int q}\left(z_N\right)\log \frac{p\left(z\right)}{q\left(z_N\right)}\text{d}z$ (1)

最小化KL散度和式(2)等价：

$L_{KL}=\frac{1}{2}{\displaystyle \underset{i=1}{\overset{N}{\sum }}\left({\mu }_i^2+{\sigma }_i^2-\log \left({\sigma }_i^2\right)-1\right)}$ (2)

$\mu$ 是 $z_N$ 的标准差， $\sigma$ 是 $z_N$ 的均值，N是 $z_N$ 的维数。 $z_N$ 从 $z_N=\mu +z\ast \sigma$ 中采样，其中*是按元素进行的矩阵乘法。

2.2. 对抗损失

为了生成更真实的高质量图像，我们将对抗损失应用于低质图像域和高质图像域 [22]，如式(3)所示：

$L_{Dh}=E_{h~p\left(h\right)}\left[\log D_H\left(h\right)\right]+E_{l~p\left(l\right)}\left[\log \left(1-D_H\left(fakeh\right)\right)\right]$ (3)

$fakeh$ 如式(4)所示：

$fakeh=G_H\left(E_L^c\left(l\right),z_N\right)$ (4)

在训练模型的过程中， $G_H$ 试图使生成的图像 $fakeh$ 看起和来自高质图像域的图像更加相似， $D_H$ 希望能够区分 $fakeh$ 和真实样本h。 $G_H$ 在训练中希望尽量减少损失，同时 $D_H$ 希望尽量扩大损失，我们将低质图像域中的对抗性损失定义为式(5)：

$L_{Dl}=E_{l~p\left(l\right)}\left[\log D_L\left(l\right)\right]+E_{h~p\left(h\right)}\left[\log \left(1-D_L\left(fakel\right)\right)\right]$ (5)

$fakel$ 如式(6)所示：

$fakel=G_L\left(E_H^c\left(h\right),z_N\right)$ (6)

2.3. 循环一致损失

在无监督条件下，仅有对抗损失并不能保证原始图像和去噪图像内容信息的一致性。受CycleGAN [22] 的启发，我们向模型中添加了循环一致性损失，如式(7)所示：

$L_{cyc}=E_{h~p\left(h\right)}\left[{\Vert h-fakehh\Vert }_1\right]+E_{l~p\left(l\right)}\left[{\Vert l-fakell\Vert }_1\right]$ (7)

在2.2节中，我们生成了 $fakel$ 和 $fakeh$。在本节中，我们需要将输入的 $fakel$ 重新生成为高质域的图像。重构的高质量图像定义为式(8)：

$fakehh=G_H\left(E_L^c\left(fakel\right),E^n\left(fakel\right)\right)$ (8)

与以上类似，我们将 $fakeh$ 重构为原来的低质域的图像。重构的低质量图像定义如式(9)所示：

$fakell=G_L\left(E_H^c\left(fakeh\right),E^n\left(fakel\right)\right)$ (9)

2.4. 感知损失

我们希望生成的图像 $fakel$ 只包含低质图像l的噪声信息，但是实际实验结果与我们的期望不一致。事实上，由于解缠并不彻底，所以生成的 $fakel$ 也包含低质图像l中的内容信息。为了生成更好的 $fakel$，我们利用感知损失来进一步约束模型。感知损失如式(10)所示：

$L_{pe}={\Vert f{e}_{l-layer}\left(fakel\right)-f{e}_{l-layer}\left(l\right)\Vert }_2^2$ (10)

$f{e}_{l-layer}\left(x\right)$ 是预训练的卷积神经网络 [26] 的第l层的特征。

模型目标函数描述如式(11)所示：

$Loss={\lambda }_{Dhl}\left(L_{Dh}+L_{Dl}\right)+{\lambda }_{KL}{L}_{KL}+{\lambda }_{cyc}{L}_{cyc}+{\lambda }_{pe}{L}_{pe}$ (11)

给定带有噪声的MRI图像 $l_t$，我们需要将其输入 $G_H$ 到以获得高质量的图像，如式(12)所示：

$deimg=G_H\left(E_L^c\left(l_t\right),E^n\left(l_t\right)\right)$ (12)

3. 实验结果

不为了验证我们提出模型的性能，我们将其与经典的图像去噪方法各向异性扩散滤波(Anisotic Diffusion Filter，简称ADF)和基于深度学习的无监督图像去噪方法CycleGAN进行了比较。我们使用从SBD获得的合成MRI数据(T1w和PDw)进行实验。测试数据为带有5%、10%、15%、20%、25%、30%的莱斯噪声的T1w图像和PDw图像。

图3~8给出了T1w图像的实验结果，从对比图中可以看出我们的去噪方法达到了良好的视觉效果。随着莱斯噪声强度的增加，ADF去噪结果中包含的噪声越来越明显。当噪声强度超过20%后，残余噪声已严重影响到了视觉性能。CycleGAN和我们提出的方法能够有效地除去噪声。

图3. 带5%莱斯噪声的T1w图像的实验结果

图4. 带10%莱斯噪声的T1w图像的实验结果

图5. 带15%莱斯噪声的T1w图像的实验结果

图6. 带20%莱斯噪声的T1w图像的实验结果

图7. 带25%莱斯噪声的T1w图像的实验结果

图8. 带30%莱斯噪声的T1w图像的实验结果

如表1所示，ADF算法的PSNR和SSIM低于CycleGAN和我们提出的方法。当噪声水平低于25%时，我们提出的算法取得了比其他方法更高的PSNR值。当噪声强度增加到30%时，CycleGAN的PSNR值略优于我们的算法，但是我们提出的算法仍然得到了具有竞争力的SSIM值，结果如表2所示。

表1. T1w图像的PSNR结果

表2. T1w图像的SSIM结果

图9. 带5%莱斯噪声的PDw图像的实验结果

图10. 带10%莱斯噪声的PDw图像的实验结果

图11. 带15%莱斯噪声的PDw图像的实验结果

图12. 带20%莱斯噪声的PDw图像的实验结果

图13. 带25%莱斯噪声的PDw图像的实验结果

图14. 带30%莱斯噪声的PDw图像的实验结果

表3. PDw图像的PSNR结果

表4. PDw图像的SSIM结果

为了证明我们提出方法的鲁棒性，我们对不同莱斯噪声水平的PDw图像进行了实验。实验结果如图9~14所示，从图中可以看出我们的方法可以适应不同噪声强度下的去噪工作。随着噪声强度的增加，HDF结果残余的噪声逐渐增大。当噪声强度超过20%时，未去除的噪声已严重影响视觉性能。随着噪声水平的增加，Cyclegan的去噪结果显示出奇怪的纹理。

如表3所示，当噪声强度小于15%时，我们的方法达到了最佳的PSNR值。当噪声强度增大时，我们的算法仍能得到较高的PSNR值。如表4所示，当噪声强度小于10%时，使用ADF得到的去噪结果SSIM值最优。之后，Cyclegan的结果超过ADF达到了最优值。

4. 结论

除去低质MRI图像中的噪声获得高质MRI图像具有重要意义。本文提出了一种基于生成对抗网络的无监督图像去噪算法。模型通过解缠表示将噪声图像的内容信息和噪声信息分开，并使用KL散度损失对噪声的分布进行正则化。模型采用感知损失和循环一致损失来保证噪声图像和去噪图像之间内容信息的一致性。将对抗损失添加到模型中，以生成更真实的MRI图像。实验结果表明我们提出的方法具有较好的去噪效果。

由于该模型的参数量比较大，所以对训练平台有一定要求。因此，我们计划优化网络结构，在不影响去噪性能的前提下减少模型参数的数量。

基金项目

四川省科技计划资助项目(2019ZDZX0005)；国家留学基金管理委员会资助项目(201908515022)。

文章引用

唐 凡,符 颖,李 燕. 基于深度学习的无监督磁共振图像去噪方法
An Unsupervised Deep Learning Method for MRI Image Denoising[J]. 计算机科学与应用, 2021, 11(05): 1268-1280. https://doi.org/10.12677/CSA.2021.115129

参考文献