Computer Science and Application
Vol. 12  No. 03 ( 2022 ), Article ID: 49250 , 8 pages
10.12677/CSA.2022.123051

基于卷积神经网络和预处理交替投影的单光子发射计算机断层扫描图像重建

邓向杰,李斯

广东工业大学计算机学院,广东 广州

收稿日期:2022年2月8日;录用日期:2022年3月3日;发布日期:2022年3月11日

摘要

单光子发射计算机断层扫描在肿瘤成像中发挥着重要作用,其图像重建是一个重要研究方向。预处理交替投影算法在单光子发射计算机断层扫描图像重建方面有良好的性能,但随着卷积神经网络在图像处理领域的发展以及业内对重建图像质量的追求逐年提升,预处理交替投影的重建效果已经较难满足业内的期望。改进成像硬件设备可以提升图像质量但是成本高昂且时间周期长。因此本文使用人体模型数据集,通过改进的卷积神经网络学习预处理交替投影重建图像与该数据集重建图像真图标签的映射,提升了重建图像的质量。实验结果表明,使用本方法在该数据集中的单光子发射计算机断层扫描图像重建,PSNR、MSE、SSIM数值指标均领先于预处理交替投影和滤波反投影法,同时在视觉效果、噪声抑制方面均超越上述对比方法。

关键词

单光子发射计算机断层扫描,卷积神经网络,预处理交替投影

Single Photon Emission Computed Tomography Reconstruction Based on Convolutional Neural Network and Pre-Processing Alternating Projection

Xiangjie Deng, Si Li

School of Computer, Guangdong University of Technology, Guangzhou Guangdong

Received: Feb. 8th, 2022; accepted: Mar. 3rd, 2022; published: Mar. 11th, 2022

ABSTRACT

Single photon emission computed tomography plays an essential role in cancer imaging. Thereinto, image reconstruction is an important research direction. Pre-processing alternating projection algorithm applies well to single photon emission computed tomography image reconstruction. However, with the development of the convolutional neural network in the field of image processing and the pursuit of reconstructed image quality in the industry year by year, the reconstruction effect of pre-processing alternate projection has been challenging to meet the expectation of the industry. Improving the imaging hardware can improve the image quality, but the cost is high, and the time cycle is long. Therefore, this paper uses a mannequin dataset; an improved convolutional neural network is used to learn the mapping between the reconstructed image of alternating projection and the ground truth image label of the reconstructed image of the dataset, improving the image quality image reconstruction. The experimental results show that using this method in the image reconstruction of this data set, the numerical indicators PSNR, MSE and SSIM are superior to pre-processing alternating projection and filtered back projection. Meanwhile, this method is superior to the above methods in visual effects and noise suppression.

Keywords:Single Photon Emission Computed Tomography, Convolutional Neural Network, Pre-Processing Alternating Projection

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

医学影像技术在现代医疗体系中发挥了重要作用,其中单光子发射计算机断层扫描 [1] 使用层析重建投影数据获取患者体内放射性示踪剂分布估计从而提供诊断信息。有别于诸如X射线断层成像或磁共振成像等传统的解剖学成像模态,单光子发射计算机断层扫描成像可以提供生化信息的数据,而这些数据的变化往往早于宏观解剖结构的改变,因此其对肿瘤的更早期发现及诊断具有优势。单光子发射计算机断层扫描图像重建是将设备接收到的多角度投影数据重建为临床诊断使用的医学影像,而提升图像重建的质量长期以来是一个重要研究方向。通过改进硬件成像设备可以提升图像质量,但其更新成本高昂且时间周期长,因此在本文中,重点是寻求更好的算法用以提升重建图像质量。

预处理交替投影算法 [2] 是一种类EM迭代优化算法,在单光子发射计算机断层扫描图像重建中具有良好的性能,相较于滤波反投影法能更好地控制噪声。从传统优化算法理论可以继续优化其重建效果,但其提升空间有限,已较难满足领域内对图像重建质量提升的期望。随着卷积神经网络在图像处理领域的发展以及业内对重建图像质量的追求逐年提升,卷积神经网络越来越多地应用于提升医学影像的图像质量。因此本文使用人体模型数据集,通过改进的卷积神经网络学习预处理交替投影重建图像与该数据集重建图像真图标签之间的映射,从而使得重建图像在损失函数的指导下更贴近真图标签,进一步提升重建图像的质量。这使得重建结果不再仅以预处理交替投影算法中预先人为定义的最优化准则为指导,还引入了数据集中高质量真图带来的信息,而此信息在原算法中是无法体现的,因此可以显著降低重建图像与真图标签之间的差距。实验结果表明,本方法在该人体数据集的单光子发射计算机断层扫描图像重建中,PSNR、MSE、SSIM数值指标均领先于预处理交替投影和滤波反投影,同时在整体视觉效果、噪声抑制能力和局部结构方面均超越上述对比方法。

2. 相关工作及背景

2.1. 滤波反投影

滤波反投影 [3] 是单光子发射计算机断层扫描图像重建经常运用的方法之一。其首先在频域对投影数据进行滤波,随后将滤波后的投影数据直接反投影得到重建图像。可描述为:

f = H ϕ ( τ ( g ) ) (1)

其中,f表示患者体内的放射性活性分布,即待重建的图像。 H ϕ 代表某种参数设置下的反投影过程, τ 代表频域下的一类滤波器,g表示投影数据。

滤波反投影几乎不对图像进行过多的人为干预,是一种一步解析的方法。其优势在于适用范围广,成像结果稳定而可靠,且计算开销小速度非常快。然而,滤波反投影对噪声较为敏感,且较难引入特定的人工准则用以修正不同情况下图像,因此容易出现其标志性的放射状条纹伪影 [4],这对重建图像的质量有较明显的影响,对临床诊断产生了不良影响。

2.2. 预处理交替投影算法

相较于滤波反投影,迭代类算法由于需要重复多步迭代过程,其在速度上一般没有优势。但近年来随着设备硬件处理能力的提升和算法优化,二者速度差距已降至可接受范围,迭代类算法开始越来越多应用于单光子发射计算机断层扫描重建领域。如EM类迭代算法从一个粗糙的猜测图像开始,在某种最优化准则指导下,将其投影值与实际投影测量值对比和修正,逐步迭代,并寻求收敛到一个最优解。该类方法优点之一是可以根据具体成像情况,引入先验的约束条件,对噪声、伪影、平滑度等进行控制和矫正。

其中,预处理交替投影算法优化了放射性示踪剂分布条件下发射数据观测值的负对数似然和正则化项的和。将正则化项表示为凸函数的复合,该凸函数定义了l1范数和分析算子。通过l1范数的邻近算子,给出了用不动点方程组表示的最优化问题的精确解的表征。其底层临近算子具有封闭的形式,这带来了较大的计算优势。对大尺寸稠密系统矩阵增加了EM型预处理矩阵,为求解优化模型提供了更高效率,在单光子发射计算机断层扫描成像中具有一定优势。然而,随着业内对重建图像质量的追求逐年提升,对更高图像质量的期望同样对预处理交替投影算法带来了挑战。从传统优化理论方向可以优化其重建效果,但其迭代收敛性分析复杂且提升空间有限,较难满足业内对图像重建质量提升的期望。

2.3. 卷积神经网络

近年来,卷积神经网络的发展使其在医学影像领域也显示出了巨大潜力。在单光子发射计算机断层扫描图像重建中,传统方法的模型和参数等通常都是通过人工设计和经验选择的,与之不同的是,卷积网络能从数据集中自动学习模型和参数。同时,得益于深度学习平台的发展和充分优化,卷积网络在执行速度上也具有较大优势。

如DeepPET [5] 使用卷积神经网络,通过大量数据的训练,可将投影数据直接重建为图像。其完全使用卷积层代替了传统的重建过程,自适应的从数据中学习重建方法并对图像进行调整和矫正而无需人工设计,具有很高的运行效率并在效果上超越传统方法。然而,也正是由于其缺乏底层物理模型等先验知识,使得网络必须要从数据集中完整而精确地学习到整个底层重建物理过程,这加剧了网络的数据依赖和训练难度。在数据量无法达到原作十万级别的规模时,效果将显著下降,然而获取如此规模的数据集无疑是一个挑战。

3. 方法

3.1. 迭代重建模型

在单光子发射计算机断层扫描重建中,泊松模型是描述投影过程最常用的概率分布 [6],即接收到的投影数据g与待重建的图像f可描述为:

g = P o i s s o n ( A f + γ ) (2)

其中A为系统矩阵,记录了从待求图像上每一位置发射光子被每一个探测单元接收到的概率,由探测单元系统几何、放射性同位素、光子的散射和衰减吸收等因素建模得出。 γ 为无法避免的环境背景辐射。给定一个g的实现,目标是重建f同时抑制泊松噪声以及在估计中保持空间分辨率。可通过惩罚极大似然准则来表述上述重构问题,实际上,惩罚极大似然估计是通过最大化f的对数似然函数与先验分布对数的和得到的。基于以上,其重建优化模型可描述为:

f = arg min f 0 { A f , 1 ln ( A f + γ ) , g + λ U ( f ) } (3)

其中,数据保真项 F : = A · , 1 ln ( A · + γ ) , g 为Kullback-Leibler (KL)散度,引入惩罚项 λ U ( · ) 为估计施加所需的平滑,其中 λ 为正惩罚系数, U ( · ) 为一个实值能量函数。基于以上,文献 [2] 进一步给出了给出其迭代格式:

{ h ( k ) : = P + ( f ( k ) S F ( f ( k ) ) μ S B T b ( k ) ) , b ( k + 1 ) = ( I p r o x ( λ / μ ) φ ) ( b ( k ) + B h ( k ) ) , f ( k + 1 ) = P + ( f ( k ) S F ( f ( k ) ) μ S B T b ( k + 1 ) ) . (4)

在式子(4)中,h为方便收敛性分析的额外定义,b为滤波变换域中定义的对偶迭代,它在每步迭代时被软阈值函数截断。 B T b 可表示由滤波器提取的图像域中的噪声。S为正定的预处理对角矩阵,有 S ( k ) : = diag ( f ( k ) / A T 1 ) μ 为正参数, P + 算子为第一象限上的投影算子,有 P + ( · ) = max ( · , 0 ) p r o x 为软阈值截断算子。

3.2. 网络结构

相比于全连接网络,卷积神经网络参数量大大减小,同时更适用于图像处理领域,因此使用卷积网络将低质量的图像转化为高质量的图像在很多图像处理领域已取得显著的成功。本文利用改进的卷积神经网络将预处理交替投影产生的低质量重建图像映射为高质量图像,保留底层物理信息同时提升图像质量,方便临床诊断。在此基础上本文采用了编码解码结构 [5],该类结构可以使得输入信息被卷积编码器-解码器(CED)模型逐步将输入压缩成一个潜在空间表示,然后逐步将该表示重建为一个完整的数据。在此过程中,特征被逐步提取和组合。同时使用了一个残差结构 [7],充分利用残差学习的优势,为数据传递提供一个恒等映射的旁路。

在本工作中,图片尺寸、数据集大小和网络参数量共同决定了网络结构的设计,需要在提升网络性能和防止过拟合之间取得平衡,经过理论分析以及实验选用了图1所示的网络结构。使用平局池化降采样降低图像尺寸提取特征,避免了最大池化带来的信息损失。与其对称的上采样过程,使用双三次插值获得尺寸提升同时避免引入不必要的质量下降,插值使用了角点对齐的方式,该模式会对齐插值前后的边角,防止边角处出现数值问题。

为弥补较少的采样次数而损失的网络深度,本工作在大尺度下中采用三次线性卷积层,并且配合相应的非线性激活函数,在下采样阶段特征维度逐渐加深进行编码,上采样阶段滤波通道逐步融合进行解码。同时本工作不采用BN层设计,避免产生不必要的伪影。

其结构如图1所示:

Figure 1. Network structure

图1. 网络结构

3.3. 训练

3.3.1. 数据集

本工作数据集主要参考SIMIND内建三维数字人体模型。按不同组织示踪剂吸收率生成对应活性分布模型,对其进行2D化切片处理,筛选中心区域和重要器官区段,并对尺寸进行修整。数值经过修正并进行归一化处理防止量纲差异带来的影响。所有切片以独立概率进行随机旋转、翻转、平移以及引入随机数用以数据增强。共计399张切片作为真图标签,随机均匀抽取20%不参与训练作为测试数据集。对应的投影弦图以SIMIND [8] 在如下参数设置下计算出的系统矩阵投影生成:

采用准直射线光束,Tc-99m同位素,120个投影角度。探测单元矩阵,单元尺寸为3.75,重建空间体素尺寸为2.23。伽马相机旋转半径为12 cm。使用以142 keV为中心的能量窗口,且只忽略多阶散射光子。生成的投影弦图经过尺寸修整,数值修正和归一化以适应网络输入。

3.3.2. 训练参数

在网络训练过程中,优化算法的选择对训练速度和最终效果有很大影响。随机梯度下降法在较好的调参下通常拥有更好的泛化性能,但其训练速度较慢同时学习率、动量、衰减和正则化等参数调优和选择较为困难,需要针对特定网络做大量对比实验获取最优参数。因此本方法中采用自适应矩估计优化算法,该方法已提供了经过验证的稳定而高效的初始参数设定,在提升训练速度和训练效果同时避免了繁复的调参工作,将主要精力集中于网络设计上。数据集的采样方式为顺序随机采样,用以避免网络训练过程中陷入局部最优导致性能下降。同时该网络的输出将进行归一化处理,用以避免量纲因素在损失计算中占比过大。本文更倾向于优化视觉效果,因此舍弃了训练更稳定和易于提升PSNR、MSE数值指标的基于L2的损失函数,而是采用人眼效果更好的SSIM结构相似性,其是一种衡量两幅图像相似度的指标。给定原始图像和失真图像,该指数从图像组成的角度将结构信息定义为独立于亮度、对比度的,反映场景中物体结构的属性,并将失真描述为亮度、对比度和结构三个不同指标的组合。使用均值反映亮度,使用标准差反映对比度,使用协方差反映结构相似程度的度量。其计算方式如下所示:

SSIM ( x , y ) = ( 2 μ x μ y + c 1 ) ( 2 σ x y + c 2 ) ( μ x 2 + μ y 2 + c 1 ) ( σ x 2 + σ y 2 + c 2 ) (5)

式子(5)中, μ 为平均值, σ 为方差,c为维持计算稳定防止出现除0等情况的较小常数。

4. 实验结果及分析

4.1. 实验环境

本文中所有实验均采用Windows 10工作站版操作系统。硬件使用GPU为RTX3080,CPU为i9-9900K,内存为32 g。编程语言为python,开发环境为Anacoda,深度学习库为CUDA版本PyTorch。

4.2. 实验结果数值指标

均方误差(MSE)用于测量重建图像和原切片每个像素之间的平均平方误差(L2范数的平方),越接近0表示二者差距越小。峰值信噪比(PSNR)以原切片信号为基准,衡量重建图像噪声大小,值越大表示信号保留越好,噪声水平越低。结构相似性(SSIM)见式子(5),越接近1表示差异越小。

本方法与滤波反投影以及预处理交替投影在SIMIND人体模型测试集中的重建图像结果平均数值指标如表1所示:

Table 1. Numerical indicators

表1. 数值指标

实验结果表明,滤波反投影在此数据集的图像重建中PSNR、MSE以及SSIM指标均显著次于其他方法,而预处理交替投影在单光子发射计算机断层扫描重建中的适用性使其各指标其大幅度超越滤波反投影。而本方法通过数据集训练,引入了来自原切片信息,使得重建结果更加贴近原切片,因此三个数值指标均领先于其他方法,且其领先幅度已较难通过从传统理论方向优化EM类迭代算法而得到。

4.3. 测试集重建图像样本

本段选取了2个具有一定代表性不同人体切片测试集样本,注重展示实际肉眼效果。可以着重观察其结构恢复能力,噪声抑制平滑度以及细节恢复能力。如表2表3所示。

Table 2. Reconstruction image of slice 1

表2. 切片1重建图像

Table 3. Reconstruction image of slice 2

表3. 切片2重建图像

实验结果表明,滤波反投影在此数据集的图像重建中,视觉效果、噪声抑制平滑度以及细节恢复能力均显著次于其他方法,预处理交替投影在单光子发射计算机断层扫描重建中的适用性使其实际视觉效果大幅度超越滤波反投影。而本方法通过数据集训练,引入原切片作为标签,使得重建图像效果更加贴近原切片,因此视觉效果均领先于其他方法,且其领先幅度已较难通过从传统理论方向优化EM类迭代算法而得到。本方法光滑区域更加平坦,边缘区域更加锐利陡峭,总体更加接近原切片。

5. 结束语

本文使用改进的卷积神经网络将预处理交替投影算法重建图像映射为高质量重建图像,使其在数据集的训练下,具备了更好的单光子发射计算机断层扫描图像重建性能。其PSNR、MSE和SSIM数值指标以及视觉观测效果均领先于滤波反投影以及预处理交替投影。下一步我们将继续探索更好的网络结构和训练方法以进一步提升重建效果。

致谢

非常感谢指导教师在百忙之中抽空为我解疑答难,感谢小组同学及时为我的实验提供的硬件支持,感谢计算机科学与应用杂志对本文改进提出的宝贵意见和建议。

文章引用

邓向杰,李 斯. 基于卷积神经网络和预处理交替投影的单光子发射计算机断层扫描图像重建
Single Photon Emission Computed Tomography Reconstruction Based on Convolutional Neural Network and Pre-Processing Alternating Projection[J]. 计算机科学与应用, 2022, 12(03): 508-515. https://doi.org/10.12677/CSA.2022.123051

参考文献

  1. 1. Bushberg, J.T. and Boone, J.M. (2011) The Essential Physics of Medical Imaging. Lippincott Williams & Wilkins, Phil-adelphia, PA.

  2. 2. Krol, A., Li, S., Shen, L., et al. (2012) Preconditioned Alternating Projection Algorithms for Maxi-mum a Posteriori ECT Reconstruction. Inverse Problems, 28, Article ID: 115005. https://doi.org/10.1088/0266-5611/28/11/115005

  3. 3. Kak, A.C. and Slaney, M. (2001) Principles of Computer-ized Tomographic Imaging. Society for Industrial and Applied Mathematics, Philadelphia, PA.

  4. 4. Wells, R.G., Farn-combe, T., Chang, E., et al. (2004) Reducing Bladder Artifacts in Clinical Pelvic SPECT Images. Journal of Nuclear Medicine, 45, 1309-1314.

  5. 5. Häggström, I., Schmidtlein, C.R., Campanella, G., et al. (2019) DeepPET: A Deep En-coder-Decoder Network for Directly Solving the PET Image Reconstruction Inverse Problem. Medical Image Analysis, 54, 253-262. https://doi.org/10.1016/j.media.2019.03.013

  6. 6. Lewitt, R.M. and Matej, S. (2003) Overview of Methods for Im-age Reconstruction from Projections in Emission Computed Tomography. Proceedings of the IEEE, 91, 1588-1611. https://doi.org/10.1109/JPROC.2003.817882

  7. 7. He, K., Zhang, X., Ren, S., et al. (2016) Deep Residual Learning for Image Recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, 27-30 June 2016, 770-778. https://doi.org/10.1109/CVPR.2016.90

  8. 8. Ljungberg, M. (2012) The SIMIND Monte Carlo Code. In: Ljung-berg, M., Strand, S.E. and King, M.A., Eds., Monte Carlo Calculation in Nuclear Medicine: Applications in Diagnostic Imaging, 2nd Edition, Francis & Taylor; Florida, 315-321.

  9. 9. Bushberg, J.T. and Boone, J.M. (2011) The Essential Physics of Medical Imaging. Lippincott Williams & Wilkins, Phil-adelphia, PA.

  10. 10. Krol, A., Li, S., Shen, L., et al. (2012) Preconditioned Alternating Projection Algorithms for Maxi-mum a Posteriori ECT Reconstruction. Inverse Problems, 28, Article ID: 115005. https://doi.org/10.1088/0266-5611/28/11/115005

  11. 11. Kak, A.C. and Slaney, M. (2001) Principles of Computer-ized Tomographic Imaging. Society for Industrial and Applied Mathematics, Philadelphia, PA.

  12. 12. Wells, R.G., Farn-combe, T., Chang, E., et al. (2004) Reducing Bladder Artifacts in Clinical Pelvic SPECT Images. Journal of Nuclear Medicine, 45, 1309-1314.

  13. 13. Häggström, I., Schmidtlein, C.R., Campanella, G., et al. (2019) DeepPET: A Deep En-coder-Decoder Network for Directly Solving the PET Image Reconstruction Inverse Problem. Medical Image Analysis, 54, 253-262. https://doi.org/10.1016/j.media.2019.03.013

  14. 14. Lewitt, R.M. and Matej, S. (2003) Overview of Methods for Im-age Reconstruction from Projections in Emission Computed Tomography. Proceedings of the IEEE, 91, 1588-1611. https://doi.org/10.1109/JPROC.2003.817882

  15. 15. He, K., Zhang, X., Ren, S., et al. (2016) Deep Residual Learning for Image Recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, 27-30 June 2016, 770-778. https://doi.org/10.1109/CVPR.2016.90

  16. 16. Ljungberg, M. (2012) The SIMIND Monte Carlo Code. In: Ljung-berg, M., Strand, S.E. and King, M.A., Eds., Monte Carlo Calculation in Nuclear Medicine: Applications in Diagnostic Imaging, 2nd Edition, Francis & Taylor; Florida, 315-321.

期刊菜单