¹河北地质大学信息工程学院，河北 石家庄

²智能传感物联网技术河北省工程研究中心，河北 石家庄

收稿日期：2022年6月16日；录用日期：2022年7月13日；发布日期：2022年7月21日

摘要

对肺部医学图像进行分析可以用来肺癌诊断，为了解决肺结节分割的任务中特征提取复杂和分割困难等问题，本文提出了一种融入双注意力模块的U-Net肺结节图像分割方法。该方法在U-Net网络的基础上融入空间注意力模块和通道注意力模块，改善分割网络对复杂环境的感知能力，克服复杂环境对分割结果的干扰从而提高分割效果。在肺结节公开数据集(LUNA16)上进行实验结果表明，本文提出的分割方法能够准确地分割出肺结节区域，能够较为有效地实现肺结节图像分割。

关键词

肺结节，图像分割，U-Net，空间注意力模块，通道注意力模块

A U-Net Lung Nodule Image Segmentation Method Incorporating a Dual Attention Module

Yingzhu Hou^1,2

¹College of Information Engineering, Hebei GEO University, Shijiazhuang Hebei

²Intelligent Sensor Network Engineering Research Center of Hebei Province, Shijiazhuang Hebei

Received: Jun. 16^th, 2022; accepted: Jul. 13^th, 2022; published: Jul. 21^st, 2022

ABSTRACT

The analysis of lung medical images can be used for lung cancer diagnosis. In order to solve the problems of complex feature extraction and difficult segmentation in the task of lung nodule segmentation, a U-Net lung nodule image segmentation network method incorporating a dual attention module was proposed in this paper. The method used to incorporate spatial attention module and channel attention module on the basis of U-Net network to improve the segmentation network's ability to perceive complex environment and overcome the interference of complex environment on segmentation results so as to improve the segmentation effect. Experimental results on the public dataset of lung nodules (LUNA16) show that the proposed segmentation method can accurately segment lung nodule regions and can achieve lung nodule image segmentation more effectively.

Keywords:Pulmonary Nodules, Image Segmentation, U-Net, Spatial Attention Module, Channel Attention Module

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 概述

肺癌是目前全球死亡率最高的一种疾病，也是中国人口的主要死因之一。肺癌早期不一定会有症状，但是肺癌是由肺结节演变而来的，所以对肺结节的诊断尤为关键。肺部医学图像是肺癌诊断和治疗的重要辅助工具 [1]，患者在医院诊断的过程中，需要放射科的医生根据患者的肺部CT切片进行判断，确定是否为肺结节患者，如确诊需要进一步确定肺结节病灶的具体位置，并与医师进行会诊，确定手术方案，这一过程需要大量的时间。医生带有自己的主观色彩，产生的诊断意见会出现不相同情况，同一个医生在不同时间的诊断意见也会出现不相同的情况，会出现诊断误差，耽误患者治疗。为了提高肺结节诊断的准确率与效率，研究并提出一种稳定性强、准确、速度较快的肺结节图像分割方法已经迫在眉睫。

本文提出了一种融入双注意力模块的U-Net肺结节图像分割方法，在U-Net网络的基础上，融入空间注意力模块和通道注意力模块，经过改进的网络提取到肺结节图像中较多的特征以提高对肺结节的分割精度。

2. 相关工作

传统的肺结节切割技术包含阈值法 [2]、区域增长法 [3]、分水岭算法 [4]、微分算子法和活动轮廓法，活动轮廓法包含Snake模型 [5] 和水平集算法 [6]。

随着计算机图像处理技术的不断进展，深度学习技术在医学图像处理应用领域也实现了突破。卷积方式的神经网路(CNN)已经在生物医学图像处理领域中使用得比较普遍，并且可以比较高效地解决在生物医学图像处理中的病灶检查、分割与分类等问题 [7]。2015年，Long等人提出了将卷积方式的神经网络中连接层换为卷积层的全卷积方式的神经网络(FCN)并得到认可，全卷积神经网络能够完成像素级别的分类 [8]。2015年，Ronneberger提出了U-Net，并形成了医学图像分割方面最广泛的卷积神经网络结构 [9]。后来人们又提出了很多卷积神经网络，如2016年CICEK O等人提出的3D U-Net [10] [11] [12] [13]，2018年Oktay等人提出了具有集成注意力门功能的attention U-Net [14] [15]，2019年Zhou等人提出的U-Net++网络 [16]。这些卷积神经网络的提出促进了医学图像分割领域的前进，但是这些方法仍然存在不能将肺结节的特征完整提取，并且不能将肺结节的局部特征与全局特征进行相关联的问题。

本文为了解决上述问题，在U-Net的基础上融入空间注意力模块和通道注意力模块。引入空间注意力模块使得在获得局部特征的基础上增加像素之间的位置关系，将更加多的像素间的位置信息体现到图像的局部特征中，进一步突出关键特征，提高后续分割精度。引入通道注意力模块能够提取不同通道中的图像特征之后，将不同通道中的图像特征之间的关系表达出来，进而改进图像的通道特征表示，提高后续分割精度。

3. 网络结构概述

本文提出了一种融入双注意力模块的U-Net肺结节图像分割方法。该方法使用了典型的编码器–解码器架构，编码器与解码器结合的卷积计算神经网络在医学图像分割中效果良好且应用较为普遍，但是由于受到获取特征信息范围的局限性，这类卷积计算神经网络无法从局部特征中获取较多的信息，而且无法将各个通道的特征存在的关系进行相关联。为了即利用编码器–解码器结构的优点又能避免上述问题带来的不足，本文在U-Net的收缩路径和扩张路径之间引入空间注意力模块和通道注意力模块。

3.1. U-Net网络

U-Net网络架构如图1所示。它包括收缩路径和扩张路径，共包括23个卷积层。收缩路径有四个重复部分，每个部分又分为三个部分，其中第一部分：进行一个3 × 3的卷积，第二部分：进行一个校正线性单元(ReLU)，第三部分下采样进行最大池运算(2 × 2)，步长为2，特征通道的数量增加到一倍。扩张路径与收缩路径对称，也有四个重复的部分，每个部分又分为三个部分，其中第一部分：上采样进行一个2 × 2卷积，特征通道的数量减少到一倍，第二部分：进行卷积(3 × 3)，第三部分进行一个校正线性单元(ReLU)。由于进行一次卷积之后会失去边界像素，需要进行裁剪，因此在最后一部分的最后一个步骤进行1 × 1卷积，特征通道的数量变为1，将64个通道的特征映射到一个通道。

图1. U-Net网络架构

3.2. 空间注意力模块

图像中位置特征可以由获取像素间的上下文信息得到并为图像分割提供重要的特征信息，传统的特征提取方法获得局部特征之后没有将与周围像素间的位置信息考虑在内会产生分割误差。引入空间注意力模块，在获得局部特征的基础上增加像素之间的位置关系，将更加多的像素间的位置信息体现到图像的局部特征中，提高后续分割精度。

空间注意力模块工作的流程如图2所示：

1) 图A进行三次空洞卷积得到图A1、A2和A3。

2) 图A1进行尺寸变换和维度变换得到图E，图E尺寸为N × C。

3) 图A2进行尺寸变换与图E相乘，经过softmax函数进行归一化得到图X，图X尺寸为N × N。

4) 图A3进行尺寸变换与图X相乘得到图F，图F尺寸为C × N。

5) 图F进行尺寸变换与图A相加得到图G，图G为最终输出。

图2. 空间注意力模块工作流程

3.3. 通道注意力模块

存在于图像通道中的特征能反映分割结果，图像不同通道中的特征之间存在关系。引入通道注意力模块能够提取不同通道中的图像特征之后，将不同通道中的图像特征之间的关系表达出来，进而提高后续分割精度。

通道注意力模块工作的流程如图3所示：

1) 图A进行尺寸变换、尺寸变换、尺寸变换和维度变换，得到图A1、A2和A3。

2) 图A3与图A2相乘，经过softmax函数进行归一化得到图Y，图Y尺寸为C × C。

3) 图A1与图Y相乘得到图E，图E尺寸为C × N。

4) 图E进行尺寸变换与图A相加得到图F，图F为最终输出。

4. 实验

4.1. 实验环境

实验在windows10系统、内存8 GB、处理器为Intel(R) Core(TM) i5-6200U CPU @ 2.3GHz 2.4GHz计算机PyCharm软件下完成的。

图3. 通道注意力模块工作流程

4.2. 数据预处理

本文的实验数据来自LUNA16，包括888例肺部图像作为数据集，这888例CT图像中共包含1186个结节，其直径范围为3.170~27.442 mm。LUNA16数据集中图像的格式为mhd和zraw，不能处理该数据类型，用3Dslicer软件将图像格式转换成为png，如图4所示。根据LUNA16数据集中标记的肺结节位置，利用Anaconda中的labelme标注软件进行肺结节标注作为实验的金标准。标记好的文件存储为json格式，由于json格式不能很清晰的看出标记的肺结节，本文对实验数据进行了统一处理，利用代码将json格式的实验数据转换为png格式，其中显示标注的肺结节，如图5所示。数据集中包含两部分，一部分为没有标记的png格式的肺部图像，一部分为标记出的png格式的肺结节图像。

图4. 部分LUNA16数据集

图5. 标记的肺结节图像

本文将肺结节图像中的肺实质提取出来，如图6所示，算法如下：

1) 将肺结节图像进行二值化。

2) 从二值化之后的图像提取胸腔(连通区域面积最大为胸腔)。

3) 进行填充操作，将填充之后的图像与胸腔的像素进行计算得到疑似肺实质。

4) 将连通区域面积设置范围，面积大于2000的保留作为肺实质。

图6. 提取肺实质

4.3. 实验结果及分析

4.3.1. 评价指标

本文采用准确率和召回率作为评价指标。

准确率定义如公式(1)所示：

$\text{Accuracy}=\frac{\text{TP}+\text{TN}}{\text{TP}+\text{FP}+\text{TN}+\text{FN}}$ (1)

召回率定义如公式(2)所示：

$\text{Recall}=\frac{\text{TP}}{\text{TP}+\text{FN}}$ (2)

其中，TP表示真阳性肺结节，TN表示真阴性肺结节，FP表示假阳性肺结节，FN表示假阴性肺结节。

4.3.2. 不同方法性能对比分析

表1展示了U-Net模型与U-Net + Channel Attention Module + Spatial Attention Module模型在LUNA16数据集上的实验结果。由表1可见，本文提出的融入双注意力模块的U-Net肺结节图像分割方法在准确率和召回率评价指标方面均表现较优，相比U-Net方法，本文方法的准确率和召回率分别提高了22.34%和33.52%。

表1. 不同网络方法的分割效果对比实验

分割结果如图7所示。进行实验的第一张与第三张图像为孤立型肺结节，第二张图像为磨玻璃型肺结节，通过比较发现，U-Net网络方法存在肺结节分割过多的问题，本文使用U-Net融合了空间注意力模块和通道注意力模块的方法提取了图像中更多的像素级信息可以准确区分肺结节和背景区域，对肺结节的分割更为准确。

图7. 对比实验结果

5. 结束语

本文根据精确分割CT图像中的肺结节的要求，研究了基于U-Net肺结节图像分割方法，融入空间注意力模块和通道注意力模块，在获得图像局部特征的基础上增加像素之间的位置关系，将更加多的像素间的位置信息体现到图像的局部特征中，并且提取了不同通道中的图像特征，最后进行实验。实验结果证明：本文提出的方法在准确率和召回率评价指标上都表现出了较好的性能，能够较好地将CT图像中的肺结节分割出来，是一种优质的肺结节图像分割方法。

基金项目

本论文得到以下基金项目资助：

河北省重点研发计划项目(项目名称：基于时空大数据及深度学习的地质灾害风险识别关键技术研究；编号：22375415D)。

2022年河北省档案科技项目计划(项目名称：基于AI与区块链技术的档案分类及溯源；研究编号：2022-X-15)。

石家庄市科学技术研究与发展计划项目(项目名称：基于深度学习和区块链技术的档案识别存取溯源系统；编号：219790381G)。

文章引用

侯英竹. 融入双注意力模块的U-Net肺结节图像分割方法
A U-Net Lung Nodule Image Segmentation Method Incorporating a Dual Attention Module[J]. 计算机科学与应用, 2022, 12(07): 1756-1764. https://doi.org/10.12677/CSA.2022.127177

参考文献