ABSTRACT

Interstitial lung disease (ILD) involves several abnormal imaging patterns observed in computed tomography (CT) images. The accurate classification of these models plays an important role in it. Clinical testing can effectively diagnose the nature of the disease. Therefore, it is very important to develop an automated lung computer-aided detection system. Traditionally, this task relies on experts manually identifying regions of interest (ROI) as a prerequisite for diagnosing underlying disease. This protocol is time consuming and does not allow for fully automated evaluation. In this paper, a new method for classifying ILD imaging modes on CT images is proposed. The main difference is that the proposed algorithm uses the entire image as a whole input. By circumventing the prerequisites for manually entering ROI, our problem setting is more significantly. It is more difficult than previous work, but it can better solve the clinical workflow. The qualitative and quantitative results using the published ILD database demonstrate the latest classification accuracy under the patch-based classification and show the potential to predict the ILD type using the overall image.

Keywords:Interstitial Lung Disease, Convolutional Neural Network, Holistic Medical Image Classification

间质纤维化CT衰减模式的整体分类通过深度卷积神经网络进行肺部疾病

于红梅，武建强

内蒙古医科大学，内蒙古 呼和浩特

收稿日期：2019年5月19日；录用日期：2019年6月3日；发布日期：2019年6月10日

摘 要

间质性肺病(ILD)涉及在计算机断层扫描(CT)图像中观察到的几种异常成像模式。这些模式的准确分类在其中起着重要作用。准确地检测疾病的性质和发展程度。因此，开发自动肺部计算机辅助检测系统非常重要。传统上，该任务依赖于专家手动识别感兴趣区域(ROI)作为诊断潜在疾病的先决条件。该协议耗时并且禁止全自动评估。在这本文提出了一种在CT图像上对ILD成像模式进行分类的新方法。主要区别在于所提出的算法使用整个图像作为整体输入。通过规避手动输入ROI的先决条件，我们所面临的比以前更困难，但可以更好地解决临床工作流程。使用公开的ILD数据库的定性和定量结果证明了基于补丁的分类下的最新分类准确性，并显示了使用整体图像预测ILD类型的潜力。

关键词 :间质性肺病，卷积神经网络，整体医学图像分类

Copyright © 2019 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 背景

间质性肺病(ILD)引起肺组织的进行性瘢痕形成，最终会影响患者的呼吸能力，并使足够的氧气进入血液。高分辨率计算机断层扫描(HRCT)是标准的体内放射成像工具。可视化正常/异常成像模式以识别特定类型的ILD (Webb等人，2014)，并制定适当的治疗计划。这些肺组织计算机辅助检测(CAD)/分类系统是实现更高的ILD评估召回所需的(Bağcı等人，2012) [1]。特别是，异常成像模式的数量和解剖位置(以及患者病史)可以帮助放射科医师优化其诊断决策，并提供更好的定量测量。关于开发肺动脉CAD系统的大量相关文献疾病，但其中大多数侧重于识别和量化单一模式，如巩固或结节(Bagci等人，2012)。对于计算机辅助的ILD分类，所有先前的研究都采用了具有分类的基于补丁的图像表示中等成功的结果(Depeursinge，Van de Ville等人2012；Song等人2013，2015；Li等人2014) [2]。基于图像补丁的方法存在两个主要缺点：1) 研究中的图像斑块大小或尺度(Song et al. 2013，2015)相对较小(31 × 31像素)，其中可能无法完全捕获某些视觉细节和空间背景。整体计算机断层扫描(CT)切片包含许多可能在基于补丁的表示中被忽略的细节。2) 更重要的是，最先进的方法采用手册给出的注释 [3]。因此，在这些感兴趣区域(ROI)内对图像块进行采样。基于图像补丁的方法取决于手动ROI输入，更容易解决，但遗憾的是临床需求较少。这种人性化要求的过程对于大规模医学图像处理和分析将变得不可行。在本文中，我们提出了一种新的表示/方法来解决这一限制。我们的方法为整体CT切片分类和标记ILD标签，并且可以用于预筛选大量放射学数据 [4]。另外，可以使用预先筛选的数据作为反馈来扩大循环中的训练数据集。这将是真正大规模成功和实用的医学图像分析工具的重要组成部分。我们的CNN方法被制定为一个整体图像识别任务(Russakovsky等人，2015)，也被认为是一种弱监督学习问题 [5]。单独获得图像标签是成本有效的并且可以非常有效地获得。另一方面，我们使用整体图像的新设置使其成为现实，由于不再需要手动ROI，因此比之前的设置(Song et al. 2013，2015；Li et al. 2014)更具挑战性。作为分类实例的图像补丁(从注释的ROI中提取)，在空间上很好地对齐或它们的绝对内部CT坐标不变。相反，在我们的设置中，只需要切片级图像标签或标签，并且不需要精确的ILD区域轮廓 [6]。这种弱监督学习方案可以很好地适应大规模图像数据库。对公开数据集的实验评估证明了在相同的基于图像补丁的方法下的最新结果，并且在这种新的具有挑战性的协议下显示出有希望的结果 [7]。

CNN已成功应用于各种图像分类问题，并在图像分类，检测和分割挑战(例如MNIST，ImageNet等)方面取得了最先进的表现(Krizhevsky等人2012；Razavian等人2014)。典型的图像分类方法包括两个特征提取和分类步骤。然而，CNN方法最吸引人的特征是它同时学习端到端特征提取和分类 [8]。CNN也表明在医学图像分析应用中有希望，例如有丝分裂检测(Cireşan等人2013)，淋巴结检测(Roth等人2014)和膝关节软骨分割(Prasoon等人2013)。在之前的ILD分类工作中，Depeursinge，Van de Ville等人 [9] 使用手工制作的局部图像描述符(如LBP，HOG)捕获图像补丁外观。我们提出的框架如图2所示。通过在Hounsfield单位中将原始CT图像重新调整为训练和测试中的2-D输入，捕获关于肺异常模式的三个衰减量表。为此，有三个不同的范围利用：一个聚焦于衰减较低的图案，一个聚焦于具有较高衰减的图案，一个聚焦于正常的肺衰减。使用三个衰减范围可在所有六种ILD疾病类别中提供更好的可见性或视觉分离 [10]。使用这三个范围的另一个原因是为了适应我们从ImageNet (Krizhevsky等人2012)改编的CNN架构，该架构使用自然图像的RGB值。最后，对于每个输入2-D切片，从原始图像中随机裁剪10个样本(“数据增强”)，并通过线性插值将其调整为224 × 224像素 [11]。此步骤生成更多训练数据以减少过度拟合。这些输入及其标签被送到CNN进行培训和分类。每个技术组件的详细讨论如下。

2. CNN架构

我们CNN的架构类似于Krizhevsky等人提出的卷积神经网络(2012年)。具有浅层的CNN不具有足够的辨别力，而太深的CNN在训练上计算昂贵并且易于过度装配。我们的网络包含多个层：前五层是卷积层，后面是三个完全连接的(FC)层和最终的softmax分类层，在我们的应用程序中，它从1000个类改为6个类。从计算机视觉社区可以知道，监督大型辅助数据集的预训练，然后对小型数据集进行特定领域的微调，提高CNN模型性能的有效范例(当训练数据有限时，Girshick等人，2014)。在我们的实验中，使用预训练模型时训练收敛速度比使用随机初始化模型快得多 [12]。使用三CT衰减范围还适应三个输入通道的CNN架构。最后一个FC层的输出形成六路softmax，以在六个类标签(具有六个神经元)上产生分布。我们通过随机梯度下降开始训练，学习率为初始训练前速率的十分之一(Krizhevsky等人，2012)，期望输出softmax层。调整后的学习速率允许适当的微调进程。

3. CT衰减重新缩放

为了更好地捕获CT图像中的异常ILD模式，我们选择了三个衰减范围，并将它们重新缩放为[0, 255]以进行CNN输入。

过程用于选择HU_low和HU_high之间的衰减值，以便可以突出显示该范围内的值以表示不同的视觉模式。应用线性变换来重新调整强度。具体而言，衰减范围低，用于捕获具有较低强度的图案，例如肺气肿；正常范围代表肺部区域的正常外观; 高衰减范围用于模拟具有更高强度的模式，例如固结和结节 [13]。数据增加使用CNN减少图像识别训练过度拟合的最常见且有效的方法是通过保持标签的几何变换来人工放大或增大原始数据集。我们通过随机抖动和裁剪生成新图像10每个原始CT切片的子图像 [14]。尽管生成的图像是相互依赖的，但该方案将训练/测试性能提高约5%的分类精度。在测试时，还产生10个抖动图像并将其馈送到训练的CNN模型中用于任何CT切片。通过在10抖动图像上的CNN六级softmax概率上聚合(例如，多数表决，最大汇集)来获得最终每片预测。

4. 实验和讨论

使最近发布了一个公开的ILD数据库(Depeursinge，Vargas等人，2012)，以改进对各种肺部异常成像模式的检测和分类。该数据库包含120个HRCT扫描，每个轴向切片具有512 × 512像素，其中17种类型的肺组织在标记区域(即ROI)上注释。大多数现有的分类方法(Song et al. 2013，2015；Li et al. 2014)对ILD数据集进行了评估，首先从ROI中提取了许多图像补丁，然后仅将补丁分类为五肺组织类别：正常(NM)，肺气肿(EM)，磨玻璃(GG)，纤维化(FB)和微小结节(MN) [15]。在这里，作为一种非常普遍的ILD类型的合并(CD)也包括在我们的分类方案中。所有这六种疾病都是ILD的普遍特征，鉴定它们对于确定其ILD类型或ILD至关重要健康。该数据库包含120个患者中标有特定类型ILD疾病的2084个ROI。所有患者在患者水平上随机分成两个亚组用于训练(100名患者)和测试(20名患者)。训练/测试数据在患者层面分开，即来自同一患者的不同切片不会出现在训练和测试中。选择包含六种疾病的所有图像，总共产生1689个图像用于训练和测试。请注意以前的工作(Song et al. 2013，2015；Li et al. 2014)报告仅对贴片分类的性能，而不是整个图像切片或患者水平的性能评估，这实际上更具临床相关性 [16]。为了与以前的工作进行公平比较，我们在两种不同的环境下进行实验。一种是基于补丁的分类，与之前最先进的工作完全相同(Song et al. 2013，2015)。与先前补丁方法的86.1% (Song等人，2013)准确度相比，总体准确度达到87.9%。如表1所示，在大多数类别中实现了最佳F分数。从ROI区域提取31 × 31个补丁，然后调整大小为224 × 224，以适应CNN架构。另一个实验显示了整体图像分类结果。整体准确率为68.6%。请注意，我们的每切片测试精度结果与Song等没有严格的可比性。(2013年，2015年)，李等人。(2014)，仅在图像补丁级别(一种明显不那么具有挑战性的协议)报告分类结果。显示了整体图像的分类结果的混淆矩阵。使用来自抖动子图像的多数基于投票的聚合。肺气肿完全归类于其他疾病。三个CT衰减范围中的一个专门设计用于强调具有较低衰减的模式，这显着提高了肺气肿的分类性能。基于混淆矩阵结果，难以分离健康图像和微小模块图案。微模块图案是确实在视觉上难以从单个静态CT切片中识别出来(Bagci等人，2012)。可能需要3D交叉切片图像特征。多数投票比从每个ILD类别的10个子图像CNN得分中选择最高值表现稍好(~2%)，并将CT切片分配到与最大聚合最高分数相对应的类中 [17]。表3显示了基于补丁的分类的混淆矩阵。我们的模型使用MatConvNet软件包(Vedaldi & Lenc 2015)在Matlab中实现CNN实现，在具有3.10 GHz双处理器CPU和32 GB内存的PC上运行。训练CNN模型消耗大约20~24小时(图4)，同时分类a新的测试图像只需几秒钟。

5. 结论

在本文中，我们提出了一种新的间质性肺病分类表示和方法。我们使用整体图像(即CT切片)作为输入的方法与先前基于图像块的算法明显不同。它解决了一个更实际和现实的临床问题。我们的初步实验结果证明了该方法的可行性和优势。作为未来的工作，有几个方向需要探讨。从深度卷积网络中学习的图像特征可以集成。在同一CT图像切片上有一些病例(~5%)有多个疾病标签。在切片级别使用多个标签进行检测将是有趣的。了解从网络中学到的特征的临床意义和价值也将是一个我们计划追求的方向。

文章引用

于红梅,武建强. 间质纤维化CT衰减模式的整体分类通过深度卷积神经网络进行肺部疾病
Overall Classification of Interstitial Fibrosis CT Attenuation Patterns for Pulmonary Disease through Deep Convolutional Neural Networks[J]. 医学诊断, 2019, 09(02): 61-65. https://doi.org/10.12677/MD.2019.92012

参考文献