Artificial Intelligence and Robotics Research
Vol. 11  No. 02 ( 2022 ), Article ID: 51513 , 15 pages
10.12677/AIRR.2022.112016

人工智能在老年黄斑病变中的 应用综述性研究及基于医学影像的 老年黄斑变性病症量化分析

王涵1,2,3,4

1香港中文大学,医学院,香港

2澳门城市大学,数据科学学院,澳门

3珠海中科先进技术研究院,人工智能与大数据应用中心,广东 珠海

4北京理工大学珠海学院,计算机学院,广东 珠海

收稿日期:2022年4月12日;录用日期:2022年5月16日;发布日期:2022年5月23日

摘要

本文基于文献综述,对人工智能技术在老年黄斑变性的应用、发展和研究分类进行了系统的研究,同时对老年黄斑病变的结构及病症(Biomarker)进行量化分析。对该领域的挑战与解决方案进行了剖析。提出将基于可解释性算法的老年黄斑变性诊断、早筛、眼底结构预测、病症及生活行为特征预测及可视化,以及治疗效果预测相关任务中的应用,作为未来潜在研究方向。因此,该文章对未来相关领域研究具有很强的临床指导意义和科学理论价值。

关键词

人工智能,医学影像,老年黄斑变性

A Survey of AI to AMD and Quantitative Analysis of AMD Pathology Based on Medical Images

Han Wang1,2,3,4

1Faculty of Medicine, The Chinese University of Hong Kong, Hong Kong

2The Faculty of Data Science, City University of Macau, Macau

3The Department of Artificial Intelligence and Big Data Applications, Zhuhai Institute of Advanced Technology Chinese Academy of Sciences, Zhuhai Guangdong

4The School of Computer, Zhuhai College of Beijing University of Technology Zhuhai, Zhuhai Guangdong

Received: Apr. 12th, 2022; accepted: May 16th, 2022; published: May 23rd, 2022

ABSTRACT

Based on literature review, this paper delivers a systematical study on the application, development and research focus of artificial intelligence (AI) technology to age-related macular degeneration (AMD). A quantitative analysis on the biomarker of AMD based on medical images is performed. Challenges and solutions are discussed. The application of interpretable algorithms in the tasks related to AMD diagnosis, early screening, and prediction of the treatment effect is proposed as a potential research direction in the future. Therefore, this article exhibits clinical guiding significance and scientific theoretical value for future research in related fields.

Keywords:Artificial Intelligence, Medical Images, Age-Related Macular Degeneration

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

眼睛是人体认知的主要器官,人体除了睡眠,90%以上时间都是在使用眼睛。眼病患者不仅生活不便,而且由于诊断或治疗不及时,造成无法弥补的损害。尤其是随着人口老年化的发展,老年性黄斑病变是视力受损和致盲的主要眼疾之一。世界卫生组织表明,全球几乎一半失明人士(10亿人/22亿人)很有可能在得到预防或有效治疗后避免该情况的发生。眼底疾病的早期诊断,是预防致盲的最有力手段。但是,由于医疗资源匮乏、分布不平衡,可预防、可治愈的失明和视力低下的患者大多来自欠发达国家和地区。影响视觉损害的因素有很多,其中视网膜是青光眼、糖尿病视网膜病变和老年黄斑变性最常相关的因素之一,而视网膜受损和眼底疾病的发生,在早中期的症状并不明显。此外,我国眼底医生仅千人,面对大量的眼底服务对象,误诊漏诊现象极为严重。在此情形之下,基于眼底影响,智能化、精准的辅助诊断、预防和治疗,是保障人们的眼部健康的有效措施。

1874年,老年性黄斑变性(Age-Related Macular Degeneration, AMD)被首次提出,该疾病被定义为:老年对称性中心性脉络膜视网膜病变。时至今日,AMD已经成为老年人不可逆性视力丧失的主要原因之一,占全球失明的8.7%。大约有1%~3%的欧洲人口,其中,患有晚期AMD的患病率在80岁时为6%,在90岁时为20% [1]。预计到2040年,AMD患者总数将增加到2.88亿人 [2]。引起AMD的原因除了年龄以外,遗传因素和环境因素也是直接诱因之一 [3]。

研究表明(如图1),1990年和2019年,中国视力受损的主要原因是未矫正的屈光不正、白内障和黄斑变性。在这近30年间,中度视力障碍人数增加了133.67% (从1965万增加到4592万),重度视力障碍人数增加了147.14% (从189万增加到467万),视力丧失人数增加了64.35% (从529万增加到869万)。以上各种情况,20.16%的增长都可以用人口增长来解释。人口老龄化对这些变化的贡献率为:中度视力损害87.22%,重度视力损害116.06%,失明99.22%。年龄相关眼底疾病在眼底疾病增长的贡献率主要体现于:对中度视力损害26.29%,重度视力损害10.91%,以及失明率为55.04% [4]。由此可见,老龄化眼底疾病的增加,是我国眼底疾病总数增加的主要原因,其中,老年性黄斑变性为最重要的视力受损和致盲原因之一。

Figure 1. Analysis of eye disease in China (1990~2019)

图1. 1990~2019中国眼疾状况分析

2. 人工智能在老年黄斑病变中的应用、挑战与潜在解决方案

2.1. 人工智能在老年黄斑病变中的应用、发展与挑战

近年来,基于人工智能的有监督、无监督、和半监督自动化识别的算法,在不断复杂的医学领域也变得越来越复杂。研究表明,这些算法在过往数据上表现出了令人印象深刻的性能,通常优于标准的全球指数和专家观察员。2022年1月,国家卫生健康委印发《“十四五”全国眼健康规划(2021~2025年)》(以下称为“规划”),规划中,人工智能领域建设作为主要措施包含其中,主要包括1)“强化眼健康信息化平台建设。积极推动‘互联网+’医疗服务模式在眼科领域的应用,利用互联网诊疗、远程医疗等信息化技术,提升眼科医疗服务可及性。”2)“推进大数据、人工智能、5G等新兴技术与眼科服务深度融合,开展人工智能在眼病预防、诊断和随访等应用,提升眼病早期筛查能力。”3)“建立眼科病例数据库,加强眼科病例数据收集、统计分析,为临床科学研究提供数据支撑”(卫生健康委,2022)。因此,基于人工智能的眼科辅助诊断相关研究,具有较强的社会应用及科学意义,符合国家指定的科技政策发展方向。

AI在眼科已经有较为广泛的应用 [5],该技术在AMD的诊断中,从最初的AMD早筛及诊断(有病/无病分类、干湿性分类、严重程度分类),到AMD伴发特征(生物标记物量化及病灶分割识别) [6] 及行为表现(如视力下降) [7]、再到AMD相关眼底结构诊断和治疗方案预测 [8] [9]。

AMD诊断和早筛是对于AMD研究最广也是最早的方向之一。Fraccaro等人(2015)采用电子健康记录系统,收集了健康受试者和确诊为AMD或其他视网膜疾病患者的常规访问数据。其中,患者的特征包括人口统计学特征,以及每只眼睛是否有与AMD相关的主要临床症状(软玻璃体、视网膜色素表位、缺损/色素斑块、色素脱失区、视网膜下出血、视网膜下液体、黄斑厚度、黄斑疤痕、视网膜下纤维化)。该研究采用白盒机器学习方法(Logit模型和决策树),以及黑盒机器学习方法(支持向量机、随机森林和adaboost),视线AMD。被医生确诊为AMD设置为黄金标准。采用敏感性、特异性和 ROC曲线下面积(Receiver Operating Characteristic, AUC)用于评估性能。结果表明,黑盒机器学习法和白盒机器学习法在确定AMD的诊断及其决策指标上表现较优。他们提出,机器学习模型通过提出的方法开发,依靠临床症状由视网膜专家识别,可以嵌入EHR,以提供实时和可解释的证据支持医生决策 [10]。视力下降是AMD发病后的直观体现,他对于人体生命和生活影响较大 [7]。Schmidt-Erfurth等人(2018)基于614位病人的SD-OCT图像,设计基于随机森林机器学习的全自动计算图像分析系统,实现了在预测标准化的雷必珠单抗治疗的AMD患者眼底结构及视力矫正(Best-Corrected Visual Acuity, BCVA)的潜力探讨。该系统对视网膜层、视网膜内囊样液(Intraretinal Cystoid Fluid, IRF)、视网膜下液(Subretinal Fluid, SRF)和色素上皮脱落(Pigment Epithelial Detachments, PED)进行空间分辨的三维分割,提取的定量OCT生物标志物和1、2、3个月的BCVA测量,用随机森林机器学习预测12个月的BCVA [6]。Aslam等人(2018)我们采用1400位AMD患者的oct图像及其15个个体特征数据(包括年龄、视力记录等),建立了一个10层的有监督的神经网络,基于该网络实现对视网膜下液体、视网膜下超反射和外界膜(external limiting membrane, ELM))完整性损失等的相关指数预测,他们的结果表现,机器学习算法在视力与其他相关性因素的探讨上有很重要的作用。当ELM完整时,随着视网膜下液体的增加,视力有轻微的下降,但随着视网膜下超反射物质的增加,视力下降的幅度更大。当榆树不完整的时候,所有的视觉敏锐度都会降低。在这种情况下增加视网膜下超反射物质或视网膜下液体会进一步降低视力,但比ELM完整时的视力梯度要小 [7]。Markus Rohm等人(2018),采用AdaBoost.R2,Gradient Boosting,Random Forests,Extremely Randomized Trees,和Lasso五种机器学习算法,实现了AMD患者初次进行抗血管内皮生长因子(Anti-Vascular Endothelial Growth Factor, VEGF)注射剂后3个月和12个月的视力 [9]。视锥细胞感光受体功能障碍是AMD一个重要的眼底结构病症体现,Sumaroka等人(2020)年提出,基于OCT眼底图像,采用监督式学习(决策树)来预测蓝锥单色系(Blue Cone Monochromacy, BCM)中心凹结构的功能,该项研究对于BCM相关的AMD早筛、治疗效果预测评估具有较强的意义 [8]。

然而,目前还没有明确的金标准来确定青光眼、老年黄斑变性等多项致盲病变的量化病症和严重程度,对于AI在眼科领域的应用研究造成的极大的影响(J. Yang et al., 2021)。不仅如此,由于医学领域的特殊性,数据的保密和伦理要求等,真实世界数据的获得十分困难,而仅仅基于有限的历史公开数据实现的算法分析,无法实现在真实世界中的应用评估与验证,这也对算法的设计在特殊领域的性能研究,造成了极大的不便。为了改进现有的方法,未来的工作必须采用更可靠的疾病定义,优化人工智能分析的数据登录,改进从学习结果中提取知识的方法。

此外,人工智能作为一种先进的工具,可以帮助医生提高效率和患者护理,并通过早期检测和完善的治疗算法降低医疗成本 [5] [11]。但是对于医生从业人员来说,还普遍存在担心与不信任,即,人工智能等先进技术可能会取代医生,或者至少取代临床医生习惯于执行的一些任务 [12]。再者,大部分医生也更加信任自身的经验和从医技巧,对AI诊断结果不信任 [13]。不仅如此,许多患者不信任计算器辅助诊断,更喜欢面对面眼科就诊 [14] [15]。

2.2. 人工智能在老年黄斑病变中的潜在解决方案——可解释算法

目前计算器视觉中应用最广泛的模式识别算法是深度卷积神经网络。了解深度学习网络对图像的哪一部分做出决策,图像中的背景对分类的作用有多大,对深度学习网络模型的直观解读不仅有助于研究人员调试代码,发现“黑匣子”神经网络在做出某一决策时所犯的明显错误,从而有助于改进模型。知识发现也可以通过在输入图像中寻找在最终决策中起关键作用的因素来实现 [16]。应用深度学习诊断基于图像的眼科疾病,往往需要对一个非常深度的神经网络进行大量参数的端到端训练。端到端的深度学习算法通常利用了高维隐藏层的优势,而高维隐藏层对于人脑来说是抽象的。因此,人们提出了各种各样的问题,如人工智能模型的输出能否被解释和质疑;是否提供鉴别诊断和置信度估计等。有一种情况是,尽管有很强的诊断验证,但临床医生的诊断和人工智能算法之间仍然存在差异。在合理化治疗决策和管理风险时,必须具备解释和质疑深度学习(DL, Deep learning)模型的能力 [17] [18]。为了更好的解释性和临床医生的接受度,进行了大量的研究工作来可视化和解释由DL模型评估产生的特征的功能,这就是可解释算法(Explainable Artificial Intelligence, XAI)的作用 [19] [20]。为了缓解这一问题,人们提出了几种可视化方法,如遮挡、反褶积、显著图 [21]、解释性掩模 [22] 和类激活图 [23]。眼底图像中,这些技术都提供了一种可视化关键预测特征的方法。XAI的方法可以归纳如下(表1)。

Table 1. Analysis of XAI method applied to medical fields

表1. XAI在医学领域的应用分析

1) 通过有效降维的XAI方法

通过重要特征提取,实现自动化识别,是最为传统的XAI方法,使用该方法的优势是,模型体量较小,更容易理解,且不容易发生过拟合现象;缺点是,在关键特征的提取上,有可能出现遗漏现象,因此对于特异化的分类识别,性能不高 [24]。主成分分析(Principal Component Analysis, PCA)、独立成分分析(Independent Component Analysis, ICA)、拉普拉斯特征映像(Laplacian Eigenmaps)、基于多标签的K近邻、遗传算法、判定树算法等,均为有效降维的XAI方法。此外,Zhao等人(2016)通过对有代表性的案例进行有监督学习,实现对同一期大量肺癌患者的分类任务 [25]。

2) 通过特征重要性实现XAI

基于特征重要性及特征之间的相互关系来解释提取的特征的特征和重要性,实现XAI。XAI通过特征重要性的提取,不仅可以解释本质特征,还可以反映它们对临床解释的相对重要性;但是,数值权重要么不容易理解,要么可能被误解 [24]。例如,Shrikumar等人采用深度学习网络的反向传播机制,测量输入的输出梯度,以特征的重要性输出 [26]。

3) 基于注意力机制(Attention)的XAI

Attention的核心便是只关注输入中最重要信息可用的部分 Attention最初是为了解决机器翻译中的关系提取任务和其他自然语言处理问题而提出的。注意机制可以为了分类的目的评估单词的重要性,生成意义表示向量。存在各种类型的注意机制,包括使用所有单词来构建的全局注意、仅依赖于单词子集的局部注意、或者同时实现若干注意机制的自我注意,试图发现单词对之间的每一种关系 [27]。该方法也常用于医学图像的可解释算法中 [28]。该方法的优点是,可以通过全局或者部分的关注特征,实现对AI算法的解析,使得临床用户对于该模型的信任度和容忍度提高;缺点是,过量或者错误的重要关注信息提取,对于使用者的判断和理解上会造成困扰,且使得用户可能倾向于忽略也可能是关键的非突出显示区域。Kwon 等人(2019)提出了一种基于RetainVis的直观可解释的心力衰竭和白内障风险预测模型,通过突出序列中的图片序列特征,来提高深度学习模型的可解释性,在这些位置中,这些输入特征可以影响预测结果 [29]。

4) 基于类激活映射(Class activation mapping, CAM)的XAI

类激活映射方法及其变体,并随后被用于数字医疗,特别是医学图像分析领域 [30]。通过视觉可解释性,推荐使用这些CAM显著图,使得临床医生和用户对AI模型原理有一个直观的认识,并能够对该原理进行一个可视化的判断与理解。该方法的优点是可以有效的在图片上展示重要特征区域;缺点是对于其它形式的数据作用不明显。Lee等人(2019)基于CAM,提出了一种用于从小数据集中检测急性颅内出血的XAI算法,这是使用CAM最著名的研究之一 [31]。

5) 通过知识提炼和规则提取实现XAI

知识提炼是特定于模型的XAI的一种形式,它是将知识从复杂的模型归纳为简化的模型,使之能够用难以解释的“教师模型”来训练“学生模型”,是的学生模型具备可解释性。规则提取是另一种广泛使用的XAI方法,其与知识提取密切相关,并且可以直接应用于数字医疗 [32]。XAI方法依赖于知识提炼和规则提取,在理论上是更稳定的模型,对复杂临床数据的汇总表示可以直观地为临床最终用户提供可解释的结果。然而,如果这些XAI结果的解释不能被非专业的临床终端使用者直观地理解,那么这些表述可能会使终端使用者更难理解。Xiao等人(2018)建立了一个深度学习模型,通过将电子病历事件转化为内嵌的临床原则来描述患者的一般情况,从而实现对再入院与患者可能的风险因素之间的动态关联研究。

6) 通过呈现替代物实现XAI

对于健康因素或者病理特征的XAI医学识别模型,可采用局部可解释模型不可知性解释(LIME)方法,该方法对于通过代理表示XAI在医学领域的有效应用是使用局部可解释模型-不可知性解释(Local Interpretable Model-Agnostic Explanation, LIME)方法识别导致疾病预测的个体健康相关因素,该方法通过建立补充模型,基于真实数据,产生邻域数据,通过学习邻域内的线性模型以产生解释 [33]。该方法的泛化性较强,适用于大多数场景;但是,该模型仅仅是对AI模型的模糊解释,且如果过于复杂或过于抽象,可能会影响临床医生的理解。Meldo等人(2020)采用LIME,从分割的肺部可疑对象的特殊特征表示中选择重要特征 [33]。

7) 基于GAN (Generative Adversarial Networks)的XAI

生成性对抗性网络于2014年首次提出,采用“零和”博弈的思想,以生成逼真的图像。基于GAN图像到图像的转换,是解决医学图像数量少的创新性方法之一。CGAN尝试使用附加信息来使GAN可控 [34]。InfoGan和ClusterGan均是采用引入外部辅助网络实现有条件的图片生成 [35] [36]。Pix2pix GAN使用U-Net结合对抗性训练,实现基于像素的对抗训练 [37]。CycleGAN使用了两组GAN,并增加了周期损耗来实现对未配对数据的样式转换 [38]。StyleGan基于风格迁移,对原始图片的风格进行改善,实现图片增强 [39]。这些方法已经应用于许多医学图像处理任务中,如PET-CT转换、MR运动伪影校正和PET图像去噪等。跨模态翻译有助于加深医学文本和图像之间的相互理解;缺点是,该方法的使用在图片增强过程中产生的偏差,用以产生结果的偏差。Yuhao等人(2022)提出一种基于病理描述的Gan图片合成和生成结构(Patho-GAN),并实现了DR图片增强和识别任务 [40]。

3. 基于医学影像的老年黄斑病变病症量化分析

用于量化AMD的形态学诊断特征的可视化手段主要包括彩色眼底照相(Color Fundus Photography, CFP) (Grassmann et al., 2018)、眼底自发荧光(Fundus Autofluorescence, FAF) (Schmitz-Valckenberg, Holz, Bird, & Spaide, 2008)、红外成像(Infrared Imaging, IR) (Huang et al., 2020)、光谱域光学相干断层扫描(Spectral-domain Optical Coherence Tomography, SD-OCT;以下简称OCT) (Treder, Lauermann, & Eter, 2018)、光学相干断层扫描血管造影术(Optical Coherence Tomography Angiography, OCT-A) (Spaide, Fujimoto, Waheed, Sadda, & Staurenghi, 2018)和多色共焦扫描激光眼底镜(Scanning Laser Ophthalmoscopy, SLO) (DuBose, LaRocca, Farsiu, & Izatt, 2019)。对于彩色眼底成像技术,最早的眼底成像始于1926年卡尔·蔡司(Carl Zeiss)的第一台眼底相机,实现20度的眼底成像照片(Alone, Chandra, & Chhablani, 2021),后来发展到Optos200Tx (Optos,Dunfermline,苏格兰)和蔡司Clarus 500和700 (卡尔·蔡司,耶拿,德国)等200度视网膜视角眼底成像。如今,传统眼底相机具有30~50度视网膜视野,这已经成为标准的眼底筛查工具(Hirano et al., 2018)。此后,超过50度的相机均被称为广焦相机(J. Yang et al., 2021),该相机拍摄到的眼底图像成为超广角眼底相片(Ultra-widefield Fundus, UWF)。

3.1. 老年黄斑病变的结构分析

健康个体的OCT眼底图像如图2所示。黄斑中心凹如下图中箭头所示,分层结构分别为玻璃体、神经纤维层、神经节细胞、内丛状层、内核层、外丛状层、外核层、内节、外节、视网膜色素上皮和脉络膜。其中视网膜色素上皮较为平整,层与层之间无积液 [44]。

健康个体的眼底彩色图像如图3所示。外部白色圆圈内的区域(视网膜直径约6毫米)被认为是黄斑区域(Macular Lutea),在拉丁语中是黄色斑点或斑点的意思 [45]。内圈(直径0.8毫米)是黄斑中心凹区域,是视锥视杆细胞比最大的区域。迭加在这个正常眼底上的曲线显示了与视力与中心凹距离之间的关系,作为衡量老年相关性黄斑变性的眼底病斑(瘢痕)覆盖的位置和面积对视力的影响 [45]。距离黄斑中心凹的距离越近,对视力的损害越大。右下角的图为眼球后极部的解刨图。视网膜有10层,插图显示了其中两层外层,主要包含由米勒(Müller)细胞支撑的感光杆状和锥状感光细胞(图中紫色部分),全部嵌入感光细胞间基质中,与视网膜色素上皮紧密接触。视网膜色素上皮周围有两种细胞外基质,即光感受器间基质和玻璃膜。在视网膜色素上皮和眼的外壁(巩膜)之间是玻璃膜、脉络膜毛细血管和脉络膜(一个更大的血管层)。脉络膜毛细管层(Ruysch’S Complex)主要包括视网膜色素上皮、玻璃膜和脉络膜毛细血管 [45]。

Figure 2. OCT image of normal individuals

图2. 正常个体OCT人眼图像 [44]

Figure 3. CFP for normal individuals

图3. 正常个体彩色眼底图片及眼部结构图 [45] [46]

3.2. 基于图片级别的老年黄斑病变病理分析

3.2.1. 基于OCT的老年黄斑病变量化特征

高分辨率OCT成像技术被视为老年黄斑变型中解剖学生物标志物的金标准。Shmurli等人(2022) [44] 将干型AMD量化在如下维度:1) 脉络膜过度透过性;2) RPE衰减或破坏;3) 光感受器变性,表现为缺乏交叉区、椭圆区和外界膜,以及外核层变薄。Moraes等人(2021)对OCT图像上对于AMD诊断具有临床意义的眼底特征部位进行了分割,分别为:神经感觉性视网膜(neurosensory retina, NSR)、玻璃体(drusen)、视网膜内液(drusen, intraretinal fluid, IRF)、视网膜下液(subretinal fluid, SRF)、视网膜下高反射物质(subretinal hyperreflective material, SHRM)、视网膜色素上皮(retinal pigment epithelium, RPE)、高反射灶(hyperreflective foci, HRF)、纤维血管色素上皮脱离(fibrovascular pigment epithelium detachment, FvPED)和浆液性色素上皮脱落(serous pigment epithelium detachment, SPED)。

AMD阳性的OCT眼底图片如图4所示,图4(a)一位81岁的白人妇女湿性AMD阳性病例;图4(b)为一位83岁未知种族妇女湿性AMD阳性病例;图4(c)为一位58岁亚洲女性湿性AMD阳性病例 [47]。

Figure 4. Wet AMD case diagrams

图4. 湿型老年黄斑变性案例图 [47]

3.2.2. 基于普通彩色眼底相片的老年黄斑变性量化特征

AMD阳性的普通眼底彩色相片如图5所示 [46]。随着年龄的增长,玻璃疣变得融合、变大,有时呈结晶状,边界不清晰,或伴有RPE色素沉着或色素减退。图5(a)显示了两个黄斑的早期老年黄斑变性:左侧黄斑区域存在小的玻璃疣(箭头处),黄斑中心凹区域存在一些大的、边缘模糊的玻璃疣(箭头处);右侧黄斑区域包含更多的玻璃疣和局灶性色素沉着(focal hyperpigmentation) (箭头处)。图5(b)左侧显示早期老年黄斑变性,特征为黄斑区域内及其周围有广泛的个体小但是面积较大的玻璃疣;右侧为晚期干型老年性黄斑变性,主要体现于黄斑中心凹区域存在边界清晰的圆形或椭圆形色素减退的斑点(箭头处),伴有大的脉络膜血管。图5(c)的左侧显示早期老年黄斑变性,伴有结晶和钙化的玻璃体(箭头);右侧(也是早期的老年黄斑变性)可见大的融合性玻璃体,导致RPE脱离,并伴有过度色素沉着(箭头)。图5(d)为晚期干型老年黄斑变性,在中央小视野残留物周围有一个完整的环状暗点,即视中心的光感受器仍在发挥作用(箭头)。图5(e)为晚期湿型老年黄斑变性,表现为大量浆液性RPE脱离(边缘用箭头标记),由视网膜下新生血管膜渗出的液体引起。图5(f)为晚期湿型老年黄斑变性,伴有黄斑中心凹下出血,周围有RPE脱离(箭头)。图5(g)为晚期干型老年黄斑变性(黑色箭头),橙色线条是大脉络膜血管,周围是胶质瘢痕组织(箭头),是由视网膜下大量出血和少量残留(白色箭头)引起的。图5(h)为晚期湿型老年性黄斑变性,黄斑区域内有胶质瘢痕,颞缘有出血残留物(箭头) [46]。

Figure 5. CFP of AMD cases

图5. AMD彩色眼底图像案例 [45] [46]

3.2.3. 基于超广角眼底图片的老年黄斑变性量化特征

对于UWF图像,该图像具有更加广阔的眼底拍摄区域,众多研究表明,对于眼底其他疾病对于黄斑变性具有正向诱发作用,因此,对于超广角眼底图像的眼底疾病诊断,对于黄斑变性的预测和早筛具有重要作用,该图像在眼疾或疾病随访中的使用,对于小区眼底疾病早筛,具有重要意义 [3] [48]。Rengin和Rengin (2021)在研究中指出,AMD在超广角眼底图片中的特征可以表示为,脉络膜新生血管、色素减少/色素过多、视网膜色素上皮脱离、网状假性红斑和老年性网状色素改变。AMD周边视网膜改变的可重复性记录可能导致对该疾病的更全面的分类。AMD阳性的200˚超广角眼底相片如图6所示,图6(a)为渗出性年龄相关性黄斑变性所致的黄斑下出血(左眼);图6(b)为非渗出性年龄相关性黄斑变性(右眼);图6(c)为脉络膜新生血管膜(左眼);图6(d)为非渗出性年龄相关性黄斑变性患者,其玻璃体和脉络膜视网膜萎缩(右眼);图6(e)为脉络膜新生血管膜和伴随色素上皮撕裂(右眼);图6(f)为脉络膜新生血管膜(左眼);图6(g)为存在(右眼);图6(h)为脉络膜新生血管膜(左眼) [3]。

Figure 6. UWF of AMD cases

图6. AMD阳性超广角眼底照片 [3]

因此,本文将基于眼底图像的AMD诊断量化为以下几个特征维度。针对于OCT眼底相片,主要体现为:1) 视网膜内液堆积;2) 视网膜下液体堆积;3) 可疑息肉病变(视网膜下高反射物质/高反射灶);4) 玻璃疣;5) 视网膜色素上皮脱离。对于彩色眼底照片(包括普通眼底相片和超广角眼底相片),可以体现为:1) 黄斑区域有硬性/软性/钙化结晶玻璃疣;2) 黄斑区域有局灶性色素沉着(focal hyperpigmentation);3) 黄斑区域可见已经融合的基底层玻璃疣;4) 脉络膜新生血管膜;5) 界清晰的圆形或椭圆形色素减退的斑点,中心凹附近,可见大的脉络膜血管;6) 视网膜色素上皮(RPE)脱离;7) 视网膜下新生血管膜渗血;8) 黄斑中心凹下出血;9) 黄斑区域有较大脉络膜血管,且黄斑周围区域有胶质瘢痕组织;10) 黄斑周围区域视网膜下出血伴有残留物;11) 黄斑区域内存在胶质瘢痕;12) 黄斑区域内存在颞缘出血残留物;13)黄斑区域中央小视野残留物周围存在完整的环形暗点(Ring Scotoma)。

4. 总结

本文基于历史文献,对人工智能技术在老年黄斑变性中的应用、发展、分类、挑战和潜在解决方案(XAI)进行了探讨。基于OCT、普通眼底相片和超广角眼底相片实现了对AMD的结构和病症量化分析(Biomarker)。研究表明,基于深度学习和机器学习的AMD的早筛、诊断、伴发症及行为表现、眼底结构变化预测及治疗效果评估是该领域的主要研究方向,其中,基于XAI的方法研究,及基于三维AI算法可视化及识别在以上任务中的应用,被预测为未来较为有临床价值的研究方向。因此,该文章通过文献综述研究,对AI在AMD相关领域的研究,系统性的分类、总结和预测,以及对AMD的Biomarker量化分析结果,均对未来相关研究提供了较强的理论基础及依据。但是该文章为基于部分历史文献的观点陈述和探究,具有局限性。建议未来学者基于临床或实验应用结果数据,结合文献进行探讨。

基金项目

广东省重点专项(2020B1111540001);2020年珠海市基础研究项目(ZH22017003200011PWC);2021年珠海市基础研究项目(ZH22036201210034PWC)。

文章引用

王 涵. 人工智能在老年黄斑病变中的应用综述性研究及基于医学影像的老年黄斑变性病症量化分析
A Survey of AI to AMD and Quantitative Analysis of AMD Pathology Based on Medical Images[J]. 人工智能与机器人研究, 2022, 11(02): 143-157. https://doi.org/10.12677/AIRR.2022.112016

参考文献

  1. 1. Li, M., Wang, G., Xia, H., Tang, X., Feng, Z., Yao, Y., et al. (2019) Clinical Evaluation of Artificial Intelligence System Based on Fundus Photograph in Diabetic Retinopathy Screening. Chinese Journal of Experimental Ophthalmology, 37, 663-668.

  2. 2. Lin, C., Song, X., Li, L., Li, Y., Jiang, M., Sun, R., et al. (2021) Detection of Active and Inactive Phases of Thyroid-Associated Ophthalmopathy Using Deep Convolutional Neural Network. BMC Ophthalmology, 21, Article No. 39. https://doi.org/10.1186/s12886-020-01783-5

  3. 3. Kurt, R.A. and Mestanoglu, M. (2021) Ultra-Widefield Imaging in Age-Related Macular Degeneration. Journal of Retina-Vitreous, 30, 99-103. https://doi.org/10.37845/ret.vit.2021.30.19

  4. 4. Dai, L., Wu, L., Li, H., Cai, C., Wu, Q., Kong, H., et al. (2021) A Deep Learning System for Detecting Diabetic Retinopathy across the Disease Spectrum. Nature Communications, 12, Article No. 3242. https://doi.org/10.1038/s41467-021-23458-5

  5. 5. Han, W. (2021) A Review of Artificial Intelligence in Ophthalmology Field—Taking the Fundus Diagnosis Based on OCT Images as an Example. Artificial Intelligence and Robotics Research, 10, 306-312. https://doi.org/10.12677/AIRR.2021.104031

  6. 6. Schmidt-Erfurth, U., Bogunovic, H., Sadeghipour, A., Schlegl, T., Langs, G., Gerendas, B.S., et al. (2018) Machine Learning to Analyze the Prognostic Value of Current Imaging Biomarkers in Neovascular Age-Related Macular Degeneration. Ophthalmology Retina, 2, 24-30. https://doi.org/10.1016/j.oret.2017.03.015

  7. 7. Aslam, T.M., Zaki, H.R., Mahmood, S., Ali, Z.C., Ahmad, N.A., Thorell, M.R., et al. (2018) Use of a Neural Net to Model the Impact of Optical Coherence Tomography Abnormalities on Vision in Age-related Macular Degeneration. American Journal of Ophthalmology, 185, 94-100. https://doi.org/10.1016/j.ajo.2017.10.015

  8. 8. Sumaroka, A., Cideciyan, A.V., Sheplock, R., Wu, V., Kohl, S., Wissinger, B., et al. (2020) Foveal Therapy in Blue Cone Monochromacy: Predictions of Visual Potential from Artificial Intelligence. Frontiers in Neuroscience, 14, Article No. 800. https://doi.org/10.3389/fnins.2020.00800

  9. 9. Rohm, M., Tresp, V., Müller, M., Kern, C., Manakov, I., Weiss, M., et al. (2018) Predicting Visual Acuity by Using Machine Learning in Patients Treated for Neovascular Age-Related Macular Degeneration. Ophthalmology, 125, 1028-1036. https://doi.org/10.1016/j.ophtha.2017.12.034

  10. 10. Fraccaro, P., Nicolo, M., Bonetto, M., Giacomini, M., Weller, P., Traverso, C.E., et al. (2015) Combining Macula Clinical Signs and Patient Characteristics for Age-Related Macular Degeneration Diagnosis: A Machine Learning Approach. BMC Ophthalmology, 15, Article No. 10. https://doi.org/10.1186/1471-2415-15-10

  11. 11. Pead, E., Megaw, R., Cameron, J., Fleming, A., Dhillon, B., Trucco, E., et al. (2019) Automated Detection of Age-Related Macular Degeneration in Color Fundus Photography: A Systematic Review. Survey of Ophthalmology, 64, 498-511. https://doi.org/10.1016/j.survophthal.2019.02.003

  12. 12. Korot, E., Wagner, S.K., Faes, L., et al. (2020) Will AI Replace Ophthalmologists? Translational Vision Science & Technology, 9, 2. https://doi.org/10.1167/tvst.9.2.2

  13. 13. Ruamviboonsuk, P., Cheung, C.Y., Zhang, X., Raman, R., Park, S.J. and Ting, D.S.W. (2020) Artificial Intelligence in Ophthalmology: Evolutions in Asia. The Asia-Pacific Journal of Ophthalmology, 9, 78-84. https://doi.org/10.1097/01.APO.0000656980.41190.bf

  14. 14. Keel, S., Lee, P.Y., Scheetz, J., Li, Z., Kotowicz, M.A., MacIsaac, R.J., et al. (2018) Feasibility and Patient Acceptability of a Novel Artificial Intelligence-Based Screening Model for Diabetic Retinopathy at Endocrinology Outpatient Services: A Pilot Study. Scientific Reports, 8, Article No. 4330. https://doi.org/10.1038/s41598-018-22612-2

  15. 15. Beede, E., Baylor, E., Hersch, F., Iurchenko, A., Wilcox, L., Ruamviboonsuk, P., et al. (2020) A Human-Centered Evaluation of a Deep Learning System Deployed in Clinics for the Detection of Diabetic Retinopathy. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, Honolulu, 25-30 April 2020, 1-12. https://doi.org/10.1145/3313831.3376718

  16. 16. Faes, L., Liu, X., Wagner, S.K., Fu, D.J., Balaskas, K., et al. (2020) A Clinician’s Guide to Artificial Intelligence: How to Critically Appraise Machine Learning Studies. Translational Vision Science & Technology, 9, 7. https://doi.org/10.1167/tvst.9.2.7

  17. 17. Vollmer, S., Mateen, B.A., Bohner, G., Király, F.J., Ghani, R., Jonsson, P., et al. (2018) Machine Learning and AI Research for Patient Benefit: 20 Critical Questions on Transparency, Replicability, Ethics and Effectiveness. British Medical Journal, 368, l6927.

  18. 18. Verghese, A., Shah, N.H. and Harrington, R.A. (2018) What This Computer Needs Is a Physician: Humanism and Artificial Intelligence. Journal of the American Medical Association, 319, 19-20. https://doi.org/10.1001/jama.2017.19198

  19. 19. Keel, S., et al. (2019) Visualizing Deep Learning Models for the Detection of Referable Diabetic Retinopathy and Glaucoma. JAMA Ophthalmology, 137, 288-292. https://doi.org/10.1001/jamaophthalmol.2018.6035

  20. 20. Grassmann, F., Mengelkamp, J., Brandl, C., Harsch, S., et al. (2018) A Deep Learning Algorithm for Prediction of Age-Related Eye Disease Study Severity Scale for Age-Related Macular Degeneration from Color Fundus Photography. Ophthalmology, 125, 1410-1420. https://doi.org/10.1016/j.ophtha.2018.02.037

  21. 21. Simonyan, K., Vedaldi, A. and Zisserman, A. (2013) Deep inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps. arXiv: 13126034.

  22. 22. Phillips, L., Goh, G. and Hodas, N. (2019) Explanatory Masks for Neural Network Interpretability. arXiv:191106876.

  23. 23. Holzinger, A., Langs, G., Denk, H., Zatloukal, K. and Muller, H. (2019) Causability and Explainability of Artificial Intelligence in Medicine. WIREs Data Mining and Knowledge Discovery, 9, e1312. https://doi.org/10.1002/widm.1312

  24. 24. Yang, G., Ye, Q. and Xia, J. (2022) Unbox the Black-Box for the Medical Explainable AI via Multi-Modal and Multi-Centre Data Fusion: A Mini-Review, Two Showcases and beyond. Information Fusion, 77, 29-52. https://doi.org/10.1016/j.inffus.2021.07.016

  25. 25. Zhao, L.P. and Bolouri, H. (2016) Object-Oriented Regression for Building Predictive Models with High Dimensional Omics Data from Translational Studies. Journal of Biomedical Informatics, 60, 431-445. https://doi.org/10.1016/j.jbi.2016.03.001

  26. 26. Shrikumar, A., Greenside, P. and Kundaje, A. (2017) Learning Important Features through Propagating Activation Differences. International Conference on Machine Learning, Sydney, 6-11 August 2017, 3145-3153.

  27. 27. Putelli, L., Gerevini, A.E., Lavelli, A. and Serina, I. (2019) Applying Self-Interaction Attention for Extracting Drug-Drug Interactions. International Conference of the Italian Association for Artificial Intelligence, Rende, 19-22 November 2019, 445-460. https://doi.org/10.1007/978-3-030-35166-3_32

  28. 28. Chou, Y.L., Moreira, C., Bruza, P., Ouyang, C. and Jorge, J. (2022) Counterfactuals and Causability in Explainable Artificial Intelligence: Theory, Algorithms, and Applications. Information Fusion, 81, 59-83. https://doi.org/10.1016/j.inffus.2021.11.003

  29. 29. Kwon, B.C., Choi, M.J., Kim, J.T., Choi, E., Kim, Y.B., Kwon, S., et al. (2019) RetainVis: Visual Analytics with Interpretable and Interactive Recurrent Neural Networks on Electronic Medical Records. IEEE Transactions on Visualization and Computer Graphics, 25, 299-309. https://doi.org/10.1109/TVCG.2018.2865027

  30. 30. Zhou, B., Khosla, A., Lapedriza, A., Oliva, A. and Torralba, A. (2016) Learning Deep Features for Discriminative Localization. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, 27-30 June 2016, 2921-2929. https://doi.org/10.1109/CVPR.2016.319

  31. 31. Lee, H., Yune, S., Mansouri, M., Kim, M., Tajmir, S.H., Guerrier, C.E., et al. (2019) An Explainable Deep-Learning Algorithm for the Detection of Acute Intracranial Haemorrhage from Small Datasets. Nature Biomedical Engineering, 3, 173-182. https://doi.org/10.1038/s41551-018-0324-9

  32. 32. Salahuddin, Z., Woodruff, H.C., Chatterjee, A. and Lambin, P. (2022) Transparency of Deep Neural Networks for Medical Image Analysis: A Review of Interpretability Methods. Computers in Biology and Medicine, 140, Article ID: 105111. https://doi.org/10.1016/j.compbiomed.2021.105111

  33. 33. Meldo, A., Utkin, L., Kovalev, M. and Kasimov, E. (2020) The Natural Language Explanation Algorithms for the Lung Cancer Computer-Aided Diagnosis System. Artificial Intelligence in Medicine, 108, Article ID: 101952. https://doi.org/10.1016/j.artmed.2020.101952

  34. 34. Ma, Y., Chen, X., Zhu, W., Cheng, X., Xiang, D. and Shi, F. (2018) Speckle Noise Reduction in Optical Coherence Tomography Images Based on Edge-Sensitive cGAN. Biomedical Optics Express, 9, 5129-5146. https://doi.org/10.1364/BOE.9.005129

  35. 35. Chen, X., Duan, Y., Houthooft, R., Schulman, J., Sutskever, I. and Abbeel, P. (2016) InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets. Proceedings of the 30th International Conference on Neural Information Processing Systems, Barcelona, 5-10 December 2016, 2180-2188.

  36. 36. Mukherjee, S., Asnani, H., Lin, E. and Kannan, S. (2019) ClusterGAN: Latent Space Clustering in Generative Adversarial Networks. Proceedings of the AAAI Conference on Artificial Intelligence, 33, 4610-4617. https://doi.org/10.1609/aaai.v33i01.33014610

  37. 37. Qu, Y., Chen, Y., Huang, J. and Xie, Y. (2019) Enhanced Pix2pix Dehazing Network. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, 15-20 June 2019, 8152-8160. https://doi.org/10.1109/CVPR.2019.00835

  38. 38. Almahairi, A., Rajeshwar, S., Sordoni, A., Bachman, P. and Courville, A. (2018) Augmented Cyclegan: Learning Many-to-Many Mappings from Unpaired Data. International Conference on Machine Learning, Stockholm, 10-15 July 2018, 195-204.

  39. 39. Karras, T., Laine, S., Aittala, M., Hellsten, J., Lehtinen, J. and Aila, T. (2020) Analyzing and Improving the Image Quality of StyleGAN. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, 13-19 June 2020, 8107-8116. https://doi.org/10.1109/CVPR42600.2020.00813

  40. 40. Niu, Y., Gu, L., Zhao, Y. and Lu, F. (2022) Explainable Diabetic Retinopathy Detection and Retinal Image Generation. IEEE Journal of Biomedical and Health Informatics, 26, 44-55. https://doi.org/10.1109/JBHI.2021.3110593

  41. 41. Kwon, J., Choi, J., Shin, J.W., Lee, J. and Kook, M.S. (2017) Glaucoma Diagnostic Capabilities of Foveal Avascular Zone Parameters Using Optical Coherence Tomography Angiography According to Visual Field Defect Location. Journal of Glaucoma, 26, 1120-1129. https://doi.org/10.1097/IJG.0000000000000800

  42. 42. Lee, H., Kim, S.T. and Ro, Y.M. (2019) Generation of Multimodal Justification Using Visual Word Constraint Model for Explainable Computer-Aided Diagnosis. 2nd International Workshop on Interpretability of Machine Intelligence in Medical Image Computing, iMIMIC 2019, and the 9th International Workshop on Multimodal Learning for Clinical Decision Support, ML-CDS 2019, Held in Conjunction with the 22nd International Conference on Medical Imaging and Computer-Assisted Intervention, MICCAI 2019, Shenzhen, 17 October 2019, 21-29. https://doi.org/10.1007/978-3-030-33850-3_3

  43. 43. Xiao, C., Ma, T., Dieng, A.B., Blei, D.M. and Wang, F. (2018) Readmission Prediction via Deep Contextual Embedding of Clinical Concepts. PLoS ONE, 13, e0195024. https://doi.org/10.1371/journal.pone.0195024

  44. 44. Shmueli, O., Yehuda, R., Szeskin, A., Joskowicz, L. and Levy, J. (2022) Progression of cRORA (Complete RPE and Outer Retinal Atrophy) in Dry Age-Related Macular Degeneration Measured Using SD-OCT. Translational Vision Science & Technology, 11, 19. https://doi.org/10.1167/tvst.11.1.19

  45. 45. de Jong, E.K., Geerlings, M.J. and den Hollander, A.I. (2020) Age-Related Macular Degeneration. In: Gao, X.R., Ed., Genetics Genomics of Eye Disease, Academic Press, Cambridge, 155-180. https://doi.org/10.1016/B978-0-12-816222-4.00010-1

  46. 46. Jong, P.T.V. (2006) Mechanisms of Disease: Age-Related Macular Degeneration. The New England Journal of Medicine, 355, 1474-1485. https://doi.org/10.1056/NEJMra062326

  47. 47. Moraes, G., Fu, D.J., Wilson, M., Khalid, H., Wagner, S.K., Korot, E., et al. (2021) Quantitative Analysis of OCT for Neovascular Age-Related Macular Degeneration Using Deep Learning. Ophthalmology, 128, 693-705. https://doi.org/10.1016/j.ophtha.2020.09.025

  48. 48. Yang, J., Fong, S., Wang, H., Hu, Q., Lin, C., Huang, S., et al. (2021) Artificial Intelligence in Ophthalmopathy and Ultra-Wide Field Image: A Survey. Expert Systems with Applications, 182, Article ID: 115068. https://doi.org/10.1016/j.eswa.2021.115068

期刊菜单