ABSTRACT

The microstructures of materials determine their macroscopic properties. The traditional bottom-up multi-scale approach provides a general strategy for studying the relationship between microstructures and physical properties. However, there are still many difficulties in microscopic, mesoscopic and macroscopic modeling of materials, and the bridging of different scale models is extremely challenging. With the advancement of computing power in Moore’s Law, and the explosive development of artificial intelligence, especially deep learning, data-driven methods are commonly used, and in crystal structure prediction, stability analysis, equation of states, optical properties, chemical synthesis, etc. have achieved good application results. The fast calculation speed and reliable prediction capabilities of deep learning can greatly improve the efficiency of material simulation. Its wide applicability provides new research ideas for some traditional problems in material microstructures and multi-scale simulations. It is expected to promote the study of material microstructures and physical properties, and to provide new research directions for modelling macroscopic physical properties based on micro-mesoscopic mechanism and prediction of material properties to meet engineering application requirements. This review article will briefly introduce the basic principles of deep learning and main types of commonly used neural networks, outline the main methods of material microstructures and multi-scale modeling, and then introduce the recent progress of deep learning method in the study of material microstructure and physical properties, and review the developments and prospects of deep learning method in the field of multi-scale simulation of materials.

Keywords:Deep Learning, Material Microstructures and Materials Properties, Multiscale Simulation

深度学习：材料微结构与物性研究中的新动力

卢果，段素青

北京应用物理与计算数学研究所，计算物理重点实验室，北京

收稿日期：2019年10月10日；录用日期：2019年10月23日；发布日期：2019年10月30日

摘 要

材料的微结构决定了其宏观性质。传统的自下而上的多尺度方法提供了研究微结构和物性关联的整体思路，但针对材料的微观、介观和宏观建模都存在诸多困难，其中不同尺度描述的衔接就极具挑战。随着计算能力以摩尔定律式的提升，和人工智能特别是深度学习的爆炸式进展，基于数据驱动的材料研究成当今世界的研究热点，并在晶体结构预测、稳定性分析、状态方程、光学性质、化学合成等领域都取得了很好的应用效果。深度学习的快速计算和可靠的预测能力能够极大的提升材料模拟效率。其广泛适用性为材料微结构与多尺度模拟中的一些传统难题提供了新的研究思路，有望促进材料微结构与物性的研究，为基于微介观机理的宏观物性建模、满足工程应用要求的材料性质预测提供了新的研究方向。本文将简要介绍深度学习的原理及常用的神经网络类型，概述材料微结构与多尺度建模中的主要方法，随后介绍深度学习在材料微结构与物性研究中的进展，并展望该方法在材料多尺度模拟领域中的发展。

关键词 :深度学习，材料微结构与物性，多尺度模拟

Copyright © 2019 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

强外加载下材料的响应是热力学非平衡过程，非平衡过程的内在机制能够在材料内部产生诸多可能的复杂微结构。例如，金属在应力或惯性加载下积累的较大能量可通过塑性变形、相变、熔化、损伤、断裂等产生微结构来释放。这些微结构主要包括位错、层错、晶界、相畴、液相区、空洞、微裂纹、剪切带等。已有的实验与理论研究表明金属材料中微结构的产生、运动和相互作用对其弹塑性有重要影响，构建具有普适性和预测性的宏观物性模型，需要定量上阐明材料宏观性质与微结构间的关系。不同加载条件下材料内部的微结构尺度不一、种类繁多、相互作用复杂，使基于微结构机理的宏观物性研究极具挑战性。材料的复杂动力学过程具有非均匀、强耦合、非平衡、多尺度过程耦合等特点，需要从多个尺度上把握其微结构特征和动力学规律，用合理的内部结构参数变量和演变方程描述，最后以材料宏观物性模型及参数的方式应用到工程问题 [1]。

近年来，随着理论、模拟方法和计算能力的不断发展和完善，以第一性原理、分子动力学、位错动力学、相场方法和晶体塑性有限元等为代表的模拟方法的发展极大推进了材料的微结构与物性研究 [2] [3] [4] [5]。例如，分子动力学的发展与应用推进了位错形核及运动、位错与其它缺陷相互作用、缺陷结构演化等微观本构研究，增强了对材料屈服过程的微介观机理的认识；位错动力学和相场等介观方法的发展提升了对复杂缺陷集合动态演化规律的认识，推进了材料硬化和软化机理研究；晶体塑性有限元等广义连续介质理论和方法提供了耦合不同微介观机理研究材料的宏观尺度力学行为的统一框架。由于不同模拟方法都有其适用的时空尺度，目前针对金属弹塑性、相变及动态损伤等涉及多个尺度的非平衡及强耦合问题的研究，较为行之有效的方案是建立一套耦合不同尺度模拟方法各自优势的多尺度模拟平台，其核心是对不同尺度的问题采用不同的模拟方法，小尺度系统的规律为较大系统的建模提供本构关系。

依托于计算能力的快速提升，人工智能方法的分支深度学习在计算机视觉、自然语言处理、竞技游戏和数据挖掘等领域取得了极大的成功，并快速推动诸如医疗诊断、证券投资、社交网络、物联网、交通出行、广告资讯、药物设计等产业的智能化发展。在材料科学与工程领域，已经通过实验观察和第一原理计算积累了大量材料结构和性质的数据库。这使机器学习和深度学习方法得到了广泛应用，加速了该领域的发展。Butler等人总结了机器学习方法在分子和材料科学中的进展 [6]，Ramprasad等人系统介绍了材料信息学中机器学习方法的应用与前景 [7]，Goh等综述了机器学习在计算化学中的应用 [8]。由于第一原理计算方法和软件的发展与成熟，产生的高精度材料物性数据较为丰富，深度学习在材料电子结构到原子结构尺度的研究最为活跃，取得了很大进展。近年来深度学习已经逐步扩展到涵盖微观、介观及宏观等多个尺度研究的广泛领域，为材料复杂宏观物性的研究注入了新的活力，开拓了新局面。本文将首先简要介绍深度学习的基本原理及在材料研究领域的主要应用类型，然后概述深度神经网络在材料微结构与物性研究中的应用进展，并讨论目前存在的困难与挑战，最后总结探讨当前该领域的发展前景。

2. 深度神经网络的基本原理与主要应用类型

深度学习是机器学习领域中使用多层人工神经网络算法的一个分支。1986年Dechter将深度学习的概念引入机器学习领域 [9]，2000年Aizenberg等人在布尔阈值神经元的背景下进一步将其引入到人工神经网络 [10]。与传统机器学习算法(包括朴素贝叶斯、k近邻、决策树、支持向量机等)不同，人工神经网络算法模拟人大脑神经系统的工作方式，其一个网络节点类比于人脑的一个神经元，节点间的信息传递采用线性变换和非线性激活进行模拟，从而实现类似人类的简单分析、判断和决策的智能。目前广为应用的网络主要采用多层构型，即深度神经网络，其“深度”是指数据转换的层数，更确切的是指网络中具有实质信息传递的链条长度。根据数据信息流动过程可以将网络层分为输入、输出和隐藏三类，输入层是数据入口，用于接受数据信息；输出层是数据出口，是数据信息处理的最终结果；隐藏层是除输入和输出层外的所有层，最简单的神经网络仅有一层隐藏层。虽然不存在普遍认可的区分浅层与深度学习的深度阈值，但已有研究证明深度为2 (一个隐藏层和一个输出层)的网络是可以模拟任何函数的通用近似，且更多层不会增加网络的近似能力，但多层网络能够获得更好的数据特征，因此增加网络层次有助于特征的学习。对于给定网络构型(包括激活函数)的深度神经网络，其学习过程是指使用训练数据不断调整网络中所有节点变换权值进而实现网络整体优化的过程。

深度神经网络逐层将其输入数据转换为更抽象和复合的表示，相较于传统方法对于解决涉及大规模组合空间或者非线性过程的复杂问题有明显优势，一方面可以使得有些问题变得可解，另一方面则能够极大降低问题研究的计算或实验成本。用于生成、测试和改进科学模型的深度学习工具的不断完善，极大降低了深度神经网络在不同领域的应用门槛，促进领域发展的同时也推动了深度神经网络自身的改进。从深度神经网络的基本原理可以看出，其算法的核心是“数据”和“网络”，这都与具体的应用密切相关。“数据”主要指数据本身质量(包括数据集大小、一致性、精度等)和数据表征(原始数据接入输入层的方式)，“网络”主要包括网络的构型和计算效率等。

深度神经网络的类型繁多，但总体构架类似，均是在深度神经网络(DNN，此处特指全连接网络)基础上发展而来，主要包括卷积神经网络(CNN)，循环神经网络(RNN)，生成对抗网络(GAN)和深度信念网络(DBN)等，见图1。与具体应用结合则往往需要对深度神经网络进行适配性改造，本文将简要介绍主要的基本网络类型以及在材料领域应用中发展的一些网络类型，如晶体图神经网络(CGNN)，晶体图卷积神经网络(CGCNN)以及判别协同网络(DCN)等，表1简要总结了深度神经网络的主要构架。

图1. 五种深度神经网络示意图

表1. 深度神经网络的主要构架

深度神经网络(DNN)一般被定义为具有输入层，输出层和至少二个隐藏层的网络 [11] [12]，有的文献中也将这种网络称为多层感知器，通常指全连接网络，即一层中的每个神经元都连接到下一层中的所有神经元，见图1(a)。深度神经网络中的每层在一个过程中执行特定类型的分类和排序，也称之为“特征层次结构”，复杂神经网络的关键用途之一是处理未标记或非结构化数据，有益于寻求简单的方式对信息进行分类和排序。深度神经网络架构通常采用逐层方法构建，对有监督的学习任务，DNN方法通过将数据转换为类似于主成分的紧凑中间表示来消除特征工程，并导出去除冗余的分层结构，因为未标记的数据比标记的数据更为丰富，这对于无监督的学习任务也是重要好处。Ryan等人用DNN从晶体结构库的大量晶体学数据中学习晶体结构的模板，预测形成新化合物的可能性，测试表明神经网络模型具有很好的预测能力。该方法用于指导新材料发现能够提升合成效率 [13]。Cassar等采用MLP学习包含五万多种无机玻璃组合物及其转变温度实验测量值的数据库，获得寻找神经网络超参值的优化方案，从而诱导生成具有高预测性能的模型。该方法有很高通用性，能预测未包含在训练集中的玻璃的转变温度，容易扩展到预测以玻璃成分为函数的其他性质，有助于开发具有显著特性的多组分玻璃组合物 [14]。Jha等人提出了基于DNN的ElemNet从材料数据库中自动获取物理和化学相互作用和不同元素间的相似性，从而高速高精度预测材料性质。ElemNet的速度和精度有益于从海量组合空间中快速稳定的筛选新的候选材料 [15]。Yamamoto将晶体图与深度神经网络结合提出了不使用成键距离的晶体图神经网络(CGNN)，其中引入尺度不变的图连络器生成晶体图，利用理论材料数据库对CGNN进行训练。CGNN对每种测试材料的形成能量、晶胞体积、带隙和总磁化强度等体积性质预测的平均误差小于数据库中的相应误差。CGNN预测的带隙和总磁化强度能成功进行金属–绝缘体和非磁性–磁性体二元分类 [16]。

卷积神经网络(CNN)是包含卷积计算的深度神经网络。CNN的提出受生物视觉机制的启发 [17] [18]，在深度神经网络基础上引入卷积层、池化层使神经元间的连接模式类似于动物视觉皮层的组织：个体皮层神经元仅在被称为感受野的视野受限区域中对刺激作出反应，不同神经元的感受野部分重叠，使它们覆盖整个视野，见图1(b)。由于卷积神经网络隐含层内的卷积核参数共享和平移不变性特征，也被称为移位不变或空间不变的人工神经网络(SIANN) [19]。参数共享机制和层间连接的稀疏性使卷积神经网络无需额外数据特征工程用较小的计算量学习格点化数据(例如像素和音频)。在材料学中卷积神经网络也有许多应用。Zheng等构造了以元素周期表为表征的多任务CNN，采用OQMD数据库中的全赫斯勒(Full-Heusler)材料为训练和测试集，预测晶格常数和形成焓。研究表明CNN学到了元素周期表的重要化学信息即周期表的二维内在结构。进一步使用ICSD数据库中的X2YZ型材料为第二个训练集精调的CNN模型预测了全赫斯勒材料的稳定性，及少有报道的含钨材料可能具有较好的稳定性 [20]。当前将晶体材料的多图表示与卷积神经网络发展出了晶体图卷积神经网络(CGCNN)。Xie等人利用CGCNN成功实现了材料空间层次的可视化，该技术有助于探索和可视化材料空间，帮助识别潜在的问题，推进自动化材料设计过渡到以数据为中心的材料空间探索 [21]。Sanyal等将基于多任务(MT)学习的转移学习和CGCNN结合提出MT-CGCNN。通过预测各种材料，如无机晶体(46774材料)的形成能、带隙和费米能证明了MT-CGCNN的有效性。与CGCNN相比，即使训练数据减少10%，MT-CGCNN的预测误差较低，用于预测与金属-非金属分类相关的最终场景MT-CGCNN也具有更好的性能 [22]。

循环神经网络(RNN)是以序列数据为输入，在序列演进方向进行递归，所有节点(循环单元)按链式连接的递归神经网络，其节点间连接形成沿时间序列的有向图，见图1(c)。RNN的研究始于上世纪80年代 [23]，21世纪初发展为重要的深度学习算法，常见类型有双向循环神经网络(Bi-RNN)和长短期记忆网络(LSTM) [24]。循环神经网络具有记忆性、参数共享并且图灵完备，因此能对序列的非线性特征进行高效学习。循环神经网络在自然语言处理，例如语音识别、语言建模、机器翻译等领域广为应用，也常与卷积神经网络相结合用于处理计算机视觉问题。Quan等人采用数种如长短时记忆卷积神经网络等技术学习原子并解决如药物挖掘领域的单任务分类等经典问题，将这种方法应用到如SIDER和Tox21等数个广泛应用的数据集，并指导了很多实验。实验结果验证了该方法的可行性和优越性 [25]。

生成对抗网络(GAN)是Goodfellow等在2014年提出的一类机器学习算法 [26]。GAN由生成器网络和判别器网络组成，见图1(d)。这两个网络可以是卷积神经网络、循环神经网络等，常用的生成网络是反卷积神经网络，判别网络是卷积神经网络。GAN的两个网络参与一场“博弈”，试图在超越对方的同时帮助对方完善自己。一般说来，生成网络学习的是如何从潜在空间映射到感兴趣的数据分布，而判别网络则是对生成网络生成的候选数据与真实数据进行区分，生成网络的训练目标是增加判别网络的判别错误率，判别网络的初始训练数据是已知数据集。以图像数据为例，经多次迭代后的理想结果是生成器网络能够完美生成逼真的假图像，而判别器网络能够完美判断生成图像的真假。尽管GAN的提出是作为无监督学习的一种生成模型，但它被证明适用于半监督、完全监督和强化学习。Zhao等人提出了基于能量的生成对抗网络模型(EBGAN)，该模型将判别器视为能量函数，其将低能量归因于数据流形附近的区域，高能量归因于其他区域 [27]。与概率GAN类似，发生器被视为训练以产生具有最小能量的对比样本，而判别器被训练为将高能量分配给这些生成的样本。将判别器视为能量函数除了具有逻辑输出的分类器外，还允许使用各种体系结构和损失函数。研究表明使用自动编码器的EBGAN训练的稳定性优于常规GAN。EBGAN可以训练用来生成高分辨率图像。Liu在采用机器学习方法研究物质状态的分类和相应的相变检测问题时提出了一种无监督的机器学习方案，利用一对判别协同网络(DCN)来检测相变 [28]。该方案中猜测者网络和学习者网络协作以检测来自完全未标记数据中的相变。新方案利用计算机视觉中的主动轮廓模型(蛇模型)托管两个网络以处理二维参数空间中的相图，具有DCN“大脑”的蛇在参数空间中主动移动和学习，并自动定位相界。

深度信念网络(DBN)是由Hinton在2006年提出一种生成模型，通过训练其神经元间的权重，让整个神经网络按照最大概率来生成训练数据 [29]。通常DBN由受限玻尔兹曼机(RBM)堆叠而成。RBM由显隐两层神经元构成，显层神经元用于接受输入，隐层神经元用于提取特征，因此也叫特征检测器，显层和隐层内部的神经元在层内都没有互连，只有层间的神经元有对称的连接线，见图1(e)。训练DBN的过程是一层一层进行，在每层中用数据向量来推断隐层，再把该隐层用作下一层的数据向量。在没有监督的情况下对一组示例进行训练时，DBN可以学习概率地重建其输入，然后这些层充当特征检测器，之后可以进一步训练DBN进行分类。现实生活中DBN有很多极具吸引力的应用情景(如脑电图分析、药物发现)。Bu等人在研究如何准确预测远端增强子时提出了基于深度信念网络(DBN)的增强器预测计算方法(EnhancerDBN)，计算结果表明EnhancerDBN优于现有的13种预测方法，深度学习能有效地提高增强器预测的性能 [30]。

深度神经网络的快速发展和成熟为不同领域的研究人员提供了新的研究手段和工具，但深度学习方法是否适用于当前研究是需要首先认真对待的一个问题。大量可靠的数据是目前深度学习方法适用的先决条件，但不是充分条件。问题的关键还在于研究的问题是否能转化为深度学习能够处理的分类和回归问题。如果目前难以进行适用性的明确判断，但研究的问题使用传统方法计算或测量非常困难或昂贵，现象足够复杂(或非确定性)通过直接求解基本方程无法解决或者控制方程未知，则可采用深度学习的方法进行探索。这些问题广泛存在于社会、认知、生物、材料等科学领域，因而基于数据驱动的深度神经网络方法在这些领域中被普遍应用。以下将简要概述材料微结构与物性研究领域的特点以及深度神经网络方法在该领域当前的应用与发展现状。

3. 深度神经网络在材料微结构与物性研究中的应用

深度神经网络在材料领域的应用比较广泛，已经成为加速新材料、工艺和技术开发的重要推动因素 [6] [7] [31]。过去五年里这个领域已经发表了上千篇研究成果，其中在晶体结构预测 [13]、稳定性分析 [32] [33]、化学合成 [15] 研究中取得了很好的应用效果、并逐步扩展到材料的状态方程 [34]、力学性质 [35] [36]、光学性质 [37]、高温超导 [38]、腐蚀 [39] 等诸多领域。材料微结构和物性研究与深度学习方法的结合是其中极具前景的研究方向，相关研究文献很多 [40] [41] [42] [43]，下面我们将概述材料在不同加载下的力学性质和微结构关系方面的研究现状、存在的问题以及深度神经网络在结构与物性研究中发挥的作用。

材料的宏观物性不仅依赖于其化学组成，也与其内在的微结构密切相关 [2] [3]。外加载下材料的变形过程由系统能量较低的微结构承载，这些微结构的演化规律是理解材料复杂宏观物性的桥梁。由于塑性变形的高耗散性，不同加载条件下材料内部的微结构尺度跨度大、种类多，使得构建基于微结构特性的具有普适性和可预测性的多尺度模型研究极具挑战。实际工程用材料的时空尺度较大，因此原则上可用统计力学方法联系宏观可观测量与微观量。材料变形早期产生的位错、孪晶等微结构较稀疏，相互作用较弱，微缺陷个体行为独立性较好，可先用与微缺陷个体尺度对应的分子动力学方法等研究其动力学演化规律，然后采用简单统计平均衔接微观和宏观尺度。这种方法能很好描述晶格黏性或PN势垒较大的材料的早期变形。随变形的进一步发展，微结构尺度增大，数目增加，微结构间相互作用增强，可在一定空间尺度上自组织形成更大尺度的滑移带、位错胞等聚集结构。对于微结构集体的演化，分子动力学等方法涉及的时间、空间尺度太小，需要对微结构采用参数化近似，并平均化处理微结构与背景介质的相互作用，通过位错动力学、相场方法等粗粒化建模方法进行研究。

当前材料弹塑性、相变及动态损伤等非平衡强耦合问题的多尺度模拟已经形成基于物理规律的逐级传递方案：不同尺度问题用不同模拟方法，小尺度系统的规律为较大系统的建模提供本构关系。具体来说：1) 第一性原理计算适用于精确计算几百个原子系统(晶体或小团簇)中电子结构和原子间相互作用力，通过力和能量的拟合为分子动力学建模提供合理的原子间作用势；2) 分子动力学方法用于研究晶体中少量位错的运动、位错与其它缺陷的作用以及相变早期的成核过程，在缺陷结构层次上描述材料微结构的演化，为位错动力学提供位错迁移率、位错源、位错反应与交联、位错与其它缺陷的作用等微观本构；3) 位错动力学可模拟上万条位错线的集体迁移、聚集，研究较大晶体或多晶中的微观塑性变形，延性材料断裂前期微空洞的成核、生长和融合过程，提供的应力应变关系、位错密度、微空洞微裂纹的演化规律可作为宏观弹塑性和断裂本构建模的基础；4) 扩展连续介质力学方法可以耦合材料变形的主要微介观机理，应用于材料宏观工程设计研究。LLNL实验室在钒、钽等材料的动态本构研究中基于第一性原理、分子动力学、位错动力学模拟方法，通过物理模型间的参数逐尺度传递，初步建立了多尺度本构模型(LMS) [44] [45]，并在材料的扰动增长实验中得到成功应用，但目前的LMS仅适用于塑性变形仅由位错机制主导的情形。

3.1. 深度学习在材料微结构与物性关联研究中的应用

由于缺乏成熟的非平衡统计理论和粗粒化方法，长期以来国内外研究人员一直从理论、实验和数值模拟等方面进行各种尝试以建立材料微结构与宏观物性的关联，且不断将最新的研究成果应用到该领域中来。深度神经网络从其诞生就引起材料研究人员的关注，并被用来解决结构与物性相关问题。本世纪初Kusiak等人 [40] 用人工神经网络方法研究了钢的微结构和力学性质的建模问题，成功预测了热机械加工和冷却后钢中相组成的体积分数和平均尺寸，并提出了用于预测机械性能的模型。

近几年来，神经网络算法和框架的快速发展和计算能力的急剧提升给材料微结构与物性研究注入了新的活力。Cecen等采用三维卷积神经网络(3D-CNN)关联了材料三维微观结构与其有效特性 [46]。基于3D-CNN的方法能够学习可解释的微结构特征，提高新的微结构属性预测准确性，显著减少计算时间。在研究微结构重建问题时，Li等提出基于转移学习的微观结构重建和结构属性预测方法 [41]。该方法结合了编码-解码过程和基于深度卷积网络的特征匹配优化，适用于处理各种材料中的不同复杂度几何特征的微结构。在非均质材料力学性质的研究中，Li等引入深度神经网络建立了非均质材料有效力学性质和中尺度结构之间隐式映射，准确有效预测了真实页岩样本的有效模量 [42]。该方法进一步扩展后可用于预测其他异质材料的有效机械性质。在材料的塑性变形研究中，Yassar提出了基于位错结构的计算模型预测金属材料的流动应力特性的方法 [35]，其中人工神经网络(ANN)模型用于反演不同位错微结构的原位非线性材料参数。该模型能够准确预测铝合金6022的流动应力与其位错结构含量的关系。Jones将机器学习用于处理代表性多晶模拟的数据进而推断应力和塑性流动规则，其中两个响应函数用深度神经网络表示 [36]。该方法与实验结合能够实现快速模型构建，并指导数据收集和功能发现。Henri Salmenjoki采用回归神经网络和支持向量机方法研究了微米结晶固体不同样品间塑性变形特征的显著差异问题 [47]。研究表明变形特征的可预测性与应变的关系是非单调的，并且表现出系统尺寸效应：更大的系统更可预测。在损伤机理研究方面，Kusche [48] 使用全景成像和深度学习研究了双相钢中的损伤过程，同时实现了高空间分辨率和统计相关性。这种高通量方法实现了对异质材料中夹杂物和变形引起的损伤进行大面积分离，便于研究应变和微结构的依赖性，进而推断其损伤机制。

3.2. 深度学习在材料微结构图像分析中的应用

神经网络在材料微结构与物性研究中数据(实验和模拟)最为丰富的领域应用最为广泛。当前最为活跃的领域之一是微结构图像分析，对应着神经网络适于解决的分类问题。

实验研究中通常采用金相学方法和显微技术对材料的微结构进行观测，产生了大量的材料微结构图像数据，对这些图像的分析能够提供材料微观结构和性能的详细信息。传统微结构识别、表征与分析方法多是人为数字化处理，极为耗时、容易出现错误和不一致性。建立一套强大而灵活的实验观测图像的自动缺陷识别和分类平台，可以在图像记录后甚至在图像采集过程中更快地完成分析。与人工分析相比，自动分析有可能显著提高效率，准确性和可重复性，并且可以通过自动数据生成方法进行扩展。Dengiz等人采用模糊逻辑和神经网络方法自动化检测烧结过程中高温合金钢微观组织图像(光学显微镜获得，噪声大)的晶界 [49]。Albuquerque等 [50] 基于多层感知神经网络对结节、灰色和可锻铸铁图像中的微观结构进行有效的分割和量化。Paulic等 [51] 提出了基于金相图像预测材料力学性能的智能系统。小数据库对前馈人工神经网络进行训练后，在可接受的误差范围内成功地预测了测试样品的机械性能。Mulewicz等 [52] 基于深度卷积神经网络(DCNN)的图像分析技术对光学显微镜技术获得的金属不同类型的微结构图片进行分类。DCNN在不同类型微结构的训练集上的精度高达99.8%。采用转移学习算法构建用于显微图像分类的系统，在测试数据集上达到了超过95%的精度。Adachi等人 [53] 采用LeNet5，AlexNet和GoogLeNet等三个典型的卷积神经网络识别钢的微观结构，检查了它们的识别准确性，研究了学习率、辍学率和平均图像相减对识别准确性的影响。这项研究证明了深度学习对微观结构分类的能力。Santoyo等 [54] 使用人工神经网络多层感知器识别碳素钢中的磨损模式，分析了在热电厂的整个寿命期间中三个条件下的材料微观结构(滚圆，脱碳和石墨化)，准确度可达96.83%，且分析时间更短和检查成本更低。Azimi等采用完全卷积神经网络(FCNN)和最大投票方案对低碳钢某些微观结构成分的微观结构进行分类，精度可达93.94% [55]。Boyu Wang将卷积神经网络和卷积自动编码器应用于X射线散射图像分类，该方法在合成和真实数据集上的表现优于以前发布的方法 [56]。DeCost应用深度卷积神经网络分割模型实现了超高碳钢微观结构的新型自动微结构分割 [57]。Li等人采用深度神经网络(DNN)在宽视场显微镜中实现了相位检索，能够定性地重建相位目标的轮廓 [58]。Wei Li基于计算机视觉的方法开发自动识别工具 [59]。它采用了级联对象检测器、卷积神经网络和局部图像分析方法。该自动化工具适用于不同对比度，亮度和放大率的图像，在精确度方面与人工处理方法相比通常会更好，且实现了接近人类平均值的定量图像/缺陷分析指标。Maksov [60] 为了解决扫描透射电子显微镜(STEM)的高分辨率观测数据的自动收集问题开发了用于动态STEM成像的深度学习框架，该框架经过训练可以发现晶格缺陷并将其应用于映射分层WS2中的固态反应和相变。这种方法具有通用性，在束诱导反应中的应用允许在原子水平上绘制固体中的化学转化途径。

3.3. 深度学习在原子作用势建模中的应用

原子作用势建模则是深度神经网络另外一个极具活力的研究领域。第一性原理计算的高精度模拟和经过仔细筛选和评估的材料数据库 [6] 为深度神经网络的应用提供数据支撑。目前数据驱动的原子势研究主要有两个方案：神经网络势(神经网络代替势函数)和优化势模型(神经网络作为优化器)。两者本质上都是对势能面进行拟合。神经网络势可以使经典分子动力学的计算精度接近第一性原理计算，同时相比于第一性原理分子动力学其计算规模能提升至少两个量级，从而使得更多缺陷结构的高精度动力学研究成为可能。神经网络优化势模型方法提升了传统势模型的精度，改进了势模型的构建方式，扩展了势模型的适用范围，使一些原本受限于势函数(存在性、适用范围、精度)的材料的动态性质能够进行研究。Behler提出了一种新的DFT势能面的神经网络表示 [61]，其中能量和力是任意大小系统中所有原子位置的函数，其计算效率比DFT快几个数量级。王涵等提出了基于深度神经网络的DPMD方法 [62] [63]，该方法中设计的神经网络模型保留了系统的所有自然对称性，由ab initio数据训练进行训练兵产生多体势和原子间力。所有研究示例表明DPMD提供的结果基本上与原始数据无法区分，其计算成本与系统规模呈线性关系。他们后续的工作进一步该方法用于铝镁合金作用势的开发 [64]，取得非常好的效果。这也充分说明了DPMD具有非常好的适用性，可以用于分子体系和体材料的研究。

神经网络势方法的适用性好，在保持第一性原理分子动力学的计算精度的同时提升了计算规模，但对于许多材料的动力学研究，模拟规模仍达不满足需求。经典分子动力学模拟是研究材料动态加载下微结构与物性的重要工具，但其准确预测性取决于原子间相互作用势以及分析获取系统物理特征的能力。传统原子间作用势开发难度很高，适用性好的势模型研制周期很长(通常需要几年)，难以满足学术界和工业界日益增加的需求，其核心制约在于势模型本身的适用范围和模型参数的优化。将电子结构计算的准确性和灵活性与经典作用势的速度相结合诞生了数据驱动的势模型优化方法。这种方法分离了数据、势模型和参数优化，可以根据问题研究需要选择高精度的电子结构计算程序(例如VASP)生成数据集，然后选择或改进势模型，最后用机器学习或者深度学习的方法优化模型参数。Chan等人的最新工作是这个方向的典型代表。他们将该方法用在开发各种材料(包括金属，氧化物，氮化物，异质界面和二维(2-D)材料)的力场方面取得了显著效果 [65]。

3.4. 深度学习在微介宏观尺度模拟中的应用

深度神经网络与第一性原理计算结合的原子势研究方法，极大降低了原子势的开发壁垒，拓展了材料微观尺度研究的范围，也为材料微结构与物性提供了一种新的研究范式。人们逐步将神经网络应用到分子动力学、位错动力学、相场和流体模拟中，取得了一些具有启示性的进展。例如，Endo提出了基于Wasserstein生成对抗网络的深度神经网络的多步时间序列发生器，可以生成具有足够精度的分子动力学数据的时间序列用于计算物理上重要的动态统计数据 [66]。Xie等人开发了图形动态网络的无监督学习方法用于理解分子动力学模拟中任意阶段和环境中的原子尺度动力学 [67]。该方法能够学习到各种多组分无定形材料系统的重要动力学信息。Salmenjoki结合神经网络和二维离散位错动力学(2D DDD)模拟对复杂动力学行为进行了研究(微柱压缩过程的位错雪崩和应变突变，二维离散位错模型在松弛和外部载荷下动力学行为) [68] [69]。Zhang等将卷积神经网络(ConvNets)用于提取几何必需位错(GND)分布图中的隐藏信息以理解位错的微结构 [70]。预训练的ConvNets可从小的GND密度图预测总位错密度的分布。Nomoto采用有限界面耗散模型的多相场方法模拟不锈钢组合物在高温冷却速率和增材制造温度梯度的非平衡条件下的凝固组织演变 [71]。模拟中使用神经网络预测程序代替CALPHAD数据库的热力学计算以减少计算时间，保证结果一致性的同时计算速度比直接CALPHAD计算方法快约五倍。Goswami等提出了新的基于物理信息的神经网络(PINN)算法用于解决脆性断裂问题 [72]。与传统基于残差的PINN相比，新方法的边界条件施加更简单稳健，训练网络更快。X. Mao基于卷积神经网络(CNN)预测由于自由表面波运动导致的钝体上的非定常波浪力 [73]。Gibou在多相流的背景下讨论了机器学习和深度学习技术，并提出了未来潜在的研究重点，提出使用深度学习加强多相流的研究和模拟 [74]。

4. 深度学习在材料微结构与物性研究中存在的困难和挑战

以深度学习为主要代表的当代人工智能方法的出现极大改变并增强了计算机在科学和工程中的作用。这种以大数据为基础，人工智能为手段(主要是深度学习)的研究是不同于传统实验、理论与模拟的“新范式” [6]。目前深度神经网络在微结构与物性关联、微结构分析与表征以及原子作用势构建研究中的应用卓有成效，但仍然存在许多困难和挑战需要进一步的深入研究。数据是深度学习方法研究材料结构与物性的核心，当前存在的主要困难与挑战都与之密切相关，可以粗略归为小数据和大数据两类。小数据集问题主要是指神经网络方法如何在小数据集中应用，这是目前的研究前沿。大数据集问题主要是指研究的问题本身需要大量数据或可以获取大量数据，其难点在于数据集的构建以及适用性评估。材料微结构与宏观物性的多尺度研究需要微介宏观各尺度的大量微结构本构及材料物性数据，当前材料研究领域的高精度大数据集中在微观电子结构尺度和宏观的工程应用尺度，数据主要来自相关尺度的数值模拟与实验观测。介观尺度是衔接微观和宏观的桥梁和关键，目前虽然已经有了一些神经网络位错动力学以及相场模拟相结合的研究，但受限于这些方法本身能够提供的数据类型、精度和表征方法，相关应用成果较少。如何获取该尺度的微结构数据是当前研究中最具挑战性的问题。对于微观和宏观尺度问题，已有多种模拟和实验手段能够获取大量数据，当前的难点主要是多来源数据的适用性评估。已有研究发现多种模拟方法共同构建的大数据集虽然可以丰富数据空间，但应用效果并不理想，这需要我们对已有数据的精度和适用性进行评估，避免不恰当的拟合。对小数据集类问题，在开展问题的适应性研究的同时，应发展相应的微介观尺度的实验和模拟方法使之能够提供满足数据挖掘需要的高精度数据。当前以晶体相场、相场微力学、场位错力学为代表的模拟方法取得了很大进展。晶体相场和相场微力学方法将传统粗粒化的相场方法扩展到微观尺度，通过引入微缺陷结构的序参数，构建系统的自由能泛函，求解序参数的演化方程，加深了对诸如晶界生长、固液相变等的规律性认识，促进了位错动力学和晶体塑性的研究。场位错动力学从变形不协调性出发引入广义向错，扩展了传统缺陷动力学的概念和范畴，该理论目前已经可以在统一的连续介质框架下研究位错、晶界和相畴等微结构，其中发展的时间平均粗粒化方案便于系统自由度约化和大尺度模型的构建。这些理论和方法的发展和成熟能够为深度神经网络的应用提供模拟技术支撑。

5. 总结与展望

材料的微观结构使其具有了丰富的性质，同时也使体系的研究极具挑战性。综合上述材料微结构的研究现状和深度学习的技术特点，我们认为深度学习近期在微结构和物性研究的应用中取得如下几方面进展：1) 新的微结构和宏观物性关联方案。实际材料的微结构类型和分布与材料的生产工艺和应用环境密切相关。构建微结构和宏观物性间的桥梁就是要建立微结构与物性的复杂映射关系。人工智能特别是深度学习非常适合处理这类问题，且在钢和非均质材料的结构与物性研究中取得了进展，只要材料的微结构和宏观物性信息准确充分，就能够采用神经网络简化建模过程，提升效率；2) 新的微结构信息获取途径。基于深度神经网络的微结构自动化分析方法和平台提供了快速累积材料微结构的大量高精度的分类与表征数据的通用便捷途径，在实验观测的微结构图像的自动分析上取得了令人鼓舞的应用效果，与数值模拟结合分析微结构分布和演化特征的工作也取得了一些进展，这些成果使我们能够获取微结构的更全面准确信息(几何、静态和动态性质等)。能够减少传统分析方法的不确定性，提升分析精度和效率，快速累积高精度的材料微结构数据，为微结构特征的精细描述提供了数据支撑，同时为实验观测和数值模拟研究提出获取大量可靠的高精度数据的明确需求；3) 新的多尺度衔接方法。第一性原理计算能够生成材料的大量高精度构型和能量数据，应用深度神经网络建立体系势能和原子位置的关联从根本上改变了传统原子相互作用势的研究现状，为材料微结构与物性研究提供了新方法，开拓了新局面。以神经网络衔接“电子结构”和“原子结构”的方法原则上可扩展到微介和介宏观尺度，作为多尺度衔接的桥梁。

随着计算能力进一步提升，高精度实验和模拟技术的不断发展，深度神经网络在材料微结构与物性研究中将发挥越来越大的作用，降低研究门槛的同时有望由此建立一个基于数据(数据生产 + 数据挖掘)的可持续研究模式。

致谢

文章撰写过程中与林德烨博士的讨论受益匪浅，在此表示感谢。

基金项目

本项工作受到了国防基础研究挑战计划(项目号：TZ2018001)的支持。

文章引用

卢 果,段素青. 深度学习：材料微结构与物性研究中的新动力
Deep Learning: New Engine for the Study of Material Microstructures and Physical Properties[J]. 现代物理, 2019, 09(06): 263-276. https://doi.org/10.12677/MP.2019.96026

参考文献