应急管理部国家减灾中心，北京

收稿日期：2022年6月28日；录用日期：2022年7月26日；发布日期：2022年8月4日

摘要

灾后建筑物损毁评估可以高效辅助应急救援、指挥决策与恢复重建等工作。近年来，遥感技术与深度学习方法的飞速发展为高效掌握灾后建筑物的损毁情况提供了重要的技术支撑。然而，高分辨率遥感影像上的损毁建筑物样本获取困难，且可用于深度学习模型训练的公开数据集较少。因此，本文利用2021年云南大理漾濞6.4级地震灾前Google Earth 20级影像和灾后高分辨率无人机遥感影像分别进行建筑物轮廓自动提取，通过对比分析灾前、灾后建筑物分布情况与灾后建筑物的屋顶损毁面积占比，并结合灾后三维模型辅助研判，最终得到一组带有损毁等级属性的灾后损毁建筑物样本数据集，为基于深度学习方法进行建筑物损毁评估的模型训练等算法研究工作提供数据基础。

关键词

建筑物损毁评估，样本集，建筑物检测，无人机

Construction of a Sample Set of Earthquake-Damaged Buildings Based on Post-Disaster UAV Remote Sensing Images

Zhe Dong, Wei Wang, Lingling Li, Weier Luo, Zhihong Wu

National Disaster Reduction Center of China, Ministry of Emergency Management of the People’s Republic of China, Beijing

Received: Jun. 28^th, 2022; accepted: Jul. 26^th, 2022; published: Aug. 4^th, 2022

ABSTRACT

Assessment of damaged buildings in post-disaster images can efficiently assist emergency rescue, command decision-making, restoration and reconstruction. In recent years, with the rapid development of remote sensing technology and deep learning methods, there has been important technical support for efficiently grasping the damage of buildings after disasters. However, samples of damaged buildings on high-resolution remote sensing images are difficult to obtain, and there are few public datasets available for deep learning model training. Therefore, this paper uses the Google Earth 20 image before the 2021 Yangbi M6.4 earthquake in Dali, Yunnan Province and the post-disaster high-resolution UAV remote sensing image to extract the building contour automatically respectively. By comparing and analyzing the distribution of buildings before and after the disaster and the proportion of roof damage area of buildings after the disaster, and combining with the post-disaster three-dimensional model to assist in research and judgment, a set of sample data sets of post-disaster damaged buildings with damage grade attribute are finally obtained. It provides data basis for algorithm research such as model training of building damage assessment based on deep learning method.

Keywords:Assessment of Damaged Buildings, Sample Sets, Building Detection, UAV

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

建筑物是人类活动的主要场所，通常也是灾害过程中造成人员伤亡和财产损失较为严重的区域。快速、准确地掌握灾后建筑物的损毁情况，可以高效辅助应急救援、指挥决策与恢复重建等工作的开展 [1] [2]。

传统的灾后建筑物损毁评估工作，主要通过现场实地勘察来完成，虽然这种方式评估结果更为准确，但需要大量的人力物力，且工作效率较低。近年来，遥感技术的飞速发展为准确、快速地开展灾情评估与应急救援等工作提供了丰富的数据源，尤其是无人机遥感技术具有的成本低、机动灵活、影像分辨率高以及可实时传输等特点，使得深入开展防灾减灾相关工作成为可能 [1] [3]。另一方面，随着深度学习技术的不断发展，基于遥感影像的地物目标自动识别算法可以大幅度提升影像解译的工作效率，已经成为震后应急响应与震后灾情评估等工作中十分重要的技术手段。

然而不同于其他常见的地物类别，高分辨率遥感影像上的损毁建筑物样本获取困难，且公开的数据集较少。基于深度学习方法的损毁建筑物识别算法研究需要一定的样本累计，因此，本文利用2021年云南大理漾濞6.4级地震的灾后无人机二维正射影像，研究构建一组带有损毁等级属性的灾后损毁建筑物样本数据集，为后续进行建筑物损毁识别等算法研究工作提供重要的数据基础。

2. 研究区与数据源

2021年5月21日21时48分34秒，云南省大理州漾濞县苍山西镇发生6.4级地震。震中为北纬25.67度，东经99.87度，震源深度为8 km。截至5月22日15时报道，地震造成35人伤亡，其中3人死亡、7人重伤、25人轻伤 [4]。漾濞县共损毁建筑物14,122栋，其中倒塌232栋，多分布在震中半径5公里范围内，中度或轻度损毁13,930栋 [5]。

本文使用的灾后数据是由国家减灾中心通过“重大灾害应急无人机合作机制”协调合作单位的无人机队伍，多机分区域协同作业拍摄的无人机高分辨率遥感影像。数据拍摄于5月23日，覆盖约12.04平方公里，位于VIII级地震区内东侧，影像分辨率为0.03 m。灾前数据使用Google Earth 20级影像。灾前灾后影像及研究区位置情况见图1。

图1. 云南漾濞6.4级地震灾前灾后影像对比

3. 技术路线

本文研究目的是针对云南大理漾濞6.4级地震的灾后无人机二维正射影像，构建一组灾后损毁建筑物数据集，总体技术路线如图2。首先，需要分别对灾前、灾后影像提取建筑物轮廓，依据灾后影像对灾后提取结果进行判别，逐一初步判定建筑物损毁等级；其次，通过灾前灾后建筑物轮廓对比分析，对二维影像上看到的可能是完全损毁或外围墙体脱落的建筑物进行标注；最后，在灾后三维模型中对被标注的建筑物逐一进行观察分析，最终确定损毁等级，从而得到准确完整的损毁建筑物数据集。

图2. 总体技术路线

3.1. 灾前建筑物轮廓提取

本文采用Dong等人提出的一种基于边界的多尺度建筑物检测方法 [6] 对灾前建筑物轮廓进行提取。该方法是一种基于BMask R-CNN的二阶段方法，其框架主要包括一个特征提取网络和四个预测分支，适用于从大篇幅的高分辨率遥感影像中快速完成建筑物检测，并获得规则的建筑物边界。该方法采用轻量级网络ShuffleNet进行特征图提取，应用特征金字塔网络(Feature Pyramid Network, FPN)聚合低级与高级特征，多维注意力网络(Multidimensional Attention, MDA)增强了建筑特征并削弱了复杂的背景信息，并应用了四个分支对对象的类标签、边界框、方向框和掩码进行预测。

Dong等人共标注了约870,000栋不同类型的建筑物，构建了国内27个省的正负样本集。相比于Mask R-CNN，该模型测试结果的准确率高12.4%，召回率高3.6%，分割结果的准确率高6%，检测时间节省了约30%。

3.2. 灾后建筑物轮廓提取

同样应用上述模型对灾后无人机二维正射影像进行建筑物轮廓提取，但由于该模型的建筑物训练样本使用的是分辨率为0.26米的Google Map影像，因此，为了保证建筑物检测结果的精度，需要将分辨率0.03米的灾后无人机影像重采样至0.3米，再应用该模型进行提取，从而得到灾后无人机影像上的单栋建筑物轮廓矢量。在此基础上再进行人工核，发现并修正漏检与误检的情况，从而得到准确的灾后建筑物轮廓矢量，大幅度提高了灾后无人机影像的解译速度。

3.3. 灾前灾后建筑物对比

本文使用的建筑物轮廓检测模型的训练样本只用到了完好建筑物，未涉及到损毁建筑物，尤其是完全损毁建筑物。建筑物轮廓检测算法可以将影像上保留了建筑屋顶结构的轮廓识别出来，但对于完全损毁的倒塌建筑物则无法对其进行准确地识别。因此，将提取到的灾前建筑物轮廓与灾后建筑物轮廓相叠加，找出灾前影像中被准确检测出的、但在灾后影像中未被检测出的轮廓矢量，作为完全损毁建筑物候选区，以便在后面的损毁等级判定步骤中执行进一步的验证和判断。

3.4. 灾后建筑物损毁等级判定

针对灾后建筑物损毁分级的常用标准有欧洲地震委员会发布的欧洲地震烈度表(European macroseismic scale, EMS-98) [7]，以及中国地震局提出的《建(构)筑物地震破坏等级划分》 [8] 标准。EMS-98是通过对不同级别的损毁建筑物分别进行文字和图形的具体刻画来描述差异，具体将损毁建筑物分为5个等级：完好、轻微损毁、中度损毁、严重损毁与完全损毁 [1]。《建(构)筑物地震破坏等级划分》标准则是主要基于实地调查的结果，考虑到不同建筑物类型的承重与非承重构件的破坏程度、修复的难易程度以及结构使用功能的丧失程度，将建筑物震害的损毁等级分5个等级：基本完好、轻微破坏、中等破坏、严重破坏和损毁 [1]。

由于本文研究目的是利用灾后无人机二维正射遥感影像，通过专家研判，构建一组带有损毁等级属性的、后续可用于深度学习的震后损毁建筑物样本数据集。在二维正射影像上可以清晰地辨别屋顶形态，但建筑的内部结构及其侧立面的损毁状况是无法被观测到的。据此，综合上述两种较为常用的建筑物损毁定级标准，本文将重点依据灾后正射影像上的建筑屋顶损毁面积占比及墙体外围的脱落情况，将灾后房屋损毁等级划分为：基本完好、轻微损毁、中度损毁、严重损毁与完全损毁共5个等级。

首先，在无人机二维正射影像上叠加灾后建筑物轮廓，对比灾前影像，根据屋顶损毁面积的占比大小来进行损毁等级的初步判定，并对疑似存在墙体脱落情况或完全损毁的建筑物区域进行标注；然后，在灾后三维模型中分别对标注区域建筑物的侧立面损毁情况进行查看，分析判断是否存在外围墙体脱落，同时对二维影像中疑似的完全损毁建筑物进行验证，并逐一为其完善损毁等级。

4. 结果与分析

4.1. 灾前建筑物轮廓提取结果分析

灾前Google Earth影像是以瓦片形式存储的，20级影像每幅大小为12 GB，覆盖约345平方公里。本文研究区范围涉及两幅瓦片，使用8张NVIDIA GTX T4显卡，100 GB内存的配置，自动提取用时4分13秒，共得到52,495栋灾前建筑物轮廓矢量，其中灾后影像范围内提取到的灾前建筑物有6426栋，如图3。

图3. 灾前建筑物提取结果

4.2. 灾后建筑物轮廓提取结果分析

重采样后无人机遥感影像大小约为326 MB，使用8张NVIDIA GTX T4显卡，100 GB内存的配置进行自动建筑物提取，共提取9438栋建筑物，用时118秒。在自动提取到的建筑物轮廓的基础上，结合灾后影像，人工核查发现提取结果中有414个错检(False positive, FP)框，即其他地物类型被检测为建筑物，853个漏检(False negative, FN)框，即未被检测出来的建筑物。因此，总共得到9877栋灾后建筑物轮廓矢量，其分布情况见图4。

4.3. 灾前灾后建筑物对比结果分析

灾前建筑物检测数量为8426栋，灾后建筑物数量为9877栋。经过检查分析，发现研究区内的灾前Google Earth影像质量不佳，清晰度远不如重采样至0.3米后的无人机影像。因此导致灾前影像上的漏检情况较为严重，尤其是屋顶面积较小的建筑物，但鉴于本文的目的为针对灾后影像构建数据集，为节省工作量，无需对灾前建筑物提取结果进行核查。所以，本文直接将提取到的灾前建筑物矢量与核查后的灾后建筑物轮廓叠加，重点检查灾前影像中被准确检测出的、但在灾后影像中未被检测出的区域进行查看，共标注出6处疑似完全损毁建筑物的候选区，需要在灾后三维模型中进行进一步的分析判断。

图4. 核查修正后的灾后建筑物分布

另外，在对比分析灾前、灾后影像及建筑物检测结果的过程中发现，本文使用的灾后无人机影像为正射影像，但本文所使用的灾前Google Earth影像不是正射影像，这就导致灾前建筑物轮廓矢量在叠加灾后二维正射影像、或灾后建筑物轮廓叠加灾前影像时都会存在一定的偏移(如图5)，且难以进行校正。另外，本文应用的建筑物检测方法所得到的结果是建筑物屋顶的轮廓，不包括外围墙体脱落的部分。然而墙体脱落情况的严重程度也是建筑物损毁评估中的重要指标之一，也应当被剪裁进样本范围内。因此，综合分析上述两种情况，在后续研究中使用本文构建的损毁建筑物样本集时，笔者将会尝试在利用轮廓矢量对灾后影像进行裁剪时添加一定的外扩 [9]，既能在一定程度上解决灾前灾后检测屋顶轮廓的偏移问题，也能将外围墙体脱落部分纳入到样本集中。

图5. 灾前灾后影像局部对比

4.4. 灾后建筑物损毁等级判定结果分析

经灾前、灾后二维影像与灾后三维模型的综合对比分析，最终统计出在灾后建筑物检测出的轮廓中，有734栋建筑为轻度损毁，103栋为中度损毁，23栋严重损毁，其余9063栋为基本完好，另有3栋完全损毁建筑物未在灾后影像中被检测出来。最终得到的数据集分布与各等级房屋损毁形态如图6。

图6. 漾濞6.4级地震损毁建筑物样本集

在对灾后三维模型中的墙体脱落情况和完全损毁候选区进行核查时发现，有些建筑物完全损毁的形态是可以在二维正射影像上被识别出来的(如图7)，而有些可能是原本就堆积的杂物石块(如图8)。因此，在为损毁建筑物进行样本属性标注时，依靠三维模型进行进一步的核查判别是十分必要的。

图7. 二维正射影像容易辨别的完全损毁建筑物候选区

图8. 二维正射影像不易准确辨别的完全损毁建筑物候选区

同时，在灾后三维模型上发现了很多建筑物侧立面的损毁细节，如墙体裂缝、窗户破损等，这些在建筑物损毁等级评估的工作中也是应当被综合考虑进去的重要指标。我们发现了一些屋顶形态完好，但里面裂缝、墙体脱落明显的情况(如图9)，这些仅凭灾后无人机的二维正射影像是难以观测到的。若是能够更多地依靠倾斜摄影技术，可以更为直观准确地判别损毁等级。因此，将建筑物损毁评估与倾斜摄影技术相结合将成为十分重要的研究方向。

图9. 建筑物外立面损毁明显但屋顶形态完好

5. 结论

本文基于2021年云南大理漾濞6.4级地震，利用灾前Google Earth影像与灾后无人机遥感影像分别进行建筑物轮廓自动提取，经灾前、灾后二维影像与灾后三维模型的综合对比分析，最终得到一组带有损毁等级属性的灾后损毁建筑物样本数据集，可以为后续建筑物损毁评估的算法研究工作提供数据基础。在研究过程中发现：1) 提取到的灾前和灾后建筑物之间存在难以矫正的偏移；2) 提取到的是建筑物的屋顶轮廓，不包括外围墙体脱落掉在地上的部分，但这也是用以评估建筑物损毁程度的重要指标；3) 研究区中存在屋顶完好但外侧立面出现明显裂缝的情况。因此，在未来建筑物损毁评估的算法研究中，笔者将会进一步尝试在利用轮廓矢量对灾后二维影像进行裁剪时添加一定的外扩，以解决(1)和(2)的问题，并研究如何利用倾斜摄影技术进行更为准确的三维建筑物损毁评估。

基金项目

2020年度科技创新2030——“新一代人工智能”重大项目(批准号：2020AAA0108200)；应急管理部国家减灾中心主任科研基金项目202031ZZ00。

文章引用

董 喆,王 薇,李苓苓,罗伟儿,武志宏. 基于灾后无人机遥感影像的地震损毁建筑物样本集构建
Construction of a Sample Set of Earthquake-Damaged Buildings Based on Post-Disaster UAV Remote Sensing Images[J]. 人工智能与机器人研究, 2022, 11(03): 227-235. https://doi.org/10.12677/AIRR.2022.113024

参考文献