¹南京信息工程大学气象灾害预报预警与评估协同创新中心，江苏 南京

²中国气象局气溶胶与云降水重点开放实验室，江苏 南京

³中国科学院中层大气和全球环境探测重点实验室，北京

⁴南京信大安全应急管理研究院，江苏 南京

收稿日期：2022年5月8日；录用日期：2022年5月25日；发布日期：2022年6月10日

摘要

森林火灾是一种严重的自然灾害，且我国地域辽阔、森林面积广阔，对于森林火灾的预警监测需求量巨大。针对我国森林火灾问题，从扩大森林火灾监测范围、提升森林火灾识别响应速度的角度出发，设计了一种基于无人机图像拍摄、利用卷积神经网络对火灾信号进行识别的方案。该方案与传统的人工监控、飞机巡视、卫星火情监控等方案对比后认为具有更低的成本以及更高的效率和安全性。

关键词

森林防火，无人机，神经网络，火灾识别

Research on Forest Fire Monitoring Technology Based on UAV and Convolutional Neural Network

Jiaqi Shi^1,2, Jinhu Wang^1,2,3,4*, Junhui Xu^1,2, Yuhao Wang^1,2, Jing Wang¹

¹Collaborative Innovation Center on Forecast and Evaluation of Meteorological Disasters, Nanjing University of Information Science and Technology, Nanjing Jiangsu

²Key Open Laboratory of Aerosol and Cloud Precipitation, China Meteorological Administration, Nanjing Jiangsu

³Key Laboratory of Middle Atmosphere and Global Environment Observation, Chinese Academy of Sciences, Beijing

⁴Nanjing Xinda Institute of Safety and Emergency Management, Nanjing Jiangsu

Received: May 8^th, 2022; accepted: May 25^th, 2022; published: Jun. 10^th, 2022

ABSTRACT

Forest fire is a serious natural disaster and our country is vast, so the forest area is vast, for the prevention and monitoring of forest fire huge demand. Aiming at the problem of forest fire in China, in order to expand the scope of forest fire monitoring and improve the response speed of forest fire identification, a scheme based on UAV image shooting and using convolutional neural network to identify fire signals is designed. Compared with traditional manual monitoring, aircraft patrol, satellite fire monitoring and other programs, the scheme has higher efficiency and safety and lower cost.

Keywords:Forest Fire Prevention, Unmanned Aerial Vehicle, Neural Networks, Fire Identification

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

近年来随着我国的碳达峰、碳中和理念的提出，以CO₂为主的温室气体减排问题得到了广泛的重视，相对于常规的工业减排措施，森林的碳汇更加有效 [1]。中国政府在减排承诺书中提出林业发展目标：“到2030年，中国森林储蓄量将比2005年增加60 × 10⁸ m³” [2]，对于如此数量的林业发展目标，森林的保护工作显得至关重要。由于近些年来全球气候不断变暖导致森林火灾的发生几率也在不断上升 [3]，且山区气旋活动较为频繁易出现的干雷暴现象更易引起大范围的雷击山火 [4]，因此森林火灾防护的任务愈发繁重。我国森林火灾的监测主要依靠地面火灾监测站，载人飞机巡视和卫星数据预警等措施，然而这些方法存在着很多的不足。如李英科等 [5] 基于卫星数据的森林火灾监测时，利用卫星数据完成火点的模糊阶段到确定阶段，该方法可以监测大面积的森林火灾情况，但监测实时性差，无法在火灾发生初期及时预警。王冬雨等 [6] 将无线传感器网络用于森林火灾的监测研究，通过在林区布设无线感知网络实现火灾预警及精确的定位，但对于我国的森林面积难以覆盖监测。陈培昕等 [7] 提出基于卷积神经网络的林火烟雾识别技术，应用卷积神经网络对火灾图像特征学习，识别烟雾图像，具有识别速度快，精确度高等特点，但该方法需要稳定的林区视频数据支持。许明伟等 [8] 提出基于卷积神经网络识别的港口防火系统设计，它是一种基于无人机的图像采集和卷积神经网络图像识别算法，采用了多旋翼无人机进行图像数据传输，该方案适合于监测范围较小的港口地区，然而对于面积大的林区难以做到全面监测。地面火灾监测站多以热成像设备监控和人工巡山为主，由于山区存在地势复杂，山峦交错等特点导致设备架设困难，人工巡山难度大。载人飞机巡视成本较高并且每天的巡视次数有限，在天气环境较差的情况下存在安全隐患威胁飞行员安全。卫星数据监控由于技术难度高和成本高，同样不适用于我国森林防火的现状 [9] [10]。随着无人机技术和图像识别技术的成熟，将无人机与图像识别技术相结合的新型森林火灾监测技术有望替代传统方法。由于无人机的拍摄分辨率不断提高，巡航能力也得到很大的提升，可在山区长时间巡航拍摄 [11]。图像识别技术在火灾识别领域已取得了较好的成绩，其中卷积神经网络算法可以通过大量的数据进行无监督学习建立火灾识别模型 [12]，利用训练好的模型对监控区域图像的分析可对是否发生火灾进行判断，有着覆盖面积大、响应时间短和成本低的特点。基于上述特点，本文提出的基于无人机和卷积神经网络的森林火灾防护系统，能够解决传统森林火灾防护中灵活性差、监测范围有限、成本较高等问题。

2. 森林火灾防护的介绍

森林火灾预警系统主要由无人机图像采集和图像识别技术两部分组成，森林火灾预警系统的流程如图1所示。将无人机拍摄的林区图片图传至计算机，并载入训练好的深度卷积神经网络模型中判断是否发生火灾，若发生火灾则及时发出火灾预警信号，组织人员进行灭火。该方案能够及时发现火情，降低火灾引起森林资源的损失。

图1. 预警系统流程

2.1. 森林火灾无人机设备

森林火灾监测中无人机的使用主要以旋翼无人机和固定翼无人机为主。旋翼无人机具有大负载及垂直悬停的特点，但因为续航能力差导致覆盖范围小的问题，不适合用于森林火灾监测，图2(a)为大疆御Pro旋翼无人机。固定翼无人机相比于旋翼无人机速度快且续航能力更强适合在林区的长时间巡航监测，图2(b)为法国Parrot固定翼无人机。考虑到山区环境特点和监测的需求 [13]，本文选用了具有速度优势和续航优势的固定翼无人机作为森林火灾监测的设备。

2.2. 无人机图传方案选择

森林火灾的实时监测主要依靠无人机拍摄的林区图片进行判断，对于林区的远距离传输，其传输质量直接影响火灾监测的效率，因此将传输时延和传输距离作为重要参考标准。目前用于无人机图传的技术主要包括：OFDM (Orthogonal Frequency Division Multiplexing)即正交频分复用技术、COFDM (Coded Orthogonal Frequency Division Multiplexing)即编码的OFDM、WiFi传输视频流方式、Lightbridge高清远距离数字图传技术 [14]，图传技术的各项指标如表1所示。

图2. 无人机示例图

表1. 各类传输技术指标

OFDM和COFDM有着较高的传输距离，然而OFDM对于相位噪声和载波偏移敏感，抗干扰能力差，COFDM对OFDM进行了改进传输质量更加的稳定但其传输时延较高 [15]，故本文不予选用。WiFi传输视频流技术具有图像质量高传输时延低的特点，但由于其传输距离的短板也不适用于林区的大距离图像传输 [16]。Lightbridge技术使用单向传输方式，类似于电视广播塔的传输方式 [17]，基于此特性图传时延在100~200 ms之间，传输距离能到达5 km，不仅拥有较小的传输时延，还可以最大化传输距离，符合林区实际需求，为预警站点的计算机提供了可靠的图像数据，无人机采用大疆的Lightbridge 2高清图传，图传模块如图3所示。

图3. 图传模块

2.3. 无人机探测及路径规划

由于无人机的续航时间有限，在进行森林防火监测作业时要按照一定的路线进行飞行，最大化利用无人机的续航对林场进行全方位的监测，在大疆软件中对无人机飞行路线进行规划，采用割草机式的搜索路线保证林区监测无死角，以南京龙王山风景区为例进行路径规划，如图4所示。

图4. 无人机路线规划

3. 卷积神经网络林火识别模型

卷积神经网络的设计灵感来自于生物的视觉感知机制，自发明以来常用于计算机视觉领域 [18]。其主要由输入层、卷积层、激活函数层、池化层和全连接层组成，它是针对图像分类和识别而设计的一种深度识别方法，卷积网络模型结构如图5所示。

图5. 卷积神经网络基本模型

3.1. 模型训练数据集的选取

对于卷积神经网络林火识别模型主要分为模型的训练和评估两部分。为了实现对森林火灾图像的识别，要找到相应的数据集对模型进行训练，利用如图6所示的3000张各类火灾图像(其中非火灾数据集中部分为太阳光、红黄色物品、灯光等假火焰样本)则可以减少训练出的模型对于该类特征的误报率。

图6. 训练数据集

3.2. 模型网络层设计

由于一张火灾图片存在着和火焰不相关的干扰信息，因此为了降低神经网络的学习难度，设计了多个卷积层对火灾图片的深层特征进行提取，并减少训练参数及提升学习效率，该方法包含了3个卷积层和3个池化层，在网络层中对卷积层提取的火焰特征在样本中进行映射，网络层结构如图7所示，利用反向传播机制对算法进行优化，解决了人工定义参数和特征学习的问题 [19]。

图7. 网络层结构

网络结构的设计直接影响着模型的性能，本文设计的卷积神经网络模型主要包括3个卷积层、3个池化层、1个全连接层。相对于其他的图像识别算法，卷积神经网络更适合用于无人机视频监控的火灾监测中，无人机拍摄的林区图片视角广，信息量较大，采用卷积神经网络进行特征的提取在实际监测中运算速度更快，效率更高。

网络层结构的具体设计如下所示：

① 输入层：选用的图像是RGB三通道的彩色图像，将图像统一大小为112 pixel × 92 pixel的图片格式作为网络层的输入。

② 卷积层1：卷积核的大小直接影响到特征提取的效率，卷积核设计的太小会缺失感知野使得卷积层提取的特征无法表示图像特点，卷积核设计得太大会增加参数两和计算的复杂程度，可以利用多个小卷积核进行特征的提取，不仅可以保留感知野还能减少训练的复杂度，这里采用16个3 × 3的卷积核对输入的图像进行特征提取。选用的激活函数为Relu激活函数，特征经过激活函数得到112 pixel × 92 pixel × 16的特征图谱。

③ 池化层1：采用最大值池化对特征进行降维，这里采用大小为2 × 2的池化核，得到56 pixel × 46 pixel × 16个特征图谱。

④ 卷积层2：采取和卷积层1同样的卷积核设计数量为32个，经过Relu激活函数得到56 pixel × 46 pixel × 32个特征图谱。

⑤ 池化层2：采用最大值池化，池化核的大小与池化层1相同，得到28 pixel × 23 pixel × 32个特征图谱。

⑥ 卷积层3：卷积核大小同上，数量为64个，经过激活函数得到28 pixel × 23 pixel × 64个特征图谱。

⑦ 池化层3：同样采用最大值池化，池化核大小同上，得到14 pixel × 12 pixel × 64个特征图谱。

⑧ 全连接层：将卷积层得到的特征图谱进行扁平化处理得到10,752个一维向量，使用Relu激活函数随机丢去一些权重提供泛化能力，对全连接层进行正则化处理防止过拟合现象的出现。

⑨ 输出层：因为本文的火灾识别模型只有发生火灾和无火灾两个输出结果，所以输出层选择了适合二分类问题的sigmoid分类器对输出的特征进行分类。

4. 实验结果及分析

4.1. 实验设备

本次实验设备为：64位 Microsoft Windows 10操作系统，图形处理器(GPU)为8 GB内存GTX1070，中央处理器(CPU)Intel Corei5，16 GB内存。深度学习框架使用tensorflow，版本为tensorflow-gpu==1.5.0，编程语言为python，选用Parrot DISCO无人机作为林区监测设备。

4.2. 训练模型及模型分析

将准备好的数据集按照8:2的比例划分为训练集和测试集，并对数据集的图片进行统一裁剪为输入层所需要的112 pixel × 92 pixel像素格式，每次训练使用10个图片样本，训练次数epoch设置为5000，正则化丢弃率设为0.4，学习率为1 × 10⁻³，采用Adam作为自动执行梯度优化算法。通过5000次的迭代后，图8为训练准确率变化图，图8的结果表明，随着迭代次数不断的增加，模型的准确度也在不断增加，到达4500次之后，训练的准确率趋向于1。图9为模型训练的损失值变化图，图9的结果表明，训练初期损失很高表示真实的样本标签与模型预测概率之间的差值很大，随着训练次数的增加，损失值在不断减少，证明了随着训练次数的增加，网络的参数得到了有效的优化。

4.3. 模型评估指标

森林火灾的识别属于二分类问题，可将样本根据其真实类别与模型预测类别的组合划分为真正例、假正例、真反例、假反例4种情形，令TP、FP、TN、FN分别表示真正样本数、假正样本数、真负样本数、假负样本数，本文根据以下公式分别计算漏报率(FNR)、误报率(FPR)、准确率(ACC)对模型进行评估 [20]。

图8. 准确率变化

图9. 损失值变化

漏报率：

$FNR=\frac{FN}{TP+FN}$ (1)

误报率：

$FPR=\frac{FP}{FP+TN}$ (2)

准确率：

$Accurancy=\frac{TP+TN}{TP+FP+TN+FN}$ (3)

其中TP、FP、TN、FN代表的意义如下：

① TP (真正样本数)：表示火灾样本中识别为火灾图像的个数。

② FP (假真样本数)：表示火灾样本中未被识别为火灾的图像个数。

③ TN (真负样本数)：表示非火灾样本中未被识别为火灾图像的个数。

④ FN (假负样本数)：表示非火灾样本中被识别为火灾图像的个数。

选取测试集图像对模型进行评估，该测试的评估结果如表2所示。

表2. 模型测试集表现(单位：%)

表2的结果表明通过测试集的测试，该模型的漏报率和误报率都比较低，且准确率达到98.37%，评估结果表明利用该卷积神经网络林火识别模型有着很高的可靠性。

4.4. 各场景下模型测试

通过了训练集和测试集对于模型的测试后，为了验证模型的实际场景应用效果，这里利用无人机拍摄的不同场景的火灾图片和非火灾图片来验证模型的实际识别效果，图片输入模型后经过网络输出，可以精准的识别出是否发生火灾并标记火灾发生位置，部分测试场景识别图如图10所示。

图10. 各测试场景识别图

图11给出了上面4个场景在卷积层中，卷积核提取出的特征图，从特征图中可以看出，本文设计的卷积核可以很好地提取图片中的火焰特征，从而训练出具有良好分辨效果的识别模型。

图11. 卷积层特征可视化图

通过无人机拍摄的实际场景测试结果来看，本文实现的林火识别模型可以准确地识别出火灾场景，且具有很高的准确性，在实际场景应用中通过对一些假火灾场景的测试，该模型也有着较高的准确性。由于本文采用的数据集为各类火灾的样本图片，然而在实际的林区场景中与训练集存在一定偏差，为了降低这类偏差，通过阈值法在模型给出是否发生火灾的概率后，根据设置好的阈值对模型预测结果进行进一步的分类判断降低了由于数据集带来的误差干扰，大大的提高了该模型在实际场景中的应用效果。

5. 结束语

随着无人机技术和以卷积神经网络为代表的深度学习技术的发展，提出基于无人机和卷积神经网络的森林火灾监测技术，该技术解决了在林区复杂环境下，常规监测方法难以实施，森林火灾发现不及时等问题。利用无人机在高空对林区图像进行大范围拍摄，地面端采用深度学习卷积神经网络对图像进行识别预警，该技术有着识别速度快、实时性强、精确度高等特点，有助于解决我国广阔森林的火灾监测问题，具有广泛的应用前景。

文章引用

史嘉奇,王金虎,许俊辉,王宇豪,王 静. 基于无人机和卷积神经网络的林火监测技术研究
Research on Forest Fire Monitoring Technology Based on UAV and Convolutional Neural Network[J]. 应用数学进展, 2022, 11(06): 3200-3210. https://doi.org/10.12677/AAM.2022.116339

参考文献