Artificial Intelligence and Robotics Research
Vol. 09  No. 02 ( 2020 ), Article ID: 34706 , 9 pages
10.12677/AIRR.2020.92007

Power Line Corridor Monitoring and Image Classification Based on Hybrid UAV

Shan Gao, Bo Lu, Lifeng Wang

Institute of Electrical and Control Engineering, North China University of Technology, Beijing

Received: Mar. 2nd, 2020; accepted: Mar. 18th, 2020; published: Mar. 25th, 2020

ABSTRACT

In view of the current inspection problem of power line corridor, a fixed-wing UAV platform capable of vertical take-off and landing is set up in this paper to solve the problems of short endurance of ordinary quadrotor and strict requirements for the landing of ordinary fixed-wing. An improved convolutional neural network is proposed to classify the photos of power line corridor. By preprocessing the data and optimizing the network model, the image classification performance is significantly improved.

Keywords:Hybrid UAV, Image Classification, Power Line Corridor Monitoring

基于复合式无人机的输电通道监测 与图像分类

高杉,鲁博,王立峰

北方工业大学电气与控制工程学院,北京

收稿日期:2020年3月2日;录用日期:2020年3月18日;发布日期:2020年3月25日

摘 要

针对现在输电通道巡视问题,本文搭建了可以垂直起飞降落的固定翼无人机平台,用于解决普通四旋翼续航短,普通固定翼起降场地要求严格的问题。并针对输电通道巡视照片的分类问题提出了一种改进型的卷积神经网络,通过对数据的预处理以及网络模型的优化,使图像分类性能得到了明显提升。

关键词 :复合式无人机,图像分类,输电通道监测

Copyright © 2020 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

随着我国经济迅速发展,国家各行各业对电网的供电可靠性要求越来越高,而针对电力线路的巡检是提高供电可靠性的重要手段。输电线路巡检方式主要有三类:人工巡检、直升机巡检和无人机巡检。传统的人工巡检方式,由于输电线路走廊地形环境复杂,人员劳动强度大,工作条件艰苦,安全得不到保障,线路运行情况也无法及时反馈 [1]。直升机巡检作业效率较高,但直升机数量有限,巡检成本和技术门槛高,无法对所有线路展开巡检。而无人机巡检方式由于飞机机体小、成本低、载重轻和操作简便等显著优点而逐渐受到电力企业的高度重视,在输电线路巡检领域中扮演着日益重要的角色 [2]。

目前电网企业在输电线路巡视中主要使用三类无人机:固定翼无人机、无人直升机和多旋翼无人机 [3],这些机型虽然可以适用于不同的工作环境,但也有各自的缺点。固定翼无人机的起降有较严格的场地需求,在应对突发事件时无法快速响应。无人直升机与多旋翼机可以垂直起飞和降落,对起降场地没有严格的要求,但是由于自身结构问题,飞行速度较低,续航能力较弱。

本文所研究的复合式无人机是一种新型可垂直起降的固定翼无人机,能够以四旋翼模式进行垂直起飞或降落,同时又能以固定翼模式进行高速巡航飞行 [4]。在输电线路巡视中针对复杂恶劣的地形环境可以顺利起飞,而且能保证高速和长续航。所以对于这种复合式无人机的研究具有非常重要的意义。

2. 复合式无人机平台

2.1. 平台搭建

经过对比目前市场飞行性能较为优秀的固定翼无人机,最终选定了TALON mini这款机身轻便,机舱容量大,飞行性能优异,且便于改装的机型。基于该固定翼无人机平台进行改装,对机翼进行轻量化加固,截取合适尺寸的碳纤维骨架并加装四旋翼系统,使其位置合理分布在飞机重心上,再对整个系统的线路、各部件重量分布进行优化,最终完成复合式无人机平台的搭建,如图1

2.2. 复合式无人机飞行阶段划分

针对复合式无人机,将飞行过程设计为5个阶段:

1) 四旋翼垂直起飞阶段:四旋翼电机启动,依靠四旋翼的推力进行垂直起飞,此时尾推电机不工作;

2) 垂直起飞–平飞转换阶段:无人机依靠四旋翼系统稳定在特定高度点,尾推电机启动并进入最大功率状态,螺旋桨向无人机施加最大推力,使飞机在最短时间达到预定转换速度,接着四旋翼电机停止工作;

3) 固定翼平飞阶段:无人机仅依靠尾推电机进行飞行,实现起飞点–作业区转移飞行,任务巡航,任务区作业,任务区–着陆点返回飞行。到达着陆起始区域后减速到预定转换速度;

4) 平飞–垂直着陆转换阶段:与2)过程基本相反;

Figure 1. Hybrid drone platform

图1. 复合式无人机平台

5) 四旋翼垂直着陆阶段:与1)过程基本相反。

2.3. 飞行实验

本文搭建的复合式无人机采用烧录了PX4自驾仪平台的Pixhawk飞控板。PX4平台采用了双闭环的PID控制策略,其中,外环采用了角度控制,飞行姿态的倾斜角度值是经过滤波器和姿态解算后得到的欧拉角,有一定延迟且误差较大,因此单闭环无法实现姿态控制过程。所以PX4还引入了内环控制,即角速度控制,角速度由飞控内置的陀螺仪直接测量得到,响应快,误差小。如图2

Figure 2. PID control strategy of PX4

图2. PX4双闭环PID控制策略

经过多次试飞,并根据飞行日志对参数不断整定,最终获得达到预期飞行效果的参数,以下是部分参数:

整个飞行实验包括起飞,巡航和降落三个飞行过程。其中巡航过程又包括了多旋翼飞行,飞行模式转换阶段和固定翼飞行三个飞行阶段。图3图4展示了复合式无人机的部分飞行过程。

Figure 3. Takes off vertically by Quadrotor

图3. 四旋翼垂直起飞

Figure 4. Quadrotor to fixed wing conversion step

图4. 四旋翼–固定翼转换阶段

Figure 5. Basic flight information

图5. 飞行基本信息

Figure 6. Pitch angular rate curve

图6. 俯仰角速度曲线图

Figure 7. Roll angular rate curve

图7. 滚转角速度曲线图

Figure 8. Yaw angular rate curve

图8. 偏航角速度曲线图

图5为此次飞行实验的基本信息。图6图7图8分别是飞行实验中无人机的俯仰,滚转和偏航角速度曲线图。整个飞行过程包括:飞机在手动模式下垂直起飞,25秒到达预定高度,启动自稳模式并转为固定翼模式进行飞行,期间完成了较大幅度的俯仰、滚转以及偏航动作来测试飞行性能,1分20秒切换回四旋翼模式进行降落,整个飞行实验结束。根据实际飞行的目视效果以及对飞行日志的分析,无人机始终可以保持良好的飞行稳定性,在执行大幅度实验动作也可以保证飞行的稳定。由此可见,在经过参数整定后,复合式无人机的飞行性能达到了预期。

3. 基于神经网络的图像分类

3.1. 深度学习与卷积神经网络

输电线路由于终年暴露在外,除了要遭受恶劣天气的侵袭外,各种施工、违法、违章行为引发的输电线路跳闸、倒杆等外力破坏事故也呈逐年上升的趋势,严重威胁输电线路的安全稳定运行 [5]。随着国家电网对输电线路的供电可靠性要求越来越高,防外破工作已纳入各大电力公司的常态管理。将复合式无人机应用于输电线路监测,弥补了多旋翼无人机续航短,普通固定翼需要大型起降场地的不足,为防外破工作找到了一条新的技防措施。

通常情况下,无人机在对输电线路执行巡视任务时,会拍摄大量的照片,如果仅靠人工进行识别分类,工作量很大。因此需要一种快速有效的图像分类方法对巡视照片进行识别和分类。

近年来,深度学习在计算机视觉领域中得到了很大的发展,基于深度学习的图像分类方法相比于传统的图像分类方法,能够通过深层架构自动学习图像特征,显著提升了图像分类效果 [6]。而卷积神经网络是深度学习的研究热点之一。

卷积神经网络是以人工神经网络为基础,卷积层中输出特征图的各个基础单元可以与对应的输入局部相连,接着进行加权求和并加上偏置值,从而获得其输入值,这个过程同卷积过程相似度极大,故而被称为卷积神经网络。随着相关理论知识的丰富以及计算机硬件设施的不断发展,卷积神经网络也顺势获得了快速突破,取得了一定的成果,并在计算机的相关领域被大量应用,成为了深度学习中最具有代表性的算法之一 [7]。其主要组成部分有:卷积层、激活函数、池化层和全连接层 [8],网络结构如图9

Figure 9. Convolutional neural network

图9. 卷积神经网络示意图 [9]

3.2. 搭建网络模型

在输电线路外力破坏类别中,因泵车、起重机等大型机械在线下施工引起线路安全距离不足产生放电导致线路跳闸的事故,以及大型鸟类在铁塔上筑巢排便导致相间短路而威胁线路安全运行的案例占很大比重,因此本课题将选取大型施工机械和大型鸟类的照片作为数据集,其中训练集大型机械和鸟类各1000张图像,另外选取各500张图片作为测试集,其中部分照片如图10

Figure 10. Dataset

图10. 数据集

过拟合问题是深度学习在神经网络训练过程中经常遇到的问题。所谓过拟合,是指模型对训练集数据拟合很好,识别正确率高,而对未学习过的数据集拟合并不好,泛化能力较弱,与训练集的识别正确率差距较大。因此,采用测试集来验证神经网络是很有必要的。

本文采用了基于VGG16的卷积神经网络的网络结构,使用自建的数据集训练该网络,采用tensorflow下的Dataset方法处理数据,利用shuffle方法对图片作乱序处理,batch大小设置为32。VGG16网络中与卷积层相连接的为Flatter层,本文采用GlobalAveragePooling2D层与之相连接。

将全部训练数据训练一次为一个周期(epoch),经过40个周期后,训练过程的准确率和损失值变化情况如图11

Figure 11. Training effect by original network

图11. 原始网络训练效果

可以看到,在20个训练周期前,测试集的准确率会随训练集的准确率一同上升,损失值一同下降,此时准确率为91.43%,损失值为0.2252。之后训练集准确率继续上升,损失值也继续下降,但是测试集准确率上升幅度很小,损失值下降幅度无明显变化,且出现大幅波动,甚至有上升趋势。说明网络已经过拟合,泛化能力偏弱。

3.3. 网络优化

为了获得更好的图片分类性能,本文采用了图像增强策略来对数据进行预处理,并添加Dropout层和Batch Normalization层来优化网络结构。优化后的网络结构如图12

Figure 12. Network structure

图12. 网络结构

在训练前采用图像增强策略,并使用优化好的网络对自建的数据集进行训练,经过60个周期后,训练过程的准确率和损失值变化情况如图13

Figure 13. Training effect by new network

图13. 新网络训练效果

可以看到,在整个训练过程中,测试集的准确率会随训练集的准确率一同上升,损失值一同下降,训练过程中测试集最大准确率达到了94.56%,优于此前的91.43%,损失值为0.1960,优于此前的0.2252。说明新的网络模型性能大大优于原有的模型。

4. 总结

本文搭建了一套可用于输电线路巡视的复合式无人机平台,通过调整飞行参数,获得了良好的飞行性能。此外针对输电线路巡视照片分类困难的问题,提出了一种基于复合式无人机航拍图像分类的卷积神经网络模型,通过优化网络结构,提高了网络的图像分类性能,在自建的数据集上取得了良好的分类效果。能够成为输电线路通道防外破工作的重要辅助手段,

但是由于时间有限,复合式无人机在搭建时没有合理利用机舱空间,导致后期无法加装拍摄系统,因此在后续的研究中,需要合理规划好设备位置,增加拍摄系统。另外本文只完成了一个卷积核数目较少的网络模型,且自建数据集训练样本偏少,只有2000张,想要应用于实际工作还是不够的。在深度学习中,针对图像分类问题的网络模型非常之多,它们有各自的优点,对不同分类问题有不同的适用性,因此对深度学习中图像分类相关的算法、网络结构仍然需要继续深入研究。

文章引用

高 杉,鲁 博,王立峰. 基于复合式无人机的输电通道监测与图像分类
Power Line Corridor Monitoring and Image Classification Based on Hybrid UAV[J]. 人工智能与机器人研究, 2020, 09(02): 55-63. https://doi.org/10.12677/AIRR.2020.92007

参考文献

  1. 1. 周宗国, 周海, 胡彬, 杨时宽. 无人机在电力线路巡检中的应用及前景[J]. 科学技术与创新, 2018(23): 164-165.

  2. 2. 李建峰, 段宇涵, 王仓继, 王西鹏. 无人机在输电线路巡检中的应用[J]. 电网与清洁能源, 2017, 33(8): 62-70.

  3. 3. 郑贤龙, 汪旭旭, 叶鹏涛. 输电线路无人机巡检技术应用现状及相关问题分析[J]. 电气开关, 2018(3): 92-94.

  4. 4. 董宁. 混合式VTOL无人机无模式切换飞控系统研究[D]: [硕士学位论文]. 北京: 北方工业大学, 2019.

  5. 5. Katiasnik, J. and Likar, B. (2010) A Survey of Mobile Robots for Distribution Power Line Inspection. IEEE Transactions on Power Delivery, 2, 485-491.

  6. 6. 苏斌, 吕沁, 罗仁泽. 基于深度学习的图像分类研究综述[J]. 电信科学, 2019(11): 58-74.

  7. 7. 曹戈. 基于深度卷积神经网络的人脸图像分类应用研究[D]: [硕士学位论文]. 吉林: 吉林大学, 2019.

  8. 8. 胡貌男, 邱康, 谢本亮. 基于改进卷积神经网络的图像分类方法[J]. 通信技术, 2018, 51(11): 2594-2600.

  9. 9. Nicholson, C. (n.d.) A Beginner's Guide to Convolutional Neural Networks (CNNs). https://pathmind.com/wiki/convolutional-network

期刊菜单