¹国网信息通信产业集团有限公司，北京

²福建亿榕信息技术有限公司，福建 福州

收稿日期：2023年11月25日；录用日期：2023年12月21日；发布日期：2023年12月27日

摘要

乡村电网规模不断增长，变电站巡检工作成为电网运行管理的重要组成部分。然而，由于农网变电站分布广且监督机薄弱，部分农网变电站巡检作弊问题频发，伪造巡检记录或巡检外包等现象突出，影响到乡村企业和居民的经营生产和日常生活。基于此，本文聚焦低成本数字化巡检监督终端研究，基于ESP32和OV2640构建轻量级人脸识别算法，采用集成LTE CAT.1和GNSS的移远EG810M模组，辅以本地化人机交互系统，实现巡检信息的无纸化记录和远程投递。实验表明，本文构建的巡检监督终端具有较高的性价比，适合在农网变电站应用场景中批量推广。

关键词

ESP32，OV2640，EG810M，多核协同算法，人脸识别

Research and Implementation of Low-Cost Inspection and Supervision Terminal for Rural Substations

Qiang Li¹, Feng Zhao¹, Qiulin Wang², Li Zhuang², Xiaodong Zhang²

¹State Grid Information & Telecommunication Co., Ltd., Beijing

²Fujian YiRong Information Technology Co. Ltd., Fuzhou Fujian

Received: Nov. 25^th, 2023; accepted: Dec. 21^st, 2023; published: Dec. 27^th, 2023

ABSTRACT

The scale of rural power grids continues to grow, and substation inspection work has become an important component of power grid operation management. However, due to the wide distribution of rural power grid substations and weak supervision mechanisms, some rural power grid substations have frequent problems of inspection cheating, such as forging inspection records or outsourcing inspection, which affects the operation, production, and daily life of rural enterprises and residents. Hence, this paper focuses on the research of low-cost digital inspection and supervision terminal, which uses ESP32 and OV2640 to build a lightweight face recognition algorithm, and adopts a teleportation EG810M module integrating LTE CAT.1 and GNSS to achieve paperless recording and remote delivery with help of a human-machine interaction system. The experiment shows that the inspection and supervision terminal proposed in this paper has high cost-effec- tiveness and is suitable for mass promotion in the application scenarios of rural power grid substations.

Keywords:ESP32, OV2640, EG810M, Multi-Core Collaborative Algorithm, Face Recognition

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

随着我国乡村振兴战略持续推进，乡村电网规模逐步增长 [1] 。乡村电网的稳定运作，离不开电网设备的定期巡检与持续保养投入 [2] [3] [4] [5] 。然而，受限于农网变电站分布广域性与监督机制覆盖性不足，部分农网变电站运维人员缺乏责任心，伪造巡检记录或巡检外包等现象突出，进而导致乡村用电高峰期电压波动、跳闸等问题频出，严重影响到乡村企业和居民的经营生产和日常生活 [6] [7] 。因此，加强农网变电站设备的巡检管理力度，确保设备隐患和缺陷被及时发现和记录，是乡村电网稳定运作的关键支撑 [8] 。

为破解上述问题，亟需数字化巡检监督终端技术支持农网变电站的巡检管理工作高效运作 [9] [10] 。然而，市面现有考勤装备仅支持有线和无线本地互联能力，不具备采集数据远程投递能力，更无地理信息和时间戳支撑巡检记录鉴真工作。为此，部分乡村地区甚至出现工作人员将巡检考勤装备搬回居所打卡问题。此外，市面现有人脸识别考勤设备普遍价格高达数百元，且不支持远程数据投递能力，难以满足农网变电站巡检监督工作低成本和远程管理应用需求。

为此，本文研究适用于农网变电站的巡检监督终端原型方案，旨在为同行提供成功案例和实施建议，提升农网变电站监督工作数字化水平。本文所设计巡检监督终端以ESP32和OV2640为核心打造人脸识别算法，通过集成LTECAT.1和GNSS的移远EG810M模组，以实现巡检信息的远程无纸化记录，为农网变电站巡检工作数字化转型提供支撑。实验表明，本文构建的巡检监督终端具有低成本和识别精准度高等特点，适合在农网变电站应用场景中批量推广。

2. 电路与算法架构

2.1. 电路系统架构

为解决农网变电站巡检工作作弊问题，巡检监督终端应具备数据鉴真能力，故本文设计的巡检监督终端应具备人脸识别、设备移动检测、时间地理信息采集和数据实时远程投递能力。同时，巡检监督终端应集成人机交互子系统，实现人脸识别结果的展现，以提升巡检工作操作用户体验感。为此，本文集成GNSS模组采集地理位置信息和时间戳参数，实现巡检监督终端位移检测和数据鉴真。此外，本文基于LTE CAT.1实现数据远传，确保巡检监督终端远程管理和巡检信息实时记录，避免因数据本地存储而被篡改。具体实现框图如下图1所示。

图1. 电路系统架构

根据图1可知，本文以上海乐鑫公司设计的低成本ESP32为核心，通过IO模拟对应视频接口，与图像传感器OV2640进行数据交互。OV2640是一种低成本的CMOS图像传感器，最高可支持200万像素(1600 × 1200分辨率) 的图像输出，适用于低成本应用场景图像采集需求。此外，本文采用2.4寸TFT显示屏和触摸屏构建人机交互接口，确保相关参数本地化设置与展示。此外，为了实现数据实时上线，本文引入了集成有LTE CAT.1和GNSS的移远EG810M通信模组，实时采集巡检监督终端当前的地理位置和时间错信息，以及人脸识别结果的远程投递。由此可见，本文设计的巡检监督终端综合成本不足100元人民币，非常适合批量化应用推广。

2.2. 人脸识别算法

本文采用MTMN (Multi-modal Topic Memory Network)构建人脸识别模型，是一种专为嵌入式设备设计轻量级人脸识别方案。作为巡检监督终端核心技术，人脸识别是本项目重点突破方向。因此，有必要对MTMN相关特性进行简单剖析，以期为模型参数调优提供指导，MTMN模型架构如图2所示。

图2. MTMN模型架构

从图2可以看出，MTMN由三个主要部分组成：P-Net (Proposal Network)，R-Net (Refine Network)，O-Net (Output Network)，P网络首先对图片进行检测将疑似人脸区域框选送入R网络，R网络检测框选人脸信息后送入O网络做最后的检测输出，最终实现人脸标志性位置，如眼睛、鼻子和嘴巴五个面部关键点的位置检测 [11] [12] 。由于图像识别前提是框选到图片中完整人脸，故设定较小卷积核扫描容易造成大脸缺失而无法检测，而设置较大的核则框出的小脸噪声过多，影响速度和精度。为此，MTMN在图像输入到P-Net之前，通过图像金字塔(pyramid)实现图像分层缩放扫描，直到缩小到P网络里第一层网络中核大小为止。由此可见，在MTMN图像金字塔参数设置，将直接影响到人脸识别速度和精度，故在实际应用中应根据图像分辨率做相应优化。

MTMN运行过程中，必然筛选出多个人脸库。为了降低运算量，MTMN采用非最大抑制(NMS, Non-Maximum Suppression)实现高度重叠图像的候选。在实际操作中，NMS计算出人脸框坐标和置信度，并与所存储的最高置信度的人脸进行交并运算，通过运算结果与对应阈值比较实现最优人脸库的筛选 [13] [14] 。由此可见，框坐标边界置信阈值(score threshold)和NMS阈值选择，也将决定了人脸识别的精准度。置信阈值与NMS阈值取值越大，虽会降低算法迭代次数，但人脸库检出概率也将会降低，故在实际应用中应根据图像分辨率进行相应参数选择。现阶段，通过不同参数组合，分化出三个MTMN版本：MTMN轻量量化版、MTMN轻量浮点版和MTMN重型量化版。为此，本文将对上述MTMN版本进行实验验证，通过实验给出相关参数的选择依据，为后续研究者提供建议。

2.3. 多核任务调度算法

本文设计的巡检监督终端，需要实时采集摄像头数据以实现人脸识别，需要定期读取EG810M输出的地理位置信息和时间戳实现巡检数据鉴真，需要人机交互接机制实现本地操作和数据展示，更需要LTE CAT.1网络实现数据的远传和参数下发配置。为了确保人脸识别高效性，本文将利用ESP32两个Tensilica LX6内核构建双核并发处理算法：CPU0用于人机交互、地理位置信息和时间参数采集、以及LTE远程数据收发等；CPU1则运作实时性要求较高的人脸识别算法。

为此，本文利用FreeRTOS内核中的SMP (对称多处理，Symmetric Multiprocessing)机制，实现ESP32两个相同处理器内核上任务调度 [15] [16] 。也即，通过xTaskCreatePinnedToCore()函数将实时性要求较高的人脸识别任务放在该内核CPU1上运行，而人机交互任务、GNSS数据采集、LTE数据收发任务则放在内核CPU0上。鉴于FreeRTOS任务优先级仅在单核内有效性，本文利用信号量和消息队列实现双内核任务间同步和数据交互，确保双核并发运行下时间片调度机制不同步导致的任务同步失败问题。此外，为提升算法运作可靠性，本文将使用vTaskCoreAffinitySet()函数将所有不能同时运行的任务，固定到一个内核CPU0上，确保低优先级任务也能得到调用。

3. 系统实现

综上可知，为提升农网变电站巡检工作监管的数字化水平，本文构建以人脸识别为主，以人机交互和数据通信为辅的数字化巡检监督终端，通过GNSS和LTE CAT.1技术实现地理位置信息与时间参数获取，以及人脸识别等数据远程投递。具体的流程如图3所示。

根据图3可知，ESP32在初始化外设后，将从SD卡中将已经存储的人脸训练数据参数加载到PSRAM中，以提升基于MTMN模型的人脸识别算法执行的效率。然后，本文重点挖掘ESP32双核并发运作能力，通过FreeRTOS的xTaskCreatePinnedToCore()将实时性运作要求较高的人脸识别任务固定在CPU1上运作，而GNSS数据解析、人机交互和LTE CAT.1数据收发则放在CPU0上，以提升人机识别算法性能。

此外，为破解现阶段农网变电站巡检作弊问题，本文通过引入GNSS模组输出的经纬度信息和时间信息的不可篡改特性，确保巡检监督终端不被移动和考勤记录被篡改。与此同时，所设计的巡检监督终端将通过LTE CAT.1模组，将设备移动和人脸识别结果实时上报至云服务器，以此提升巡检管理工作数字化水平。进一步，为提升用户使用便捷性，巡检监督终端集成了人机交互子系统，通过电阻触摸屏和TFT液晶实现人脸识别结果展示和本地化操作。鉴于室外条件下液晶屏长期工作损耗较大，液晶屏仅在触摸事件驱动下才被激活，以期提升液晶屏的工作寿命。

在人脸识别任务FaceNetTask中，OV2640和MTMN相关参数将被初始化。鉴于本文所采用的TFT液晶屏分辨率为320x240，故OV2640采用同等分辨率的QVGA格式作为输出。在读取图像信息后，FaceNetTask任务调用fmt2rgb888()函数实现JPEG图像格式转化成RGB888格式数据，并调用face_detect()实现人脸识别，若识别成功则释放对应信号量实现与LTETask同步，以实现巡检考勤信息的远程投递。同时释放图像数据队列，确保处于激活状态下的液晶实时显示当前图像信息。

图3. 巡检监督终端实现流程图

4. 系统测试

为验证本文设计的巡检监督终端有效性和合理性，本文将从两个方面：人脸识别效率分析与数据采集性能分析两方面，评估本文所设计的巡检监督终端综合性能。

4.1. 人脸识别效率分析

根据上文分析可知，人脸识别任务所需的时间基本上是由图像信息读入和人脸算法模型执行两部分时间所决定的。本文采用的OV2640最大分辨率可达1600 × 1200，但更大的分辨率必然带来更多的时间开销和内存资源占用率，进而影响到人脸识别的效率。为此，本文利用esp_timer_get_time()函数对不同分辨率下图像采集时间进行了测量，并通过串口打印对应的时间参数。其中ESP32运行主频为240 MHz，相关运行结果如表1所示。

表1. 不同分辨率读取时间

根据表1可知，虽然OV2640输出的图像分辨率可达1600 × 1200，但需要耗费120 ms时间，也即最大输出帧率为8帧/秒。此外，当OV2640输出图片为QVGA 格式时，图像采集所耗费时间仅为20 ms左右，效率是UXVGA格式的6倍以上。鉴于本文采用TFT液晶屏分辨率为320 × 240，在综合运作效率和成本基础上，所设计的巡检监督终端中OV2640采用分辨率为320x240的QVGA格式。

此外，综上分析可知MTMN参数的选择，也将决定人脸识别算法模型的执行时间。本文也对不同版本的MTMN模型运作时间进行了测试，相关实验结果如表2所示。

表2. 不同MTMN版本的运算时间

根据表2可知，MTMN轻量量化版运作时间最短，为提升识别效率本文选择MTMN轻量量化版模型实现人脸识别，并对上述参数进行了相关性能测试。本次实验中，人脸与巡检监督终端的距离为50 cm，实验者在巡检监督终端前驻足最长5秒，若超时未输出结果则认为识别失败。相关实验结果如下图4所示：

图4. 人脸识别效果

根据图4(a)与图4(b)可知，本文基于轻量量化版MTMN模型建构的人脸识别算法能够精准的截取人脸框，通过抓取人脸眼睛、鼻子和嘴巴五个面部关键点的位置特征，与训练后的数据比较识别人脸，进而实现Hello User 0 (巡检人员)精准输出。然而，通过图4(c)可以看出，当用口罩对口鼻进行覆盖时，人脸识别算法因无法抓取人脸关键特征而导致识别失败。鉴于疫情现已结束，口罩遮蔽下的人脸识别问题将不在突出。此外，根据图4(d)，对于没有录入到巡检监督终端的人脸，本文提出的人脸识别算法也将给出告警信息。

为了验证人脸识别的鲁棒性，本文也分析了人脸与巡检监督终端摄像头的夹角对识别性能的影响，具体的实现结果如图5所示。

图5. 识别精准度和平均时间与夹角关系

通过图5可知，识别的精准度与人脸角度可能相关，随着人脸与图像传感器夹角增大，人脸识别的精准度下降，当人机夹角达到90˚时，因双眼间距特征难以被摄像头所捕获，进而导致检测精准度已经不足20%。此外，根据图5也可知，在15˚范围内人脸识别平均时间为1.7秒，与理论识别效率为5帧/秒存在较大差距，导致上述的是因为人脸在摄像头前难以保持绝对的稳定，以至于MTMN提取人脸特征存在一定误差。为此，在实际应用中，应确保人脸与摄像头的角度不大于45˚且要保持相对稳定，才可确保人脸识别的整体性能。

4.2. 数据采集性能分析

为了验证本文设计的巡检监督终端综合性能，本文基于C#编写了对应的上位机软件。该软件与巡检监督终端基于TCP建立数据通路，实现人脸识别结果、时间信息、经纬度信息和设备状态的远程投递，相关的界面如图6所示。

图6. 数据采集软件

通过图6可知，本文设计的LTETask中，LTE CAT.1模块按1分钟为周期往服务器发送心跳包数据，用于网络状态的维护。通过服务端接收到的数据可以看出，本文基于LTE CAT.1通信网络鲁棒性较高，未曾出现丢包问题，能将巡检监督终端检测的结果(第四行)实时的发送到服务器，同时也能将未定义人员(作弊人员)信息记录到云端服务器(第八行)。此外，数据包中当前GNSS模块获得的时间戳和地理位置信息也一同打包发送到服务端，可以为巡检记录信息鉴真奠定基础。综上，本文所提巡检监督终端非常适用于受限成本的农网变电站巡检场景下应用，能够有效解决运维人员责任心不强、巡检记录伪造等问题，提高电网运行管理效率和服务质量，促进了乡村企业和居民的经营生产和日常生活发展。

5. 结束语

本文针对农网变电站巡检工作中存在的问题，提出了一种成本不足百元的巡检监督终端方案，并基于ESP32进行了可行性和有效性验证。相对于市面现有人脸考勤设备，该方案具有考勤作弊检测与数据远传等优势，能够有效解决农网变电站巡检作弊等问题，具有良好的推广和应用前景。鉴于ESP32的管脚有限，本文设计的电路中外设复用现象十分突出，进而影响到算法执行效率，未来将引入FPGA拓展相应硬件功能，进一步提高人脸识别算法的稳定性。

基金项目

国网信通产业集团两级协同研发项目《创建国家级新型电力系统人工智能开放创新平台的关键技术研究及应用》科技项目资助，编号YR-DLL-BJ-RJKF-221014-03219。

文章引用

李 强,赵 峰,王秋琳,庄 莉,张晓东. 面向农网变电站低成本巡检监督终端研究与实现
Research and Implementation of Low-Cost Inspection and Supervision Terminal for Rural Substations[J]. 计算机科学与应用, 2023, 13(12): 2355-2363. https://doi.org/10.12677/CSA.2023.1312235

参考文献