Journal of Image and Signal Processing
Vol. 11  No. 01 ( 2022 ), Article ID: 48016 , 9 pages
10.12677/JISP.2022.111002

一种移动式非接触人脸测温装置的设计

郑美娜1,2,邢旭东1,2,何 冰1,2*

1渭南师范学院物理与电气工程学院,陕西 渭南

2陕西省X射线检测与应用研究开发中心,陕西 渭南

收稿日期:2021年12月16日;录用日期:2021年12月30日;发布日期:2022年1月18日

摘要

针对现有测温装置定点测量的一系列弊端,本文介绍一种具有人脸检测功能的移动式测温装置,在原本只能定点测温的基础上增加了基于人脸检测的跟踪机制,可完成巡逻测温功能。并设计测试实验,在实验中该装置的速度、稳定性、误差等性能均得到的较好的体现。该装置的应用场景主要是:学校、公园、高铁站、机场等大范围,人员相对密集的场所,进行不间断巡逻测温。相比于原本的定点式测温系统,本装置提高了安全性和效率,降低了传染病感染风险。

关键词

人脸检测,红外测温,二维云台追踪,PID控制

Design of a Mobile Non-Contact Face Temperature Measurement Device

Meina Zheng1,2, Xudong Xing1,2, Bing He1,2*

1Department of Physics and Electronic Engineering, Weinan Normal University, Weinan Shaanxi

2Center of X Ray Detection and Application of Shaanxi, Weinan Shaanxi

Received: Dec. 16th, 2021; accepted: Dec. 30th, 2021; published: Jan. 18th, 2022

ABSTRACT

In view of a series of drawbacks of fixed-point measurement of existing temperature measuring devices, this paper introduces a mobile temperature measuring device with face detection function. On the basis of original fixed-point temperature measurement only, a tracking mechanism based on face detection is added to complete the patrol temperature measuring function, and a test experiment is designed, in which the speed, stability, error and other performance of the device are better in the experiment. Now, the main application scenarios of this device are: schools, parks, high-speed railway stations, airports and other large-scale places with relatively dense personnel to continuously patrol for temperature measurement. Compared with the original fixed-point temperature measurement system, this device improves security and efficiency, and reduces the risk of infectious diseases infection.

Keywords:Face Detection, Infrared Thermometry, Two-Dimensional Cloud Table Tracking, PID Control

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

每到秋冬季,流感病毒肆意来袭。流感病毒主要通过空气中的飞沫、易感者与感染者之间的接触或与被污染物品的接触而传播 [1]。此类疾病的特点大多是,传染快,容易交叉感染。感染者典型的临床症状是急性高热、全身疼痛、显著乏力和呼吸道症状。其中尤以高热最为显著,但体温并非是一成不变,会在一定区间内上下波动,而现有是测温装置是定点测温,假如感染者恰好处于低温时间段,容易被测温系统判定为正常,从而进入该场所,就容易造成传染。本文针对这一问题设计出一种移动式非接触人脸测温装置,该装置依靠视觉传感器检测人脸 [2],由电机驱动控制其装置向目标人脸移动,二维云台 [3] 根据人脸信息调整角度,使得红外测温 [4] 可以正确检测人体温度,若人体温度高于设定阈值,则会发出报警,然后识别二维码,按照其对应二维码进行记录。

2. 硬件结构

该装置主要分为五大部分,人脸检测,主控处理器,小车运动控制,二维云台,红外测温。主控芯片采用STM32F407核心板,算法流程如图1所示。在视觉传感器检测到目标后,电机驱动小车向目标移动,同时二维云台经过PID算法自动锁定人脸位置,在小车距离目标一定距离时,小车停止移动,装置在二维云台上的红外温度传感器开始采集温度信息,同时识别目标的二维码,并将温度和二维码做记录,若温度高于设定阈值,则会发出报警信息。若温度正常开始下一轮测试。

Figure 1. Workflow

图1. 工作流程

2.1. 人脸检测

人脸检测采用PowerSensor视觉传感器,使用Python编程,处理器采用ZYNQ70x0系列FPGA,摄像头采用MT9V034模组,摄像头数据在经过FPGA解析后经过DMA直接存入DDR内存,具有极好的性能与低延时。

采集到图像信息后经过灰度转化降低图像数据量,再直方图均衡化提升对比度 [5],通过特征分类器,比对特征向量,查找人脸,返回出人脸在图像中坐标,将坐标发送至STM32单片机。

2.2. 主控处理器

主控芯片采用STM32F407核心板,该系列采用Cortex M4内核,带FPU和DSP指令集,主频达到168 Mhz,尤其适用于浮点运算和DSP处理,片内资源丰富,拥有多达192KB的片内SRAM,带摄像头接口(DCMI)、加密处理器(CRYP)、USB高速OTG,LCD控制器和SDRAM接口。定时器多达17个,3个I2C接口、3个串口、3个SPI接口。显示采用4.3寸电容触摸屏,通过串口接收来自视觉传感器以及红外测温传感器数据,将数据显示到TFTLCD屏幕上,并通过计算控制小车和二维云台运动。

2.3. 小车运动控制

小车驱动控制如图2所示。小车采用两个主动轮加两个从动轮,主动轮采用370电机,12V供电,额定转速130 rpm,扭力高,负载大,响应时间短,电机驱动采用L298N,两个高低电平控制对应电机转向,PWM控制转速。两个主动轮配合即可驱动小车方向。STM32串口接收到人脸坐标后,小车进行PID算法 [6],即可朝向目标位置移动,当目标物坐标动态变化时,小车也可自行跟踪,直至到达目标正前方位置时,小车停止移动。等待扫描二维码动作。扫码完成后,小车即开始下一目标查找测温。

Figure 2. PID control process

图2. PID控制流程

2.4. 二维云台

舵机是一种位置伺服的驱动器,通过改变控制方波的占空比即可调节舵机转动角度。二维云台由两个不同方向的舵机组成,下舵机可控制沿X轴转动,上舵机可控制沿Y轴转动。当舵机发生转动时,相应结构发生转动,最终控制二维云台发生转动 [7] [8]。云台上方安装视觉传感器和红外激光头,可随云台转动,以确保视觉传感器始终具有最良好的视角。舵机采用MG996R,精度高,角度偏差小,响应时间快,扭力大。在二维平面内该云台可以完成精确动态跟踪。

舵机控制流程如图3所示。图像格式为[W, H],W为图像宽,H为图像高。目标坐标设置为图像的中心位置,即目标坐标[W/2, H/2],当视觉传感器固定在云台上方时,单片机串口接收到人脸坐标后,分别计算X轴及Y轴的实际坐标与目标坐标误差,再对误差进行积分和微分运算,最后乘以对应系数叠加后输出,改变云台角度,使得实际坐标和目标坐标的误差不断减小。当误差为零时,即云台正确跟踪锁定人脸。若目标移动,云台也自动实时调整角度。

Figure 3. Steering gear control process

图3. 舵机控制流程

2.5. 红外测温

测温可以分为两大类,接触式和非接触式。接触式是利用热传递现象,当被测目标和检测装置存在温差且直接接触时,两者温差会逐渐减小,直至热平衡,此时检测装置温度与被测目标温差极小,即可用检测装置温度代替被测目标温度,但此种方式检测时间长,且需要直接接触,容易造成交叉感染,效率低下且不安全。

非接触式则是利用斯蒂芬–玻尔兹曼定律,任何物体都会向外以电磁波的形式辐射出能量,物体表面单位面积在单位时间内辐射出的总能量(目标辐射度)与黑体本身的热力学温度T (绝对温度)的四次方成正比,用物理公式可表达为: j = ε σ T 4 ,表示目标辐射度。其中, ε 为物体的辐射率,T为物体绝对温度。此公式为红外测温提供理论支撑,当目标辐射度和目标辐射率已知时,则可以计算出物体温度。不需要进行接触式测温。此方法效率高,可避免交叉感染,有广泛应用的价值。

GY-MCU90614是一款低成本,低功耗,体积小红外温度模块。可同时检测环境温度与目标温度,配合温度补偿算法,检测距离可达200 cm。其通信方式是串口通信(TTL电平),在50 ms内即可完成一次温度检测。红外测温传感器和视觉传感器同时安装在云台上,当云台跟踪到人脸目标后,红外测温传感器也随云台转动,若云台正确跟随人脸后,传感器测温区域必定是目标人物的额头区域,若温度高于设定阈值,则蜂鸣器发出报警,若低于设定阈值,则认为该目标正常。

计算角度方式如图4所示。C点为测量目标点,D点为测温装置位置。线段AC表示目标高度,ED为红外测温传感器高度,AE为传感器检测范围,AE最大值为200 cm,ED = 30 cm。当CD = 100 cm,AE = 200 cm时,AC = 203 cm。当CD = 50 cm,AE = 200 cm时,AC = 223 cm。即该装置在距离目标100 cm时,允许检测目标高度为203 cm,距离目标50 cm时,允许检测目标高度为223 cm。该装置可以满足测温需求。

Figure 4. Angle solution

图4. 角度解算

3. 软件算法

3.1. 人脸检测

在PowerSensor视觉传感器中,使用摄像头模组为MT9V034,该摄像头支持最大图像幅值为640 × 480,图像检测对硬件资源要求比较高。在图像中任何颜色都可以用RGB (R, G, B)表示,但在算法实现中,RGB表示法会对算法造成很大干扰,所以将RGB图转换为灰度图,常见的转换方法一共六种:

浮点法: G r a y = R 0.3 + G 0.59 + B 0.11

整数法: G r a y = ( R 30 + G 59 + B 11 ) / 100

移位法: G r a y = ( R 77 + G 151 + B 28 ) 8

平均值法: G r a y = ( R + G + B ) / 3

仅取绿色法: G r a y = G

Gamma校正算法: G r a y = R 2.2 + 1.5 G 2.2 + 0.6 B 2.2 1 2.2 + 1.5 2.2 + 0.6 2.2 2.2

在灰度转换中,因为RGB值与物理光功率并非简单的线性关系,经过校正的分量并不是物理上的功率值,不能直接简单相加,必须将其换算到物理光功率,前五种计算方法均有较大误差,所以采用第六种计算办法,可以最大程度保持图像真实形。

人脸检测是采用Haar特征分类器 [9] [10] [11] [12],对目标图像进行特征检测,Haar分类器 = Haar-like特征 + AdaBoost算法 + 级联 + 积分图快速计算。

Haar-like特征分为边缘特征,线性特征,中心特征。特征模板内分为黑色和白色两种矩形,定义该模板的特征值为白色矩形像素和减去黑色矩形像素和,特征值反应了图像的灰度变化情况。

AdaBoost算法 [13] 是一种迭代算法,针对于同一个训练集的不同分类器(弱分类器),将弱分类器整合起来,构成一个更强的最终分类器(强分类器)。算法本身是改变数据分布来实现,根据每次训练集的每个样本的分类是否正确,以及上次的总体分类的准确率,来确定每个样本的权值,将不断修改的新数据集送给下层分类器进行训练,最后融合起来,作为最终决策分类器。

级联是将弱分类器按照如图5级联方式组合,弱分类器不断进行判断,在多级判断中,一旦某一级判断为否,则整体直接判定为否。每一级又由多个树状弱分类器构成。

Figure 5. Cascade process

图5. 级联流程

积分图就是只遍历一次图像就可以求出图像中所有区域像素和的快速算法,主要思想是将图像从左上起点开始到各个点所形成的矩形区域像素和作为一个新数组的元素,当计算某个区域的像素和时,只需要引用下标,并进行简单加减就可以直接得到结果,不需要重新历遍计算这个区域的像素和,从而降低运算量,增加图像帧数。图像处理本质上是矩阵运算,矩阵越大,图像信息越清晰,矩阵越小,图像失真越严重,但运算量降低。在保持图像信息完整的前提下,提高运算速度是有必要的,本文方法是改变参与运算的矩阵大小,即改变图像感兴趣区域,程序流程如图6所示。感兴趣区域为真正参与运算的图像的矩阵区间,其格式为[X1:X2, Y1:Y2],X1:X2代表图像感兴趣区X轴区间,Y1:Y2代表图像感兴趣区Y轴区间。设置感兴趣区域越大,检测效果越佳,运算量大,检测时间越长,图像帧数越低,图像设置感兴趣区域越小,运算量小,检测时间短,图像帧数增加,但检测结果不准确。装置采用动态感兴趣区域方式,将图像感兴趣区域设置为动态可调节的,在未检测到人脸前,采用全图像检测,在检测到人脸后,更改图像感兴趣区域为上次检测到坐标附近,动态根据人脸坐标变化而更新感兴趣区域。在保持了图像准确度的前提下,增加了图像帧数。

主要Python程序如下:

imgMat = cam1.read_img_ori() # 读入图像

tempImg = cv2.resize(imgMat, (H,W))# 改变图像尺寸

image=cv2.cvtColor(tempImg,cv2.COLOR_BGR2GRAY)#转换为灰度图

cv2.equalizeHist(image)# 直方图均衡化

divisor=6

minSize=(w/divisor,h/divisor)

if Face_X_S!=0:

if Face_Y_S!=0:image_1=image[Face_X_S:Face_X_S+4*w,Face_Y_S:Face_Y_S+4*h]

cv2.rectangle(tempImg,(Face_X_S,Face_Y_S),(Face_X_S+2*w,Face_Y_S+2*h),(0,0,255),1)

faceRects=classifier.detectMultiScale(image_1,1.2,2,cv2.CASCADE_SCALE_IMAGE,minSize)#对感兴趣区域进行检测

if len(faceRects)==0:

faceRects=classifier.detectMultiScale(image,1.2,2,cv2.CASCADE_SCALE_IMAGE,minSize)#若在感兴趣区域内无目标则进行全局检测

if len(faceRects)>0:#识别人脸

for faceRect in faceRects:

x,y,w,h=faceRect

Face_X=x+w/2+Face_X_S

Face_Y=y+h/2+Face_Y_S

Face_X_S=Face_X-2*w

Face_Y_S=Face_Y-2*h

R=min(w/2,h/2)

cv2.circle(tempImg,(Face_X,Face_Y),R,(255,0,0))

URAT_32(Face_X,Face_Y,90,1)

3.2. 二维码检测

在经过Haar特征分类器后,人脸可以被高效的检测出,但无法将检测人脸与身份信息相对应,只能判断是否为人脸,所以需要使用唯一身份信息码。二维码 [14] 是一种是用某种特定的几何图形按一定规律在平面(二维方向上)分布的、黑白相间的、记录数据符号信息的图形。二维码大致可分为QR Code码,Data Martix码,PDF 417码。QR Code码具有信息容量大、可靠性高、可表示汉字及图象多种文字信息、保密防伪性强等优点,其特点是具有超高速识读和全方位识读。

超高速识读:在相同的设备下,每秒可识读30个含有100个字符的QR Code码符号;对于含有相同数据信息的PDF 417条码符号,每秒仅能识读3个符号;对于Data Martix矩阵码,每秒仅能识读2~3个符号。

全方位识读:QR Code码具有全方位(360˚)识读特点,即无论图像在平面内选旋转何种角度,受到的影响极小。相比与PDF 417条码的识别方位角仅为±10˚,QR Code码具有良好的识读性。

QR Code码在纠错等级为L级(约可纠错7%的数据码字),最高可存储数字数据为7089个字符,字母数据为4296个字符,8位字节数据为2953个字符,中国汉字为1817个字符。可满足需求。

二维码识别 [15] 不同于人脸检测,二维码识别所需计算量不大,相比于人脸检测花费时间少,且出现位置比较随机,可以在识别到人脸后对图像整体检测,在检测完之后将数据通过串口发送至STM32进行处理。

Figure 6. Coordinate extraction process

图6. 坐标提取流程

4. 实物测试及分析

制作实物如图7所示,设计实验为测量场地内(宽10 m,长10 m) 4人体温并完成扫码所用时长,在实验中人员随机运动。测试中,机器人按照预期流程完成测试任务,验证了该装置的可行性和稳定性,测试所得数据如表1所示。

Figure 7. Physical map

图7. 实物图

Table 1. Testing data

表1. 测试数据

5. 结论

本文设计了一款移动式非接触人脸测温装置。与现有同类装置相比具有以下优点:1) 该装置可自由移动,扩大了测量面积,避免只在单点测量的难题。2) 采用二维云台进行人脸识别角度调整,测试过程简单,降低测量时间。3) 采用红外测温传感器,无需直接接触,降低传染病交叉感染风险。4) 该装置结构简单,操作便捷,易于成果转化。

基金项目

1) 陕西省重点研发计划–工业公关项目(2020GY-051);2) 陕西省教育厅重点科研项目(20JS044);3) 渭南市区域协同创新发展研究项目(WXQY001-001);4) 渭南师范学院国家级大学生创新创业计划研究项目(19XK061);5) 渭南师范学院大学生创新创业计划研究项目(20xk057)。

文章引用

郑美娜,邢旭东,何 冰. 一种移动式非接触人脸测温装置的设计
Design of a Mobile Non-Contact Face Temperature Measurement Device[J]. 图像与信号处理, 2022, 11(01): 10-18. https://doi.org/10.12677/JISP.2022.111002

参考文献

  1. 1. 王东勇. 应对秋冬季传染病预防是关键[N]. 大众健康报, 2021-05-27.

  2. 2. 袁浩期. 基于图像融合的流动人群体温检测系统设计[D]: [硕士学位论文]. 广州: 广东工业大学, 2019.

  3. 3. 朱文斌, 武志涛, 关晶晶, 林佳智, 刘源, 张扬, 王志鹏, 窦威. 一种自动追踪拍摄装置[P]. 中国专利, CN214070021U, 2021-08-27.

  4. 4. 侯国栋, 常迎梅. 具有红外测温功能的人脸识别门禁系统设计[J]. 科技信息, 2010(20): 519-520.

  5. 5. 舒华忠. 矩和矩不变量在图像处理和模式识别中的应用综述[J]. 四川师范大学学报(自然科学版), 2021, 44(5): 576-585.

  6. 6. 项思哲, 周依涛, 郑炜炀, 高金凤. 基于改进单神经元PID算法的平衡小车控制[J]. 电子测量技术, 2021, 44(13): 68-72.

  7. 7. 赵恒逸. 二轴云台的目标跟踪技术研究[D]: [硕士学位论文]. 南京: 南京航空航天大学, 2019.

  8. 8. 朱文斌, 武志涛, 关晶晶, 林佳智, 刘源, 张扬, 王志鹏, 窦威. 一种自动追踪拍摄装置[P]. 中国专利, CN214070021U, 2021-08-27.

  9. 9. Nalini, K., Ratha,V.M., Patel, R.C. (2021) Deep Learning-Based Face Analytics. Springer, Berlin.

  10. 10. 徐颖, 邱力军. 基于OpenCV的人脸检测算法改进与优化[J]. 信息技术, 2021(7): 109-113.

  11. 11. 胡念, 张四平, 王梅. 基于Haar-Like T特征的人脸检测算法[J]. 信息与电脑(理论版), 2020, 32(17): 51-53.

  12. 12. 宋俊芳, 马浩轩, 赵海莉, 张李帅. 基于Haar级联分类器和LBPH算法的人脸识别[J]. 软件, 2021, 42(4): 45-47.

  13. 13. 李纪鑫, 任高明, 赫磊, 孙瑜. 基于BP神经网络的人脸检测AdaBoost算法[J]. 计算机测量与控制, 2020, 28(8): 187-192.

  14. 14. 邓阿春. 基于二维码的资产管理平台的研究与实现[D]: [硕士学位论文]. 天津: 天津职业技术师范大学, 2021.

  15. 15. 朱玥, 郭依正, 詹雪敏. 一种基于OpenCV的机器人二维码识别方法[J]. 电子制作, 2021(15): 55-56+10.

  16. NOTES

    *通讯作者。

期刊菜单