Optoelectronics
Vol.
12
No.
01
(
2022
), Article ID:
48756
,
13
pages
10.12677/OE.2022.121001
红外成像导引头目标探测与自动识别 关键技术分析
李柯1,2,李智军3,梁玉英4,廖润贵3,吴允强4,周丹1,2
1南昌市智能制造系统仿真规划与建造重点实验室,江西 南昌
2南昌理工学院机电工程学院,江西 南昌
3航空工业洪都集团660研究所,江西 南昌
4南昌理工学院电子与信息学院,江西 南昌
收稿日期:2021年11月23日;录用日期:2022年2月11日;发布日期:2022年2月18日
摘要
红外成像导引头是弹上发现和跟踪目标并产生姿态调整信号和参数,实现精确制导和精准打击的关键装置。概要介绍了红外成像导引头的功能和构成,梳理了国内外几种代表性的红外精确制导武器和红外导引头发展沿革,以及美国国防预先研究计划局(DARPA)近十年多来有关红外成像探测和精确制导项目的立项进展情况。在此基础上,分析了红外导引头成像探测、红外图像实时信号处理、成像制导武器中自动目标识别(ATR)等关键技术;综述了制冷和非制冷型红外焦平面阵列(FPA)探测器、多波段/偏振成像探测器、激光与红外复合成像、非传统成像,以及应对复杂多变/强对抗作战环境条件下基于深度学习与人工智能的红外图像信号实时处理算法和弹载ATR算法、支撑算力的硬件架构等技术的最新进展。
关键词
红外导引头,红外成像探测,实时信号与信息处理,自动目标识别,精确制导武器
Analysis on Key Techniques of Infrared Imaging Seeker Target Detection and Automatic Recognition
Ke Li1,2, Zhijun Li3, Yuying Liang4, Rungui Liao3, Yunqiang Wu4, Dan Zhou1,2
1Nanchang Key Laboratory for Simulation-Planning and Constructing of Intelligent Manufacturing System, Nanchang Jiangxi
2School of Mechanical and Electrical Engineering, Nanchang Institute of Technology, Nanchang Jiangxi
3660 Design Institute, Hongdu Aviation Industry Group, Nanchang Jiangxi
4School of Electronics and Information, Nanchang Institute of Technology, Nanchang Jiangxi
Received: Nov. 23rd, 2021; accepted: Feb. 11th, 2022; published: Feb. 18th, 2022
ABSTRACT
Infrared imaging seeker is a key device for detecting and tracking targets on the missile, generating attitude adjustment parameters and realizing precision guidance and precision strikes. This paper briefly introduces the function and composition of infrared imaging seekers, introduces and analyzes several typical infrared precision guided weapons at home and abroad, infrared seekers development evolution, and the progress of the infrared imaging detection and precision guidance projects of United States DARPA (defense advanced research projects agency) in the last decade. On this basis, the key techniques such as infrared seeker imaging detection, real-time signal processing of infrared image, automatic target recognition (ATR) in imaging guided weapons are analyzed. The latest technical progress on the cooled/uncooled infrared ray focal plane array (FPA) detectors, multiband/polarimetric imaging, laser and infrared composite imaging, unconventional imaging, as well as real-time infrared image signal processing algorithms, ART algorithms for missile based on deep learning and artificial intelligence under battlefield environments of complex changing/hostile environments, the hardware architecture that supports computing power are reviewed.
Keywords:Infrared Seeker, Infrared Imaging Detection, Real-Time Signal and Information Processing, Automatic Target Recognition, Precision Guided Weapons
Copyright © 2022 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
1. 引言
导引头是一种安装在制导武器(导弹等)头部,通过接收目标辐射或反射的能量,测量导弹与目标相对运动信息(如视线角、视线角速率、弹目相对距离、速度等)并形成满足导引规律所要求的制导指令信号装置。所形成的制导指令信号被送至导弹飞行姿态稳定控制系统,由其综合制导指令和弹上其他部件的测量信号,进一步地生成飞行控制信号,操纵导弹转弯和飞向目标。红外成像导引头是精确制导武器导引头家族中的重要成员之一,属被动探测模式(辐射源来自目标、被动寻的方式),探测精度高,受无线电干扰影响小,攻击隐蔽性好,可昼夜作战。但在云、雾、雨、沙尘暴环境下会影响红外成像性能,受红外诱饵、云层反射阳光和其它热源诱惑,可能偏离和丢失目标。此外,红外探测作用距离受限,除与目标的红外辐射强度及辐射光谱特性有关外,也与导引头的灵敏度(温度分辨率)及外在环境的气象条件等有关,多用于近程武器精确制导或远程武器的末段精确制导 [1] [2] [3]。
在世界新军事需求牵引和新一轮科技变革推动下,近年来,在红外导引头成像探测、红外图像实时信号处理、成像制导武器中自动目标识别(ATR)等方面的技术创新发展迅速。本文后续的内容,将在概要介绍红外成像导引头的功能和构成,以及红外导引头及其相关技术发展沿革的基础上,分析红外导引头成像探测及信号与信息处理关键技术,综述相关技术的最新进展。
2. 红外导引头技术进步与发展
2.1. 红外导引头的功能与构成
红外导引头结构与功能组成如图1所示。从结构上看,红外导引头主要由光学/镜头系统、红外探测器、跟踪系统以及信号与信息处理系统(置于电子舱)等组成,其中光学/镜头系统、红外探测器和跟踪系统组成的光–电–机系统称为位标器,是实现导引头对目标辐射探测、保持位标器光轴指向稳定、随动和跟踪目标视线的核心部件。跟踪系统(跟踪稳定平台)的主要功能:① 将光学系统安装在位标器内设置的空间稳定平台上,保证光轴相对于惯性坐标系的稳定性,隔离弹体姿态角扰动影响;② 当目标视线偏离光轴时,红外探测器系统检测该偏差,在随动和搜索指令控制下,由伺服机构驱动位标器光轴指向目标;③ 位标器可以输出跟踪角速度等测量信息,供导引规律使用。位标器内的稳定平台有多种结构形式,如万向支架型动力陀螺稳定平台、速率陀螺稳定平台和新发展的数字式捷联稳定平台等。
Figure 1. Structure and function of the infrared seeker
图1. 红外导引头结构与功能组成
2.2. 红外导引头的发展
红外导引头技术的应用源自美国研制的红外制导“响尾蛇”空空导弹。在红外探测手段上经历了从红外点源/单元调制盘式体制、红外多元线列/多元光机扫描凝视工作体制,到红外焦平面阵列(focal plane arrays, FPA)/大面阵高清和多波长(多色)/多光谱/高光谱凝视成像系统的发展过程 [3] [4] [5] [6] [7]。从第一代导弹发展至今的四代导弹沿革来看,也反映了六十多年来红外导引头及FPA技术迅速发展和日趋成熟的历程 [5] [6] [7] [8]。结合导弹已更新了四代的发展,几种典型的红外导引头及FPA发展沿革如表1~4所示。表5以隶属美国国防部的国防预先研究计划局(defense advanced research projects agency, DARPA)计划项目为例,从一个侧面反映了美国布局预研国防高新科技、推进导引头成像探测和精确制导相关技术创新发展的脉络 [6] [7] [8] [9] [10]。
Table 1. Development of infrared seeker and FPA for air-to-air missiles
表1. 空空导弹的红外导引头及FPA发展沿革
Table 2. Development of infrared seeker and FPA for portable short range air-defense missiles (A)
表2. 便携式近程防空导弹的红外导引头及FPA发展沿革(A)
Table 3. Development of infrared seeker and FPA for portable short range air-defense missiles (B)
表3. 便携式近程防空导弹的红外导引头及FPA发展沿革(B)
Table 4. Development of infrared seeker and FPA for air-to-ground/air-to-ship missiles
表4. 空地导弹/空舰导弹的红外导引头及FPA发展沿革
Table 5. Information on imaging detection of seekers and precision guidance programs established by DARPA
表5. 美国国防预先研究计划局(DARPA)有关导引头成像探测和精确制导项目的立项情况
3. 关键技术分析
3.1. 红外导引头成像探测技术
红外焦平面阵列(FPA)探测器是决定导引头成像探测、分类识别、干扰对抗能力的核心部件。特别是强对抗/反介入/区域拒止作战条件下,高性能FPA已成为动态数据的可靠捕获、感知复杂场景,为制导武器实现目标截获、选择、跟踪、精准打击提供决策支持的关键。
FPA探测器分为制冷型探测器和非制冷探测器两种型式。制冷型探测器通常由FPA光敏芯片、提供给FPA正常工作的低温冷源与隔热环境的机械制冷器和金属型/玻璃型杜瓦(以降低与窄带隙相关的各种机制引起的探测器噪声)、内置的滤光片和光阑等光学件,以及片上系统处理器组成。在美军列装中,采用的半导体薄膜材料HgCdTe (碲镉汞)与InSb (锑化铟)并重,中波红外探测器主要以InSb为主,长波及双波长(双色)探测器则以HgCdTe为主 [11] [12] [13]。由于II类超晶格T2SL材料具备抑制俄歇复合、低暗电流、材料均匀性好等优良性能,2011~2016年,美国DARPA启动了VISTA (vital infrared sensor technology acceleration)计划,加速促进了T2SL红外探测器的工程化进展,新发展的T2SL也逐渐开始在部分领域替代InSb和HgCdTe红外探测器。相比较,非制冷探测器在探测率、噪声等效温差(NETD,也称探测灵敏度)、工作帧频、响应时间、高动态范围(HDR)成像等指标上,制冷型探测器具有明显优势,且一直是主选/传统的技术。近年来随着非制冷微测辐射热计(microbolometer, MB)性能的大幅提升,晶圆级光学镜头(WLO)、晶圆级封装(WLP)和定制专用集成电路(ASIC),以及降低SWaP-C (size weight and power-cost)等微小型红外热像一体化模组/机芯技术的成熟,非制冷型FPA现已成为红外导引头的重要成员之一 [2] [13]。如,以色列长钉SPIKE、欧洲MMP、日本轻马特XATM-5、我国红箭-12等反坦克导弹,以及美国PAM精确攻击导弹、美国联合空地导弹JAGM (用于取代幼畜AGM-65G,海尔法AGM-114空地/空舰导弹)、欧洲FASGW反舰导弹等均采用非制冷FPA的导引头。
红外导引头成像探测技术开发和创新发展,得益于近年来迅速发展的微电子、微机电系统(MEMS)、各种化合物半导体的带隙工程等高新技术 [2] [13],主要包括:① FPA探测器性能的进一步提升;② 小尺寸、轻型、低功耗和低成本(SWaP-C)的FPA成像机芯;③非传统/新概念成像探测器。
FPA探测器典型的性能参数:面阵规模、像元中心距(像元尺寸)、有效像元率(盲元占比)、制冷型探测器的工作温度、非制冷探测器的热响应时间、噪声等效温差(NETD,也称探测灵敏度)、工作帧频、系统最小可分辨温差(MRTD)、成像的动态范围(HDR)、功耗和体积等。对于制冷型探测器,高性能是核心,重点是提高光谱、空间、时间的分辨率和辐射探测器的灵敏度 [11] [12] [14]。目前美国等西方军事强国已全面具备大规格光敏元阵列、高工作温度(HOT)、高灵敏度、双波长(双色)/多波长(多色)成像等特点。在大规格光敏元数量和追求高清成像方面,低非均匀性的FPA面阵规模已实现了从128 × 128、320 × 256到1 K × 1 K、2 K × 2 K、4 K × 4 K、拼接的8 K × 8 K及6000 × 1、2048 × 16等全覆盖,有效像元率达到99.5%、99.8%以上。如,美军已列装的AIM-9X“响尾蛇”空空导弹(128 × 128)、THAAD“萨德”末段高空防御反导导弹(256 × 256),RIM-116B“拉姆”舰载防空反导导弹(128 × 1)等导引头;在中/短、中/长波双色FPA方面,面阵规模也达到了640 × 512。以HgCdTe探测器为例,中波红外FPA从15 μm (2005年前后)、10 μm (2013年前后)缩小到目前的5 μm光敏元距;长波红外从20 μm (2005年前后)、15 μm (2010年前后)缩小到目前的10 μm光敏元距;探测器的工作温度最高可达150 K或以上、制冷器功耗/总功耗/重量分别为0.15 W/1.5 W/300 g或以下,且具有与标准工作温度(80 K)相同的探测灵敏度;工作帧频也已达到了120、300 Hz、1000 Hz;探测灵敏度(NETD) ≤ 20 mK。目前美国等军事强国用于导引头的高性能红外双色或短/中/长波三色成像、焦平面上敏感元之间低的光学串音(空间和光谱)、基于大规模读出电路的视窗选择/盲元剔除/非均匀校正/探测器信号模数转换/高速传输及预放大处理/2D或3D图像处理、图像融合、以及通过片上系统完成边缘或运动检测/分割(以减少数据过载)等已全面实现或已接近工程化应用 [11] [12] [14]。
在单一波长无法识别目标情况下,多光谱却可以识别目标。双色成像能在单独的像素上敏感不同的谱段,能够同时收集在谱空间上完全独立的短波波段和长波波段,利用接近可见光成像的高分辨率短波红外成像和具有温度灵敏的长波红外成像,通过匹配调整双色,在各种大气和战场场景中形成最佳的图像,结合先进的信号处理和融合算法,以改进高灵敏度远距离探测和目标识别及分类的性能 [11] [13] [14]。如,美国“标准-3”Block IB/IIA反导拦截弹、以色列Python 5空空导弹都采用红外双色成像导引头,美国外大气层杀伤飞行器(EKV)采用可见光与红外双色复合成像导引头。多光谱成像(MSI)可在若干个光谱波段内成像,高光谱成像(HSI)可在数百个光谱波段内成像,MSI/HIS产生的大量数据形成的数据集通常称为数据立方体,由垂直波长轴的景象加平面二维空间图像构成,因存在信噪比下降和数据量巨大而实时计算负担过重问题,难以在较小的武器平台上部署。而采用新发展的压缩成像技术,通过采用相对小的焦平面阵列同时获取高分辨率的中波红外图像和多光谱图像,是解决MSI/HIS的一种有效技术途径 [11] [13]。另外,DARPA启动了AFPA (自适应聚焦平面阵列)项目,基于MEMS的可调谐红外探测器技术,利用光学薄膜涂层的反射特性和ARC (anti-reflection coating)特性来同步控制光谱带通和调谐范围等自适应光谱成像的最新研究进展,进一步推进了自适应FPA技术的发展 [2] [11] [13] [14]。
对于微测辐射热计型非制冷探测器,主要的工作也集中在减小像元距,以及提高微测辐射热计、SOI (silicon on insulator)二极管测温器件的性能上,像元距从25 μm (2002年前后)、17 μm (2007年前后)、12 μm (2013年前后)缩小到目前的10 μm像元距甚至更小,民用领域的面阵规模达到了1920 × 1200。但ms量级的热响应时间、探测灵敏度等指标还差于制冷型探测器 [2] [13]。
更小的像元距不仅能够提高FPA的高清分辨率,同时也利于减少光学系统尺寸,降低成像系统尺寸、重量、功耗和成本。在降低FPA成像机芯的SWaP-C方面,2012年DARPA分别资助了AWARE(先进宽视场图像重建与开发架构)和LCTI-M (低成本热像仪制造)项目。AWARE项目资助研发大面阵小像元距(5 µm以下)的HOT下制冷型长波红外焦平面阵列,以满足军事应用的SWaP需求。LCTI-M项目立项旨在进一步强化手持式热像仪、轻武器热瞄镜、便携式防空导弹武器等低成本–微小型非制冷型红外光学制造工艺的优势,以提高士兵作战能力。2015年DARPA资助了SECTR (导引头成本转换)和WIRED (晶圆级红外探测器)项目。SECTR项目资助研发被动探测、捷联式光电/红外传感器和开放式系统架构,在GPS拒止和强对抗作战环境中实现精确末段寻的,实现全天候精确打击的轻小型SWaP-C导引头。WIRED项目资助研发基于晶圆的封装、测试和切割以及光学系统与光敏薄膜系统集成的晶圆级技术,用于HOT下制冷型红外探测器短/中/长波光谱波段的低成本大面阵高性能成像。2018年DARPA资助了三维单芯片系统(three-dimensional system on-chip, 3DSoC)项目,聚焦于采用新一代三维垂直高密度电子封装–硅通孔(through silicon via, TSV)技术,在单衬底垂直向上构建微系统所需材料、设计工具和制造技术的研发,旨在进一步推进红外成像机芯完全由微电子工艺规模化制造 [2] [13]。
近十多年来,在新概念、非传统红外成像探测方面,提出了计算混合成像、压缩成像(压缩感知)、自适应编码孔径成像、一体化敏感和处理、分布式协同敏感,以及先进的仿复眼成像等新技术 [5] [14] [15] [16] [17]。2016年DARPA启动了可重配置成像(Reconfigurable Imaging, ReImagine)项目,支持开发可重配置(类似现场可编程门阵列FPGA)、多种成像模式的焦平面阵列传感器,依赖机器学习、自主关注视场内正在发生的情况,据此场景可自调整参数重新配置成像传感器,开发从紫外到长波红外的单色或多色传感器架构和自适应算法、主动/被动混合的传感器架构和算法,被动模式基于焦平面阵列的传统强度探测,主动模式基于激光雷达等来源的3D信息的飞行时间(ROF)探测。2019年DARPA启动了FOCII (弧形红外成像仪焦阵列)项目,旨在研发用于大规模面阵与高性能焦平面弯曲到小曲率半径 (ROC)、最小外形尺寸的性能最优化技术,以及基于仿蝇复眼灵活球形结构的光学像差校正技术。2020年DARPA启动了FENCE (基于快速事件的神经形态红外摄像传感器和电子)项目,以解决在高度复杂场景/跟踪大范围变化的图像中准确捕获动态数据问题。2021年资助了美国雷神(Raytheon)公司、BAE系统公司和诺斯洛普·格鲁曼公司合作开发。这种非传统/新概念的成像传感器在硅电路层级模仿生物大脑的神经形态和运行模式,开发基于快速事件的红外FPA和异步读出电路(readout integrated circuit, ROIC)及信号处理集成系统,仅捕捉/传递变化的像素信息、极低功耗和操作延迟、稀疏输出空时组合数据,以及高能效比(performance per watt)的弹载处理器算力,基于仿生视觉一体化敏感、压缩成像和处理技术实现目标识别。
3.2. 红外图像实时信号信息处理技术
FPA成像探测是红外导引头系统的基础部件,但也必须有高实时的(至少比导弹飞行更快的处理速度)红外图像信号处理技术的支撑,才能够完成目标检测、识别跟踪和精确制导的任务。红外导引头系统总体设计和关键技术的解决需要在性能(探测距离、精度、漏检率和虚警率等)、弹载计算能力、实时性、可靠性,以及SWaP-C与效费比等方面加以权衡,如,计算代价换取硬件成本、硬件固化算法提高实时性、采用新一代高密度三维垂直电子封装技术和设计轻量级–低计算复杂度算法降低SWaP等。红外导引头图像信号与信息处理系统硬件的基本架构如图2示意,包括FPA探测器 (FPA + ROIC)、定制的专用红外ISP (图像信号处理)芯片和多核SOC (片上系统)/SOPC (可编程片上系统)/GPU (图形处理器)芯片等。信息处理流程涉及:图像预处理、图像特征(颜色纹理形状等自然特征、人工定义的特征和深度学习特征)提取、目标检测、目标识别跟踪等环节。
1) 红外图像预处理技术 [18] [19] [20]。红外导引头图像预处理可以看成是一个由输入的劣质图像到高质量图像输出的重构计算问题,通过采用图像噪声抑制、环境杂波滤波、图像增强、非均匀校正和提高FPA动态范围等算法,以重构和复原高质量图像。在战场环境中,红外导引头获取的图像包含兴趣目标、成像背景杂波(地面/海面/空中背景、雨雪、非兴趣物等)、光电干扰杂波(红外诱饵弹、红外烟幕、光学与射频混合干扰等)等多种信号的混杂。预处理技术在改进经典的红外图像滤波(带通、中值、卡尔曼滤波等)基础上,进一步发展了时间域、变换域和空间域图像预处理技术,包括,改进的小波多尺度变换、自适应引导滤波(guided filtering)、基于形态学的顶帽变换(top-hat transformation)等滤波算法,以及在基于二维图像信号空间的处理基础上发展了基于人工智能的预处理算法。另外,考虑到高实时性和SWaP,近年来,定制专用红外ISP芯片固化算法也是预处理技术发展的一个方向 [2]。
Figure 2. The basic hardware architecture of infrared image signal and information processing system
图2. 红外导引头图像信号与信息处理系统硬件的基本架构
2) 红外目标实时检测技术 [19] [20]。指在重构/复原图像(经图像预处理之后)的基础上,对目标进行检测和甄别,以保证后续目标的可靠跟踪。经典的红外目标检测研究图像/目标的特征提取、描述和分类为主要内容,对经过预处理的输入图像提取出各种特征,根据特征对图像进行分类,分类的基本思路是寻求目标与背景间的决策边界,采用的方法包括基于距离测度度量的分类器技术、基于机器学习的分类器技术等。红外目标的检测通常首先需要完成图像分割的操作(初步的检测),特征提取、目标检测均依赖于分割的质量。红外目标检测方法可以分为二类,一类是基于单帧图像的检测,一类是基于多帧图像的检测。基于单帧图像的检测方法仅依据帧内的前景和背景信息分割目标、提取特征和进行检测甄别,没有帧间信息的关联,计算代价小,执行效率高,但不适于成像背景复杂的检测问题。通常采用的多帧图像检测方法,基于先验信息(诸如目标和背景的温度、目标形状、灰度变化在时间上的连续性,以及目标运动轨迹的连续性等)分割图像噪声与目标的原理,按照使用先验信息的先后顺序,其主流的方法可分为二类:① 先检测再使用运动信息(detect before motion, DBM),也称跟踪前检测(detect before track, DBT);② 先使用运动信息再检测(motion before detect, MBD),也称检测前跟踪算法(track before detect, TBD)。“先检测”的DBM/DBT方法是一类经典的运动检测策略。其基本思想是:利用部分先验信息进行噪声抑制、分割、提取特征、检测,得到每帧图像中可能的目标(多个疑似目标),然后根据帧间信息和一定的准则甄别(识别)兴趣目标,排除虚假目标。该类方法计算过程简单,但仅适合于目标信噪比较高的图像。较为普遍的DBM/DBT算法包括小波分析、最大间类方差法最大熵估计、二维最小均方(TDLMS)滤波、基于邻域反向相位特征检测、图像局部熵、神经网络以及遗传算法等。“后检测”的MBD/TBD方法是近年来应用较广的检测策略,其基本思想是:先不检测单帧中有无目标,而是先对目标轨迹进行搜索及运动能量的累积,根据判定准则获取疑似目标运动轨迹,然后对目标运动轨迹进行确认、甄别(识别)出兴趣目标,步骤为:背景抑制–疑似目标轨迹跟踪–兴趣目标判断决策。这类方法对目标信噪比的要求不高。“后检测”的MBD/TBD包括改进的粒子滤波、三维匹配滤波、图像流法、动态规划法以及基于机器学习的算法等。
3) 红外目标实时跟踪技术 [20] [21] [22]。目标跟踪的主要任务是获取运动目标的位置、姿态、轨迹等基本运动信息,为制导提供决策支持。在外导引头系统检测和甄别出兴趣区域并将其锁定进入目标跟踪阶段后,识别跟踪的目的就是设法保证在后续的连续帧中逐帧检测出目标的精确位置(即在第一帧中给出一个兴趣目标前提下,通过前后帧之间的特征匹配,在后续的每一帧中对该目标进行定位),计算出目标与系统光轴的角偏差信号,控制伺服系统实现闭环反馈,使光轴始终指向目标。经典的红外目标跟踪方法主要有波门法、模板匹配法、卡尔曼滤波、基于特征点的光流法,以及为获取更高精度而后发展的改进的粒子滤波、无迹粒子滤波、支持向量机(SVM)等算法。强对抗/反介入/区域拒止战场环境下,经典的跟踪技术的局限性突显。目前基于先进机器学习已成为解决经典技术局限性的一种新的技术路线 [20] [21] [22] [23]。从计算机视觉研究角度讲,基于学习的目标跟踪系统基本框架一般由搜索策略、特征提取和观测模型三部分组成。通过搜索策略发现疑似目标后进行特征提取(常规特征和学习特征的提取),利用特征判断和分类识别疑似目标是否为跟踪目标的观测模型。建立观测模型是对目标进行跟踪的关键,通常分为生成式模型和判别式观测模型。生成式跟踪方法提取目标特征学习出代表目标的外观模型(图像描述/表观模型),在帧中搜索与模型误差最小(最匹配)的一个区域作为下一帧的跟踪对象。判别式跟踪方法将跟踪视为分类或回归的问题,通过训练分类器,分离背景–目标,从而实现对目标的跟踪。判别式方法主要有SVM、多示例学习(MIL)、相关滤波(CF)、深度学习、兼顾精度速度稳健性的深度学习与CF结合等跟踪方法。由于判别式跟踪方法既关注目标本身的信息,也关注背景信息,改进了生成式跟踪方法只考虑目标信息的不足。相比而言,判别式跟踪方法尽管易受噪声影响,通用性以及样本的选择机制还有待改进等。自2010年CF、2012年深度学习(以AlexNet深度卷积神经网络为代表)等方法被引入目标跟踪领域后,深度学习、CF及其与深度特征结合等,不再苛求难以全面的特征提取和复杂的目标建模,网络经过预先训练后,参数基本是固定的,从输入到模型的输出过程是一次性的,无迭代,处理速度快,且具有较好的图像分类和识别能力。基于深度学习的技术在提高预测目标位置精度、跟踪速度至少要达到与采样视频同样的帧率或者更高的同时,有限的不完全的训练和测试数据集(代表各种战场场景和不同目标特性的图像数据库)条件下,解决算法应用的稳健性、嵌入算法的轻量化和支撑弹载运算能力的硬件等是目前研究的一个方向。
3.3. 弹载自动目标识别(ATR)技术与深度学习
弹载自动目标识别(ATR)技术是基于弹上计算处理器处理前视红外FPA探测器(或激光雷达/毫米波雷达/合成孔径雷达)获得的成像数据以及导弹数据链数据等,自动地进行检测、分类、识别/捕获和跟踪目标的一种技术,弹载ATR系统高度面向任务,旨在使目标检测过程自动化,为精确制导目标选择、跟踪提供决策结果,实现制导武器发射后即可自动完成寻的任务。在ATR技术实用化之前,实现精确制导(主要是末段制导)的方法是采用人在回路控制(man-in-loop control)的工作模式,ATR则以比人工更快、更精确的方式解读所获得的数据。近几十年来,ATR经历了从统计模式识别、基于模型、基于推理规则发展到基于浅层网络学习和基于深度学习的技术历程 [1] [5] [8] [24] [25] [26] [27] [28]。目前,使用深度学习等先进机器学习作为人工智能工具,已成为解决经典ATR技术局限性的一种新的技术路线 [24] [25] [26]。
人类解读视野场景或图像以及可能潜在的其它复杂问题是非常“自然”的一件事情。获得诺贝尔医学奖(1981年)的两位神经学家David Hubel和Torsten Wisel,在上世纪50年代末发现了“人脑视觉系统由低层到高层逐层迭代抽象的分级信息处理”机理,形成了支撑当今大多数计算视觉与模式识别应用的神经网络基础。使用深度网络作为人工智能工具,从瞳孔摄入原始信号(Pixels)开始,通过提取浅层(初级)的特征、到组合浅层特征逐步形成更加抽象的表现语义(或意图)的高层特征,被认为是目前更接近于人脑机理来解读数据和理解复杂图像的技术 [28] [29]。近年来深度学习在语音识别、图像识别和视频跟踪等民用工程领域获得了很大的成功 [28] [29] [30]。在学术界,如,每年举办的IEEE Computer Vision and Pattern Recognition (CVPR)会议,是最受关注的最新研究成果汇聚展现的平台之一 [28]。深度学习需要进一步研究解决的问题主要包括 [28] [29]:① 训练数据问题;② 深度学习架构问题。③ 性能增强问题。
在非军事/民用领域,利用机器学习的目标识别方法是在相对稳定的高性能计算、云计算等支撑环境下,依赖大量高质量的训练和测试数据学习更强大的模型,如Google采用海量的和带标记的几百万张人脸数据集来训练识别系统。弹载ATR与之不同,它本质上是一个面向特定的任务、基于弹载传感器获取的数据(或综合利用弹载传感器和弹上数据链数据),采用人工智能手段解读/理解复杂图像的问题。复杂变化的作战场景和强对抗条件下,红外目标–背景杂波–光电干扰等多类信号混杂与多场多相耦合变化,目标微弱特征显著,快速事件动态数据实时、鲁棒捕获难,另外,伪装/隐身/诱饵和背景流量以及目标信息变化的高度不确定性,显著增加了成像探测信息维度,成像探测数据流“高阶、高维”,收集和累积外场数据(即使结合试验仿真数据)构建大规模高质量训练数据集严重受限,建立稳健、在线快速学习全新目标的深度网络模型难。美国及西方军事强国的研究焦点和突破的瓶颈也主要集中于动目标自主识别的高稳健性和深度学习算法的“环境自适应”能力问题 [24] [25] [26] [27]。2018年DARPA在启动的下一代人工智能(AI Next)项目中,也专门部署了重点突破第一代(专家系统)和第二代(依赖大规模高质量训练数据的机器学习)AI系统的局限性,增强深度学习解读数据的稳健性等专项研究 [8]。
近年来,美国及西方军事强国开展的以深度学习为代表的先进机器学习等技术攻关,取得许多新进展 [22] [24] [25] [31] [33] [33]。如,2015年DARPA启动了对抗环境下目标识别与自适应(TRACE)项目的研究计划,应用于合成孔径雷达图像中自动定位和识别目标,研发较少训练数据的弹载在线快速学习、轻量型深度分析、对于全新的目标/未知目标深度特征提取和更新的快速学习技术,以及低功率移动计算硬件架构(多核SOC、多核GPU和FPGA等)支撑算力的技术,研发一种实用、低虚警率、低处理功耗的弹载ATR系统。据新近的报道,美国雷神(Raytheon)、深度学习分析(Deep Learning Analytics)、蕾杜斯(Leidos)、BAE、洛克希德·马丁(Lockheed Martin)等公司,采用的技术路线包括:① 采用生成对抗网络(GANs)做数据增广,合成足够多的有效训练数据。② 基于迁移学习,将已学习得到的预训练模型,迁移到解决弹载ATR问题上。③ 基于有限先验信息的代价换取降低深度学习所需训练数据规模的ATR混合策略。④ 采用片上系统处理器芯片支持能效比25~50 GFlops/W的弹载算力,远优于传统多核CPU架构的2~3 GFlops/W算力;此外,DARPA启动的嵌入式计算技术能效革命(PERFECT)项目第三阶段研发,在7 nm/5 nm工艺的片上系统芯片上能效比达到了75 GFlops/W。⑤ 采用导引头多模复合、多传感器融合、导弹加装数据链等技术,改善对目标信息获取的有限性,达到所期望的目标漏检率/虚警率、查全率/查准率指标。另外,2018年DARPA启动了AI Next (下一代人工智能)项目,这将会更进一步推进ART技术发展,也将会支撑创新技术实现精确制导武器自主化智能化地发现目标、先发射再确定目标、空中巡飞攻击、自主目标选择等新功能。
4. 结论
进入21世纪,战争形态加速向信息化战争演变,智能化战争已现端倪。特别是自特朗普政府上台以来,在美国军事战略转向大国竞争背景下,加速推进了精确打击武器领域发展的态势,调整和创新了强对抗作战环境下精确打击作战思想。近年来,美国及西方军事强国在提升红外成像探测器性能、SWaP-C、多色多光谱成像、新概念计算光学和非传统红外成像、高实时信号处理算法、使用先进的机器学习作为人工智能工具的弹载ATR算法、支撑弹载算力的片上系统芯片、红外与激光/射频多模复合制导、弹上数据链等技术创新发展迅速。随着大规模集成电路、MEMS、新一代三维垂直高密度电子封装、新概念计算光学成像等技术的进步和下一代人工智能研究的进展,红外导引头的性能以及在应对强对抗/反介入/区域拒止作战环境中的自适应能力将会进一步提升。
基金项目
本文得到江西省教育厅科学技术研究项目(项目编号:GJJ212101,GJJ219310)、南昌市重点实验室建设项目(项目编号:2020-NCZDSY-005)的资助。
文章引用
李 柯,李智军,梁玉英,廖润贵,吴允强,周 丹. 红外成像导引头目标探测与自动识别关键技术分析
Analysis on Key Techniques of Infrared Imaging Seeker Target Detection and Automatic Recognition[J]. 光电子, 2022, 12(01): 1-13. https://doi.org/10.12677/OE.2022.121001
参考文献
- 1. 吕洁, 罗勇, 卿松, 叶建斌, 周新宇, 周雪琴. 红外制导技术在空空导弹中的应用分析[J]. 兵器装备工程学报, 2017, 38(12): 70-74.
- 2. 邓荣春, 卢杰, 徐立中, 胡荣群. 微测辐射热计型非制冷红外焦平面探测器技术新进展[J]. 光电子, 2021, 11(4): 158-167. https://doi.org/10.12677/OE.2021.114019
- 3. 李丽娟, 刘珂. 空空导弹红外成像探测技术发展分析[J]. 红外技术, 2017, 39(1): 1-7.
- 4. 陈天群, 高方君, 杨海明. 红外玫瑰扫描型导引头扫描检测概率研究[J]. 红外技术, 2016, 38(10): 884-888.
- 5. 范晋祥, 侯文涛. 防空反导精确寻的末制导技术的发展与思考[J]. 空天防御, 2020, 3(3): 31-37.
- 6. 宋怡然, 林旭斌, 武坤琳, 胡冬冬. 大国竞争战略下美国精确打击武器发展分析[J]. 战术导弹技术, 2020(2): 105-109.
- 7. 王少平, 董受全, 隋先辉, 李晓阳. 新作战理念推动下的反舰导弹发展新趋势[J]. 飞航导弹, 2019(6): 27-31.
- 8. 郝雅楠, 祝彬, 朱华桥, 王阳阳. 美军导弹智能化发展态势研究[J]. 战术导弹技术, 2020(1): 15-21.
- 9. 张修社. 2018年DARPA研究计划聚焦[M]. 北京: 国防工业出版社, 2018.
- 10. 赵飞, 陈雅萍. 美国国防高级研究计划局精确打击技术项目分析及启示[J]. 中国航天, 2021(8): 58-62.
- 11. Bhan, R.K. and Dhar, V. (2019) Recent Infrared Detector Technologies, Applications, Trends and Development of HgCdTe Based Cooled Infrared Focal Plane Arrays and Their Characterization. Opto-Electronics Review, 27, 174-193. https://doi.org/10.1016/j.opelre.2019.04.004
- 12. 吕衍秋, 鲁星, 鲁正雄, 李墨. 锑化物红外探测器国内外发展综述[J]. 航空兵器, 2020, 27(5): 1-12.
- 13. Kimata, M. (2018) Uncooled Infrared Focal Plane Arrays. IEEJ Transactionson Electricaland Electronic Engineering, 13, 4-12. https://doi.org/10.1002/tee.22563
- 14. Bianconi, S. and Mohseni, H. (2020) Recent Advances in Infrared Imagers: Toward Thermodynamic and Guantum Limits of Photon Sensitivity. Reports on Progress in Physics, 83, Article ID: 044101. https://doi.org/10.1088/1361-6633/ab72e5
- 15. 柯钧, 张临夏, 周群. 压缩感知在光学成像领域的应用[J]. 光学学报, 2020, 40(1): 1-26. https://doi.org/10.3788/AOS202040.0111006
- 16. Ihrke, I., Restrepo, J. and Mignard-Debise, L. (2016) Principles of Light Field Imaging: Briefly Revisiting 25 Years of Research. IEEE Signal Processing Magazine, 33, 59-69. https://doi.org/10.1109/MSP.2016.2582220
- 17. Cheng, Y., Cao, J., Zhang, Y. and Hao, Q. (2019) Review of State-of-the-Art Artificial Compound Eye Imaging Systems. Bioinspiration & Biomimetics, 14, Article ID: 031002. https://doi.org/10.1088/1748-3190/aaffb5
- 18. He, K., Sun, J. and Tang, X. (2013) Guided Image Filtering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35, 1397-1409. https://doi.org/10.1109/TPAMI.2012.213
- 19. 马晓平, 赵良玉. 红外导引头关键技术国内外研究现状综述[J]. 航空兵器, 2018, 25(3): 3-10.
- 20. Rawat, S.S., Verma, S.K. and Kumar, Y. (2020) Review on Recent Development in Infrared Small Target Detection Algorithms. Procedia Computer Science, 167, 2496-2505. https://doi.org/10.1016/j.procs.2020.03.302
- 21. 李成, 李建勋, 童中翔, 贾林通, 张志波. 红外成像制导末端局部图像识别跟踪研究[J]. 兵工学报, 2015, 36(7): 1213-1221.
- 22. Danelljan, M., Robinson, A., Khan, F.S. and Felsberg, M. (2016) Beyond Correlation Filters: Learning Continuous Convolution Operators for Visual Tracking. European Conference on Computer Vision (ECCV 2016), Amsterdam, 8-16 October 2016, 472-488. https://doi.org/10.1007/978-3-319-46454-1_29
- 23. 李玺, 查宇飞, 张天柱, 崔振, 左旺孟, 侯志强, 卢湖川, 王菡子. 深度学习的目标跟踪算法综述[J]. 中国图象图形学报, 2019, 24(12): 2057-2080. https://doi.org/10.11834/jig.190372
- 24. Warwick, G. and Dimascio, J. (2016) Targeted Learning. Aviation Week & Space Technology, 178, 43-47.
- 25. https://www.baesystems.com/en/product/target-detection-and-recognition
- 26. 胡仕友, 赵英海. 导弹武器智能精确制导技术发展分析[J]. 战术导弹技术, 2017(2): 1-6.
- 27. 范晋祥, 刘嘉. 精确制导自动目标识别智能化的挑战与思考[J]. 航空兵器, 2019, 26(1): 30-38.
- 28. https://cvpr2021.thecvf.com/node/47
- 29. https://www.cs.toronto.edu/~hinton/
- 30. 张顺, 龚怡宏, 王进军. 深度卷积神经网络的发展及其在计算机视觉领域的应用[J]. 计算机学报, 2019, 42(3): 453-482.
- 31. https://www.rtx.com/careers/military-community
- 32. https://deeplearninganalytics.org/deep-learning-computer-vision/
- 33. Majumder, U.K., Blasch, E.P. and Garren, D.A. (2019) IEEE Radar Conference 2019 Tutorial Session I Machine Learning Techniques for Radar ATR: Monday, April 22, 2019 Time: 11:00AM - 3:00PM. 2019 IEEE Radar Conference, Boston, 22-26 April 2019, 1-93. https://doi.org/10.1109/RADAR.2019.8835628