北方工业大学计算机系，北京

收稿日期：2022年6月23日；录用日期：2022年8月5日；发布日期：2022年8月15日

摘要

目标跟踪算法是对给定目标的位置进行预估与定位从而实现持续跟踪。随着硬件技术以及神经网络的发展，目标跟踪在精度与速度上远超传统算法，基于孪生神经网络的跟踪算法是当前众多学者主要研究的方向之一。本文主要对孪生网络结构以及相关算法进行介绍。首先介绍孪生结构原理，其次根据改进方向对存在的算法进行阐述，随后介绍经典数据集，最后对现有算法发展进行总结与展望。

关键词

目标跟踪，孪生神经网络

Algorithm Research of Siamese Neural Network in Target Tracking

Minghan Li

Computer Department, North China University of Technology, Beijing

Received: Jun. 23^rd, 2022; accepted: Aug. 5^th, 2022; published: Aug. 15^th, 2022

ABSTRACT

Target tracking algorithm is to estimate and locate the position of a given target to achieve continuous tracking. With the development of hardware technology and neural network, target tracking is far more accurate and faster than traditional algorithms. Tracking algorithm based on siamese neural network is one of the main research directions of many scholars at present. This paper mainly introduces the siamese network structure and related algorithms. Firstly, the principle of siamese structure is introduced, then the existing algorithms are described according to the improvement direction, then the classical data sets are introduced, and finally, the development of existing algorithms is summarized and prospected.

Keywords:Target Tracking, Siamese Neural Network

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

目标跟踪是当前计算机视觉领域的热点问题之一 [1] [2] [3] [4]，众多领域中都会涉及到目标跟踪，例如视频安防监控系统 [5] [6]、自动驾驶 [7]、医疗诊断 [8]、军事安全 [9] 等。按照跟踪对象分为单目标跟踪与多目标跟踪，本文主要针对单目标跟踪进行研究。单目标跟踪的主要任务是在给定视频初始目标状态后，目标跟踪算法能够对视频后续帧中该目标的位置进行预估与定位。由于视频中目标会受不同因素的影响而发生变化，例如目标形状变化、环境遮挡目标本身、光照影响等，因此设计一个能够稳定高效准确的跟踪器是十分具有挑战性的任务。

传统的目标跟踪算法较为粗糙，主要基于光流法、粒子滤波以及均值漂移实现的，这类方法很容易受到目标尺度变化、背景复杂等因素的干扰，并且由于计算过程较为复杂，导致执行速度较慢无法有本质上的提升 [10]。随着通信领域的发展，将相关滤波引入到了目标跟踪中，基于相关滤波的目标跟踪算法层出不穷，相比于传统的目标跟踪算法，跟踪速度大幅提升并且出现了很多跟踪性能优良的跟踪器，一定程度上解决了跟踪速度与性能问题 [11]。

随着深度学习的发展，卷积神经网络在提取特征方面有较好的鲁棒性，逐渐替代了传统手工设计的特征 [12] [13]。基于深度学习的跟踪方法主要分为两类：一类是与相关滤波相结合的算法，另一类是神经网络通过端对端的训练完成目标的特征提取与定位 [3]。其中孪生神经网络既可较好地提取目标特征，在跟踪速度上也较为优秀。

2. 孪生网络结构

孪生结构最早在1993年由Bromley J [14] 等人提出，用于验证签名的一致性。2010年Hinton [15] 等人用孪生网络来验证人脸。2015年Sergey Zagoruyko [16] 等人对孪生结构进行了改进，极大地提高了网络判别的准确度 [17]。随着神经网络的发展，孪生网络也慢慢出现在计算机视觉领域的目标跟上，孪生结构的原理如图1。

其中，神经网络1和神经网络2是权值共享的神经网络，这两个结构完全相同的网络将不同分输入分别映射到新的空间中，形成新的表示，通过损失的计算评价两个输入的相似度。

3. 历史发展与现状

SINT [18] 算法最早将孪生结构用于目标跟踪，通过学习匹配函数返回后续帧中与目标最相似的patch从而实现较精准的定位。同年，Bertinetto L [19] 等人在跟踪部分使用相似度量的思想提出SiamFC算法，采用孪生神经网络结构如图2，将第一帧的目标作为模板图像，后续帧作为搜索图像，对模板图像和搜索图像进行放缩填充后，输入到相同的骨干网络中，生成各自的特征图，以模板图像的特征图作为卷积核在搜索图像的特征图上滑动互卷积，进行相似性判断生成对应的置信图，得分最高的子窗口即为预测目标所在位置。

图1. 孪生网络结构

图2. SiamFC结构图

SiamFC结构较为简单，在当时跟踪实时性较好，但在面对目标形变较大、背景较为复杂、相似外观等情况下跟踪效果较差。后续很多孪生神经网络的目标跟踪算法都是在SiamFC的基础上进行改进的，主要从主干网络结构、引入回归、结合注意力机制等方面进行改进。

3.1. 主干网络结构

SiamFC的提出将孪生网络结构作为目标跟踪领域中一个新分支，借助神经网络的发展，后续的算法在其结构上不断地优化，从而实现更高效准确的跟踪器。利用神经网络进行特征提取时通常使用AlexNet作为骨干网络，网络层数较浅且较为轻量是其受欢迎的原因。但网络层数较浅就会导致特征提取的准确性较低，蒲磊等 [20] 设计了基于高层语义嵌入的孪生网络跟踪算法，在依旧使用AlexNet网络的前提下，在模板分支中构造语义嵌入模块，训练过程中可以将深层语义转换到较浅层的特征，进一步优化整个网络学习特征的能力，增强特征的表达，通过实验发现，在计算量不变的情况下，增加语义嵌入模块能在精度和成功率方面有更好的表现。Li [21] 等人使用修改后的VGG16网络作为骨干网络，更深的网络结构让其在大数据集上训练效果更好。陈 [22] 等人在Li的基础上以VGG16作为骨干网络设计了抗遮挡的孪生网络跟踪算法，通过对比网络输出的置信图和连通域进行目标遮挡情况的判断，从而提高算法的抗遮挡性。

张志鹏 [23] 等在文中将骨干网络更换为更深层的网络如ResNet、Inception，发现特征提取的效果没有上升反而下降了。主要原因是网络加深导致感受野增加，使用padding会导致网络在学习过程中出现位置偏差，从而影响了准确度。为了解决上述问题，文中提出了CIR残差块用来减弱padding带来的偏差影响。邵 [24] 等人在SiamFC的基础上通过残差链接融合模板分支网络提取不同层的特征，通过特征融合增大模型的表征能力，结合注意力机制模块充分挖掘目标语义信息。通过实验发现效果较前文有更好的表现。

3.2. 引入回归

面对跟踪目标的尺度发生变化时，SiamFC中使用搜索域的方法增加多尺度计算，但这样做增加计算量的同时，无法适应尺度的变化。为了解决这个问题，Li [25] 等人借鉴RPN (区域建议网络)的思想，提出了SiamRPN算法，结构如图3，将跟踪问题转化为分类和回归两个分支，一个用于区分前景和背景，一个用于边框回归。后续引入回归的跟踪算法也层出不穷，其中又分为基于锚框的跟踪算法和无锚框的跟踪算法。

图3. SiamRPN结构图

3.2.1. 有锚框的跟踪算法

基于区域建议网络的思想是在特征提取生成的特征图上，基于锚点生成指定尺寸的锚框，根据锚框与真实目标框的IOU值来确定目标是否在锚框中。在跟踪算法的回归过程中根据最佳锚框与真是目标框的距离计算出来的损失调整网络参数。

SiamRPN算法使用的骨干网络为AlexNet网络，如前文提到，使用加深的主干网络会使性能大幅衰减，针对这种情况Li [26] 等对其进行改进设计了SiamRPN++，在训练过程中加入位置均衡的采样策略，以此来进一步环节网络在训练过程中出现的位置偏离问题，同时利用了多层融合，将浅层特征的细节信息和深层网络的语义信息相结合从而进一步提升跟踪性能。

区域建议网络会产生大量的锚框，从而影响跟踪的精度和速度。尚 [27] 等人针对冗余锚框的问题提出了导向锚框网络，根据孪生网络中提取高层语义特征中的目标位置和形状分布来学习锚框的形状，锚框的位置预测通过使用1*1的卷积核与输入特征图进行卷积得到置信图，再通过激活函数获取与输入特征图相同大小的概率图。将概率与设置的阈值确定可能存在的位置，这样可以过滤掉90%的区域，大幅提高网络效率。

引入区域建议网络能够规避图像金字塔对跟踪产生的影响，但是大多数算法中生成的锚框为平行坐标轴的矩形框，当跟踪目标旋转时会，锚框的方向不会发生变化，锚框中过多的背景信息会导致跟踪效果的下降。为了解决这个问题，姜 [28] 等人，提出了旋转区域提议的孪生神经网络跟踪算法，引入了AO-RPN网络并结合残差网络结构，在多个特征提取层使用AO-RPN网络进行提取，特征融合后通过分类预测实现端到端的训练。

3.2.2. 无锚框的跟踪算法

基于锚框的跟踪算法能够获得目标边界，在训练过程中对分类预测的中心进行训练，如果分类预测的中心出现偏差，就会导致回归框出现偏差；并且基于锚框的跟踪算法会引入大量参数与计算，从而影响跟踪结果，无锚框（anchor-free）的算法也因此被提出。借鉴目标检测中的FCOS [29] 算法，在特征图对应点上直接进行回归操作，预测该点与目标上下左右侧的距离进而预测目标位置。SiamCar [30] 中引入了中心度得分图，通过比较分类分支的得分图和中心度得分图，选择出最佳的目标中心点，根据中心点和真实边框的距离得到预测框。SiamBAN [31] 引入空洞卷积原理，提升跟踪器的性能。针对之前孪生网络跟踪器的不合理性，SiamFC++ [32] 增加了回归分类分支以及质量评估分支。无锚点使得算法泛化能力更强，无先验知识使得整体结构更加简洁，从而使得运行速度有一定的提升。

基于锚框与无锚框本质的区别在于基于锚框的跟踪是具有先验知识的，能够较好的感受到物体的尺度变化从而进一步回归，而无锚框本身不具有尺度的感受能力，于是Ocean [33] 算法中提出了feature combination模型如图4，在特征编码时不同方向使用不同的dilated strides得到不同尺度的感受能力。为了更好的学习特征，将边缘点感受部分的预测框的偏差通过Object-aware模块调整，从而增强预测的准确性。

图4. Ocean算法模型

3.3. 结合注意力机制

注意力机制最早应用于自然语言处理的任务中 [34]，目的是解决长序列带来的遗忘现象。Volodymyr [35] 等人将其应用在视觉领域，后Ashish Vaswani [36] 等人提出了Transformer结构后，注意力机制在自然语言处理、计算机视觉等相关领域的网络设计上被广泛应用。在计算机视觉中，注意力机制的核心思想是基于原有的数据找到其之间的关联性，突出某些重要特征。RASNet [37] 将注意力机制模型引入到孪生神经网络结构的跟踪问题上，文中提出通用注意力机制、残差注意力机制和通道注意力机制，缓解深度网络的过拟合问题，提升网络的判断能力和适应能力。Yu Y等人 [38] 提出了可变形孪生注意力网络 SiamAttn来增强孪生网络跟踪器的特征学习能力。包括可变形的自注意力机制和互注意力机制两部分。自注意力机制通过空间注意力和通道注意力可学习到强大的上下文信息，并选择性地增强通道特征之间的相互依赖；而互注意力机制则可以有效地聚合与沟通模板和搜索区域之间丰富的信息。这种注意力机制为跟踪器提供了一种自适应模板特征隐式更新方法。F. Du等人 [39] 提出使用像素方向相关引导的空间注意模块和通道方向相关引导的通道注意模块，利用目标模板和感兴趣区域之间的关系突出焦点区域，增强感兴趣区域的特征进行角点检测，从而进一步提高边界框估计的准确性。

3.4. 新趋势

3.4.1. 基于Transformer的跟踪

Transformer [36] 结构是第一个只基于注意力机制完成编码器–解码器功能的模型，在机器翻译的任务上相对于RNN与CNN来说有更好的效果。随后Transform逐渐应用到图像分类、图像分割等领域 [40]，基于Transformer的孪生结构跟踪器也逐渐被提出。Transformer的结构如图5，左侧为编码器，右侧为解码器，Transformer提出了多Muti-Headed Attention为了模仿卷积网络可以进行多通道识别多模式的效果。

图5. Transformer结构图

在目标跟踪任务中，连续帧之间存储着较为丰富的时间信息，大多数算法忽略了这一特征，Wang N [41] 等将Transformer结构引入到跟踪框架中进行辅助跟踪，不修改模板匹配方法，将编码器和解码器分离为两个并行分支，连接视频流中的隔离帧，在帧间传递时间上下文信息。TransT [42] 中借助Transformer的思想引入上下文增强模块ECA与交叉特征增强模块CFA来完成特征融合的功能。Zhao M [43] 等改进Ocean算法，使用Transformer结构完成孪生网络中的互相关操作，以此来获得全局和丰富的上下文相关性。

基于Transformer的许多算法在性能方面不如CNN，直到Swin-Transformer [44] 的出现。Lin L [45] 等将特征提取网络直接换成Swin-Transformer，提出了完全基于注意力机制的跟踪算法SwinTrack，在孪生结构的基础上，直接使用Transformer结构进行特征提取与特征融合，在众多具有挑战的数据集上都处于领先位置。

3.4.2. 轻量型跟踪

为了追求跟踪精度，跟踪的模型越来越复杂，无法平衡的速度与精度，于是轻量型的跟踪算法也成为有价值的研究方向。LightTrack [46] 使用神经架构搜索来设计更轻量高效的目标跟踪器，相比于之前性能较好的Ocean算法，参数量减少90%以上，速度也快了12倍。E.T.Track [47] 对Transformer架构进行轻量化操作，提出了Exemplar Transformer来代替卷积，相对于其他基于Transformer的跟踪算法相比速度快了8倍，并且在CPU上运行速度可达47FPS。FEAR [48] 中提出了两个轻量化模型，模型较LightTrack更小，跟踪准确率更高。

4. 经典数据集

在单目标跟踪方向较为经典的数据集（表1）有OTB系列、VOT系列以及GOT-10K，OTB50和OTB100提供51和98个视频序列，每个帧使用11个不同的属性和垂直边界框进行注释。VOT针对多达60个视频序列提出了几个挑战。它引入了旋转边界框以及对对象跟踪注释的广泛研究。GOT-10K包含10,000个视频序列以及手工标注的150万个边界框，使用WordNet英文词汇数据库作为骨架搭建。

基于神经网络的跟踪算法出现后，具有挑战性的跟踪评测数据集也随之增多。比较具有代表性的数据集有UAV123、LaSOT、TrackingNet等。

LaSOT数据集包含1400个序列，是较大的密集注释跟踪基准，每个序列都包含来自野外的各种挑战。早期的数据集通常属于小型数据集，对于训练大型网络较为不利，并且短时基准的评估可能无法反映跟踪器在实际应用中的实际性能，LaSOT的大规模数据集能够提供更为可靠的评估结果。

TrackingNet数据集包含了30,643个视频片段，通过YouTube视频采样有更真实的场景，该数据集囊括了自然场景下的各种情形，包含了各种帧率，分辨率，上下文场景以及目标类别。

UAV数据集引入了无人机拍摄视频，通过低空拍摄方式构建了包含123个高清视频，每个视频序列有完整的标签。在视频序列中目标的矩形框的长宽比随着无人机的运动变化较为明显，所以对于跟踪器的尺度自适应要求较高。测试序列中包括背景杂波、快速运动、完全遮挡等属性。

表1. 经典数据集

5. 研究展望

近年来，目标跟踪领域发展迅速，相关算法也层出不穷，但是目标跟踪依旧面临着诸多挑战。解决环境对目标跟踪的影响，更好地利用目标本身的特征以及平衡准确性、鲁棒性和实时性是具有挑战性的研究方向。

1) 环境变化影响跟踪

目标在跟踪过程中自身会发生形变、快速运动的变化，并且目标所在环境也会影响目标本身，例如光照变化、目标遮挡、背景干扰等，现有的算法通常只对其中部分影响做出调整，并且由于环境干扰，目标丢失后较难跟踪，因此防止环境变化影响目标是值得深入研究的问题

2) 更好地利用有效信息

目标跟踪是基于目标的特征的，目标周围以及背景中存在一些可以帮助判断物体位置的信息，充分利用目标背景信息与目标周围特征等辅助信息对实现目标的准确定位具有一定价值。

3) 平衡准确性、鲁棒性和实时性

在实际环境中对目标进行跟踪通常要在准确性和鲁棒性的基础上具备实时性，但为了提高跟踪的准确性，现在大多算法的模型较为复杂，导致跟踪速度相对较慢，平衡准确性、鲁棒性和实时性是具有研究价值的方向。

文章引用

李铭涵. 孪生神经网络在目标跟踪中的算法研究
Algorithm Research of Siamese Neural Network in Target Tracking[J]. 人工智能与机器人研究, 2022, 11(03): 278-287. https://doi.org/10.12677/AIRR.2022.113029

参考文献