长春理工大学理学院，吉林 长春

收稿日期：2021年6月19日；录用日期：2021年7月11日；发布日期：2021年7月23日

摘要

计算机视觉领域，目标跟踪是一项具有许多现实应用的视觉任务，对运动的目标进行精准估计成为了一项具有重要意义的工作。本文将区间算法应用到计算机视觉目标跟踪中，基于频谱滤波器，利用区间运算实现计算机视觉目标跟踪问题的可信估计。当目标跟踪失败时，利用颜色识别对每一帧背景进行预处理，预估目标所在的区域范围，从而更好的确定目标位置。

关键词

计算机视觉，目标跟踪，可信估计

Trusted Estimation of Object Tracking in Computer Vision

Yang Li, Zhe Li

School of Science, Changchun University of Science and Technology, Changchun Jilin

Received: Jun. 19^th, 2021; accepted: Jul. 11^th, 2021; published: Jul. 23^rd, 2021

ABSTRACT

In the field of computer vision, target tracking is a visual task with many practical applications. Accurate estimation of moving targets has become an important work. In this paper, the interval algorithm is applied to computer vision target tracking. Based on the spectral filter, the interval operation is used to realize the trusted estimation of computer vision target tracking problem. When the target tracking fails, the color recognition is used to preprocess the background of each frame to estimate the range of the target area, so as to better determine the target location.

Keywords:Computer Vision, Target Tracking, Trusted Estimation

Copyright © 2021 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

目标跟踪就是对视频图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如目标质心位置、速度等，以及运动轨迹，从而进行进一步处理与分析，实现对运动目标的行为理解 [1]。目标跟踪作为一门跨学科的前沿技术，融合了图像处理、模式识别、人工智能、自动控制等多种不同领域的理论知识 [2]，并且在视频理解、机器人导航、智能监控等领域都有着广泛的应用，因此跟踪算法的研究具有重要的意义。

目标跟踪过程中能够影响跟踪结果的因素有很多，如何提高目标跟踪的稳定性成为了计算机视觉方向一个需要突破的难题。近年来，众多科研学者致力于此方向的研究，所提出的算法可以大致分为两类：基于部分跟踪算法和整体跟踪算法。

Prokhorov [3] 等人提出了一个层次化的外观的表示模型用于跟踪，基于利用多个量化级别的共享信息的图形模型，通过对像素和超像素的联合分类来找到目标的最可能位置，在所有级别获得最佳配置。雷震等人 [4] 提出了一种新的多部件联合在线跟踪分割算法(JOTS)，将跟踪和分割融合为一个统一的能量优化框架来处理视频分割任务。卢湖川等人 [5] 中提出了一个基于超混合的判别外观模型，能够解决严重遮挡问题，并且能够从漂移中恢复跟踪的目标。Malik等人 [6] 提出了一种从背景中重复分割图形的跟踪模式，用于解决长时间跟踪时物体的外观、形状和比例变化对计算结果产生的影响。

不同的是，整体的跟踪方法似乎更受欢迎，例如高效且具有良好鲁棒性优点的基于相关滤波器(CF)的模型。在CF模型的基础上出现了相关滤波器的一些正则化方法，此类型的方法从空间抑制背景区域以解决杂乱背景对跟踪器性能的影响。崔振等人 [7] 提出一种新的方法称为递归目标参与跟踪(RTT)，用来解决估计误差的累积和传播。Danelljan等人 [8] 提出了高精度的用于跟踪的空间正则化判别相关滤波器(SRDCF)。与此同时Danelljan等人 [9] 还研究了基于DCF的两个跟踪框架(标准DCF框架和SRDCF框架)中卷积特征的影响，标准的基于DCF的方法依赖于手工制作的特性来进行稳健的图像描述，提出建议在基于DCF的框架中使用卷积特征来进行视觉跟踪。

跟踪结果的准确率会随着外部环境的变化而大幅度的下降，同时一些传统的目标跟踪滤波器自身也会存在很多缺点。针对如何提高目标跟踪结果准确率的问题，学者们给出了不同的答案。朱明敏等人 [10] 提出一种可以实时高效准确的跟踪快速运动目标的长时核相关滤波(LKCF)跟踪算法，此算法引入了CN颜色特征及基于光流法的再检测机制，当目标跟踪失败时可以对失踪的目标进行重新获得。徐烨超 [11] 提出了IFCT (基于独立特征通道的跟踪)，用来解决基于相关滤波器(CF)的视觉目标跟踪算法中非充分学习、非置信结合和非弹性更新在内的三个缺陷，并且提出了RCF (基于独立特征通道的可逆向学习相关滤波器)以解决场景导致的模型漂移和算法导致的模型漂移等问题。张雷 [12] 等人提出来基于KCF的多尺度目标跟踪的方法，解决了目标跟踪问题中有关目标尺度估计的困难。

与基于CF的方法的整体回归不同，崔振等 [13] 人提出了对每个像素的多个局部区域的跟踪模型进行回归的频谱滤波器(SFT)跟踪方法。本文将Rump区间算法应用到频谱滤波器(SFT)的跟踪模型中，实现目标跟踪问题的可信估计，同时利用颜色识别提高跟踪结果的准确性。

2. 目标跟踪的可信估计

定理1：区间矩阵 $A\in \mathbb{I}{ℝ}^{m\times n}\left(m\le n\right)$，和区间向量 $b\in \mathbb{I}{ℝ}^m$ 满足 $0\notin b$，如果verifylss函数对下列区间

线性系统成功运行

$\left(\begin{array}{cc}{A}^{\text{T}}& -I_n\\ O_{m,n}& A\end{array}\right)\left(\begin{array}{c}w\\ x\end{array}\right)=(\; 0\; b\; )$

则区间矩阵 $A$ 是满秩的。

频谱滤波器

在给定视频帧的情况下，由于连续视频帧中目标的运动的变化不容易被察觉，首先在前一帧的边界框周围确定一个小的候选区域。为了减少局部外观变化对跟踪的影响，将候选区域建模为具有旋转不变性和平移不变性的像素网格图。

将像素空间网格结构建模为无向加权图，加权图 $G=\left\{V,\epsilon ,W\right\}$ 由一组顶点 $V=\left(\left|V\right|=N\right)$ 和一组边 $\epsilon$，邻域矩阵W为连接的边分配的正值。此外，每个顶点都与信号相关，即从其坐标位置提取多通道特征向量。形式上特征提取函数 $f:v\to R^d$ 定义了顶点信号，其中d是特征维数。

谱图理论中图Laplacian算子L是一个关键的算子，定义为 $L=D-W$，其中 $D\in {ℝ}^{N\times N}$ 是对角矩阵 $D_{ii}={\Sigma }_j{W}_{ij}$。一种常用的方法是归一化图Laplacian，即将每个权重 $W_{ij}$ 与一个因子 $\frac{1}{\sqrt{D_{ii}{D}_{jj}}}$ 相乘，即

$L^{norm}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}=I-D^{-\frac{1}{2}}W{D}^{-\frac{1}{2}}$, (1)

其中L为实对称矩阵，其具有完整的正交特征向量，其特征向量 $\left\{u_l\right\}$ 满足 $L{u}_l={\lambda }_l{u}_l\left(l=1,2,\cdots ,N\right)$，其中 $\left\{{\lambda }_l\right\}$ 是非负实特征值。假设所有的特征值都是有序的则 $0={\lambda }_1<{\lambda }_2\le {\lambda }_3\le \cdots \le {\lambda }_N={\lambda }_{\max }$。

在矩阵表达式中 $L=U\Lambda U^{\text{T}}$，其中 $\Lambda =diag\left({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_N\right)$。

步骤1 滤波器函数的构造

x的傅里叶变换 $x=U^{\text{T}}x$ 以及逆变换 $x=U\hat{x}$，其中 $\hat{x}$ 是产生的频率信号。

设滤波器函数 $g(\cdot )$，输入信号x上的频率滤波定义为 $\hat{z}\left({\lambda }_l\right)=\hat{x}\left({\lambda }_l\right)\hat{g}\left({\lambda }_l\right)$，或为逆图傅里叶变换

$z\left(i\right)={\displaystyle \underset{l-1}{\overset{N}{\sum }}\hat{x}\left({\lambda }_l\right)\hat{g}\left({\lambda }_l\right){\hat{u}}_l\left(i\right)}$, (2)

其中 $\hat{z}\left({\lambda }_l\right),\hat{x}\left({\lambda }_l\right),\hat{g}\left({\lambda }_l\right)$ 是对应频谱 ${\lambda }_l$ 的傅里叶系数。通过使用矩阵表示法，信号x被过滤为

$z=\hat{g}\left(L\right)x=U\left[\begin{array}{ccc}\hat{g}\left({\lambda }_1\right)& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & \hat{g}\left({\lambda }_N\right)\end{array}\right]U^{\text{T}}x$. (3)

步骤2 函数的求解

给定的输入x和输出z，通过特征值分解求解可求得(3)中的 $g(\cdot )$，同时利用K阶的Chebyshev展开式来逼近频域中的 $g(\cdot )$ 降低计算量。

Chebyshev展开式由递归关系定义为

$T_k\left(x\right)=2x{T}_{k-1}\left(x\right)-T_{k-2}\left(x\right)$,

其中 $T_0=1,T_1=x$。

在适当的Sobolev空间中，Chebyshev多项式的集合构成了一个基，因此[−1,1]中任何一个函数都可

以通过展开来表示 $f\left(x\right)={\displaystyle {\sum }_{k=0}^{\infty }{a}_k{T}_k}\left(x\right)$。

为使得LaplacianL的特征值 $\left\{{\lambda }_l\right\}$ 落在[−1,1]中，将其缩放并转换为 ${\tilde{\lambda }}_l=\frac{2}{{\lambda }_{\max }}{\lambda }_l-1$，并在 $\left\{{\tilde{\lambda }}_l\right\}$ 上使用

Chebyshev多项式，考虑多项式分量的线性组合，则K阶滤波器

$\hat{g}\left({\lambda }_l\right)={\displaystyle \underset{k=0}{\overset{K-1}{\sum }}{\theta }_k{T}_k}\left({\tilde{\lambda }}_l\right)$, (4)

其中 $\theta \in {ℝ}^K$ 是多项式系数的参数向量，K是多项式的阶。由(3) (4)有

$z=U\left[\begin{array}{ccc}{\displaystyle \underset{k=0}{\overset{K-1}{\sum }}{\theta }_k{T}_k}\left({\tilde{\lambda }}_l\right)& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & {\displaystyle \underset{k=0}{\overset{K-1}{\sum }}{\theta }_k{T}_k}\left({\tilde{\lambda }}_l\right)\end{array}\right]U^{\text{T}}x$

$={\displaystyle \underset{k=0}{\overset{K-1}{\sum }}{\theta }_k}U\left[\begin{array}{ccc}{T}_k\left({\tilde{\lambda }}_l\right)& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & T_k\left({\tilde{\lambda }}_l\right)\end{array}\right]U^{\text{T}}x$ (5)

$={\displaystyle \underset{k=0}{\overset{K-1}{\sum }}{\theta }_k}{T}_k\left(U\left[\begin{array}{ccc}{\tilde{\lambda }}_l& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & {\tilde{\lambda }}_l\end{array}\right]U^{\text{T}}\right)x$ (6)

$={\displaystyle \underset{k=0}{\overset{K-1}{\sum }}{\theta }_k}{T}_k\left(\frac{2}{{\lambda }_{\max }}L-I\right)x$ (7)

在(6)，(7)上使用Laplacian矩阵的谱分解 $L=Udiag\left(\left[{\lambda }_1,\cdots ,{\lambda }_N\right]\right)U^{\text{T}}$。通过(5)和(6)利用滤波函数的基

本计算即

$L^k=Udiag\left(\left[{\lambda }_1^k,\cdots ,{\lambda }_N^k\right]\right)U^{\text{T}}={\left(Udiag\left[{\lambda }_1,\cdots ,{\lambda }_N\right]U^{\text{T}}\right)}^k$ (8)

在(7)中的K阶多项式是拉普拉斯图上的一个精确的K局部化滤波函数。为了得到图上的局部滤波响应，只需对拉普拉斯矩阵L进行运算，即多项式的每一项都可以作为滤波基， $\theta$ 是需要求解的参数。

步骤3 跟踪目标模型的建立

在视觉跟踪中，从多通道特征 $X\in {ℝ}^{N\times d}$ 中回归峰值映射 $y\in {ℝ}^{N\times 1}$，其中N候选区域内的像素数(即顶

点)，每一行X对应一个顶点的信号。

$\tilde{L}=\frac{2}{{\lambda }_{\max }}L-I$，将(7)中定义的滤波器基变成 $\left\{T_0\left(\tilde{L}\right),T_1\left(\tilde{L}\right),\cdots ,T_{K-1}\left(\tilde{L}\right)\right\}$。

给定一个信号和x和滤波器参数 $\theta =\left\{{\theta }_0,{\theta }_2,\cdots ,{\theta }_{K-1}\right\}$，采用K个滤波器基的线性组合获得局部滤波响

应z。使用K个滤波器基对图进行滤波，将滤波参数和特征投影函数的学习结合到一个最小二乘回归模型中

$\underset{w}{\arg \min }{\Vert F\left(X\right)w-y\Vert }^2+\gamma {\Vert w\Vert }^2$, (9)

其中 $\gamma$ 是平衡参数， $F\left(X\right)$ 在特征维数上连接K滤波器基的响应，

$F\left(X\right)=\left[T_0\left(\tilde{L}\right)X,T_1\left(\tilde{L}\right)X,\cdots ,T_{K-1}\left(\tilde{L}\right)X\right]$. (10)

因此，根据定理1，跟踪模型中的系数w可以利用Rump区间算法估计求解为

$\left(\begin{array}{cc}{\left(F\left(X\right)\right)}^{\text{T}}& -I_n\\ O_{m,n}& F\left(X\right)\end{array}\right)\left(\begin{array}{c}w\\ x\end{array}\right)=\left(\begin{array}{c}0\\ y\end{array}\right)$. (11)

步骤4 跟踪目标的坐标的计算

初始化拉普拉斯矩阵L，从候选区域中提取特征X，计算(10)方程中的K阶响应 $F\left(X\right)$，利用(11)获取得分

$\tilde{y}=F\left(X\right)w$

通过找到得分最大的目标中心获取被跟踪目标的最终坐标。

3. 颜色识别

跟踪过程中由于外部环境的影响会导致跟踪失败，为了提高模型对目标捕获的准确性，在基于区间算法的频谱滤波器跟踪模型中增加颜色识别部分。首先从目标图像中抽取颜色特征，彩色图像得格式有很多，本节以RGB的格式来提取颜色特征。

3.1. 提取颜色特征

当物体的呈蓝色时，物体的蓝色分量值大于红色、绿色分量值，则蓝色特征的提取公式

$D\left(x,y\right)=2B\left(x,y\right)-R\left(x,y\right)-G\left(x,y\right)$.

当物体呈黄色时，物体的红色分量和绿色分量值大于蓝色分量，并且红色和绿色分量之间的差距较小时，则黄色特征的提取公式

$D\left(x,y\right)=R\left(x,y\right)+G\left(x,y\right)-2B\left(x,y\right)-k\times ABS\left(R\left(x,y\right)-G\left(x,y\right)\right)$,

其中，系数k的选择取决于黄色的个体差异，当背景颜色不是纯黄色而是偏于绿色或红色的时候，系数k的值可以适当减少。

当物体呈黑色时，物体的红色、绿色、蓝色三个分量的值都比较小，同时三个分量之间的差异也比较小，则黑色特征的提取公式

$\begin{array}{c}D\left(x,y\right)=\text{255}\times \text{3}-\left(R\left(x,y\right)+G\left(x,y\right)+B\left(x,y\right)\right)-k\times (ABS\left(R\left(x,y\right)-G\left(x,y\right)\right)\\ +ABS\left(R\left(x,y\right)-B\left(x,y\right)\right)ABS\left(B\left(x,y\right)-G\left(x,y\right)\right))\end{array}$

其中，系数k的选择取决于黑色的纯正程度。

当物体的呈白色时，物体的红色、绿色、蓝色三个分量的值都比较大，但是三个分量之间的差异比较小，则白色特征的提取公式

$\begin{array}{c}D\left(x,y\right)=R\left(x,y\right)+G\left(x,y\right)+B\left(x,y\right)-k\times (ABS\left(R\left(x,y\right)-G\left(x,y\right)\right)\\ +ABS\left(R\left(x,y\right)-B\left(x,y\right)\right)ABS\left(B\left(x,y\right)-G\left(x,y\right)\right))\end{array}$

其中，系数k的选择取决于白色的纯正程度。

3.2. 选取阈值

经过颜色特征的提取之后，原彩色图像变成了几个灰度图像。在对每个灰度图像进行搜索时，一般需要进行二值化的处理，此时阈值的选择成为了首要问题。

在这里采用依据背景和物体之间的类间方差最大，而背景之间以及物体之间的类内方差最小的大津方法。

设一块图像区域的灰度值为 $f\left(i,j\right)\left(i=1,\cdots ,m;j=1,\cdots ,n\right)$，则阈值计算公式

$sum={\displaystyle \underset{i=1}{\overset{m}{\sum }}{\displaystyle \underset{j=1}{\overset{n}{\sum }}{f}_{ij}}dots=m\times n}$, (10)

$D_k$ 为灰度直方图 $\left(k=0~255\right)$，

$a={\displaystyle \underset{k=1}{\overset{g}{\sum }}k\times D_k}b={\displaystyle \underset{k=1}{\overset{g}{\sum }}{D}_k}$, (11)

$t_1=b\times dots-b\times b{t}_2=sum\times b-dots\times a$, (12)

$p=\frac{t_2\times t_2}{t_1\times dots\times dots}$, (13)

计算g从1到255时，p的值，找出最大的p就是所求的阈值。

4. 实验结果及分析

图1. 实验结果1

图2. 实验结果2

如图1、图2所示，明确的给出了本文改进前算法的部分跟踪结果，从跟踪结果中可以清楚地看出，当目标与背景颜色对比鲜明、图中物体颜色反差较为明显，目标物体未发生形变的状态下跟踪效果较为良好，可以很清晰的看出物体的颜色，物体的轮廓等。

图3. 实验结果3

图4. 实验结果4

如图3、图4所示，改进前的方法无法清晰地给出跟踪结果，当跟踪环境未能达到理想的状态下，且目标物体发生较大形变时，容易导致目标物体的跟踪失败，此时采用改进后的跟踪方法能够对目标重新准确的跟踪。

通过以上的跟踪实验可以得出，针对跟踪失败的案例，在对目标物体进行跟踪识别前，利用颜色识别对目标背景进行处理，以此获取目标物体颜色的RGB阈值。再根据选定的RGB阈值范围，在视频帧中选定在RGB阈值范围内的区域进行调试，对目标进行重新获取，再利用频谱滤波器跟踪模型确定重新捕获的目标在背景中的位置。

从实验中可以清晰地看出，与原有的计算方法相比下，改进后的计算方法确实能够更好更明确的对目标物体进行捕捉跟踪，但该算法也存在着一些弊端的短板，例如计算的过程较为复杂、计算效率比较低等，所以跟踪效率方面依旧存在着很大的提升空间。在未来该算法需要通过进一步的优化和研究，从而取得更为准确的计算结果，实现更高效率的跟踪。

5. 总结

在目标物体跟踪的过程中，会存在着很多直接影响跟踪计算结果的准确性的因素，例如跟踪目标物体的形状、尺寸的大小、位置的改变，和跟踪目标背景环境以及光照的条件的改变，以及目标物体被遮挡以及部分被遮挡等，都会导致的目标物体跟踪出现失败。针对这些难点，本文提出基于区间算法的频谱滤波器跟踪方法，即通过利用区间运算来计算跟踪模型系数值的区间，从而实现目标物体跟踪的可信估计。当目标物体跟踪失败，利用目标物体颜色，估计目标物体的位置区域范围，实现目标的重新捕获跟踪。通过实验可以证明，与原有的跟踪方法相比，改进后的跟踪计算方法能更准确的对目标进行跟踪。

文章引用

李 杨,李 喆. 计算机视觉目标跟踪的可信估计
Trusted Estimation of Object Tracking in Computer Vision[J]. 应用数学进展, 2021, 10(07): 2486-2493. https://doi.org/10.12677/AAM.2021.107259

参考文献