ABSTRACT

The moving targets appearing in image mosaic may cause results of the abnormal splicing or multiple images of the same object appearing in the result image. This paper presents a method of detection of moving target in image mosaic, so as to remove the effect of moving targets in the image mosaic. Multi-scene images collected should be spliced firstly. If the splice procedure cannot be processed normally, algebraic multigrid (AMG) method should be applied to the original image. The data of the multilayered coarse level are extracted to reconstruct the image with AMG method. Then, background subtraction method is utilized to detect moving targets to eliminate the interference of moving objects. If multiple images appear in the splicing process, the above mentioned procedure is employed to extract the moving targets, and to analyze the trajectory of moving objects. Experimental results show that the method in this paper has strong robustness, and it can effectively remove interference of noise and detect moving targets accurately.

Keywords:Image Mosaic, Algebraic Multigrid, Background Subtraction Method, Moving Target Detection

基于代数多重网格的图像拼接中 动态目标的检测

顾西存¹，黄颖²

¹重庆邮电大学计算机科学与技术学院，重庆

²重庆邮电大学软件工程学院，重庆

收稿日期：2016年2月4日；录用日期：2016年2月23日；发布日期：2016年2月26日

摘 要

图像拼接中出现的运动目标可能使拼接出现不能正常拼接或者拼接出多重影像的现象。本文提出一种图像拼接的运动目标检测方法，去除运动目标对图像拼接的影响。首先将采集的多场景图像进行拼接，如果不能正常拼接，则利用代数多重网格(AMG)方法对原始图像进行处理，得到重构的多层网格图像，在此基础上利用背景差分法对运动目标进行检测消除干扰。如拼接中出现多重影像，使用上述过程提取运动目标，分析运动目标的轨迹。实验结果表明，本文算法具有较强的鲁棒性，能有效的去除噪声的干扰和准确地检测出运动目标。

关键词 :图像拼接，代数多重网格，背景差分法，运动目标检测

1. 引言

运动目标检测在图像处理领域中是一项重要的技术，在智能交通，军事监控和医学领域有着广泛的应用[1] 。运动目标检测多是基于视频中的目标信息检测，目的是将前景变化的区域从背景图像中检测出来，有效的检测对后续的跟踪，识别，分类以及行为理解有着重要的作用[2] 。目前，针对静态背景，运动目标检测算法分为三种：背景差分法，帧间差分法以及光流法，每个算法都有相应的优缺点[3] 。运动目标的背景往往是多场景的，对运动目标检测有着很重要的影响。随着自动视频检测的迅速发展，国内外都致力于开发不同的背景模型，减少动态场景对背景模型的影响[4] ，例如何明亮[5] 等提出一种应用与目标检测的改进混合高斯背景模型，在背景模型变化过程中，调整阈值，融合统计差分法与时域差分法，降低单模态背景的误减率。毕国玲[6] 等人提出一种基于聚类复杂背景建模和前景检测方法，采用前n帧图像进行背景初始化，根据实际复杂背景的动态反馈获取自适应聚类阈值和利用自适应更新阈值进行随机聚类，实现对动态背景的适应性，然后通过全局扰动阈值和局部像素判断阈值的结合，避免光照以及背景快速变化带来的影响。

图像拼接是图像的一个重要的研究领域，在绘图学，机器视觉，图像配准和计算机图形学中有着重要的研究用途[7] 。目前，国内外相关研究人员提出很多图像拼接算法，其核心是图像配准技术。依据配准方法，图像拼接算法可分为区域相关和特征相关两种类型[8] 。区域相关算法是利用图像像素间的灰度关系来确定图像间坐标是如何变化的。吴乐富[9] 等根据空间几何知识确定摄像机旋转投影模型，然后将图像进行二维空间坐标变换从而实现拼接。Wang Jinpeng [10] 借助均值无缝克隆(MVSC)算法具有良好的融合性，提出一种基于显著区域的MVSC拼接算法，将改进的视觉模型算法应用在图像显著区域中可以准确地获取显著区域，降低图像的配准复杂度，提高拼接质量。特征相关是利用图像的明显特征(轮廓，SIFT，角点等)来估计图像之间的变换。赵萌萌[11] 等提出灰度偏移极值算法，取出中心像素灰度值偏移局部像素均值大点为特征点，然后用二次曲线进行拟合求导，最后用32维NM向量(normalized moment of inertia)描述特征点。曹红杏[12] 等提出一种稳健的特征点拼接算法，使用PROSAC方法对初始匹配点进行过滤，得到变换矩阵初值和内点集合，然后用L-M算法对变换矩阵求精，最后使用灰度差异对图像进行匀光处理，最后完成拼接。Dianyuan Han [13] 等人提出一种基于尺度不变特征的树图像的拼接方法，首先对图像进行特征向量筛选，并利用筛选的特征点进行特征匹配，然后根据周围像素点对图像进行透视变换，最后根据sift特征实现图像拼接。

单幅图像能对某个局部进行清晰成像，而拼接图像能对全局形成清晰的成像。目前图像拼接主要是对静态场景进行成像展示，而忽略了其中运动目标的影响。而在野生动物跟踪，天文观察，地质灾害检测等方面，一方面我们需要形成一个全局的图像，同时也需要对场景中出现的动态目标进行跟踪和分析，因此将两者结合起来是有必要的。针对以上情况，本文提出一种面向图像拼接领域的基于代数多重网格的动态目标的检测方法，提取原始图像或者拼接图像中的动态目标，完成图像拼接并对拼接后的结果进行动态物体的跟踪，最终形成运动物体的轨迹。

2. 算法基础

2.1. 代数多重网格

代数多重网格[14] 不利用求解问题的几何和物理特性，仅仅利用问题域产生的系数矩阵，为求解大型稀疏矩阵的问题提供一条更有意义的路径。代数多重网格方法包括两个部分，首先预备部分是从系数矩阵构建的五个求解分量：网格点集，插值算子，粗网格算子，限制算子以及光滑算子，另一部分是代数多重网格的循环过程，由具体方程离散出来的矩阵，重投到一系列由细到粗的网格上，在每一层网格上进行若干次迭代，直到得到一个规模相对小的线性问题后，用直接法求取精确解，然后用记录下的矩阵，还原出问题的解，详细过程参考文献[15] 。

2.2. 图像拼接基础

图像拼接就是将多张有重叠部分的图像拼成一幅全景图像，其核心技术是图像配准和图像融合，早期的图像配准主要采用点匹配，此种方法精度低，速度慢，且需要手动选择特征匹配点，无法在大量图像的融合中使用。一般图像的拼接分为五部分，步骤如图1所示。

图像拼接技术包含多个算法对图像进行的操作，其中图像预处理是对原始图像进行去噪，边缘提取，平滑等。然后根据建立的模板对图像进行变换操作。图像配准多是采用区域相关或者特征相关对多幅图像进行匹配或者叠加的过程，从而确定图像之间的变换关系。再次依据变换关系，计算模型中的参数值，建立图像间的数学转换模型，根据数学转换模型，将多幅图像转换到参考图像的坐标系中，进行统一坐标变换。最后将图像的重叠区域融合得到最终拼接图片。

3. 算法实现

3.1. 实验过程描述

本文所用的数据集是采用固定相机高度旋转多个角度进行拍摄的图片，分为有运动目标和无运动目标两组图片，如图2所示。由于相机精度较高，拼接算法消耗内存较大，在实验过程中经常遇到内存溢出等现象，因此首先将图像缩小，然后利用OPENCV [16] 中的图像拼接算法对图像进行拼接，得到拼接结果，如图3所示。

图1. 图像拼接步骤

图2. 原始图像

图3. 拼接结果图像

在拼接过程中由于受到运动目标的影响，例如用图2(a)，图2(c)，图2(d)拼接结果不能正确得出拼接结果，这里主要分析有效拼接后的结果。其中图3(a)是由图2(a)，图2(c)拼接所得，图3(b)是由图2(a)~(c)所得，图3(c)是由图2(a)~(d)所得。在图3(c)中产生了同一个物体的多重影像。所以有效的检测和消除运动目标对图像拼接有很大帮助。

利用以上拼接结果再结合代数多重网格对拼接结果进行重构，得到重构的多层图像，再分别对无运动目标的图像和有运动目标的图像进行同层差分，得到最终的物体检测结果。

3.2. 实验实现框图

本文将从以下几个方面去进行研究，具体流程如图4所示。

算法步骤如下：

1) 读取待拼接图像；

2) 使用OPENCV中的拼接函数进行拼接；

3) 如果不能正常拼接，则运用运动目标检测模块，用其他原始图像中相同位置区域替换掉该运动目标区域，消除运动目标的干扰，继续步骤2。

4) 能够正常拼接，如果出现多重影像，使用运动目标检测模块提取出多个运动目标，分析运动目标的轨迹。

其中运动目标检测模块步骤如下：

a) 读取利用AMG方法得到n层粗网格；

b) 针对每一层粗网格，初始化一个与原始图像相同大小的空图像，对应

图4. 实验流程

中为1的位置用原始图像对应的像素值表示，其他位置用0表示；

c) 插值：将中为0的部分对应的中的像素值通过已知的像素值插值得到图像；

4 用背景差分法进行处理，得到差分结果，提取运动目标。

4. 实验结果和分析

本文将对拼接图像和原始图像分别进行实验，第一组实验将原始图像进行拼接，得出拼接结果，用代数多重网格对拼接结果进行重构，然后用背景差分法对三层重构图像进行差分处理，得到实验结果。第二组实验是将原始图像直接进行代数多重网格重构，然后用背景差分法处理，得出实验结果。

4.1. 拼接图像的结果和分析

原始图像如图3(c)，对比图像如图3(b)，分别使用代数多重网格方法进行重构，得到多层结果，然后将同层图像进行背景差分处理，与未使用代数多重网格方法的结果进行对比分析，结果如图5所示。

由实验结果图5可以看出，利用代数多重网格及背景差分法处理后的结果能有效的提取拼接过程中出现的运动影像，后续进行简单处理后就能提取运动目标。在未使用代数多重网格方法的结果中球场禁区线没有完全消除，且背景树林的噪声很大，要提取运动目标是很困难的。该方法能有效消除噪声的干扰，正确检测出目标的轮廓，提取运动目标，为后续的运动物体跟踪和识别以及正确拼接提供了较好的基础。

4.2. 原始图像的结果和分析

原始图像如果不能正常拼接时也需要进行运动物体检测，本文也对原始图像进行了分析。本文选取相同场景直接用传统方法进行运动物体检测，原始图像如图2(b)，背景图像如图2(a)，得到结果如图6(a)

图5. 拼接图像结果对比分析

图6. 原始图像结果对比分析

所示，然后对原始数据进行AMG处理以及背景差分处理，分别得到结果如图6(b)~(d)所示。

从图6(a)可以看出，使用未进行重构的原始图像进行检测，由于受环境的影响，出现的噪声点比较多，对于后面的运动物体识别和跟踪都受影响，效果不佳。而利用代数多重网格重构之后，同样能消除背景和噪声的干扰，均能有效检测出运动物体。

5. 结论与展望

本文提出一种代数多重网格的图像拼接中动态物体的检测的方法。利用多重网格方法提取物体，为有效解决原始图像不能正常拼接和拼接结果中出现多重影像的问题提供一定基础。从实验结果可以看出该方法能有效的抑制图像中的噪声，检测出运动物体的轮廓为拼接过程的顺利完成以及后续的运动物体识别和跟踪打下了良好的基础。

基金项目

重庆市基础与前沿研究计划项目(cstc2014jcyjA40043)，重庆市教委科学技术研究项目(kJ1400408)，2015年重庆市研究生科研创新项目(CYS15174)。

文章引用

顾西存,黄颖. 基于代数多重网格的图像拼接中动态目标的检测
Dynamic Object Detection in Image Mosaic Based on Algebraic Multigrid[J]. 计算机科学与应用, 2016, 06(02): 94-101. http://dx.doi.org/10.12677/CSA.2016.62012

参考文献 (References)