设为首页 加入收藏 期刊导航 网站地图

Geomatics Science and Technology
Vol.05 No.02(2017), Article ID:20288,7 pages
10.12677/GST.2017.52006

Optical Flow Estimation Algorithm Based on Shift Wavelet Transform

Lichuan Geng1,2, Zexun Geng1,2

1School of Urban-Rural Planning and Landscape Architecture, Xuchang University, Xuchang Henan

2Collaborative Innovation Center for UAVRS, Xuchang University, Xuchang Henan

Received: Apr. 6th, 2017; accepted: Apr. 25th, 2017; published: Apr. 28th, 2017

ABSTRACT

In order to improve the estimation precision of displacement among low resolution images, a wavelet based optical flow estimation algorithm is promoted. We calculated the image optical flow at different scales to improve the registration accuracy of optical flow estimation algorithm with large displacement. The results show that this improved algorithm achieves high precision pixel displacement estimation.

Keywords:Wavelet Transform, Motion Estimation, Optical Flow, Multi-Resolution

基于提升小波的光流估计算法

耿利川1,2，耿则勋1,2

1许昌学院，城乡规划与园林学院，河南 许昌

2许昌学院，无人机低空遥感技术协同创新中心，河南 许昌

收稿日期：2017年4月6日；录用日期：2017年4月25日；发布日期：2017年4月28日

摘 要

针对光流估计算法在图像间的位移量较大时，配准精度不高的问题，提出了提升小波多分辨分析图像光流估计算法。利用提升小波对视频图像进行多层小波分解，对不同尺度上图像进行光流估算，提高了光流估计算法在位移量较大时的配准精度。实验结果表明，该算法能够快速实现小位移和准确的实现大位移的运动估计，验证了本文算法的正确性。

关键词 :提升小波，运动估计，光流，多分辨分析

Copyright © 2017 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

图像拼接就是将同一场景、相互间存在重叠部分的图像进行空间匹配对准，合成为一张大的宽视角图像 [1] 。一直是计算机视觉、图像处理和计算机图形学的热点研究方向，广泛应用于虚拟现实领域、医学图像处理领域、遥感技术领域和军事领域。图像拼接主要包括图像获取、图像配准和图像融合等几部分，图像配准为其中最重要的部分。为了配准图像，首先必须确定图像间的运动信息。在很多其他应用中，这些运动参数是事先不可知的，因此运动估计是图像配准算法中非常关键的步骤。而且估计的准确性比其密集性更重要，如果估计精度达不到亚像素级，将会极大地影响图像配准的质量 [2] 。现有运动补偿和运动估计的算法很多，主要如基于插值的算法、基于抛物面预测算法、基于频率域方法的相位相关法等 [3] [4] 。通过插值算法达到亚像素的精度是运用最为广泛的方法，但其随着精度的提高，运算的复杂性大大提高。另一类亚像素运动估计方法是基于抛物面预测的亚像素运动估计算法，这类方法虽然所需时间少，但是由于最佳亚像素点周围的实际函数并不是和预测的函数完全一致，会导致最佳运动矢量与实际选取的运动矢量之间的误差。

光流估计算法是运动估计中的重要算法之一 [5] ，其概念最早由心理学家Gibson于1950年提出，从灰度图像序列计算光流场需遵循亮度恒定假设，即图像序列中相邻图像间同一运动目标相应的像素亮度不变，以此导出光流基本方程。依据光流基本方程求解光流场是一个病态问题，需进行正则化。Horn和Schunck [6] 认为图像序列中同一运动物体引起的光流场是连续和平滑的，从而引入了对光流的平滑性约束，将光流求解的病态问题转化为求解凸函数的最小值问题，是光流求解的里程碑。Lucas和Kanade [7] 通过在小的局部区域内运用加权最小二乘法求解光流。Fleet和Jepson [8] 采用时空滤波器的方法。Weber和Malik [9] 提出了在多分辨率框架下的光流计算方法，通过求解不同尺度下的光流方程组来获得光流解。 Bernard [10] 利用小波来建立光流方程组，也取得了较好的效果。以上基于灰度的光流算法中Horn-Schunck方法与Lucas-Kanade方法仍是目前应用广泛，可靠性较高的方法。

本文改进了传统的光流估计方法，将待估计图像利用提升小波分解，形成分辨率逐步降低的图像集合，对其由低到高逐级进行光流法运动估计。并通过实验证明了小波多分辨率的光流估计方法提高了估计的精确性。

2. 传统的光流估算方法

光流场的计算最初是由Horn和Schunck提出。如果t时刻图像的点处灰度值为，在时刻时，这一点运动到，对应的灰度值为，假定它与相等，即

(1)

利用泰勒公式对其展开，忽略二阶及其以上的项可得到

(2)

令u，v分别为该点光流矢量沿x和y方向的两个分量，且有

则可得到基本光流约束方程

(3)

写成矢量形式

(4)

在式(3)和式(4)中，分别为参考像素点的灰度值沿x，y，t三个方向的偏导数；为图像灰度的空间梯度；即为光流矢量。基本光流中有两个未知数u和v，但只有一个方程，因此，只使用一个点上的信息是不能确定光流的。人们将这种不确定问题称为孔径问题(aperture problem)。各国的研究者均在探索求解该不适定问题的方法，其间出现了许多克服不适定问题的算法，Horn和Schunck使用光流在整个图像上光滑变化的假设来求解光流，即运动场既满足光流约束方程又满足全局平滑性。Nagel使用二阶导数(second-order derivatives)来估计光流。

光流场计算基本公式的导出过程中，应用了泰勒级数展开，因此这实际隐含着认为灰度变化以及速度场的变化都是连续的。但在实际情况中，图像中的灰度变化以及速度场都可能出现不连续。日本学者Mukawa引入一个修正因子对光流场计算基本等式修正，其中修正因子可以有物体的运动和投影模型求出，解决了光流基本等式的不连续问题。

3. 提升小波原理

光流估计算法的优点是配准精度比较高，抗噪声能力强，但只适合于对小位移量的配准，当图像间的位移量比较大时，往往不能准确配准。另外算法的计算量也比较大，而且随图像像素数的增加而增加。本文采用提升小波多分辨分析的方法应用于光流，可以弥补这个缺点。小波分析具有多分辨分析的特性，在时域和频域都有表征信号局部信息的能力，时间窗和频率窗都可以根据信号的具体形态动态调整。低频部分(信号平稳部分)小波分析具有较长的时间窗口，以便能看清信号的趋势和整体变化情况；高频部分具有较短的时间域窗口，从而能定位信号突变的瞬间时刻。就是说，小波分析可以达到将大轮廓和小细节分解的功能 [11] 。

传统的第一代小波变换是在欧式空间内通过基底的平移和伸缩构造小波基的，不适合非欧式空间的应用。因此小波的提升方案应运而生，它是构造第二代小波变换的理想方法。

提升的形式给出了小波完全的空间域的完全解释，它具有许多优良的特性：结构简单，运算量低，原位运算，节省存储空间，逆变化可以直接翻转实现，以及可逆的整数到整数变换，便于实现。在高速处理、移动手持设备、低功耗设备应用中具有很大的吸引力。提升小波在1996年由Sweldens [12] [13] 提出后，在信号处理领域得到了广泛的应用。郑世友等 [14] 将小波提升框架与可变模板法结合，提出一种新的运动目标检测方法。徐韶华等 [15] 利用小波提升框架检测红外弱目标。Daubechies已经证明，任何离散小波或具有有限长滤波器的两阶滤波变换都可以被分解成一系列简单的提升步骤，因此能够用Mallat算法实现的小波，都可以用提升算法来实现。

提升算法给出了双正交小波简单而有效的构造方法，使用了基本的多项式插补来获取信号的高频分量，之后通过构建尺度函数来获取信号的低频分量，“提升”算法的基本思想是，将现有的小波滤波器分解成基本的构造模块，分步骤完成小波变换。利用提升框架实现小波变换的步骤为：① 分裂，即按照下标的奇偶性将信号划分为２个集合和，每个集合的长度为原始信号的一半；② 预测，即用偶数下标的点来预测奇数下标的点，用表示奇数为下标的点预测值的偏差；③ 更新，即用偏差修正偶数下标的点，使其保持原始信号的一些特性。

4. 基于提升小波的光流估计

影像进行一级小波分解后，生成4个子带影像，各子带影像的小波系数分别为近似系数(LL)，水平细节系数(LH)，垂直细节系数(HL)，对角细节系数(HH)。如图1所示。

通过对原始图像进行小波分解，得到图像在较低分辨率上的近似，分辨率是原图的1/2，再将采样后的低频图像进行小波分解下采样，如此反复进行上述操作，就得到了图像小波金字塔如图2所示。

金字塔的高层图像分辨率比较低，图像像素数比较少，因此可减小算法的计算量。另外低分辨率图像间的相对位移量也比高分辨率图像间的位移量减小了相应的倍数，因此可使算法实现大位移量的运动估计。

本文算法首先利用提升小波实现图像低频信息和高频信息的分离，构建图像小波金字塔，并对每层分解的低频图像使用Lucas-Kanade算法进行光流估计，由n层计算层的光流，将上一步得到的值作为层计算的迭代初始值，更新运动估计参数直到计算到第0层为止。第0层的值即为最终运动参数值。本文算法流程图如图3所示。

5. 实验及分析

为验证上述结论，本文分别利用db4和db6小波的提升框架，对序列图像进行3层小波分解，本文算法利用matlab编程语言实现，使用图像为利用摄像机拍摄的运动视频。从中抽取相邻两帧，图像大小为512*512像素。原始图像如图4所示。

图5，图6分别显示了利用db4和db6提升小波的光流矢量图，从图中可以看出，光流真实反映了图像像素强度变化情况，矢量长度越长代表目标运动的距离越大，由于噪声的处理不理想，有部分像素矢量估计不准确。

为了进一步说明本文算法的正确性，本文还将本文算法实验结果与直接利用Lucas-Kanade光流估计法实验结果进行了对比，利用Lucas-Kanade算法提取图像光流矢量，实验结果如图7所示，对比图5，图6可以看出，图7中对运动估计不够清晰，本文算法对光流估计更加清晰准确。

6. 结论

1) 文中结合实际应用要求，引入多分辨率技术，改进了光流估计算法对于大位移的不能准确性估计，扩展了光流估计的应用场合，同时使光流估计的鲁棒性有了一定的提高。

2) 改进的光流算法虽在文中取得了较好的应用效果，但随着应用场合的不同，对该算法的抗噪声和快速的计算能力提出了更高的要求。

3) 在今后的研究中将继续围绕光流算法的实时性和良好的鲁棒性进行深入探索，使其能在特殊的硬件支持下实现实时动态检测，并将其研究成果扩展到其他研究领域。

Figure 1. Single-level image wavelet transform

图1. 影像一级小波变换

Figure 2. Schematic diagram of multi-resolution image

图2. 图像小波多分辨率示意图

Figure 3. Flow of our algorithm

图3. 本文算法流程图

(a) 第一帧图像(b) 第二帧图像

Figure 4. Experimental images

图4. 实验图像

Figure 5. The db4 shift wavelet optical flow vector

图5. db4提升小波光流矢量图

Figure 6. The db6 shift wavelet optical flow vector

图6. db6提升小波光流矢量图

Figure 7. The L-K algorithm optical flow vector

图7. L-K算法光流矢量图

基金项目

河南省住房和城乡建设厅城市科学研究课题(20167105)。

文章引用

耿利川,耿则勋. 基于提升小波的光流估计算法
Optical Flow Estimation Algorithm Based on Shift Wavelet Transform[J]. 测绘科学技术, 2017, 05(02): 40-46. http://dx.doi.org/10.12677/GST.2017.52006

参考文献 (References)

  1. 1. 解凯, 郭恒业, 张田文. 图像Mosaics技术综述[J]. 电子学报, 2004, 32(4): 630-634.

  2. 2. Ng, M.K. and Bose, N.K. (2003) Mathematical Analysis of Super-Resolution Methodology. IEEE Signal Processing Magazine, 20, 62.

  3. 3. Irani, M. and Peleg, S. (1991) Improving Resolution by Image Registration. CVGIP: Graphical Models and Image, 53, 231.

  4. 4. Huang, Y., Ma, S. and Shen, C. (2003) Predictive Line Search: An Efficient Motion Estimation Algorithm for MPEG-4 Encoding Systems on Multimedia Processors. IEEE Trans on Circuits and Systems for Video Technology, 13, 111.

  5. 5. Hornb, S.B. (1981) Determining Optical Flow. Artificial Intelligence, 17, 185.

  6. 6. Horn, B.K.P. and Schunck, B.G. (1981) Determining Optical Flow. Artificial Intelligence, 17, 185-203.

  7. 7. Lucas, B.D. and Kanade, T. (1981) An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence.

  8. 8. Fleet, D.J. and Jepson, A.D. (1990) Computation of Component Image Velocity from Local Phase Information. International Journal of Computer Vision, 5, 77-104.

  9. 9. Weber, J. and Malik, J. (1994) Robust Computation of the Optical Flow in Multi-Scale Differential Framework. International Journal of Computer Vision, 2, 5-19.

  10. 10. Bernard, C. (1998) Wavelets and Ill-Posed Problems: Optical Flow and Scattered Data Interpolation. Ecole Polytechnique, France.

  11. 11. 董长虹, 高志, 余啸海. Matlab小波分析工具箱原理与应用[M]. 北京: 国防工业出版社, 2004: 108-127.

  12. 12. Sweldens, W. (1996) The Lifting Scheme: A Custom-Design Construction of Biorthogonal Wavelets. Application Computer Harmonic Analysis, 3, 186-200.

  13. 13. Sweldens, W. (1998) The Lifting Scheme: A Construction of Second Generation Wavelets. SIAM Journal on Mathematical Analysis, 29, 511-546.

  14. 14. 郑世友, 费树岷, 龙飞. 基于小波提升框架的图像序列中运动目标检测算法[J]. 中国图象图形学报, 2005, 10(5): 596-602.

  15. 15. 徐韶华, 李红. 基于小波提升框架及小波能量的红外弱目标检测方法[J]. 红外技术, 2006, 28(11): 669-672.

期刊菜单