International Journal of Fluid Dynamics 流体动力学, 2013, 1, 21-25 http://dx.doi.org/10.12677/ijfd.2013.12004 Published Online June 2013 (http://www.hanspub.org/journal/ijfd.html) A Modified Optical Flow Algorithm Based on Bilateral-Filter and Multi-Scale Analysis for PIV Image Processing* Baocheng Shi1, Jinjia Wei1#, Mingjun Pang2 1State Key Laboratory of Multiphase Flow in Power Engineering, Xi’an Jiaotong University, Xi’an 2School of Mechanical Engineering, Changzhou University, Changzhou Email: shibaoch@126.com, #jjwei@mail.xjtu.edu.cn Received: Mar. 18th, 2013; revised: Apr. 1st, 2013; accepted: Apr. 21st, 2013 Copyright © 2013 Baocheng Shi et al. This is an open access article distributed under the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited. Abstract: PIV post-processing techniques have a great influence on the success of flow field measurement and have aroused the researchers’ wide concern. The traditional correlation algorithms have their congenital defects. In the pre- sent study, a modified optical flow algorithm is proposed to overcome these deficiencies based on bilateral-filter and multi-resolution analysis for PIV image processing. The algorithm is designed on the basis of the principle of multilayer segments, in which the isotropic diffusion method is employed to calculate the low-resolution layer of the image and the nonlinear filtering method is used to process the high-resolution layer. This new algorithm can reduce image noise ef- fectively and maintain the details of the image boundary. The algorithm is applied to images of actual up-channel flow, and the results also confirmed that the algorithm proposed in the present study has good performance and reliability for post-processing PIV images. Keywords: Optical Flow Algorithm; PIV; Multi-Resolution Analysis 一种基于多尺度分析和非线性滤波的光流算法* 史宝成 1,魏进家 1#,庞明军 2 1西安交通大学动力工程多相流国家重点实验室,西安 2常州大学机械工程学院,常州 Email: shibaoch@126.com, #jjwei@mail.xjtu.edu.cn 收稿日期:2013 年3月18 日;修回日期:2013年4月1日;录用日期:2013 年4月21日 摘 要:PIV 后处理技术对于 PIV 流场实验测量的结果有着重要的影响而成为研究热点。传统的互相关算法有 着许多先天缺陷,本文提出的基于多尺度分析和非线性滤波的修正光流算法能够克服这些的缺陷,该算法以多 层细化理论为基础,对低分辨率序列采用同性扩散算法,而高分辨率序列采用非线性扩散方法。同时,该算法 被应用到实际测量的二维向上槽道流 PIV 图像中,结果表明该算法对于PIV 图像的后处理具有良好的性能和可 靠性。 关键词:光流算法;PIV;多尺度分析 1. 引言 PIV 计算最常用的方法为基于图像相关匹配的方 法,但基于相关方法的PIV 算法本身存在一些先天的 缺陷,例如:前后时间内邻域里的粒子出现丢失或出 现未知新粒子时相关计算结果的峰值不一定对应真 实的运动位移;基于相关法得到的运动矢量只是概率 *基金项目:国家自然科学基金资助项目(NO. 51225601)。 #通讯作者。 Copyright © 2013 Hanspub 21 一种基于多尺度分析和非线性滤波的光流算法 上的最大可能位移;粒子运动的速度很慢时采用较大 的窗口进行相关搜索会出现多峰值的现象。对于PTV 也存在类似的问题。近年来基于光流的 PIV 计算受到 人们越来越多的关注[1-3],由于光流方法是将整个运动 矢量场作为一个整体连续函数进行计算,所以从理论 上讲可以克服上面所提到的问题。 自1981 年Horn 和Schunck建立光流方程[4],掀 起光流算法研究的热潮后,人们经过大量的研究,基 于不同的理论基础提出了各种不同的光流计算方法, 算法性能各有不同。在经典HS 方法中,图像中两点 间的灰度变化被假定为线性的,而实际上灰度变化是 非线性的。针对灰度估计不准确造成的偏差问题,桂 本烨等[5]提出了一种改进 HS 算法,得到较好的计算 结果,并能明显减少光流计算的迭代次数。对于算法 的跟踪定位问题,杨叶梅[6]将基于梯度的 Horn-Schunck 光流算法与最大类间方差的图像分割法相结合,提出 一种高斯金字塔的改进光流法。张杨等[7]提出了一种 基于粒子预测和光流匹配相结合的目标跟踪算法。为 了提高低分辨率图像之间的位移估计精度,韩军和张 东[8]提出了全局运动的多分辨率光流估计算法;张泽 旭等[9]通过最小 RMSE 测度的多尺度微分光流算法使 计算精度最少提高了2.6%。卢宇等[10]提出了一种基于 背景配准的光流计算方法。该方法具有背景配准步骤 的光流检测法较其他传统的光流算法相比,在精度方 面具有较为明显的优越性。 总之,光流技术发展到现在已经取得了丰硕的成 果[11-14],但是同时也还存在一些不足,如:基于梯度 的Horn-Schunck(Horn and Schunck, 1981)全局平滑法 [4]、Lucas-Kanade(Lucas and Kanade, 1981)局部平滑法 [15]和Nagel(Nagel and Enkelmann, 1986)的有向平滑法 [16]。这些方法虽然能得到一个致密的光流场,但是这 种微分法必须建立在雄厚的数学理论基础上,计算量 大,并且对噪声比较敏感。因此,本文在前人研究的 基础上提出了一种新的光流算法基于多尺度分析,该 算法采用多层细分的原则,对于图像低分辨率层采用 各相同性扩散方法,对于高分辨率层采用非线性滤波 的方法,该方法继承了非线性扩散在图像噪音抑制和 保持图像的边界细节方面的优势。 2. 基于非线性滤波和多尺度分析的修正光 流算法(MOFBM) 2.1. MOFBM算法基础 2.1.1. 非线性扩散 非线性扩散过程可以通过非线性滤波来实现,在 图像处理中两者在大多数情况下是等效的[17]。如果只 考虑实际计算中的离散情况,光流计算中的扩散部分 可以表示为 Δ @ -VVV。局部平滑算子 ×可以看作 一非线性滤波,因此光流场的非线性扩散方程可写成 ( ) tR=--VVVV (1) 从方程(1)可以看出,如果基于(1)式来完成光流计 算,可以避开扩散张量的设计,而改为设计非线性滤 波器 × ,这样就可以避免光流场局部结构张量的计 算。本文引入一种针对光流计算的改进型的矢量非线 性滤波器[18]Bilateral-Filter。它同时考虑了图像局部像 素几何关系和像素灰度差异,该滤波器计算和设计相 对简单,可以在有效抑制图像噪音的同时较好地保持 图像的边界细节。 2.1.2. 多尺度分析 多尺度分解方法是基于多分辨率分析的思想将 图像分解成不同的分辨率级别,随着级别的增加,分 辨率依次递减,整个结构呈金字塔型[19,20]。在多尺度 表示下的光流计算,在较低分辨率的尺度上迭代收敛 的速度相当快,其计算所得到的值可以作为更高分辨 率的尺度的运算初始值。多尺度方法能够给出比传统 的单分辨率方法更好的结果,特别是在流速相对较 大,且灰度变化较小的情况下更是如此。 2.1.3. 最优速度因子 利用高斯金字塔分解方法,将两个相邻时刻的图 像 ( ) 1, f xy 和 ( ) 2, f xy 分别分解成不同尺度的图像 层,用 ( ) 1 l, f xy 和 ( ) 2 l, f xy 表示。选择不同的映射因 子 1,2 ,2,5, 3,10 ,将第 分辨率层的流 0ll 速映射到第 l u1l 层,得到第 层的流速1l 1l ul u 。基于 1l u 和可以得到该层次上 对t = 2时刻图像的估计 1 1, l Exy 1 2 ˆ, l f xy ,根据RMSE误差公 式,则得到第 l1 层关于图像 2 f 的RMSE 2 11 22 , 1 ˆ ,,, ll xy lfxyfxy RMSE MN (2) 由公式可以看出,不同 值的RMSE是不一样的, Copyright © 2013 Hanspub 22 一种基于多尺度分析和非线性滤波的光流算法 RMSE整体上反映了估计图像与真实图像之间的接近 程度,因而可以作为衡量映射因子的很好的测度,最 小的RMSE反映了估计图像对真实图像的最佳逼近, 此时,对应着最佳的映射因子。 2.2. 算法的实现 假设原始图像被分成 N个不同的图像系列 , n I xt ,( 0, I xt 为原始图像)。在 改 进 算法中 ,对 于低分辨率图像序列采用各相同性扩散方法[21] ,,DV ;而对于高分辨率图像序列,选用非线性 滤波公式[17] ,,DV 。D和R随尺度变化更新。算 法的计算过程能用以下流程图表示(图1~3)。 3. 算法验证 3.1. PIV图像的实验获取 获取 PIV图像的实验装置[22]如图 4所示。实验时, 贮存在水箱中的自来水由一个不锈钢离心泵增压后、 流经质量流量计、沉降室、二维槽道、扩散段、阀和 管道后,回到水箱。为了破坏大尺度的湍流结构、稳 定槽道入口处的流动,在沉降室内设有一个多孔管和 一个过滤器。而且在槽道的出口处设有一个扩散器。 扩散器的设置可以稳定槽道出口处的尾流,实验过程 ln )0( V )( lN V Figure 1. Flowchart of the MOFBM algorithm 图1. MOFBM算法流程图 中,排气阀始终保持常开状态。测试槽道、沉降室和 扩散器均由有机玻璃制成。PIV 测试位置距气泡发生 器约 1500 mm。图4还展示了PIV 测量系统和坐标设 置,x、y和z轴分别对应主流方向、壁面法向和翼展 0)(,0)( )1()1( xVxV NN ),,( VD )(n V )(),()()(nn VRVD V ),,(),,(0 )1()()()1()()( nnnnnn VVRVVD )()1()1( nnn VVV );;1( nlnNnfor )(l V Figure 2. F l owchart of the isotropic optical flow algorithm 图2. 同性光流算法流程图 初始化 更新 获得 后 , 非线性滤波公式 更新 迭代计算 0)(),()( )()()1( xVxVxV lll );0;1( nnlnfor )0( V ),,(),,(0 )1()()()1()()( nnnnnn VVRVVD ),,( VD )(n V )(),( )()( nn VRVD )()1()1( nnn VVV V Figure 3. Flowchart of the nonlinear diffusion optical flow algo- rithm 图3. 非线性光流算法流程图 Copyright © 2013 Hanspub 23 一种基于多尺度分析和非线性滤波的光流算法 Figure 4. Experimental apparatus used for PIV images 图4. 用来获取 PIV 图像的实验装置 方向。测量时,片光与壁面法向平行(y方向),PIV 相 机镜头轴线与展向平行(z方向),二者始终保持为垂直 状态。为了保证流动为二维平面流动,不受展向壁面 的影响,将测量平面选在展向上的中间位置。PIV 系 统购自丹麦丹迪动态公司(Dantec Dynamics A/S),主 要由激光器、高速相机、片光源、同步器、时间触发 器、电源、图像处理软件和图像采集控制计算机组成。 测量时,同步器同时与激光器、高速相机和控制计算 机连接,并产生脉冲协调高速相机和激光器的同步工 作。示踪粒子选用20 μm的尼龙颗粒。 3.2. PIV图像的处理结果 本文提出的MOFBM 算法通过上面提到实验PIV 来检测。为了实现多尺度计算,原始图像被分解为 60 个尺度级的图像,尺度因子为 ,参 数时旨示不同分辨率级, 05l (a) (b) (a) 第一帧图像,(b)第二帧图像。 Figure 5. The PIV source images for up-channel flow 图5. 实验获得的连续两帧 PIV 原始图像 (a) (b) (c) (d) 9 0.95 0, I xt 与 59 , I xt 分别表 示原始与最低分辨率图像序列。初始结果计算针对的 分辨率级为:8;基于非线性滤波的结果更新 都针对 。Bilateral-Filter 计算时的参数 。图 5为两帧连续时刻的粒子图像。 图6显示了几种经典算法与本文提出的 MOPFM 算法 计算结果的比较,互相关算法的查询窗口选用32 5l 7 85 9 0l 1.8, v kk0. 32 , 其他光流算法的计算密度为10 pixel。从图中可以看 出FFT 算法存在较多伪矢量,如果 查询窗 口继续 选 小,伪矢量会更多,而MOFBM 能有效的剔除伪矢量, (a) 速度矢量场-FFT,(b) 速度矢量场-MHS,(c) 速度矢量场-Brox(2D),(d) 速度矢量场-MOPFM。 Figure 6. Comparison of several classic algorithms and the MOPFM algorithm 图6. 几种经典算法与 MOPFM 算法的比较 得到了较满意的结果。MOFBM 算法在精度上要优于 传统的互相关算法和MHS 法[15]。我们还可以看出 MOFBM 算法与 Brox (2D)算法[23]在精度上非常接近, 但由于非线性滤波的引入使得MOFBM 算法的光流 方程更简单,最优速度因子的引入使得计算需要更少 的迭代,因此,在相同精度 要求下计算时 0.0001 Copyright © 2013 Hanspub 24 一种基于多尺度分析和非线性滤波的光流算法 Copyright © 2013 Hanspub 25 间比 Brox (2D)算法可以缩30%~40%。Brox (2D)需要 14 次迭代和922 s,而 MOFBM 法仅需要10 次迭代和 708 s。结果表明该算法对于 PIV 图像的处理具有较好 的性能和可靠性。 4. 结论 1) 本文简述了光流算法在 PIV 后处理中的发展 过程,介绍了非线性滤波与多尺度分析光流算法的基 本原理及计算步骤,并详细讨论了算法中最有因子获 取,非线性函数构造等。 2) 设计和开展获取PIV 粒子图像的实验,并将 本文提出的基于非线性滤波和多尺度分析的修正光 流算法(MOFBM)应用于计算实际的 PIV 速度场, 结 果表明该算法具有良好的性能和可靠性,例如:获得 致密的光流场,有效的移除伪矢量,相对于其它传统 的光流算法有更高的计算效率。 参考文献 (References) [1] E. Lauze, P. Kornprobst and E.Mémím. A Coarse to fine multi- scale approach for linear least squares optical flow estimation. Proceedings of the British Machine Vision Conference, Kingston University, 2004, 9: 767-776. [2] E. Trucco, T. Tommasini and V. Roberto. Near-recursive optical flow from weighted image differences. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, 2005, 35(1): 1083-4419. [3] Y. Q. Zhao, Q. Pan and H. C. Zhang. Material classification based on multi-band polarimetric images fusion. SPIE Procee- dings, Polarization: Measurement, Analysis, and Remote Sens- ing VII, Orlando, 15 April 2006, 6240: 58-65. [4] B. K. Horn, B. Schunck. Determining optical flow. Artificial Intelligence, 1981, 7: 185-203. [5] 桂本烨, 钱徽, 朱淼良等. 一种优化梯度计算的改进 HS 光流 算法[J]. 中国图象图形学报, 2005, 10(8): 1052-1058. [6] 杨叶梅. 基于改进光流法的运动目标检测[J]. 计算机与数字 工程, 2011, 39(9): 108-110, 160. [7] 张杨, 叶舒帆, 高立群等. 基于粒子预测和光流匹配的目标 跟踪算法[J]. 计算机光盘软件与应用, 2010, 8: 47-49. [8] 韩军, 张东. 全局运动多分辨率光流估计算法的改进与实现 [J]. 西安工业大学学报, 2011, 31(2): 115-119. [9] 张泽旭, 李金宗, 李冬冬等. 基于最小 RMSE 测度的多尺度 微分光流算法[J]. 模式识别与人工智能, 2004, 17(3): 299-305. [10] 卢宇, 祝豪, 吴钦章等. 一种基于背景配准的光流场算法[J]. 半导体光电, 2008, 29(1): 126-130. [11] J. L. Shi, S. Q. Bai and J. W. Si. Analysis and research of cloud motion based on CLG optical flow. Computer Technology and Development, 2011, 21(12): 135-138. [12] Y. Dong, H. Chen and B. Zhao. Robust estimation of optical flow based on linear brightness model. Journal of Computer Ap- plications, 2008, 28(1): 216-219. [13] A. Bruhn, J. Weickert. Lucas-Kanade meets Horn-Schunck: Combining local and global optical flow methods. International Journal of Computer Vision, 2005, 61(3): 211-231. [14] T. F. Chan, L. A. Vese. Active contours without edges. IEEE Transactions on Image Processing, 2011, 10(2): 266-277. [15] B. D. Lucas, T. Kanade. An iterative image registration techni- que with an application to stereo vision. Proceedings of DARPA Image Understanding Workshop, Pittsburgh, 24-28 August 1981: 121-130. [16] H. H. Nagel, W. Enkelmann. An Investigation of smoothness constraints for the estimation of displacement vector field from image sequences. IEEE Transaction on Pattern Analyze and Machine Intelligence, 1986, 8(5): 565-593. [17] C. Tomasi, R Manduchi. Bilateral Filtering for Gray and Color images. Proceedings of the IEEE International Conference on Computer Vision, Bombay, 4-7 January 1998: 839-846. [18] M. Sonka, V. Hkwac and R. Boyle. Image Processing Analysis, and Machine Vision. Beijing: TsingHua University Press, 2011. [19] H. D. Li, J. L. Liu and W. K. Gu. A Fast and Efficient DPIV Algorithm Using IAFM Models. Journal of Image and Graph- ics, 1999, 4(3): 193-197. [20] Y. M. Yang. Comparison of Nonlinear Equations’ Solutions in Mechanics and Their Modification. JF World Sci-Tech R & D, 2011, 33(3): 376-379. [21] T. Brox, A. Bruhn, N. Papenberg and J. Weickert. High accuracy optic flow theory for warping. In: T. pajdla and J. matas, Eds., Computer Vision-ECCV 2004, Prague, 2004, 3024: 26-36. [22] M. J. Pang. Study on Mechanisms of phase profile and turbu- lence modulation by microbubbles in vertical upward channel. Xi’an Jiaotong University for the Degree of Doctor of Engi- neering Science, 2011: 94-98. [23] D. Barash, D. Comaniciu. A common framework for nonlinear diffusion, adaptive smoothing, bilateral filtering and mean shift. Image and Video Computing, 2003, 22 (1): 73-81. |