![]() Computer Science and Applicatio n 计算机科学与应用, 2011, 1, 97-102 http://dx.doi.org/10.12677/csa.2011.13020 Published Online December 2011 (http://www.hanspub.org/journal/csa) Copyright © 2011 Hanspub CSA Adaptive Particle Filtering for Facial Feature Tracking Xiaorong Pu, Peng Li, Luping Ji School of Computer Science and Engineering, Univer sity of Electronic Science and Technology of China, Chengdu Email: puxiaor@uestc.edu.cn Received: Aug. 31st, 2011; re vised: Sep. 27th, 2011; accepted: Oct. 15th, 2011. Abstract: Active shape model (ASM) has been widely used to track a face from a video sequence. However, it is usually limited to frontal v iew or the cases of small-scale head movement. ASM may fail in condition of cluttered background, adverse circumstances and partial occlusion. An enhanced ASM is proposed to meet those challenges based on particle filtering tracking algorithm. Experiments demonstrate the effectiven ess and flexibility of the proposed algorithm in tracking the target objects undergoing significant variation of the object’s appearance or surrounding illumination . Keywords: Visual Tracking; Particle Filter; Incremental PCA; ASM 基于自适应粒子滤波的 ASM 新技术 蒲晓蓉,李 鹏,纪禄平 电子科技大学计算机科学与工程学院,成都 Email: puxiaor@uestc.edu.cn 收稿日期:2011 年8月31 日;修回日期:2011 年9月27 日;录用日期:2011 年10 月15 日 摘 要:ASM 已经被广泛应用于视频流中的人脸跟踪,但大多局限于头部运动较缓慢的正面人脸跟踪, 很难精确跟踪复杂背景、恶劣光照和部分遮挡条件下的人脸。本文结合粒子滤波预测跟踪人脸,改进 传统 ASM 方法,实现人脸特征点的精确定位。实验表明,该方法能有效提高 ASM 搜索的精确度和鲁 棒性。 关键词:人脸跟踪;增量 PCA;粒子滤波;ASM 搜索 1. 引言 人脸跟踪和特征提取是人脸识别和机器视觉的关 键技术。主动形状模型(Active Shape Model,ASM)是 由Cootes[1]等人于 1995 年提出的一种基于点分布模型 算法,已经被广泛应用于单幅人脸或视频流的人脸特 征提取和跟踪。ASM 基于统计方法,将一系列人脸图 像进行标点训练得到原始形状向量,再进行对齐操作 和PCA 分析建立形状建模[2]。其中需要设置形状模型 参数,约束其变化范围,确保模型能适应目标形状的 不确定性[3]。 ASM 模型的初始化过程非常重要,如果不能准确 定位目标图像中的人脸位置,后续的 ASM搜索过程 将会失败。传统人脸检测技术包括基于肤色[4]、Harr 特征[5]等方法,大多局限于良好背景、均匀光照和人 脸无遮挡等约束环境,无法检测视频流中快速头部移 动的人脸。为了自动确定跟踪目标,本文方法仅视频 流的第一帧利用人脸自动检测捕获目标,获得人脸位 置、大小和旋转等参数,并将人脸的位置作为粒子滤 波人脸跟踪算法的初始化窗口。此后采用粒子滤波方 法定位特定目标的人脸位置,以检测并跟踪复杂背景、 光照变化、局部遮挡,以及快速移动的人脸图像。 ASM 大多采用 PCA 方法建立形状模型,需要大 量数据集构建特征基。但利用传统PCA 不能准确定位 复杂状况下的人脸目标,且无法适应目标特征的最新 变化。本文采用递增 PCA(Incremental PCA, IPCA)方 法构建更新特征空间,保持目标模式的最新表达,以 适应目标本身的变化和周围环境的改变,实现复杂环 ![]() 蒲晓蓉 等 基于自适应粒子滤波的 新技术 ASM 98 境下的人脸特征点跟踪[6]。 本文后续部分将依次介绍 ASM 方法,基于 IPCA 的ASM人脸跟踪方法和自适应粒子滤波人脸跟踪技 术,描述验证实验,讨论改进 ASM 方法的实验效果。 2. ASM方法 ASM 是一种基于统计模型的图像处理方法,通过 对具有一定代表性的同类目标图像进行统计建模,以 获得反映目标图像二维形状变化规律的形状统计模 型。ASM 首先对一组标有特征点的图像进行形状建模 和局部纹理建模,然后在搜索过程中不断调节形状和 姿态参数,从而使形状达到最优化。 ASM 需要对一组标有特征点的图像进行形状建 模和局部纹理建模,该过程需要大量的人脸样本作为 训练集。 1) 形状建模(Shape Model) 形状建模旨通过训练多幅图像序列,获得平均形 状、转换矩阵、搜索需要的初始形状和模型约束的相 关参数。主要包括特征点标定、对齐操作和 PCA 构建 形状模型三个步骤。 (a) 特征点标定 ASM 算法首先需要对训练集中的每幅人脸图像 进行特征点标定,刻画人脸形状。图像中的每个特征 点都被标注唯一的固定序列编号,训练集中每幅图像 的特征点构成的形状用 的向量表示为 21n T n11 ,,, ,, n x xy yx,其中, 12 ,, , n x xx表示有 序特征点的 x 坐标, 表示有序特征点的 坐标, 表示训练集的大小。 12 ,,yy, n yy n (b) 对齐操作 为了获得训练集中模型点坐标的统计特征,使不 同样本对应点之间具有可比性,需要消除训练样本大 小、位置等差异造成的影响,即需要进行对齐操作。 由于每个点分布向量具有旋转不变性,一个形状可以 通过旋转、缩放、平移等仿射变换对齐另一个形状, 使得两个形状之间的差异最小。两个形状向量 i X 和 j X 的对齐操作可通过平移、缩放、旋转实现,最后求 解变换后的两个形状向量之间的最小距离。 从图 1中不难发现,经过对齐操作以后,特征点 的分布更加集中。 (c) 用PCA 建立形状模型 (a) 对齐操作前 (b) 对齐操作后 Figure 1. Alignment samples 图1. 样本对齐前后的比较示意 形状对齐操作以后,对样本集进行主成分分析 (PCA),可获取样本集在分布空间中的主方向。形状 建模以后,一个形状可以表示为: j b X XPX。其 中,是通过 PCA 得到的前 维特征向量矩阵 , 是 形变参数,表示任意人脸在特征空间中的投影。为了 约束人脸形状,一般限制b的范围为 Ptb 3 ii b 。 2) 局部纹理建模(Profile Model) 第一步,获得每个特征点的局部纹理。比较训练 集中的各图像的某个特定点周围的灰度分布。沿着特 征点法线方向进行像素级灰度值采样。特征点的法线 定义为:当前点的前一个点和后一个点连线的中垂线。 第二步,进行局部纹理建模。将第 个样本的第 个特征点记为,采样的第 k个灰度值记为 ij ij pijk g ,则 的 ij p2k1 个灰度层可记为: Copyright © 2011 Hanspub CSA ![]() 蒲晓蓉 等 基于自适应粒子滤波的 新技术 99 ASM T 12 221 ,,... , ijij ijij kijk ggggg . 3) 特征点搜索 通过形状建模和局部纹理建模以后,利用建模获 得的参数对待定位的图像进行目标搜索。 搜索过程中,两个特征点之间的相似度的匹配函 数可用马氏距离(Mahalanobis Distance)表示,定义为: T1 jj jj f ggg gg S。其中, g 表示第 个 特征点的灰度层差分均值, j j g 表示第 个特征点的第 个灰度差分值, ji S 为第 标记点局部纹理的协方差矩阵。 j 通过迭代不断调整姿势和形状参数,获得每个点 的最佳匹配。不过,这只能使每个点的匹配最优,而 非整体形状匹配最优,即不能保证得到的人脸形状就 是最终的人脸形状。因此,需要对模型进行约束,将 当前搜索的形状投影到模型空间,并约束模型中值 的范围,以保证每个特征点在局部和整体上最优。 b 3. 基于 IPCA 的ASM 人脸跟踪 3.1. 递增主成分分析 IPCA (Incremental PCA) 由于目标表观容易受形状、自身反射特性、姿态和 光照等因素影响,需要一个稳定的表 观模型来适应这些 因素的影响。可以提前采集目标在各 种光照和复杂环境 下的样本,利用 PCA 求解样本的主元方向,并进行降 维。传统 PCA本质上是在最小均方意义下寻找最代表 原始数据的投影,从而简洁有效地表示原始数据。 IPCAS 利用最新获得的图像更新特征空间,获得的特 征空间能很好地描述图像之间的相似 性或差异性[7]。 经过光照补偿和去噪等图像预处理后,得到二维 灰度图[8]。可以用一个 的矩阵dn 1,, n I IA表示 经预处理的训练图集,存储1~时刻的图像向量,其 中是一个 d维向量,代表第 帧图像。对矩阵 n i i I A 进 行SVD 分解: ,得 到 T VUA A 的特征值。当一个 维的新观测图像矩阵到达时,可以将其表示 dm 为 ,记为 0 00 TT T UV E E EUE EI A km 维的 方阵,其中 k为Σ的特征值个数。 的SVD 分解 R R 为 ,它可在初始化时得到,而不必随目标图 T ijR UV p 像的更新而更新。于是, EA的SVD 分解可表示为 0 0 T V T EUEUV I A 。 采用 方法更新特征基,首先对SKL A 进行 分解得到U和 SVD ,然后按下述方法实现 []EUV AA 。 1) 获得旧数据 和新到达的数据 T UVA E ; 2) 对 UE UER 进行分解得到和 ,QR E R QR UE RSV ; 3) 对进行分解; DSV DT RU V 4) 若第三步分解后基向量的个数少于其非零特 征值的个数,则丢弃U和 中多余的特征向量和特征 值; 5) 使得','UUEU 。 由上述算法可知, 12 n II IA和 12 n B II I 分别表示原始图像和新到达的图像,它们的组合记为 CAB ,分别记 A 和的样本均值和散射矩阵为B ABC I II和,给 定 ABC SSS A A I的SVD 分解U和 , 通过 IPCA 方法计算 C CI的SVD 分解,得到相应 的 和 'U' 。随着新样本数据的到达,更新训练数据 的样本均值和散射矩阵。 3.2. 粒子滤波跟踪 粒子滤波通过寻找一组在状态空间中传播的随机 样本,对概率密度函数 1:KK PX Z进行逼近, k X 为 系统状态, 1:k Z 为系统的观测值,用样本均值代 替积 分运算,从而获得状态最小方差估计,这些样本称为 “粒子” [9]。数学描述为:对于平稳的随机过程,若 1k 时刻系统的后验概率密度为 1: 1KK PXZ ,依据一定 原则选取 个随机样本点, 时刻获得测量信息后, 经过状态和时间更新过程, 个粒子的后验概率密度 可近似为 nk n kk pX Z。随着粒子数目的增加,粒子的 概率密度函数逐渐逼近状态的概率密度函数,粒子滤 波估计即达到了最优贝叶斯估计的效果。 视频流相邻两帧图像内的目标跟踪可以看成目标 在图像中位置的仿射变换。目标在 时刻的仿射变换 表示为 t ,,, t X xys ,其 中 ,, x y分别表示目标区域 中心在 x 和方向的坐标,y s 表示比例因子, 表示 目标区域的旋转角度。对于给定的一系列观测图像 12tt I II I,根据贝叶斯理论,有 111 d tt ttttt tt pXI pI XpXXpXIX 1 。 Copyright © 2011 Hanspub CSA ![]() 蒲晓蓉 等 基于自适应粒子滤波的 新技术 ASM 100 记观测模型为 tt P XI ,通过观测 t I 的状态,计算状 态t X 的概率,建立动态时变系统 1 |: tt tt XNX X 1 , PX ,其中, 代表仿射参 数t X 的协方差矩阵。这样,就可以用表观模型表示被 跟踪目标,用 PCA 的概率表示图像的观测模型。样本 训练图集经过特征分解以后得到一个中心为 的子 空间U,待跟踪图像t I 中的目标概率可以用样本到 空间中的参考点的马氏距离 d求得。d可以分解为空 间 P t I 和之间的距离 和样本点到U的正交子空间 的距离 的乘积[10]: Ut d w d tw ttd ttdtt P XP XPXIII (1) 由子空间产生的样本概率满足高斯分布,可以表 示为: ;, T dtt t t pXNUU III (2) 其中, I 为单位矩阵, 为样本均值, I表示观测 过程中的高斯噪声。 子空间内样本的概率可以用样本均值的马氏距离 建模: 2 ;, T dtt t w PXN UU II (3) 式(2)和(3)结合,可以计算出 tt P XI[10]。 采用粒子滤波方法可以跟踪局部遮挡、光照变化 和多角度等人脸图像,并能在丢失后恢复目标跟踪。 4. 改进的 ASM 算法流程 4.1. 基于粒子滤波跟踪的 ASM 形状搜索过程 搜索目标的初始位置对ASM的影响非常大。如 果搜索位置偏离了搜索目标或与搜索目标的大小偏差 较大,搜索过程很容易陷入局部最小,导致整个搜索 失败。目前,大多数 ASM 搜索算法都基于人工手动 设置初始搜索位置,而非自动确定初始搜索位置。若 利用人脸自动检测实现人脸特征定位,须严格限制背 景、光照等条件,否则人脸检测失败会导致整个搜索 过程的失败。 为了自动确定跟踪目标,本文方法自视频流的第 一帧就利用人脸自动检测捕获跟踪目标。自动人脸检 测能确定视频流中人脸的确切位置,获得人脸位置、 大小和旋转等参数,并将人脸位置作为粒子滤波人脸 跟踪算法的初始化窗口。 利用 3.2 节描述的粒子滤波跟踪算法,实现复杂 条件下的人脸特征点跟踪。具体算法描述如下: (a) 如果是视频流的第一帧,则用自动人脸检测 方法定位人脸位置;否则,用粒子滤波方法定位第一 帧中特定目标的人脸位置; (b) 估计当前人脸脸颊的特征点位置,将人脸框 的宽度进行适当缩小和平移,再将新人脸框的左上角 点记为左脸颊位置,右上角点即为右脸颊位置; (c) 利用(b)得到的两个脸颊特征点的位置坐标与 平均形状模型中脸颊两个特征点的坐标之间的对应关 系,求得仿射变换矩阵的参数 ,,, x y abt tI x y t xabx Tt ybay (d) 利用仿射变换,将平均形状模型中的其它点 也进行相应映射,获得ASM初始形状的搜索位置, 开始 ASM 搜索过程。自适应 ASM跟踪流程如图 2所 示。 4.2. 改进后 ASM的实验结果 实验针对复杂背景、人脸局部遮挡、强光照等情 况,分别采用传统 ASM 和基于自适应滤波的 ASM 方 法进行人脸跟踪,实验图像选用 像素。部分 实验效果如图 3所示。 640 480 采用传统 ASM 方法时,若第 帧人脸检测失败, 将导致整个 ASM搜索失败。由于视频流中连续几帧 图像中的人脸位置变化不会很大,利用这一特性可大 致估算第 帧的人脸位置。根据前几帧的人脸检测结 果,取连续前几帧图像中人脸位置进行加权平均,分 别赋予不同的权重,估算后一帧的人脸位置。 k k 由图 3可见,采用传统 ASM进行人脸检测与跟 踪,在复杂背景、遮挡和恶劣光照条件下均会失败。 实验结果表明,采用自适应粒子滤波的ASM方 法跟踪复杂背景、局部遮挡、强光照等视频图像中的 人脸,具有更高的精确性和鲁棒性。 5. 总结 本文提出基于自适应粒子滤波的ASM方法,能 自动确定跟踪目标的初始位置,并能在复杂背景、局 部遮挡和强光照等图像中检测跟踪人脸,较传统 ASM Copyright © 2011 Hanspub CSA ![]() 蒲晓蓉 等 基于自适应粒子滤波的ASM 新技术 Copyright © 2011 Hanspub CSA 101 Figure 2. Flow chart of adaptive ASM f or face tracking 图2. 自适应ASM算法跟踪流程图 (a) 复杂背景中的人脸检测与跟踪 (b) 嘴部遮挡人脸检测与跟踪 (c) 墨镜遮挡人脸检测与跟踪 (d) 强光照条件下的人脸检测与跟踪 Figure 3. Comparative experimental results 图3. 传统ASM 与改进ASM人脸检测与跟踪对比 方法,改进的 ASM方法具有更强的鲁棒性、精确性 和实时性。 6. 致谢 感谢国家自然科学基金 60973070 对本项目的支 持。 参考文献 (References) [1] T. F. Cootes, C. J. Taylor, et a1. Active shape models-their training and application. Journal of Computer Vision and Image Understanding, 1995, 61(1): 38-59. [2] T. F. Cootes, G. J. Edwards and C. J. Taylo r. Active appearance models. Proceedings of European Conference on Computer Vision, 1998, 2: 484-498. [3] T. F. Cootes, C. J. Taylor. Statistical models for appearance for computer vision, 2004. http://www.isbe.man.ac.uk/bim/refs.html [4] E. Hjelmas, B. K. Low. Face detection: A survey. Computer Vi- sion and Image Unders t a n d i n g, 2001, 83(3): 236-274. [5] P. Viola, M. J. Jones. Robust real-time object detection. Inter- national Journal of C omputer Visio n , 2001, 57(2): 137-154. [6] D. Ross, J. Lim and M. H. Yang. Adaptive probabilistic visual tracking with incremental subspace update. Proceedings of Eu- ropean Conference on Computer Vision, 2004, 2: 470-482. [7] D. A. Ross, J. Lim, R.-S. Lin and M.-H. Yang. Incremental lear- ning for robust visual tracking. International Journal of Computer Vision. 2008, 77(1-3): 125-141. ![]() 蒲晓蓉 等 基于自适应粒子滤波的 新技术 ASM 102 [8] J. Shermina. Illumination invariant face recognition using dis- crete cosin transform and principal component analysis. Procee- dings of International Conference on Emerging Trends in Elec- trical and Computer Technology (ICETECT), Tamil Nadu, 23-24 March 2011: 826-830. [9] C. Shen, A. van Hengel and A. Dick. Probabilistic multiple cue integration for particle filter based tracking. International Con- ference on Digital Image Computing: Techniques and Applica- tions, Sydney, 200 3, 1: 399-408. [10] B. Moghaddam, A. Pentland. Probabilistic vi s ual learning for ob- ject recognition. IEEE Transactions on Pattern Analysis and Ma- chine Intelligence, 1997, 19(7): 696-710. Copyright © 2011 Hanspub CSA |