Artificial Intelligence and Robotics Research
Vol.05 No.01(2016), Article ID:17260,10 pages
10.12677/AIRR.2016.51002

Particle Swarm Optimization Based Algorithm for Conditional Probability Neural Network Learning

Junjie Xu, Min Jiang

Fujian Key Lab of the Brain-Like Intelligent Systems, Xiamen University (XMU), Xiamen Fujian

Received: Mar. 12th, 2016; accepted: Mar. 25th, 2016; published: Mar. 30th, 2016

Copyright © 2016 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

ABSTRACT

Conditional probability neural network (CPNN) has special advantage in pattern classification problems. However, how to find the optimal parameters of the CPNN to achieve better performance is an extraordinary challenge. Considering the structure feature of CPNN, we proposed a new training method based on particle swarm optimization (PSO). This method utilizes PSO to optimize the structure of CPNN and label distributions by introducing Hellinger distance between different label distributions. We applied the improved CPNN on facial age estimation. The experimental results showed that this network could increase recognition accuracy significantly.

Keywords:Age Estimation, Label Distribution Learning, Conditional Probability Neural Network, Particle Swarm Optimization

基于粒子群优化的条件概率神经网络

徐骏捷,江敏

厦门大学福建省仿脑智能系统重点实验室,福建 厦门

收稿日期:2016年3月12日;录用日期:2016年3月25日;发布日期:2016年3月30日

摘 要

条件概率神经网络在进行模式分类时具有独特的优势,然而如何对其进行有效的训练,从而找到最优参数却是一个困难的问题。在考虑条件概率神经网络的结构特点之后,本文提出了一种基于粒子群优化的条件概率神经网络的训练方法。我们将这种基于粒子群优化的条件概率神经网络用于人脸年龄估计,实验结果表明这种网络能够显著地提高识别的准确率。

关键词 :年龄估计,标签分布学习,条件概率神经网络,粒子群优化

1. 引言

年龄估计因其在身份认证、人机接口、视频检索以及机器人视觉中存在着潜在的应用,因而倍受关注。年龄估计有着广泛的应用前景,主要包括:1) 更人性化的HCI:通过自动识别用户的年龄,可以为用户提供更合适其年龄的个性化的用户界面和服务。2) 图像及视频检索:限定年龄范围,从数据库中检索到需要的人脸图像或视频。3) 人口信息采集:用自动年龄估计系统在公共场合收集有价值的人口信息。4) 安全门禁控制:通过自动检测年龄,实现安全网络或系统门禁控制。

自动年龄估计面临的主要难题就是年龄相对于其他面部因素的特殊性:

1) 老化的过程不可控。导致样本数据收集很费力

2) 独特的年龄格局。每一个人的基因,健康情况,生活方式都不同,造成年龄格局不同。

3) 年龄格局是时间的函数。老化的过程必须按照时间顺序,某时刻的脸部状态能够影响到后面的年龄的面部状态,但是不能影响到年轻时刻的。

国际上,Young和Niels [1] 是最早提出年龄估计的人。他们早在1994年就提出过通过人脸图像进行年龄估计。但他们的工作相对较为简单。他们把年龄粗略地分成:小孩、年轻人和老年人三种。Hayashi等人 [2] 研究了基于Hough变换的皱纹纹理和人脸图像肤色分析的年龄和性别识别方法。2003年,Iga等人用支持向量机开发了一个用于估计年龄的分类器。Lanitis等人 [3] 提出一种基于脸部外观的统计模型。他们比较了不同分类器,例如kNN、MLP、SOM的性能,并且认为机器几乎可以和人一样估计出人的年龄。Nakano等人 [4] 提出利用脸部和脖子上皱纹纹理的边缘信息来进行年龄估计。Zhou等人 [5] 提出用Boosing的方法做为回归方法进行年龄的估计,并用实验表明该方法比基于SVMs的方法还要好。Geng等人 [6] 提出衰老模式子空间的方法,通过学习一些代表性的子空间来建模衰老模式。

条件概率神经网络(Conditional Probability Neural Network, CPNN) [7] ,是一种三层的神经网络模型,它接收目标变量和条件特征向量作为输入,输入两者的条件概率,使用KL散度来作为损失函数,并通过误差反向传播来更新网络的权重。CPNN可以利用相邻的年龄信息协助学习,有效地解决年龄估计问题。然而CPNN存在如下问题:首先,反向传播算法容易陷入局部最优。反向传播算法是一种局部寻优算法。它利用误差对于权值系数的一阶导数信息来获取下一步的权值调整方向,以求达到误差最小。实际问题的求解空间往往是极其复杂的多维曲面,存在很多局部极小点,使得陷入局部极小的可能性大大增加。其次,难以决定标签分布的参数。合适的标签分布可以使得网络在学习一个类的时候从周围获得良好的特征帮助学习,而范围过大可能会对学习造成干扰。据此,本文提出了使用粒子群优化算法帮助寻找条件概率神经网络的最优参数,从而有效的解决人脸年龄估计问题。

文章结构组织如下。第二节先介绍了标签分布的概念,然后将问题模型化,并介绍了以Hellinger distance作为损失函数的CPNN和其参数学习的方法,第三节介绍了运用在CPNN上的PSO算法来优化标签分布的参数和CPNN的权值。第四节是实验部分,我们给出了实验结果,并对其进行了分析。最后,我们总结了文中所提及的研究工作,并对未来将要进行的研究进行了展望。

2. 背景知识

2.1. 问题描述

首先我们给出标签分布的定义。

定义1. (描述度)给定一个实例x,定义描述度,表示y描述x的程度。

对于一个实例x,实际年龄为a,那么a的领域范围内的描述度对a均有贡献。对于年龄a的标签分布,应该满足如下2条假设:a的描述度在标签分布中是最大的,以确保在类描述中实际年龄起到主导地位;其他年龄的描述度随着离a越远而越小,保证了相邻的年龄对实际年龄的贡献度比其他的更高一些。显然对于这两条假设,高斯分布和三角分布都满足要求。

代表q维输入空间,代表有限的标签集,标签数量为c,训练集,这里代表一个实例,代表实例所对应的描述度,标签分布学习的目标为条件概率。假设条件概率为含参模型,这里为模型的参数,因此标签分布的学习目标为找出参数使得给定一个,模型可以产生一个尽可能相似于的标签分布。用Hellinger distance [8] 来描述,定义如下。

定义2. (Hellinger距离)对于两个分布,Hellinger距离

因此模型如下:

(1)

2.2. CPNN算法描述

条件神经网络由输入层,一层隐层和输出层构成。CPNN与传统BP神经网络存在不同:输入变量中不仅包含实例x,还包含实例的一个标签y,x与y可以来自不同的领域,拥有不同的取值范围。如在年龄估计问题中,x代表面部特征,每个元素取值通常在[0,1]之间,y代表面部所对应的年龄,取值范围通常在[0,100]之间。CPNN的输出为条件概率

隐层输出节点的网络激活函数可以表示为

(2)

这里G为sigmoid函数,是第l层的节点个数,代表在第l层的第m个节点与第l-1层的第k个节点之间的链接权重。

当输入同时包含x和y时,神经网络输出变为:

(3)

这里

(4)

代表输出节点的偏重,保证了

因此条件概率计算如下:

(5)

根据Sarajedini等人 [9] 的方法,可以被写作如下所示:

(6)

比较Equation (6)和Equation (5),归一因子可以重写为:

(7)

回顾Equation (1),模型的损失函数为:

(8)

种令,Equation (8)关于θ的梯度为:

(9)

最后,使用RPROP算法 [10] 作为权值的更新算法。RPROP算法是一种从改变学习速度的方面着手的对反向传播的改进算法,其中一个特性就是根据符号序列更新步长而不是梯度值。在RPROP算法中有两个值进行了计算:1) 更新值的符号,2) 更新值的大小。更新值的符号计算如式(10)所示。

(10)

这里为当前步。更新值得大小如式(11)所示。

(11)

这里。最终权值更新公式如式(12)所示。

(12)

3. 基于PSO的CPNN

3.1. PSO概述

借助于生物觅食运动的启迪,Kennedy和Eberhart提出了PSO算法 [11] 。PSO算法通过个体间的协作与竞争,实现复杂空间中最优解的搜索。PSO先生成初始种群,即在可行解空间中随机初始化一群粒子,每个粒子都为优化问题的一个可行解,并由目标函数为之确定一个适应值(fitness value)。每个粒子将在解空间中运动,并由一个速度决定其方向和距离。通常粒子将追随当前的最优粒子而动,并经逐代搜索最后得到最优解。在每一代中,粒子将跟踪两个极值,一为粒子本身迄今找到的最优解pbest,另一为全种群迄今找到的最优解gbest。

虽然进化算法对那些大而复杂、误差梯度信息很难获取或根本不可用的问题特别有吸引力,但与BP算法的局部搜索能力相比,进化算法在接近问题最优解附近的解空间搜索就比较慢,其局部搜索能力较弱。把进化算法与BP算法相结合可以增强算法的整体搜索能力,这种混合算法的学习过程分两步:首先,利用进化算法的全局搜索能力找到一个较好的神经网络初始权值;其次,在进化算法搜索到的初始权值点处利用BP算法训练神经网络,最终搜索到神经网络的最优连接权值。这种混合算法主要是利用了进化算法全局搜索的优点和BP算法局部搜索速度快的特点,而又避免了进化算法局部搜索的弱点和BP算法容易陷入局部极小点的缺点。

3.2. PSO-CPNN

假设CPNN网络结构中含有n个隐层节点,粒子被设计向量的形式,表示CPNN网络的权值,为标签分布的参数。

PSO-CPNN算法流程图如下所示。

4. 实验

4.1. 设计与说明

本文中使用的数据集为FG-Net Aging Database [12] 。此数据集中含有82个人共1002张面部图片,其中每人有6~18幅标有实际年龄的图像,数据集中的年龄变化范围在0~69岁之间。除了年龄特征之外,图片中的面部还带有姿势,表情等特征。

在本文的实验阶段,一些现有专门用于面部年龄估计问题的算法用于与本文的算法进行比较,如:OHRank [13] ,AGES [14] ,WAS [15] 和AAS [16] 。同样的,传统的分类算法也进行了比较,如:kNN,BP,C4.5,SVM,ANFIS [17] 。

对比试验的参数设置如下,在OHRank中,使用了绝对值损失函数与RBF核函数。在AGES中,aging pattern subspace的维度设置为20。在AAS中,在appearance cluster training step中的误差阈值设置为3。在kNN中,k设置为30并使用Euclidean distance来寻找邻点。BP神经网络隐层节点数设置为100,并使用sigmoid函数作为激活函数。C4.5.在SVM中使用RBF核函数.ANFIS中隶属函数设置为2个。Cpnn中使用两种分布:高斯分布,标准差设置为1,2,3,4。三角分布,bottom length 设置为2,4,6,8。

年龄估计的性能指标使用MAE (Mean Absolute Error),即模型输出值为,对应真实值为,则。使用此指标可以很好的反映实际年龄和预测年龄之间的差距。

算法的测试阶段使用十折交叉验证,即将数据集分成十分,轮流将其中9份作为训练数据,1份作为测试数据,进行试验。每次试验都会得出相应的MAE。最后将10次的结果的MAE的平均值作为对算法精度的估计。

4.2. 结果与分析

实验结果如表1所示,PSO-CPNN显示的是最好的结果,可以看出,标签分布算法的性能优于其他算法。原因主要是标签分布学习算法可以学习相邻年龄的信息。

进一步看,高斯分布优于三角分布,因为高斯分布利用所有相邻的年龄,三角分布只利用了三角形内的年龄。然而,CPNN对参数的选择比较敏感,选择不同的参数对结果影响较大。图1显示了选择不同参数时MAE的变化。通过运用本文中的方法,确定了较优的参数,从而使得MAE降到了一个较低的值。

为了比较KL距离和Hellinger距离的性能,单纯的CPNN算法也进行了,如图2所示,Hellinger距离在大部分情况下优于KL距离。

为了验证CPNN适用于训练样本较少的情况,逐渐减少训练样本数量。通过每次减少一半的训练样本,CPNN的MAE曲线如图3所示,并与OHRank和AGES方法比较,即使减少训练样本,CPNN的MAE并不会增加很快。相反的,当训练数据集减少的时候CPNN与PSO-CPNN表现得更加地稳定。但是,当数据减少的比较多的时候,由于模型复杂性更高的原因,PSO-CNPP的性能劣于CPNN。并且,在对标签分布进行优化的时候,当标签分布越接近均匀分布时,两个年龄相异的标签分布的相似度就越近。图4便显示了PSO-CPNN算法中MAE的变化。

最终,模型对应高斯分布的方差值如图5所示。

5. 总结和展望

本文中提出了一种新的用于年龄估计的神经网络PSO-CPNN,其特点是利用了粒子群优化算法来寻找条件概率神经网的最优参数。从宽泛的意义上讲,这种模型属于进化神经网络(evolutionary neural network, ENN)的一种,而我们所提出这种算法克服了传统条件概率神经网络不能有效处理缺失数据集的

Table 1. MAE in different age estimators

表1. 不同模型的MAE

Figure 1. Flowchart of estimation of distribution algorithm

图1. 分布估计算法流程图

Figure 2. Compare Hellinger with KL

图2. Hellinger距离与KL距离的性能比较

Figure 3. The performance on different estimators

图3. 不同模型性能比较

Figure 4. MAE variation of the PSO

图4. 算法过程中MAE变化情况

Figure 5. Standard deviations to different ages

图5. 不同年龄的标准差

缺点。实验表明,本文中提出的方法的性能显著地高于其他用于年龄估计的算法。需要指出的是PSO-CPNN算法不仅能够用于优化条件神经网络的结构,同时所有输出为分布形式的网络,都可以使用本文所提出的方法来进行方法优化。

通过本文研究,我们可以得出结论,CPNN网络可以被粒子群算法优化,由此,我们相信结合不同的启发式算法,来优化条件或深度网络的结构,并将其应用到不同的领域,将是我们未来的研究方向,例如如何在深度网络中自动调参 [18] ,如何整合符号-神经元方法 [19] - [21] ,以及如何在机器人中运用本文的结果 [22] - [25] 等。

基金项目

此研究工作受到国家自然科学基金项目(No. 61003014,No. 61105026和No. 61273338)的资助。

文章引用

徐骏捷,江 敏. 基于粒子群优化的条件概率神经网络
Particle Swarm Optimization Based Algorithm for Conditional Probability Neural Network Learning[J]. 人工智能与机器人研究, 2016, 05(01): 13-22. http://dx.doi.org/10.12677/AIRR.2016.51002

参考文献 (References)

  1. 1. Kwon, Y.H. and da Vitoria Lobo, N. (1994) Age Classification from Facial Images. IEEE Computer Society Confe-rence on Computer Vision and Pattern Recognition, Seattle, 21-23 Jun 1994, 762-767.

  2. 2. Hayashi, J., Yasumoto, M., Ito, H. and Koshimizu, H. (2002) Age and Gender Estimation Based on Wrinkle Texture and Color of Facial Images. 16th International Conference on Pattern Recognition, 1, 405-408.

  3. 3. Lanitis, A., Draganova, C. and Christodoulou, C. (2004) Comparing Different Classifiers for Automatic Age Estimation. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, 34, 621-628. http://dx.doi.org/10.1109/TSMCB.2003.817091

  4. 4. Nakano, M., Yasukata, F. and Fukumi, M. (2004) Age Classification from Face Images Focusing on Edge Information. Knowledge-Based Intelligent Information and Engineering Systems. Springer Berlin Heidelberg.

  5. 5. Zhou, S.K., Georgescu, B., Zhou, X.S. and Comaniciu, D. (2005) Image Based Regression Using Boosting Method. 10th IEEE International Conference on Computer Vision, 1, 541-548.

  6. 6. Geng, X., et al. (2006) Learning from Facial Aging Patterns for Automatic Age Estimation. Proceedings of the 14th annual ACM International Conference on Multimedia, ACM. http://dx.doi.org/10.1145/1180639.1180711

  7. 7. Yin, C. and Geng, X. (2012) Facial Age Estimation by Conditional Probability Neural Network. Pattern Recognition. Springer Berlin Heidelberg, 243-250. http://dx.doi.org/10.1007/978-3-642-33506-8_31

  8. 8. Hellinger, E. (1909) Neue Begründung der Theorie quadra-tischer Formen von unendlichvielen Veränderlichen. Journal für die reine und angewandte Mathematik, 136, 210-271.

  9. 9. Sarajedini, A., Hecht-Nielsen, R. and Chau, P.M. (1999) Conditional Probability Density Function Estimation with Sigmoidal Neural Networks. IEEE Transactions on Neural Networks, 10, 231-238. http://dx.doi.org/10.1109/72.750544

  10. 10. Riedmiller, M. and Braun, H. (1993) A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithm. IEEE International Conference on Neural Networks, 1, 586-591. http://dx.doi.org/10.1109/icnn.1993.298623

  11. 11. Eberhart, R.C. and Kennedy, J. (1995) A New Optimizer Using Particle Swarm Theory. Proceedings of the 6th International Symposium on Micro Machine and Human Science, Nagoya, 4-6 October 1995, 39-43. http://dx.doi.org/10.1109/MHS.1995.494215

  12. 12. Lanitis, A., Taylor, C.J. and Cootes, T.F. (2002) Toward Automatic Simulation of Aging Effects on Face Images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24, 442-455. http://dx.doi.org/10.1109/34.993553

  13. 13. Chang, K.-Y., Chen, C.-S. and Hung, Y.-P. (2011) Ordinal Hyperplanes Ranker with Cost Sensitivities for Age Estimation. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Providence, 20-25 June 2011, 585- 592.

  14. 14. Geng, X., Zhou, Z.H. and Smith-Miles, K. (2007) Automatic Age Estimation Based on Facial Aging Patterns. IEEE Transactions on Pattern Analysis and Machine Intelligence, 29, 2234-2240. http://dx.doi.org/10.1109/TPAMI.2007.70733

  15. 15. Lanitis, A., Taylor, C.J. and Cootes, T.F. (2002) Toward Automatic Simulation of Aging Effects on Face Images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24, 442-455. http://dx.doi.org/10.1109/34.993553

  16. 16. Lanitis, A., Draganova, C. and Christodoulou, C. (2004) Comparing Different Classifiers for Automatic Age Estimation. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, 34, 621-628. http://dx.doi.org/10.1109/TSMCB.2003.817091

  17. 17. Jang, J.-S.R. (1993) ANFIS: Adaptive-Network-Based Fuzzy Inference System. IEEE Transactions on Systems, Man, and Cybernetics, 23, 665-685. http://dx.doi.org/10.1109/21.256541

  18. 18. Jiang, M., Ding, Y., Goertzel, B., et al. (2014) Improving Machine Vision via Incorporating Expectation-Maximization into Deep Spatio-Temporal Learning. International Joint Conference on Neural Networks (IJCNN), Beijing, 6-11 July 2014, 1804-1811.

  19. 19. Jiang, M., Zhou, C. and Chen, S. (2010) Embodied Concept Formation and Reasoning via Neural-Symbolic Integration. Neurocomputing, 74, 113-120. http://dx.doi.org/10.1016/j.neucom.2009.11.052

  20. 20. Wu, Y., Jiang, M., Huang, Z., et al. (2015) An NP-Complete Fragment of Fibring Logic. Annals of Mathematics and Artificial Intelligence, 75, 391-417. http://dx.doi.org/10.1007/s10472-015-9468-4

  21. 21. Jiang, M., Yu, Y., Chao, F., et al. (2013) A Connectionist Model for 2-Dimensional Modal Logic. IEEE Symposium on Computational Intelligence for Human-Like Intelligence (CIHLI), Singapore, 16-19 April 2013, 54-59.

  22. 22. Jiang, M., Yu, Y., Liu, X., et al. (2012) Fuzzy Neural Network Based Dynamic Path Planning. International Conference on Machine Learning and Cybernetics (ICMLC), Xi’an, 15-17 July 2012, 326-330.

  23. 23. Chao, F., Lee, M.H., Jiang, M., et al. (2014) An Infant Development-Inspired Ap-proach to Robot Hand-Eye Coordination. International Journal of Advanced Robotic Systems, 11. http://dx.doi.org/10.5772/57555

  24. 24. Chao, F., Chen, F., Shen, Y., et al. (2014) Robotic Free Writing of Chinese Characters via Human-Robot Interactions. International Journal of Humanoid Robotics, 11, 1450007. http://dx.doi.org/10.1142/S0219843614500078

  25. 25. Jiang, M., Huang, W., Huang, Z. and Yen, G.G. (2015) Integration of Global and Local Metrics for Domain Adaptation Learning via Dimensionality Reduction. IEEE Transactions on Cybernetics, PP, 1-14.

期刊菜单