Computer Science and Application
Vol.4 No.12(2014), Article ID:14624,7 pages
DOI:10.12677/CSA.2014.412051

Facial Expression Recognition Based on Data Field and Cloud Model

Xinhao Shi*, Shenping Hu, Ling Xu

The Merchant Marine Academy of Shanghai Maritime University, Shanghai

Email: *shixinhao0831@163.com

Copyright © 2014 by authors and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

Received: Nov. 4th, 2014; revised: Dec. 6th, 2014; accepted: Dec. 22nd, 2014

ABSTRACT

As an important part of the technology for human, facial expression recognition has drawn much attention recently and has broad application prospects. The paper presents a conception of “Data Field” to extract facial feature points, then uses normal cloud model to complete the translation between qualitative and quantitative, reflecting the cognitive process fuzziness and randomness, combined with comprehensive cloud and cloud transformation method, got high-level concept, and got facial expression’s digital features and cloud model. Experiments show that this method can effectively highlight the characteristics of facial expression, and then conclude general cognitive concept and this method provides a new way of thinking on facial expression recognition.

Keywords:Data Field, Cloud Model, Cloud Transformation, Facial Expression Recognition

基于数据场与云模型的人脸表情识别

时鑫豪*,胡甚平,许  玲

上海海事大学商船学院,上海

Email: *shixinhao0831@163.com

收稿日期:2014年11月4日;修回日期:2014年12月6日;录用日期:2014年12月22日

摘  要

人脸表情识别是人工智能与智能化人机交互中的重要组成部分,受到广泛的关注,具有广阔的应用前景与发展空间。本文基于数据场的人脸特征提取方法,将能凸显人脸表情的数据点加以降维和简化,使用正态云模型完成定性与定量之间的转换,反映了认知过程中的模糊性和随机性,结合综合云与云变换的方法,最终获得整张人脸表情的数字特征与云图。通过实验证明该方法可以有效地突出人脸表情特征,定量化地得出人脸表情概念,为人脸表情识别与判断开拓了新的思路和定量依据。

关键词

数据场,云模型,云变换,人脸表情识别

1. 引言

表情是人类用来表达情绪的一种基本的方式,同时也是非语言交流得一种有效的手段。人们可以通过表情准确而又微妙地表达自己的思想感情,甚至这种表达有时候是无意识的,所以通过表情的判断可以更好地认知对方的态度和内心世界。

人脸表情识别所要研究的就是如何自动、可靠、高效地利用人脸表情所传达的信息。20世纪70年代,Ekman和Frisen提出6种基本感情类别:惊奇、恐惧、厌恶、愤怒、高兴、悲伤[1] 。这一系列得到了广泛的认同。人脸表情识别有着十分广泛的应用前景,例如在多模式人机交互界面中,表情与声音、视线、体态等结合起来可以更加高效、更人性化地进行人机交流[2] 。另外,在例如人脸图像的实时传输、智能监控、心理判断等多个领域都有着广泛的开发和使用前景。

在对人脸表情特征提取和分类之前一般需要做几何归一化以及灰度归一化。几何归一化是根据人脸定位结果将图像中的人脸变换到同一位置和相同的大小;灰度归一化是对图像进行光照补偿的处理。关于人脸表情特征提取与识别的概述如下[2] :

1) 基于几何特征的识别方法:它主要是对人脸表情的显著特征,如眼睛、鼻子、眉毛、嘴的位置变化进行定位、测量,确定其大小、距离、形状及相互比例等特征,进行表情识别。其优点在于易于理解,对光照变化不敏感。其缺点在于对强烈的表情变化鲁棒性较差故不适合用于表情识别。

2) 基于整体的识别方法:这是一种通过对整幅人脸或人脸图像中的特别区域进行变换,获取人脸各种表情特征的识别方法。优点在于快速、特定情况下识别率很高。缺点在于其依赖训练集和测定图像的相关性,故存在局限性。

3) 基于弹性匹配的方法:基于几何特征和灰度分布信息进行综合判断的方法。优点是能克服整体识别方法中的局限性,在人脸表情识别中有优势,缺点是计算量大,计算时间相对较长。

李刚等[3] 以数据场和“势”函数理论为基础,把高维的图像数据映射到数据场内,然后通过提取局部极大值点组成特征向量,从而得到最能描述人脸局部特征的点。

人脸的表情十分地复杂,我们不能笼统地将某一时刻的表情简单地归类为某一种状态,而且他人对表情的理解存在主观判断,这就更加大了人脸表情识别的难度。本文使用了由王健等提出的改进型灰云模型的评价方法,将定性的概念转换为定量的数据,不仅限于识别出表情属于六种基本表情的哪一种,并使用云变换的综合云模型对人脸表情做出概念提升。经过试验证明了这种方法的可行性。

2. 基本理论

2.1. 数据场

数据场是模拟物理场的理论,在聚类的行为基础上将数域空间映射到数据场的空间数据场来,用来刻画出数据之间的关系。概念空间和特征空间中的场都一律统称为数据场。

在描述数据场的属性时,引入标量函数——势函数。势函数是位置或聚类的函数,可以叠加,因此,数域空间中每一个数据对象对整个场的任何一点的势都具有一定的影响,而且这种影响的大小和两者之间的距离平方成反比。也就是说,数据越是密集的区应该有着更大的势,而数据越是稀疏的区域其势也就相对较小。

在一个数据场中,任何一点上的势函数都被定义为整个数据场中所有的数据点的影响之和,即可推断当给定个数据点,,在上的势函数定义为:

(1)

其中表示点到数据点的距离。为该点数值的大小,的变换将直接影响等势线之间的间距,越小,那么单个数据的影响范围就越小,等势线也就相对越密集[4] 。

显然,单个数据点的势函数在距离为零处的势最大且为1,空间无穷远处的势最小,趋于零。实际上,根据正态分布的“”法则,当距离大于时,对于该点的影响应该已经趋近于零了。因此,场中每个对象的影响半径可近似为:。此定义在较大数据集时,可以明显地降低运算的复杂度[5] 。

2.2. 云模型

云模型是自然语言值表示的某个定性概念与其定量表示之间的不确定性转换模型。云的数字特征用期望(Expectation),熵(Entropy)和超熵(Hyper Entropy)三个数值表征,它把语言值中的模糊性和随机性关联到一起,构成定性和定量互相之间的映射,作为知识表示的基础[6] 。有了云模型理论,就可以用云来表达定性概念与定量表示之间的转换过程,这样既考虑了事物的模糊性同时也兼顾了随机性[7] 。

2.3. 云变换

云滴和一般数值有相通之处,都可进行变换规则。操作流程均为:先乘除后加减,同级流程则是是从左到右[8] 。

假设有2朵云,其云变换结果为,其变换规则见表1所示。

3. 算法流程

1) 从图像库取出图像,标准化人脸。主要是对人脸图像进行格式、大小、亮度预处理,用Canny算子求出眉眼区域的强边缘图像。首先获得眼睛部分的灰度值,设定阀值,制定一个矩形框作为有效的人眼区域;从而确定眼睛的位置,以人眼为中心,进而对图像进行图像的旋转、缩放、灰度拉伸,并将灰度值归一化到[0,1],得到标准化的人脸[9] 。

其次,将人脸图像分为九大区域,分别为左眼区、左眉区、右眼区、右眉区、嘴巴、左颊、右颊、额头、鼻子。如图1

2) 将数据场的思想方法应用到图像处理当中去,在传统的直接以图像灰度值为数据“质量”的方法上进行改进。通过文献[7] 中的实验得到,使用负片平方,即为势函数可以有效地提取出

Table 1. Rules of cloud transformation

表1. 云变换规则运算

Figure 1. Facial expression zoning

图1. 人脸表情区域划分

特征值大的点,使眼睛眼睛、嘴巴、眉毛的轮廓也更加地鲜明和突出,对情绪的变化更加敏感,故这里使用经过改进的公式2,由公式1变形得来:

(2)

3) 根据上述方法可以得出人脸表情图像的数据场。为了能更精确地分析人脸表情成分,从划分出的九大区域中提取个势能最大的点,将这些数据点代入云模型中进行计算。通过一维逆向云模型得到, ,,画出其正态云模型[10] 。随后对同一样本集中的云模型做综合云变换,提升样本集的概念,使之更全面且更能代表样本概念。

4) 因为面部变化越大的区域对表情识别的影响越大,而越是稳定的部分对人脸表情识别的影响也就相对越小,考虑到各个区域的属性根据10位专家打分得出权值向量对应于分别为左眼区、右眼区、左眉区、右眉区、嘴巴、左颊、右颊、额头、鼻子[9] 。权重云数字特征如下表2所列。

通过云变换得出评价模型,并计算最终的隶属度。

4. 实例应用

这里我们先统一将人的表情分为“笑”和“哭”两种状态,再对其他表情用“几分笑几分哭”来进行描述。

Table 2. Areas of weight cloud

表2. 区域权重云

4.1. 样本库的选定

本文采用的是国际通用的表情脸库JAFFE (Japanese Female Facial Expression)作为实验对象。在该表情库中,总共有10位日本女性,每人都有21幅包含了自然(NE)、快乐(HA)、悲伤(SA)、惊讶(SU)、愤怒(AN)、厌恶(DI)、恐惧(FE)等7种神情的图像,总共有210幅表情脸照片。本文选取快乐(HA)和悲伤(SA)为训练集,也就是俗称的“笑”和“哭”的表情状态,以自然(NE)为测试集,测试这种表情识别方法的正确性和可靠性。

4.2. 数据场与云模型的应用

1) 从图像库中读取人脸图像,得到标准化的的人脸,并将图像的灰度值进行归一化,如图2所示。

2) 根据公式(2)产生上述几张人脸图像的数据场,将场值进行归一化,并提取出各个区域的特征点,根据文献[9] 的实验,特征点个数为30,如图3所示。

3) 通过一维逆向云模型可以得出各区域的云特征值和云图。在样本集中,选取KA的2张高兴脸和悲伤脸嘴部的数据,产生云模型,并将这三个云模型做综合云变换,提取出更广泛概念的云模型如图4所示。综合云方法如下[11] :

(3)

(4)

(5)

4) 得到区域综合云的数值特征后,将势能云与权重云做云变换。设人脸区域1的势能云和权重云的期望,熵,超熵分别为,其他区域依次类推[12] ,根据如下公式得到最终的人脸表情评价:

(6)

经上式计算,SA的开心脸和悲伤脸的评价云图如图5所示。

4.3. 结果分析

将KA与KR的6张自然脸作为测试集,根据上述算法进行计算可得见表3的结论。

表3可知,这6张自然脸的自然描述语言为“七分笑三分哭”或“八分笑二分哭”,结果相对稳定,且符合日常生活中的认知。

Figure 2. Original facial

图2. 人脸表情原图

Figure 3. Faceial data field

图3. 人脸数据场图

Figure 4. Comprehensive cloud facial expressions

图4. 人脸表情综合云

Figure 5. Facial expression recognition results

图5. 人脸表情识别结果

Table 3. Conclusion of recognition

表3. 识别结论

5. 结论

本文论述的这种基于数据场和云模型的人脸表情识别的方法不是将一种未定义的表情进行分类和定义,而是用定义表情因素的含量来描述待识别表情。这种新的方法给人心理状态的挖掘提供了新的思路,具有一定的实用价值。不过,这种方法的稳定性受环境和人脸角度影响,有待进一步改进与增强。人脸表情十分复杂,表情状态也比较多,从人脸表情中分析和挖掘更多表情成分也是重要的研究方向。

参考文献 (References)

  1. [1]   Yang, M. and Han Kriegman, D.J. (2002) Delecting faces in images survey. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24, 34-58.

  2. [2]   王大伟, 周军 (2014) 人脸表情识别综述. 计算机工程与应用, 20, 167-171.

  3. [3]   李刚, 高政 (2003) 人脸识别理论研究进展. 计算机与现代化, 3, 1-6.

  4. [4]   李德仁, 王树良, 李德毅 (2006) 空间数据挖掘理论与应用. 科学出版社, 北京, 364-382.

  5. [5]   Li, D.-Y., Han, J.-W., Shi, X.-M., et al. (1998) Knowledge representation and discovery based on linguistic atoms. Knowledge-Based Systems, 10, 431-440.

  6. [6]   李德毅, 杜鹢 (2005) 不确定性人工智能. 国防工业出版社, 北京.

  7. [7]   李凯, 田双亮, 耿丽君 (2009) 基于数据场的人脸特征提取. 西北民族大学学报, 12, 97-102.

  8. [8]   戴晓军, 李德毅 (2004) 基于数据场的图像挖掘研究. 计算机工程与应用, 26, 41-44.

  9. [9]   吴涛, 秦昆 (2012) 利用云模型和数据场的图像分割方法. 模式识别与人工智能, 25, 124-127.

  10. [10]   张腾飞, 王保云 (2011) 基于特征区域自动分割的人脸表情识别. 计算机工程, 10, 67-72.

  11. [11]   王健, 肖文杰, 王树文, 赵伏贤, 李志淮 (2010) 一种改进的基于云模型的效能评估方法. 火力与指挥控制, 7, 139-142.

NOTES

*通讯作者。

期刊菜单