ABSTRACT

Emotional recognition is an important activity in people’s daily life. It has far-reaching significance for interpersonal communication and emotional adjustment. This study will review the research methods of emotional face recognition, including: emotional face database, emotional face recognition task. The database of emotional faces includes two parts: a real face and an abstract face; and the emotional face recognition task includes a contradictory emotional task for measuring cognitive bias (fuzzy face recognition task) and a facial expression recognition task for measuring emotional recognition ability (clear face recognition task). Finally, this paper summarizes the previous research and makes some suggestions for future researchers.

Keywords:Face, Emotion, Cognitive Bias, Emotion Judgment

情绪面孔认知研究方法综述

肖明岳

西南大学心理学部，重庆

收稿日期：2018年12月23日；录用日期：2019年1月4日；发布日期：2019年1月11日

摘 要

情绪识别是人们日常生活中一项重要的活动，对人际交往、情绪调节等行为都有着深远的意义。本研究将综述情绪面孔认知的研究方法，主要包括：情绪面孔数据库、情绪面孔识别任务两部分。其中，情绪面孔的数据库包含真实面孔和抽象面孔两部分；而情绪面孔识别任务包括用于测量认知偏向的矛盾情绪任务(模糊面孔识别任务)和用于测量情绪识别能力的面部表情识别任务(清晰面孔识别任务)。最后，本文对以往的研究进行了总结，并据此对今后的研究者提出了一些建议。

关键词 :面孔，情绪，认知偏向，情绪判断

Copyright © 2019 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY).

http://creativecommons.org/licenses/by/4.0/

1. 引言

情绪面孔作为人们识别他人情绪的重要线索，在抑郁情绪、攻击行为、归因等过程中起着重要作用，值得研究者深入研究。在有关情绪的实验研究中，情绪面孔的情绪效价比情绪词更强烈，且包含更多的社会人际交流信息，更能诱发个体的情绪体验(Mogg& Bradley, 2005)，因此更值得我们关注。以往的研究者们收集并建立了多种情绪面孔数据库，并根据不同目的设计了多种面孔认知实验任务。本文就将对研究者们目前常用的面孔数据库、面孔实验任务进行介绍。

2. 面孔数据库

情绪面孔的来源通常是已有的面孔数据库和前人研究任务中的面孔图片，主要分为两种：真实人类情绪面孔和抽象图画情绪面孔，以下将举两个例子来进行说明。

2.1. 真实情绪面孔

Sasson等人(2010)使用了Penn情绪识别任务中的面孔图片，该任务是一个测量情绪面孔识别能力的标准实验。首先，对一些演员进行专业训练，然后让他们根据要求表演出不同情绪表情，获取真实清晰的情绪面孔图片，如图1所示。

除了以上研究的真实面孔，其他的面孔数据库还包括以下几种：在Knyazev, Bocharov, & Slobodskoj-Plusnin (2009)的研究和Suzuki & Akiyama (2013)的其中一个实验任务使用的情绪面孔图片都来自面孔影响图片(Pictures of Facial Affect, Ekman & Friesen, 1976)；Suzuki & Akiyama (2013)的另一个实验任务中的图片来自日本人和白种人情绪表达面孔图(Japanese and Caucasian Facial Expressions of Emotion, Matsumoto & Ekman, 1988)。而在Schönenberg & Jusyte (2014)的实验中，则使用了Radboud面孔数据库(Langner et al., 2010)。此外，Bucks, Garner, Tarrant, Bradley, & Mogg (2008)的实验图片来自尼姆面孔刺激数据集(NimStim Face Stimulus Set, http://www.macbrian.org/resources.htm)，该网站包括了600张清晰的真实面孔图片，囊括了大部分的情绪类型。这种材料图片的优点是，面孔是真实的人类面孔，可能会让参与者的代入感更栩栩如生，并且面孔都是专业演员，并经过统一的训练，可以避免一部分干扰。但是其缺点是人种、性别、长相等因素可能会对参与者的判断产生一些影响。

2.2. 抽象图画情绪面孔

此外，为了减少其他变量的干扰，有的研究采用简笔画的形式呈现情绪面孔的实验，如：Yao, Ding, Qi, & Yang (2014)的实验中，只保留了面孔的五官线条，用简单的线条呈现不同的情绪面孔，如图2所示。这种情绪面孔的优点是避免了人种、性别、长相等因素对参与者的干扰，并且不需要专门找真正的演员

图1. 真实情绪面孔

来培训和拍照，节省了时间，线条的角度等也很容易控制，线条画也很容易获取和收集；但缺点是缺少生动性，也就是生态效度较差，而且，简单的线条画能表达出的情绪种类有限，可能无法获取较复杂的情绪面孔，其单一性可能也会使参与者觉得无聊，进而无法专注的进行任务。

图2. 抽象情绪面孔

综上所述，更多研究都使用真实人类面孔进行研究，以获得更真实的实验情景和更真实的情绪判断过程。但是，在ERP、fMRI等研究中，为了避免其他因素的影响，可能更简单的线条面孔会对研究产生更少的干扰。

3. 实验任务

根据呈现的情绪面孔的情绪强度和情绪混合比例，情绪面孔识别实验任务可以分为模糊面孔识别任务和清晰面孔识别任务。接下来，我们将对两种任务进行具体介绍并举例说明。

3.1. 矛盾情绪任务(模糊面孔识别实验任务)

模糊面孔识别任务主要是测量被试的认知偏向，即测量参与者更偏向于将模糊情绪的面孔(通常是两种情绪面孔按照比例混合而成)判断为哪一种情绪，我们把这类任务统称为矛盾情绪任务。

我们最早在Sasson et al. (2010)的研究中发现类似的任务，该研究的模糊面孔体现在情绪表现的强弱上，研究中有三个程度的情绪面孔：强度情绪，弱度情绪，中性面孔。其中，弱情绪和中性面孔的测量符合模糊面孔的实验任务要求。而强情绪的认知任务符合清晰面孔的实验任务要求。实验采用的Penn情感识别任务，其中的面孔数据来自几位演员按照规定要求做出的表演，总共有4位演员参与拍摄，每位演员按照要求作出4种表情，每个表情有强度大和强度小两种，因此，最终共收集到4 × 4 × 2 = 32张情绪面孔图片，另外，还有8张中性面孔图片，因此共40张图片，每张图片呈现一次，因此任务包含40个轮次。实验要求被试判断每张图片中人物的表情类型(即在高兴、悲伤、生气、恐惧、无表情这几个选项中进行选择，如图2所示)。实验采用网上发放采集的方法，共收集到7000多人的数据。其结果表明：老年人更容易把中性面孔选择为负性情绪面孔。而女性容易选择悲伤和恐惧的情绪。本研究的特点是，考虑到了不同情绪强度在情绪识别过程中的难度不同，对于情绪强度小的情绪面孔，相当于把情绪面孔和中性面孔混合，增加了识别难度，因此可能会使不同的认知偏向发挥作用。但其缺点是没有对强度进行精确的控制，而且情绪面孔种类比较单一，没有涉及不同情绪的混合。

随后的研究者开始明确使用多种情绪混合面孔进行模糊面孔识别的研究，而不仅仅是局限于单种情绪的强弱上。例如，Wilkowski & Robinson (2012)的研究分为三个实验。实验1使用5:5的混合面孔测试，测量高低攻击者对多种情绪混合的敏感性，即判断混合面孔中含有百分之多少的指定情绪。其中最明显的差异结果是：高攻击者比低攻击者更容易认为模糊面孔是生气情绪。随后，该研究的实验2使用生气：开心 = 4:6，5:5，6:4三种比例的混合面孔进行测试，以得到更精确的生气-高兴混合面孔的认知数据。研究结果发现高攻击者在各个比例中对生气面孔的认可程度都显著高于低攻击者的判断结果。随后，研究进行实验3，使用单纯的开心或生气的面孔分别与中性面孔混合进行测量，混合比例依然都是4:6，5:5，6:4三种，得到开心–中性混合面孔和生气–中性混合面孔。对最终结果的答案比例和正确率进行分析表明，与低攻击者相比，高攻击者对生气面孔的认知更敏感，更偏向高估别人的生气水平。本研究的特点是探究了两种情绪面孔的混合面孔，研究循序渐进，一开始只探究了5:5的混合面孔，后来补充了其他两种比例的混合面孔，最后补充了每个情绪和中性面孔的混合面孔，提供了较为全面的混合面孔实验数据。但缺点是涉及到的混合比例只有三种，虽然这三种都是研究主要关注的混合面孔，但比例差异较大的混合面孔的识别方式仍需探究。

而Schönenberg & Jusyte (2014)的研究则开始利用多种比例的模糊面孔测量敌意偏向。实验前，研究者在Radboud面孔数据库中抽取三名男性面孔，他们分别表达了愤怒、愉悦、恐惧的情绪。为了避免人为性，图片不裁剪，只是调整颜色和亮度。用FantaMorph软件(Abrosoft，北京，中国)将两两情绪互相融合成混合面孔，最终得到了快乐–恐惧、高兴–生气、恐惧–生气三种混合面孔，而每种混合面孔都有五种混合比例：9:1，7:3，5:5，3:7，1:9，如图3所示。实验任务共包括180个试次(3模型 *3情绪 *5强度级别 *4次重复)，实验过程如下所示：首先，屏幕中央出现一个十字1000 ms，接着出现一个面孔刺激500 ms，随后，被试对该面孔进行情绪类型判断，并对所认为的情绪强度评分，0分代表没有情绪，10分代表完全是某情绪。在结果统计时，只有正确的反应才会被计入最终的统计中，也就是说，被试选择的情绪类型必须是呈现的混合面孔中的两种组成情绪的其中之一(比如在对生气-高兴的混合面孔进行判断时，被试选择“恐惧”就是错误选择，即不被计入总分)。敌意偏向在本文中的定义是：对模糊面孔做出“生气”判断的总次数。为了验证敌意反馈偏向是否与高主观强度评价有关，研究者又对反馈“生气”和“恐惧”的轮次进行了对比分析，即只对目标图片信息最模糊(面孔混合比例为5:5)的试次进行再次分析，因为以往研究表明，情绪面孔不模糊的情境下(例如，混合比例是1:9)，组间的反应偏向没有显著差异。最终，研究发现实验组(青少年罪犯)的敌意归因偏向显著高于控制组(普通人)，即青少年罪犯对模糊面孔做出“生气”判断的次数显著多于如同青少年。本研究的特点是，使用了5种混合比例的混合面孔，探究了更全面的混合面孔识别模式，并且，在最终的评定中，将正确率纳入作参考，更加科学合理。

图3. 不同比例的恐惧–生气混合面孔

3.2. 面部表情识别任务(清晰面孔识别实验任务)

清晰面孔识别任务通常不对情绪面孔本身进行混合，而是将情绪面孔和中性面孔放在一起，测试被试的面孔识别速度或者测量被试在认知情绪时的脑活动。我们把这类任务统称为面部表情识别任务。在Knyazev, Bocharov, & Slobodskoj-Plusnin (2009)的研究中，研究者选择了Ekman & Friesen (1976)的研究里的30张图片，分别是5位男性和5位女性的三种情绪面孔(生气、愉悦、中性图片)，30张图片随机呈现，三种面孔随机呈现，要求被试估计图片人物表情的敌意程度(−100表示非常有敌意，100表示非常友好)。最终根据被试的反应时和正确率对被试的情绪面孔识别速度和认知能力进行分析。该研究的研究目标较为简单，但给后来的研究提供了灵感和启发。

此外，正如我们在第二部分提到的，研究者(Yao et al., 2014)把一个抽象化的情绪面孔(如，生气面孔或者开心面孔)和5个中性面孔同时呈现在屏幕上，每轮情绪面孔的位置随机变化，要求被试尽快找出生气面孔或开心面孔，实验过程中测量被试的反应时和ERP变化。该研究的目的是在排除人种、性别、相貌等因素的干扰后，测量被试在众多面孔中识别出情绪面孔的速度，即测量个体对情绪面孔的敏感性。研究结果发现，在所有情绪面孔的认知中，个体认出生气面孔的速度最快。本研究使用了线条画的面孔，避免了很多无关因素的干扰，并使用了ERP的方式进行探究，为研究提供了更加科学的指标。

但Suzuki & Akiyama (2013)的研究更为完善，研究共分为2轮任务，每轮任务有8个人物的6种表情，即共48张图片，2轮任务总共96张图片。该研究使用的情绪面孔图片数量较大，保证了测量的统计力度。研究者为了保证实验能够满足不同国家、地区的被试的识别习惯，两轮任务的情绪面孔的来源不同：其中一轮任务的图片来自面孔影响图片(Ekman & Friesen, 1976)；另一轮任务的图片来自日本人和白种人情绪表达面孔图(Matsumoto & Ekman, 1988)。在每轮中，每张图片的呈现顺序随机。需要说明的是，研究中的每个面孔都只保留了中心面部特征(眼睛、眉毛、鼻子、嘴巴)，图片的其他参数全部匹配。实验程序为：屏幕中央呈现注视点2000 ms，接着屏幕上呈现一个中性面孔，被试按指定键进行反应，随后出现和上一屏的中性面孔属于同一个人的带某情绪的面孔，在这一屏，要求被试判断该面孔的情绪类型(开心、惊喜、惊恐、生气、厌恶、悲伤)。在本实验中，在呈现面孔时，首先呈现中性面孔，随后紧接着呈现情绪面孔，这样做的原因是：促进被试的情绪识别像识别动态的面部表情一样自然。本研究的优点之一是使用的每个面孔都只保留了中心面部特征，既尽可能避免了其他因素的干扰，又保证了生态效度；并且，为了满足不同样本的需要，提供了两种人口样本的面孔，保证了个体对面孔的熟悉度；其次，从中性面孔到情绪面孔的自然过渡使被试观察过程中像观察真实面孔一样自然，更能保证实验的真实性。

由以往的实验任务我们可以看出，对面孔识别的实验任务已经发展的基本完善，其中，模糊情绪面孔任务通常是为了测试个体的识别倾向，使用的面孔都是经过不同比例、不同类型的混合。例如，有的个体可能更容易把生气–高兴混合面孔识别为生气情绪，这代表一种敌意归因偏向，这种行为通常和他们的攻击行为、敌意行为等有密切关系。因此，使用混合面孔来测量认知偏向是在认知、攻击、情绪等社会行为中很重要的方法。

而清晰情绪面孔通常应用于情绪识别速度和认知能力的测量实验，因此使用的每个面孔都只有一种情绪。例如，不同性别、年龄的个体可能在多个面孔中找出指定面孔的速度不同，在面对一个面孔时做出正确的情绪归类的速度和正确率可能也不同。这对不同性别、年龄、特质的样本的情绪识别能力的探究有重要意义。

4. 总结

总结以往实验的优劣势，我们可以发现，1) 研究应该尽量选取具有本土化特征的情绪面孔而非其他国家或人种的面孔作为刺激材料，以便让参与者更好地带入情境，专注地进行相关的情景任务；2) 研究选择抽象化面孔还是具象化面孔应该根据自己的需求进行决定，两种面孔各有优劣，例如，真实面孔的生态效度更高，可能会让参与者更专注于情景任务，但是其缺点是演员个体因素可能会对参与者的判断产生一些影响；而抽象线条面孔避免了演员个体因素对参与者的干扰，素材也很容易获取和收集，但缺点是缺少生动性，并且简单的线条画只能通过有限的几条线条进行表达，情绪种类有限，而且无法实现混合情绪面孔，其单一性可能也会使参与者觉得无聊，更容易走神。通过综述以往的研究我们不难发现，越来越多的研究者开始采取折中的方法：将真人面孔表情的头发、衣服等信息尽量抹去，尽量只保留其面孔中心的信息，既方便被试做出判断，又避免其他无关因素的干扰；3) 在进行矛盾情绪任务时，可以参照Schönenberg & Jusyte (2014)的任务设计，尝试多种情绪比例的混合，以探究不同比例混合下个体的认知模式差异，获取更加多样化的结果；4) 在进行面部表情识别任务时，可以参照Suzuki & Akiyama (2013)的任务设计，在短暂的呈现中性面孔后紧接着呈现情绪面孔，使其更接近自然、动态的情绪面孔，更像真实的情绪表情变化，可以让被试有更真实的情绪面孔识别体验，进而使结果有更高的生态效度。

本研究综述了以往常用的情绪面孔数据库、情绪面孔识别任务，并为它们进行了分类，总结了各种类型的特点，为今后的情绪面孔研究提供了参考。

文章引用

肖明岳. 情绪面孔认知研究方法综述
A Review of the Research Methods of Emotional Face Cognition[J]. 心理学进展, 2019, 09(01): 11-17. https://doi.org/10.12677/AP.2019.91002

参考文献