济南大学教育与心理科学学院，山东 济南

收稿日期：2023年11月30日；录用日期：2024年1月19日；发布日期：2024年1月26日

摘要

手语是听障人群日常交流的语言，影响其生活的方方面面，象似性被定义为心理储存的概念表征和语音表征之间的结构化映射，不同学者对手语加工处理中的作用进行了诸多研究。文章根据前有研究结果分析手语加工过程中象似性效应的理论解释，包含具身认知观、结构映射假说以及认知资源竞争假说三个视角。此外，文章梳理前有文献中的结果争议发现任务涉及语义与语音形式之间的映射可能是象似性效应在实验范式中出现的必要条件。未来研究可以从象似性效应的边界条件、手语象似性对聋人非语言认知的影响以及象似性在真实学习情境的应用等方面入手深入探讨。

关键词

象似性，手语，具身认知观，结构映射假说，认知资源竞争假说

The Iconicity Effect in Sign Language Processing and Its Theoretical Explanations

Wen Guo

School of Education and Psychology, University of Jinan, Jinan Shandong

Received: Nov. 30^th, 2023; accepted: Jan. 19^th, 2024; published: Jan. 26^th, 2024

ABSTRACT

Sign language is the language of daily communication for hearing-impaired people, which affects all aspects of their lives. Iconocity is defined as the structured mapping between mentally stored conceptual and phonological representations, and different scholars have carried out many studies on the role of iconocity in sign language processing. The article analyzes the theoretical explanations for the effect of iconocity in sign language processing based on the results of previous studies, including the embodied cognition, the structural mapping hypothesis, and the cognitive resource competition hypothesis. In addition, the article analyzes the controversy over the results in the previous literature and finds that the task involves a mapping between semantics and phonological form that may be necessary for the emergence of the iconocity effect in the experimental paradigm. Future research could delve deeper into the boundary conditions of the iconocity effect, the impact of sign language iconocity on deaf people’s nonverbal cognition, and the application of iconocity in authentic learning situations.

Keywords:Iconicity, Sign Language, Embodied Cognition, Structural Mapping, Competition for Cognitive Resources

Copyright © 2024 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

《“十四五”特殊教育发展提升行动计划》提出要让每一名残疾儿童青少年都有人生出彩机会，手语是我国两千多万聋人使用的特殊语言文字，对于个体来说，进行社会交往活动离不开语言。手语作为聋人的第一语言，是其与他人沟通交流的主要工具(李俊宏，丁国盛，2013)。手语的构成包含四个特征，手的结构，它在平面上的坐标即朝向，它在空间中的位置，以及在执行一个手语词汇时发生的运动轨迹(Nielsen & Dingemanse, 2021)。相比口语主要涉及听–说模态，手语更多涉及视觉–手动模态，在听–说模态中，口语词汇的声音媒介在许多领域中无法很好地映射到意义，相比之下视觉–手动模态提供了丰富的媒介来生产模仿其指代物感知运动属性的手语表达形式，具体来说手语可以通过手部动作、位置、方向等多种方式模仿物体和动作的感觉运动特性，空间位置关系，事件的时间变化等，这使得手语更容易产生象似性词汇(Gimeno-Martínez & Baus, 2022)。研究人员对手语词汇库进行统计分析，发现象似性在手语词汇中占据不小比重，Pietrandrea (2002)分析了1944个意大利手语词汇，发现60%的手语存在象似性。刘润楠和杨松(2007)对北京手语词中100个核心词汇进行统计分析发现，强象似性的词汇即打法与词汇所指有明显映射关系的占比达到36%。

将语言形式与感知经验联系起来是语言学习中至关重要的环节，但语言的任意性使语言学习者将语言形式与经验相联系变得困难。而象似性通过在语言形式与人类的感知和运动经验间建立桥梁，确保了语言形式和概念指称之间的联系，从而提高交际的效率和理解的准确性(Meteyard & Vigliocco, 2008)。前人已做了许多相关研究，发现手语语言中学习与处理中的象似性效应(Ormel et al., 2009; Baus, Carreiras, & Emmorey, 2013; Ortega & Morgan, 2015a, 2015b; 曹宇，李恒，2016；Thompson et al., 2010)。目前已有大量研究在象似性与手语学习与处理之间进行探讨，最早之前，前人的研究多关注个体是否会在手语学习过程中表现出象似性优势，大多研究发现了在词图匹配任务以及产出任务中的象似性优势，但也有少部分研究未发现象似性在手语语言处理中的影响，甚至一部分研究者发现了象似性在手语学习中的消极影响(Bosworth & Emmorey, 2010; Gimeno-Martínez & Baus, 2022; Pretato et al., 2018)。随着ERP、核磁技术的进步以及推广，一部分研究者开始探讨象似性影响手语加工处理的电生理证据以及认知机制(Gimeno-Martínez & Baus, 2022; McGarry et al., 2023)。综上所述，本文尝试在已有文献基础上，从多个理论角度分析象似性影响手语加工处理的作用机制。对现阶段已有研究争议进行探讨分析，结合前有文献提出未来进一步的研究方向。

2. 象似性的内涵

2.1. 象似性的概念

不同研究者对象似性的界定如下，Emmorey (2014)将象似性界定为心理储存的概念表征和语音表征之间的结构化映射。McGarry等(2023)将象似性定义为词汇的语音形式与其意义之间存在的一种可感知的关系。Gimeno-Martínez和Baus (2022)将象似性解释为语音形式及其意义之间的非任意相似性。具体来说，手语词汇的语音形式包含手的指式、动作、位置和朝向是否与该词汇所表达的含义存在非任意的相似性。如在中国手语中，“猪”的打法为以五手形在两侧太阳穴扇动，模拟猪的耳朵、“蝴蝶”的打法是双手拇指交叉在胸前上下摆动，模拟蝴蝶振翅、在许多国家的手语中，“眼泪”的打发是食指从眼睛向下移动到脸颊，模仿眼泪落下。受语言特定原则限制，不同国家手语象似性可能不同。如在美国手语中，由于受英语影响，有很大比例的手指指拼，手语者可以用手掌位置表达字母，通过指拼进行交流。而汉字是表义文字，中国手语者如果使用汉字作为书面语，加工象似性手语词时，可能与以拼音文字作为书面语的美国手语者不同(张积家等，2013)。此外，不同国家的某个手语词可能都具有象似性，但具体的表现形式不同(Nielsen & Dingemanse, 2021)。如飞机一词，英国手语、美国手语、韩国手语都通过手的指式去模仿飞机的形状，但他们的具体表现细节存在差异。

2.2. 象似性的分类

对象似性进行精细化的分类有利于更好地把握其内涵以及对其进行深层次的探索。首先，象似性并非手语的绝对属性，不是简单的有或无，一些手语词汇的语音形式与其含义的结构映射更明显。从这一视角出发，Markham和Justice (2004)将象似性分为不同等级，高度象似性，语音形式与含义间的映射非常明显，大部分个体可以猜出其含义。中度象似性，语音形式与其指称物之间的联系可能并不能被马上识别，在得知两者之间的联系后个体可以理解。低度象似性，手语的与语音形式与其所指含义关系不透明，个体较难通过语音形式明确其含义。其次，从象似性如何与所指产生相似联系这一视角出发，何宇茵，马赛(2013)对中国手语进行分析，概括出了7种象似类型。一、直接表达；二、用手模仿所指动作；三、用辅助口语的手势表达；四、以象似方式吸收一些口语符号及书面语符号；五、用手模仿所指形状；六、用身体模仿所指动作；七、创建相关情形。

3. 象似性效应的理论解释

3.1. 具身认知理论

具身认知理论强调身体与认知之间的互动，知觉、运动和认知三者间存在密切联系，感知经验与思维过程密不可分，个体的概念知识是建立在感知运动系统基础上的，词汇的习得处理涉及到感知运动认知神经系统的参与(Barsalou, 1999)。这一观点在后来的许多研究中得到佐证。如行为研究发现在动作模拟条件下对与动作相关的句子的理解比视听条件下更好(Inoue, 2006)；认知神经相关研究发现概念的处理会自动激活与之相关的运动程序，人在看动作词汇时与动作模拟时激活的大脑神经元一致(Gallese & Lakoff, 2005)。在这一理论视角下，语言理解可以通过运动感觉以及其他相关经验的心理模拟来实现，相比口语，手语涉及到更多的身体动作传递意义，在理解手语词汇的过程中激活感知运动系统，从而对共享相同系统的语言概念产生了促进作用(张积家等，2013；曹宇，李恒，2016)。

在理解词汇时，由于高象似性词汇的语音形式与其所指有映射关系，在这个过程中激活的对所指的感知经验会促进个体对词汇的加工理解。有研究发现，没接触过手语的成年被试可以很快的将高象似性手语词汇的语音形式与其所指间建立联系，如在观看手语词汇“梳头”用紧握的拳头抚摸头部后，被试可以将其与自身本来的运动图式相对应，促进对词汇的理解记忆(Hostetter & Alibali, 2008)。当个体将手语词汇的语音形式判别为可识别的身体动作，并将其与他们的运动图示相匹配，个体的感知经验可以被看作将词汇与意义连接起来的桥梁。词汇化概念的语音形式映射到可能以感觉–运动经验为基础的心理表征。这也可以解释为什么一些研究发现，象似性词汇并不在婴幼儿聋童全部词汇中占优势比例(Orlansky & Bonvillian, 1984)，由于幼儿还处于发育阶段、他们的运动能力还不成熟、对客观世界的感知经验还尚少，认知到词汇含义与手语语音形式之间的相似关系对他们来说是困难的，因此在幼儿词汇习得的初期阶段，象似性词汇在比例上并不占显著优势。

3.2. 结构映射理论

结构映射理论的基本观点是，在进行类比或者理解相似性等比较过程中，涉及到的两个心理表征间存在结构对齐。象似性效应的产生可能是由于语义表征与语音形式的视觉表征间存在比较过程，因此结构映射理论可以为解释象似性对手语加工的影响提供一个理论基础(Emmorey, 2014)。

一项采用词图匹配范式的研究发现，象似性属性在图片中突出时，被试在判断呈现的象似性手语词汇与图片内容是否匹配的决策更快。如在美国手语中鸟的语音形式用手指模仿鸟的喙，象似性特征突出的图片中描绘的是鸟的头部突出鸟的喙，象似性特征不突出的图片中描绘了鸟的全身突出其翅膀。结果发现被试在判断象似特征突出的图片对时要显著快于象似特征不突出的图片对。在结构映射理论的解释下，象似性特征突出的图片突出了可以结构对齐的元素，因此这种语音形式与所指含义的明显对齐，促进了比较过程，使被试更快做出决策反应(Thompson et al., 2009)。后人用不同的图片在英国手语以及中国手语中都重复了这一发现。图片和手语中存在相似的视觉特征时，无论是听障手语者还是健听手语者都会产生更快的匹配决策(Vinson et al., 2015; 张积家等，2013)。相比单纯的行为实验，ERP可以提供关于词汇访问和决策过程的时间进程的信息。为了深入研究研究者采用相同的实验范式对被试的脑电活动进行记录，发现了与决策努力相关的P3振幅的减少，表明在呈现的手语词进行理解的过程中，确实会有语义与语音形式进行对齐比较进行决策的过程，对齐的结构映射促进了匹配决策速度(McGarry et al., 2023)。

3.3. 认知资源竞争假说

手语产出过程中象似性效应的出现可以从认知资源竞争假说的视角去解释。书面语认知加工的相关研究表明，词汇加工涉及词汇系统以及语义系统。词汇的词形或语音先激活词汇系统，再由词汇系统扩散到语义系统，激活词的概念节点(张积家，彭聃龄，1993)。同样，对手语进行加工处理，也并不是将语音和语义作为一个整体加工，而是加工处理语音和语义两个系统的结果(Nation, 2001)。关注词汇语义的认知资源和关注语音形式的认知资源是相互竞争的关系(VanPatten, 1990; Barcroft, 2004)。被试在处理加工手语时，更多关注语音还是语义过程会产生不同的加工结果。

一般情况下，没有手语经验的个体在学习手语的初始阶段更倾向于意义而不是形式(VanPatten, 1990)，而象似性词汇由于其“形”对于词义的模仿，使个体更容易激活相关的心理意象，激活词汇语义(Vigliocco et al., 2005)，当个体更关注手语象似词的语义时，其用于加工手语形式的认知资源会被限制。有关象似性手语产出任务的研究发现，以手语语音形式还原程度为评判标准，没有接触过手语的被试在再现象似性手语时的表现要差于非象似性手语，这可能就是由于象似性手语的语义特征突出，被试将更多的认知资源用于象似手语的语义加工上，在认知资源有限的情况下，用于语音形式加工认知资源变少，是被试在还原象似性词汇语音形式的成绩变差(Ortega & Morgan, 2015a, 2015b)。

4. 象似性效应的研究争议

尽管目前已有大量研究显示象似性效应的存在，但并非所有的相关研究都支持这种效应。对前有文献梳理主要发现在以下三种任务类型中没有发现象似性效应的存在。第一、语义启动下的真假词判断任务。Bosworth和Emmorey (2010)要求美国聋人手语者在语义启动条件下判断目标词是否为真词，结果发现当启动词具有象似性时，与非象似性相比启动词的促进效应并无显著差别。此外，象似性目标词与非象似性目标词的词汇决策反应时也并无显著差异。第二、词汇到手语的翻译任务。Gimeno-Martínez和Baus (2022)在实验2中选取健听手语者为被试，翻译任务的行为数据结果并没有显示出象似性效应。除此之外，象似性的ERP效应仅在实验1图片命名任务中被观察到，在翻译任务中并没有发现。第三、代词图片命名任务。Pretato等(2018)在要求被试对之前已出现过的物体图片用指示代词加描述颜色进行反应。对未出现过的物体图片采用不定代词加颜色进行描述。结果发现在不定代词情境下表现出象似性优势，但在指示代词情境下没有出现象似性优势。

综合梳理来看，这些没有出现象似性效应的任务范式都绕过了语义与语音形式之间的映射。在真假词判断以及词汇到手语的翻译任务中，被试直接面对的是手语词汇，当手语熟练度很高的被试在面对直接呈现的手语词汇时，可能直接激活的言语系统，对手语词汇进行加工处理，由于没有涉及语义与语音形式之间的映射，加工具体的客体信息的表象系统发挥作用有限，因此象似性词汇与非象似性词汇并未显出明显的差异。但当被试面对的是图片刺激，这种刺激类型更容易激活被试的表象系统，当任务特别突出象似性手语词汇语义与语音形式间的结构映射时，这种明显的匹配让被试可以更快的做出决策，使被试在面对象似性词汇可以产生更快的反应。除此之外，Pretato等(2018)所做的实验进行佐证，虽然也呈现图片刺激，但是只让被试在任务中判断刺激之前是否出现过，任务并不涉及语义与语音形式间的映射，实验结果中未表现出象似性效应。因此，可能这些研究争议的出现可能是因为只有任务涉及到语义与语音形式间的映射时，才会表现出象似性效应。

5. 结论与展望

本文对现有文献进行梳理总结，主要梳理了手语加工处理中象似性效应出现的理论解释视角以及对前人研究争议进行了梳理探讨。然而，目前来看象似性效应探讨还存在一些问题，相关研究还可以更进一步。未来研究可以从以下方面入手，对其进行深入探究。

一、象似性效应的边界问题。并非所有前人研究都发现了象似性效应的存在(Bosworth & Emmorey, 2010; Gimeno-Martínez & Baus, 2022; Pretato et al., 2018)，对未发现象似性效应的研究进行分析发现，任务涉及语义与语音形式之间的映射可能是象似性效应在实验范式中出现的必要条件，但象似性的边界效应还可以进一步深入研究。首先，应形成统一的概念界定以及成熟的象似性评定指标，在前有文献的梳理过程发现不同的研究对于象似性界定还存在差异，以及在对象似性材料的评定有不同的标准。其次，象似性可以从不同维度进行划分，而前人研究对于象似性词汇的选定大多存在局限性，例如，只选取单一维度、单一词性、或单一象似形式的词汇。这可能对最后的实验结果造成影响，影响对象似性效应的判断解释，在统一标准下也会使象似性边界效应探究更有可信度。最后，影响象似性效应的因素也有很多如年龄(Thompson et al., 2012)、手语学习经验(曹宇，李恒，2021)、象似特征的突出程度(Vinson et al., 2015)，在探讨象似性的边界问题时，如何厘清这些因素在其中的作用也可以是下一步研究的方向。

二、扩展手语象似词作用范围研究。过往已有许多研究考察了象似性在手语加工中的影响作用。包含不同的词汇习得阶段，从识别到产出(Morett, 2015; Vinson et al., 2015)；扩展不同的群体，有无手语经验(Vinson et al., 2015)、不同年龄阶段(Thompson et al., 2012)；从行为到认知神经层面(Gimeno-Martínez & Baus, 2022; McGarry et al., 2023)。从前人研究中可以看出象似性确实在手语认知加工中发挥一定作用，而大多数听障人群使用手语作为母语，那这种手语象似词的影响是否会对聋人的认知思维产生影响？因此，后续研究可以考察手语象似性对聋人非语言认知的影响。

三、目前，该领域的实验结论在推广及应用到现实学习情境中存在一定挑战。首先，幼儿在真实的学习情境中，象似性会受到许多其他变量的影响，如父母的输入偏向(Perniss et al., 2018)、文化背景等。前有研究多在实验室探讨，这种象似性效应的影响能否以及如何在真实的教学情境中加以利用？后续研究可以对其进行梳理并在真实教学情景中进行检验。例如根据具身体认知理论的解释，个体能更快学习象似性手语词汇是建立在个体的感知经验背景上，对于幼儿来说，有些感知经验在学习相关的象似性词汇时可能并未获得，教师在进行相关词汇的教学时，可以先向幼儿引入相关的感知经验，再引入新单词，提高幼儿的学习效果。同样，对于成年健听人群的手语二语教学，是否可以利用象似性作为桥梁，促进和巩固词汇习得效果。

文章引用

郭 雯. 手语加工过程中象似性效应及其理论解释
The Iconicity Effect in Sign Language Pro-cessing and Its Theoretical Explanations[J]. 心理学进展, 2024, 14(01): 314-320. https://doi.org/10.12677/AP.2024.141044

参考文献