Advances in Psychology
Vol. 13  No. 05 ( 2023 ), Article ID: 66162 , 11 pages
10.12677/AP.2023.135249

句子理解过程中心理模拟研究进展

周广方,金花*

天津师范大学心理学部,天津

收稿日期:2023年3月17日;录用日期:2023年5月23日;发布日期:2023年5月30日

摘要

心理模拟是指在语言理解中语言材料所描述感觉–运动经验的重新激活,具身语言观认为该过程在语言意义的构建中发挥着重要的作用。本文主要关注句子层面的心理模拟过程,在回顾以往研究的基础上,总结了近年来该领域研究的新进展。主要表现为:在研究范式上,所探究问题的深度不断增加。在研究内容上,所研究范围逐渐拓展。未来研究可进一步将心理模拟的研究范围拓展到触觉、味觉模态,进一步厘清不同研究范式之间的差异性,考虑语言形式与心理模拟在语言理解中的相互作用。

关键词

句子理解,心理模拟,具身认知,感觉–运动表征

The Developments of Mental Simulation Research in Sentence Comprehension

Guangfang Zhou, Hua Jin*

Faculty of Psychology, Tianjin Normal University, Tianjin

Received: Mar. 17th, 2023; accepted: May 23rd, 2023; published: May 30th, 2023

ABSTRACT

Mental simulation refers to the reactivation of sensory-motor experience described by language materials in language comprehension. The embodied view of language understanding holds that this process plays an essential role in the construction of linguistic meaning. This paper focuses on the process of mental simulation at sentence level, and summarizes the recent advances in this field based on the review of previous studies. It mainly includes the following two aspects: 1) In the research paradigm, the depth of exploration has gradually increased; 2) In terms of research content, the scope of research has gradually expanded. Future research can further expand the scope of mental simulation to touch and taste modality, further clarify the differences between different research paradigms, and consider the interaction between language form and mental simulation in language comprehension.

Keywords:Sentence Comprehension, Mental Simulation, Embodied Cognition, Sensory-Motor Representation

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

语言理解是心理学研究的核心问题之一。受20世纪50年代认知心理学兴起的影响,直到21世纪初期非模态系统理论(the amodal system theory)在语言理解研究中占据着主导地位。该理论认为语言的加工是基于抽象的、非模态的(amodal)符号,这些符号是任意的与其所代表的物体或者事件联系起来的,而大脑只是对这些符号进行操作的系统。在这个理论视角下,研究者主要关注符号如何被加工以及符号之间如何联系从而构建语义表征。因此一些关于语言理解的计算模型被提出,如潜在语义分析模型(Latent Semantic Analysis, LSA, Landauer & Dumais, 1997),知识表征语言(Knowledge Representation Language, KRL, Bobrow & Winograd, 1977)等,这些模型被证明在一些语言理解的现象方面具有较好的解释力。但非模态系统理论无法解释符号接地问题(symbol grounding problem),即符号如何代表在世界中的事物的问题。

1990年,认知的具身(embodied)观点兴起,该观点认为认知是具身的,来自于身体与外部世界的相互作用(Thelen, Schöner, Scheier, & Smith, 2001)。同时,因为传统的非模态理论存在的问题,一些研究者尝试通过具身理论的视角解释语言理解,将语言理解视为由语言符号所引起的感觉–运动经验的重新激活(re-activation)。在此理论框架下,语言概念植根于动作和知觉系统之中,语言理解离不开大脑感觉系统和运动系统的参与。Barsalou (1999)则更为具体的提出了心理模拟(mental simulation)的概念:语言理解就是通过感觉–运动经验的重新激活,对外界的客体或事件进行多模态的心理模拟并且形成知觉表征的过程。比如,当看到“苹果”这个词汇时,我们会在大脑中模拟这个词汇所代表的实际物体(苹果)的形状、颜色、味道和与其进行交互的动作(抓起苹果、吃苹果)等,从而达到对该词汇的理解。

语言理解的具身观点在提出之后逐渐受到研究者关注,得到了大量的实证研究的支持,对语言理解的非模态观点提出了挑战。这些研究大多集中在词汇和句子层面,涉及概念表征、概念组合和句子理解等多个研究领域。迄今,已有众多学者对具身概念加工的相关研究进行了较为详细且全面的回顾(Dove, 2016;Mahon & Caramazza, 2008;韩冬,叶浩生,2014;刘文娟,李莹,王瑞明,2015;曲方炳,殷融,钟元,叶浩生,2012;苏得权,叶浩生,2013;殷融,曲方炳,叶浩生,2012;殷融,叶浩生,2013;张恩涛,方杰,林文毅,罗俊龙,2013),但对句子层面的心理模拟研究缺乏相应的分析与评述。因此,本文聚焦句子加工中的心理模拟过程,在对之前的研究范式和内容进行回顾的基础上,总结了近年来有关心理模拟研究的新进展,并对之后的研究进行展望,以期抛砖引玉。

2. 句子理解中心理模拟的研究范式及其新进展

2.1. 经典研究范式

2.1.1. 句子–图片验证任务

最初,语言理解基于心理模拟过程的观点的提出是基于理论思辨的方法。而对于该理论的实证检验,始于Stanfield和Zwaan (2001)的研究。他们在该研究中提出了一种对心理模拟进行检验的巧妙范式——句子–图片验证任务(sentence-picture verification task)。在该任务中,首先让被试阅读一个句子,该句子暗示了物体的不同方向(如:笔被放在桌子上暗示其为水平方向,而笔被放在笔筒里则暗示其为垂直方向)。然后要求他们判断在随后图片中显示的物体是否在句子中提到。图片中的物体与句子中所暗示的物体的方向或一致,或不一致。如果被试在阅读过程中进行了心理模拟,他们应该对物体方向上的差异表现出敏感性。结果发现:被试能够更快的验证隐含方向匹配的图片(匹配效应)。这说明被试在句子阅读过程中激活了目标客体的知觉表征,这种表征通过自上而下的方式促进了对方向匹配图片的判断。这一范式随后在语言理解的心理模拟研究领域得到了广泛应用(de Koning, Wassenburg, Bos, & Van der Schoot, 2017a, 2017b; Engelen, Bouwmeester, de Bruin, & Zwaan, 2011; Setic & Domijan, 2017; Yaxley & Zwaan, 2007; Zwaan & Pecher, 2012; Zwaan, Stanfield, & Yaxley, 2002)。

2.1.2. 句子–图片验证任务变式

在句子–图片验证任务提出之后,有研究者注意到该任务也存在一定的局限性。其中一个局限性是该任务要求被试判断图片中的物体是否在句子中提到过,这种任务要求需要被试将句子内容和图片内容进行比较(Zwaan et al., 2002)。从一方面来说,可能正是由于句子和图片之间的比较导致了心理模拟过程的产生。研究者开始怀疑是否在Stanfield和Zwaan (2001)研究中的结果是这种任务要求所造成的呢?如果不要求句子和图片之间的比较还会发现知觉匹配效应吗?另一方面,这种任务要求的完成需要一些额外的认知过程(Madden & Zwaan, 2006),如对图片的识别,物体名称的词汇通达,物体名称与图片之前的句子中的单词的比较,并在此基础上做出肯定或否定的反应。这就导致该任务反应的不仅仅是心理模拟过程,同时图片判断相对晚于句子理解,导致句子理解中激活的知觉表征容易受到许多其他因素的影响。针对以上局限性,有些研究者在研究中使用了图片命名任务(Madden & Dijkstra, 2010; Madden & Zwaan, 2006; Zwaan et al., 2002),该任务的程序与设置与句子–图片验证任务几乎完全一致,只是任务要求变成了“要求被试在看到图片之后,尽快的说出图片中物体的名字”。在该任务中被试只需要识别图片中的物体,访问该物体的名称,然后进行报告,图片中的物体与句子的任何比较均被排除,因此避免了以上提到的句子–图片验证任务的局限性。并且使用图片命名任务的研究也均发现了匹配效应(当句子描述的物体知觉特征与图片中的一致时,命名更快),对句子理解过程中的心理模拟提供了更强的支持。

还有些研究者认为,在句子–图片验证任务中,被试可能被鼓励使用心理意象(即在句子阅读过程中有意识的构建句子所描述的内容)。因为被试必须将句子中提到的物体与句子后立即呈现的图片进行比较,这可能会导致他们在阅读句子时策略地使用心理意象。因此,以往得到的匹配效应很有可能只是在特定任务中策略性地使用意象地结果,而不会在正常地语言理解中自动使用。为了排除这种可能性,研究者对句子–图片验证任务的程序进行了调整,提出了延迟句子–图片验证任务。在该任务中,被试首先需要完成句子阅读组块,在所有句子阅读完成之后间隔一段时间,再进行图片判断任务(同样也是判断图片中的物体是否在之前的句子中提到过)。需要注意的是,在实验中被试不知道在句子阅读之后还需要完成图片判断任务,因此排除了任务要求导致被试在阅读句子时策略性地使用心理意象的可能性,证明了在句子阅读过程中会自动地激活对句子所描述对象特征的心理模拟(Chen, Wang, Zhang, & Liu, 2020; Pecher, Dantzig, Zwaan, & Zeelenberg, 2009)。

2.2. 研究范式的新进展

Ostarek和Bottini (2021)认为除了关注在语言理解中心理模拟过程本身,还需要关注心理模拟在语言理解中发挥了什么作用,也就是需要确定心理模拟对于语言理解是必须的,或仅仅是一种附带现象。因此他们提出了一种基于Platt (1964)所提出的强推理(strong inference)的研究逻辑:如果能够证明模拟失败对被试的任务表现产生可观测的负面影响,则就可认为模拟是功能相关的。因为此问题属于对心理模拟与语言理解之间因果关系的探究,他们将这些范式统称为因果范式。该范式一方面为对先天性/获得性感觉-运动系统损害患者的研究,其主要逻辑是如果先天性/获得性感觉-运动系统损害的被试在任务表现上与正常人相同,则可说明心理模拟过程对于语言理解并不必要;另一方面为以健康人为被试的干扰范式,主要用于探讨心理模拟过程是否在语言理解中发挥了作用。本文主要聚焦在干扰范式,主要有如下三个原因:1) 以往研究对先天性/获得性感觉–运动系统损伤患者的概念加工进行了大量研究,发现这些患者也能够顺利的完成概念加工的相关任务(Bedny, Koster-Hale, Elli, Yazzolino, & Saxe, 2019; Bedny & Saxe, 2012; Kim, Elli, & Bedny, 2019; Saysani, Corballis, & Corballis, 2018),已经证明心理模拟对语言理解在一定程度上并不是必须的;2) 由于大脑的可塑性,感觉–运动系统损伤患者的大脑发育可能存在代偿作用(Bottini et al., 2020; Wang, Men, Gao, Caramazza, & Bi, 2020; Wang et al., 2015),导致其对语言的加工与健康人存在差异;3) 干扰范式不但具有患者研究的优点,并且更加容易实施。

干扰范式可以通过行为干扰技术或者经颅磁刺激来实现,其主要逻辑是通过外界刺激干扰其感觉–运动系统的活动,以保证在语言加工的同时其感觉–运动系统被占用或被抑制,进而观察对任务表现的影响。如果被试的任务表现相较于无干扰条件下出现下降,则能够说明心理模拟在语言理解中发挥作用。例如,Ostarek, Joosen, Ishag, de Nijs和Huettig (2019)通过行为干扰技术探究了视觉加工与心理模拟的关系。他们依然采用句子-图片验证任务,与经典任务的不同在于句子是以听觉呈现,且被试听句子的同时呈现视觉干扰刺激。结果发现,在低水平视觉干扰条件下被试依然表现出匹配效应,而在高水平视觉干扰条件下(完整物体的图片)匹配效应消失。基于此,他们推测在句子–图片验证任务中的匹配效应并不是由心理模拟产生的,而是由于语义信息的激活,这与心理模拟理论的预测完全相反。但由于本方面的研究较少,因此还需要进一步的研究对此问题加以澄清。

3. 句子理解中心理模拟研究在模拟内容上的研究进展

继Stanfield和Zwaan (2001)通过句子-图片验证任务对句子理解中物体方向的心理模拟进行研究之后,研究者意识到物体并不只是包含形状这一知觉特征。因此有些研究者使用该范式对句子理解中其他知觉特征的心理模拟进行探讨,但这些研究均局限于对视觉、听觉单个维度上的探讨。主要发现,物体的形状(de Koning, Bos, Wassenburg, & Van der Schoot, 2016; Horchak & Garrido, 2021; Zwaan et al., 2002)、大小(de Koning et al., 2017b)、数量(Setic & Domijan, 2017)、颜色(Connell & Lynott, 2009)、距离(Winter & Bergen, 2012)、可见度(Yaxley & Zwaan, 2007)、阴影(Horchak & Garrido, 2020)等知觉表征均会在句子阅读过程中激活。并且对于这些物体特征的模拟是相当详细的,如Hoeben Mannaert, Dijkstra和Zwaan (2017)发现仅仅是图片中物体颜色饱和度的变化也会影响对图片的识别。同时也有研究通过句子–图片验证任务变式(通过将句子之后的图片换成声音,一部分声音是真实存在的,另外一部分是计算机合成的,要求被试判断声音的真假)证明了阅读过程中的听觉模拟(Brunye, Ditman, Mahoney, Walters, & Taylor, 2010)。近年来,学者们针对以上问题,将心理模拟研究拓展到其他知觉维度,并且开始关注对复杂情境下心理模拟的探讨,包括心理模拟中多知觉特征或多物体的组合、广泛文本中的心理模拟等。

3.1. 研究维度的增加

在传统上人们的知觉系统被描述为五感系统,分别是:视觉、听觉、触觉、味觉和嗅觉(Sorabji, 1971)。以往研究在考虑语言与感觉经验的相互作用时往往局限于视觉和听觉系统(Speed & Majid, 2019),对句子理解中的心理模拟研究也并不例外。通过对以往研究内容的回顾,可以发现以往对于句子理解中心理模拟过程的研究主要集中在视觉模态,近年来也有研究者初步考虑到听觉模态的模拟。但是无论在语言中或者在人们的经验中所包含的感觉经验远超过这些,这导致具身理论对语言理解的解释受到严重的局限,因此近年来对心理模拟的研究逐渐拓展到其他感觉模态。如,Speed和Majid (2018)同时探究了在单词加工中对听觉模态和嗅觉模态的模拟,他们通过操纵单词与之后所呈现的声音匹配与否,探究了其对单词回忆和声音/气味再认的影响,结果发现在听觉模态中单词与声音的匹配与否显著影响了单词回忆的反应时和声音再认的正确率,而在嗅觉模态中未发现单词与气味匹配与否的显著影响。该研究说明在心理模拟中可能并不包含嗅觉模态。对于此结果可能有如下解释:1) 不同感觉模态在人们感官的层次结构中的地位不同,比如有研究者认为视觉和听觉这些远端感觉比更低层次的触觉、味觉、嗅觉这些近端感觉更占据优势地位(San Roque et al., 2015)。因此在心理模拟过程中可能只会自动激活优势感觉模态的表征,而对于触觉、味觉、嗅觉这些处于劣势的感觉并不会进入到心理模拟中。2) 该研究采用了荷兰语呈现的单词作为刺激材料,而不同的文化或者语言中对不同感觉模态的编码存在差异(Majid et al., 2018),如他们发现狩猎群体的语言中对嗅觉的可编码性(在该研究中可编码性的操作定义为对刺激命名的一致性程度)高于非狩猎群体,因此可能荷兰语本身就与嗅觉经验存在较弱的联系,导致在荷兰语阅读中并不会涉及对于嗅觉的模拟。基于上述,未来心理模拟研究的一个主要方向就是将研究拓展到嗅觉、味觉、触觉这些感觉模态,同时还需要考虑不同语言或不同文化之间的差异性,这样才能使我们进一步厘清心理模拟和语言理解之间的相互作用。

3.2. 多知觉特征、多物体组合

一个物体往往是由多个维度的知觉特征和运动特征组成的,如对于“笔”这个物体,我们在现实中可以感知到它的形状、颜色、大小等等,也会涉及到使用笔写字或者将笔放进笔筒的操作,只有对这些特征进行整合才能够形成有关物体的连贯表征。因此有一些研究考察了在阅读过程中知觉表征是否会进行整合以及以什么方式进行整合。Richter和Zwaan (2010)总结了对知觉表征进行整合的两种理论假设:加法整合观点和乘法整合观点。前者认为不同维度的知觉信息是相互独立激活的,并且相加地组合在一起,形成对单词所指物地综合知觉表征;而后者认为当不同维度地知觉信息是以非线性的、相互作用的方式进行整合的。他们通过一个例子对以上两种观点做了详细解释:当我们看到“番茄”这个词时,依据加法整合的观点读者会激活对红色和圆形物体的一般感知表征,之后这些一般表征通过相加的方式被组合,从而构成单词所指代的知觉表征;相反,依据乘法整合的观点读者所激活的是一个通过相互作用的方式整合的红色圆形,红色和圆形这两种知觉信息并不是相互分离的。并且他们通过实验对两种理论假设进行了验证,在实验中向被试呈现物体的单词和图片,根据单词和图片在颜色和形状上是否匹配分为四种条件:颜色和形状均匹配、颜色匹配形状不匹配、颜色不匹配形状匹配、颜色和形状均不匹配,同时还包括一个中性条件作为基线,结果发现只有颜色和形状均匹配条件下的反应时显著短于中性条件,证明了在语言加工中的知觉信息是通过相互作用的方式进行整合的,支持了乘法整合的观点。Bai, Yang和Fan (2021)进一步采用句子作为实验材料,同样证明了在句子理解层面知觉信息也是通过相互作用的方式进行整合。

除了对于知觉表征整合方式的研究,还有研究者考虑到在句子加工中所激活的不同知觉信息的相互作用,对于该问题的探讨是源于对物体方向进行心理模拟的研究。自Stanfield和Zwaan (2001)通过实验证明人们在句子阅读中会模拟物体方向以来,一些研究者尝试对该研究结果进行复制,但是不同研究的结果之间存在很大差异,一些研究成功复制了Stanfield和Zwaan的研究结果(Engelen et al., 2011; Peleg, Ozer, Norman, & Segal, 2018; Zwaan & Pecher, 2012),但是也有一些研究并未发现对于物体方向的匹配效应(de Koning et al., 2017a; Koster, Cadierno, & Chiarandini, 2018; Rommers, Meyer, & Huettig, 2013),这引起了研究者的兴趣,尝试揭示导致不同研究间结果不一致的原因。其中Chen, de Koning和Zwaan (2020)提出以往研究中方向的匹配效应不稳定的原因在于可能存在其他的调节变量,如物体的大小。因为人们不容易对大物体进行操作,所以在现实生活中人们缺少大物体的不同方向的经验,因此在阅读中也相应的不会激活不同方向的表征,而小物体则相反。因此他们在实验中同时操纵了物体的大小和方向对此问题进行了初步探究,虽然未发现物体大小并未显著调节方向的匹配效应,但是该研究为将来研究提供了一个初步思路,对不同知觉信息之间的相互作用进行研究或是一个可行的研究方向。

在现实情境中物体往往不是孤立存在的,我们也通常不会孤立地看待事物,而是与其他事物一起创造一个视觉事件(Barsalou, 2009),因此还有部分研究者探究了在心理模拟中的物体组合以及相关事件的激活。Ostarek和Vigliocco (2017)发现在个体读到某个单词时,不仅仅会对单词所指代的物体进行模拟,而且还会包括与单词所代表物体经常共现的其他物体(如:天空–云)。另外,Hoeben Mannaert, Dijkstra和Zwaan (2020)采用描述两个物体之间关系的句子作为实验材料,如:猫拿着她的钱包正在回家的路上,此句子中包括两个客体“猫”和“钱包”,同样是在句子之后呈现图片,要求判断图片中的客体是否在句子中出现过。根据句子和图片的关系分为四种条件:完全匹配、部分匹配、部分不匹配和完全不匹配,结果同样发现完全匹配条件下的反应时均显著短于其他条件。这些研究说明,在语言理解过程中的心理模拟往往不是局限于某个知觉特征或者某个客体,而是对语言中所包含的信息以及个体所拥有的世界知识进行整合,从而创造一个合理、完整的心理模型。

3.3. 广泛文本中的句子加工

以上所提到的研究均是对单词或者句子理解中心理模拟过程的考察,但在现实的大多数情境中,人们在进行阅读或者口语交流时并不仅只是涉及某个独立的句子,而是一个更加广泛的文本内容。因此之前研究仅局限于单个句子可能会影响结果的外部效度,导致其所得出的结论不适用于现实情境。近年来已经有一些研究者考虑到这一问题,对多个句子加工中的心理模拟进行了初步探究。Hoeben Mannaert, Dijkstra和Zwaan (2019)首先通过将句子的数量增加到两个(实验1)和四个句子(实验2),考察了在多个句子加工中心理模拟过程中知觉表征的更新情况。在该实验中划分了两个实验条件:改变条件(通过不同的句子描述了形状的变化)和恒定条件(在不同的句子中物体的形状没有发生变化),在阅读句子后再呈现一张与最后一个句子所暗示的物体形状匹配或者不匹配的图片,同时要求被试判断图片中的物体是否在之前的句子中提到过。结果发现在两个实验条件下,均是当图片中的物体与最后一个句子所暗示的性质相匹配时的反应时显著快于不匹配条件。研究者据此推断,当前句子描述的物体形状发生变化时,其心理模拟中所激活的知觉表征会进行更新,而之前句子所激活的知觉表征则会逐渐消退。同样,Hoeben Mannaert, Dijkstra和Zwaan (2021)对于颜色信息在一个更广泛的文本情境下持续激活进行了探究。他们在实验2中发现,当句子的数量为两个时,无论包含颜色信息的句子在其中任何一句中出现被试均表现出显著的匹配效应。有趣的是,他们在实验3中将句子的数量增加到五个,这时虽然当颜色信息出现在被试所阅读的最后一个句子时依然发现了匹配效应,但是当颜色信息出现在被试所阅读的第一个句子时匹配效应消失了。研究者将此现象归因于故事叙述焦点转移的结果,也就是说当句子1描述某个物体时(如“男孩骑着那辆红色的自行车去车站”),这时句子中所包含的物体的颜色信息在心理模拟过程中被激活。但是如果在接下来的叙述中将焦点转移到其他的事件上(如:“在路上他被一辆公共汽车超过了”),这时心理模拟内容就会进行更新,从而导致之前所激活的信息逐渐消退。在这种情况下,如果在阅读有关自行车却未提到任何颜色信息的句子(如:“在车站,他从自行车上下来”),在心理模拟中也不会包含之前所激活的颜色信息。以上两个研究的结果均说明在对广泛文本进行加工时,心理模拟过程不会包含文本中所有的相关信息,只有那些语言理解所需的信息才能够被激活。然而这两项研究的研究者也提到,虽然他们使用了更多的句子作为研究材料,但是这与现实情境中的文本阅读依然存在很大差异。因此未来研究可以此为起点,对更加符合现实情境的文本材料进行进一步的探究。

4. 小结与评述

本文从研究范式和研究内容两个方面梳理了句子理解中心理模拟研究的进展。从研究范式来看,人们对心理模拟过程研究的深度逐渐提高。研究者通过经典的句子–图片验证任务及其变式证明了在句子阅读过程中有关物体的知觉信息被激活的现象,而近年来研究者们更加关注知觉信息在阅读过程中所发挥的作用(对于意义的构建是必不可少的或只是一种附带现象),这一进展有利于我们检验语言理解的具身认知观的正确性。从研究内容来看,人们对心理模拟过程研究的广度不断拓展且更加贴合于现实情境。早期的心理模拟研究大多只对于视觉、听觉模态中的单个知觉特征进行了探讨。一方面,近年来的研究已将研究范围拓展到嗅觉模态,关注到了不同感觉模态的信息涉及句子理解过程的差异性。另一方面,有些研究者开始关注在句子理解中不同知觉特征、不同物体的组合方式以及不同句子间知觉表征的变化,相比于之前的研究更加贴合现实的阅读情境。这说明该领域的研究内容逐渐走向成熟,研究结果不但有利于相关理论的推动,而且具有重要的现实意义。

但是总结目前的研究,还是存在一定的不足或矛盾点需要进一步的研究解决。

1) 研究范式仍有待改进。Ostarek和Huettig (2019)从语言理解中的心理模拟角度分析了具身研究所面临的六个挑战,他们指出现在具身研究需要发展一个具有决定性的范式,即直接性的探索假设的知觉过程的范式。如上所述,在经典的句子–图片验证任务中涉及多个加工阶段,我们无法确定句子阅读对图片判断的影响发生在哪个阶段。除此之外,该范式也无法排除被试对图片进行概念水平的加工(Ostarek & Huettig, 2017),那么理解者也可能是从句子和图片中提取以符号概念模块表征的抽象形状信息,从而产生的匹配效应(Zwaan et al., 2002)。基于这个解释,我们只能根据匹配效应得出在句子阅读过程中其所描述的物体特征信息被激活的结论,但是关于该信息是知觉性质的或是抽象符号的依然无法定论,也不能在具身解释和非模态解释之间做出明确的判断。

对于以上问题的解决方法是创设一个图片只在知觉水平上被加工的情境,而不会涉及语义水平的加工。而连续闪光抑制范式(continuous flash suppression, CFS)则可以达到这一目的。该范式基于双眼竞争的方法,通过向两只眼睛同时呈现目标视觉刺激和掩蔽刺激,通过调节刺激的对比度,可以长时间的将目标视觉刺激抑制在意识之外,从而排除对目标视觉刺激的语义水平的加工(Lupyan & Ward, 2013)。在以往研究中,CFS范式主要被用于研究大脑意识下的视觉认知(周继,2019)。目前,这一范式已被应用于低水平视觉表征是否参与单词加工的研究(Ortega & Ostarek, 2021; Ostarek & Huettig, 2017),但尚未在句子理解过程中的心理模拟的研究应用。在未来研究中可以将句子–图片验证任务与CFS范式相结合,通过掩蔽刺激将目标图片抑制在人们意识之外,探究句子与目标图片中的物体特征一致与否对击中率和辨别力指数等变量的影响,从而得出在句子理解过程中所激活的物体特征信息是否属于知觉性质的确切结论,为心理模拟理论提供决定性的证据。

2) 研究维度还需进一步的拓展。如上所述,知觉系统被分为五感系统:视觉、听觉、嗅觉、触觉、味觉,目前的心理模拟研究只是拓展到嗅觉模态,发现相比较于优势的视觉、听觉模态,嗅觉模态的信息并不会在心理模拟过程中激活。那么和嗅觉同处于劣势地位的触觉、味觉模态是否也会相同?还需要进一步的研究加以证明。

3) 需要考虑语言形式 (如,词汇关联、词组、语法结构等)在句子理解中的作用。语言和情境模拟理论(the language and situated simulation theory)认为在概念加工中心理模拟和语言形式均会发挥重要的作用,在概念加工的初始阶段语言形式首先会被激活,其已经可以满足较浅层次的任务需求(不需要考虑单词含义),只有任务需要对概念的深层加工时(单词的意义必须被检索)才会激活模拟过程(Barsalou, Santos, Simmons, & Wilson, 2008)。在概念加工领域中,该理论已经得到一些实证证据的支持(Kan, Barsalou, Solomon, Minor, & Thompson-Schill, 2003; Solomon & Barsalou, 2004),证明了语言形式在概念加工中的重要作用。反观句子理解的研究,研究者还只是将关注点聚焦到心理模拟上,忽视了语言形式在句子理解中的重要作用。因此,未来句子理解中心理模拟的研究需要考虑心理模拟与语言形式之间的相互作用,而语言和情境模拟理论可以作为一个探究的起点。

文章引用

周广方,金 花. 句子理解过程中心理模拟研究进展
The Developments of Mental Simulation Research in Sentence Comprehension[J]. 心理学进展, 2023, 13(05): 2019-2029. https://doi.org/10.12677/AP.2023.135249

参考文献

  1. 1. 韩冬, 叶浩生(2014). 重中之“重”——具身视角下重的体验与表征. 心理科学进展, 22(6), 918-925.

  2. 2. 刘文娟, 李莹, 王瑞明(2015). 感知运动信息在概念表征中的作用. 心理科学, (6), 1347-1352.

  3. 3. 曲方炳, 殷融, 钟元, 叶浩生(2012). 语言理解中的动作知觉: 基于具身认知的视角. 心理科学进展, 20(6), 834-842.

  4. 4. 苏得权, 叶浩生(2013). 大脑理解语言还是身体理解语言——具身认知视角下的语义理解. 华中师范大学学报(人文社会科学版), (6), 189-194.

  5. 5. 殷融, 曲方炳, 叶浩生(2012). 具身概念表征的研究及理论述评. 心理科学进展, 20(9), 1372-1381.

  6. 6. 殷融, 叶浩生(2013). 语言与情境仿真理论: 概念与展望. 心理学探新, (4), 308-314.

  7. 7. 张恩涛, 方杰, 林文毅, 罗俊龙(2013). 抽象概念表征的具身认知观. 心理科学进展, 21(3), 429-436.

  8. 8. 周继(2019). 基于CFS范式的空间朝向属性对意识下视觉的影响研究. 硕士学位论文, 昆明: 云南大学.

  9. 9. Bai, B., Yang, C., & Fan, J. (2021). Semantic Integration of Multidimensional Perceptual Information in L1 Sentence Comprehension. Language and Cognition, 14, 109-130. https://doi.org/10.1017/langcog.2021.24

  10. 10. Barsalou, L. W. (1999). Perceptions of Perceptual Symbols. Behavioral and Brain Sciences, 22, 637-660. https://doi.org/10.1017/S0140525X99532147

  11. 11. Barsalou, L. W. (2009). Simulation, Situated Conceptualization, and Prediction. Philosophical Transactions of the Royal Society B: Biological Sciences, 364, 1281-1289. https://doi.org/10.1098/rstb.2008.0319

  12. 12. Barsalou, L. W., Santos, A., Simmons, W. K., & Wilson, C. D. (2008). Language and Simulation in Conceptual Processing. In M. de Vega, A. Glenberg, & A. Graesser (Eds.), Symbols and Embodiment: Debates on Meaning and Cognition (pp. 245-283). Oxford Academic. https://doi.org/10.1093/acprof:oso/9780199217274.003.0013

  13. 13. Bedny, M., & Saxe, R. (2012). Insights into the Origins of Knowledge from the Cognitive Neuroscience of Blindness. Cognitive Neuropsychology, 29, 56-84. https://doi.org/10.1080/02643294.2012.713342

  14. 14. Bedny, M., Koster-Hale, J., Elli, G., Yazzolino, L., & Saxe, R. (2019). There’s More to “Sparkle” than Meets the Eye: Knowledge of Vision and Light Verbs among Congenitally Blind and Sighted Individuals. Cognition, 189, 105-115. https://doi.org/10.1016/j.cognition.2019.03.017

  15. 15. Bobrow, D. G., & Winograd, T. (1977). An Overview of KRL, a Knowledge Representation Language. Cognitive Science, 1, 3-46. https://doi.org/10.1207/s15516709cog0101_2

  16. 16. Bottini, R., Ferraro, S., Nigri, A., Cuccarini, V., Bruzzone, M. G., & Collignon, O. (2020). Brain Regions Involved in Conceptual Retrieval in Sighted and Blind People. Journal of Cognitive Neuroscience, 32, 1009-1025. https://doi.org/10.1162/jocn_a_01538

  17. 17. Brunye, T. T., Ditman, T., Mahoney, C. R., Walters, E. K., & Taylor, H. A. (2010). You Heard It Here First: Readers Mentally Simulate Described Sounds. Acta Psychologica, 135, 209-215. https://doi.org/10.1016/j.actpsy.2010.06.008

  18. 18. Chen, D., Wang, R., Zhang, J., & Liu, C. (2020). Perceptual Representations in L1, L2 and L3 Comprehension: Delayed Sentence-Picture Verification. Journal of Psycholinguistic Research, 49, 41-57. https://doi.org/10.1007/s10936-019-09670-x

  19. 19. Chen, S. C., de Koning, B. B., & Zwaan, R. A. (2020). Does Object Size Matter with Regard to the Mental Simulation of Object Orientation? Experimental Psychology, 67, 56-72. https://doi.org/10.1027/1618-3169/a000468

  20. 20. Connell, L., & Lynott, D. (2009). Is a Bear White in the Woods? Parallel Representation of Implied Object Color during Language Comprehension. Psychonomic Bulletin & Review, 16, 573-577. https://doi.org/10.3758/PBR.16.3.573

  21. 21. de Koning, B. B., Bos, L. T., Wassenburg, S. I., & Van der Schoot, M. (2016). Effects of a Reading Strategy Training Aimed at Improving Mental Simulation in Primary School Children. Educational Psychology Review, 29, 869-889. https://doi.org/10.1007/s10648-016-9380-4

  22. 22. de Koning, B. B., Wassenburg, S. I., Bos, L. T., & Van der Schoot, M. (2017a). Mental Simulation of Four Visual Object Properties: Similarities and Differences as Assessed by the Sentence-Picture Verification Task. Journal of Cognitive Psychology, 29, 420-432. https://doi.org/10.1080/20445911.2017.1281283

  23. 23. de Koning, B. B., Wassenburg, S. I., Bos, L. T., & Van der Schoot, M. (2017b). Size Does Matter: Implied Object Size Is Mentally Simulated during Language Comprehension. Discourse Processes, 54, 493-503. https://doi.org/10.1080/0163853X.2015.1119604

  24. 24. Dove, G. (2016). Three Symbol Ungrounding Problems: Abstract Concepts and the Future of Embodied Cognition. Psychonomic Bulletin & Review, 23, 1109-1121. https://doi.org/10.3758/s13423-015-0825-4

  25. 25. Engelen, J. A., Bouwmeester, S., de Bruin, A. B., & Zwaan, R. A. (2011). Perceptual Simulation in Developing Language Comprehension. Journal of Experimental Child Psychology, 110, 659-675. https://doi.org/10.1016/j.jecp.2011.06.009

  26. 26. Hoeben Mannaert, L. N., Dijkstra, K., & Zwaan, R. A. (2017). Is Color an Integral Part of a Rich Mental Simulation? Memory & Cognition, 45, 974-982. https://doi.org/10.3758/s13421-017-0708-1

  27. 27. Hoeben Mannaert, L. N., Dijkstra, K., & Zwaan, R. A. (2019). How Are Mental Simulations Updated across Sentences? Memory & Cognition, 47, 1201-1214. https://doi.org/10.3758/s13421-019-00928-2

  28. 28. Hoeben Mannaert, L. N., Dijkstra, K., & Zwaan, R. A. (2020). Object Combination in Mental Simulations. Quarterly Journal of Experimental Psychology, 73, 1796-1806. https://doi.org/10.1177/1747021820933214

  29. 29. Hoeben Mannaert, L. N., Dijkstra, K., & Zwaan, R. A. (2021). Is Color Continuously Activated in Mental Simulations across a Broader Discourse Context? Memory & Cognition, 49, 127-147. https://doi.org/10.3758/s13421-020-01078-6

  30. 30. Horchak, O. V., & Garrido, M. V. (2020). Is Complex Visual Information Implicated during Language Comprehension? The Case of Cast Shadows. Cognitive Science, 44, e12870. https://doi.org/10.1111/cogs.12870

  31. 31. Horchak, O. V., & Garrido, M. V. (2021). Dropping Bowling Balls on Tomatoes: Representations of Object State-Changes during Sentence Processing. Journal of Experimental Psychology: Learning, Memory, and Cognition, 47, 838-857. https://doi.org/10.1037/xlm0000980

  32. 32. Kan, I. P., Barsalou, L. W., Solomon, K. O., Minor, J. K., & Thomp-son-Schill, S. L. (2003). Role of Mental Imagery in a Property Verification Task: FMRI Evidence for Perceptual Representations of Conceptual Knowledge. Cognitive Neuropsychology, 20, 525-540. https://doi.org/10.1080/02643290244000257

  33. 33. Kim, J. S., Elli, G. V., &Bedny, M. (2019). Knowledge of Animal Appearance among Sighted and Blind Adults. Proceedings of the National Academy of Sciences, 116, 11213-11222. https://doi.org/10.1073/pnas.1900952116

  34. 34. Koster, D., Cadierno, T., & Chiarandini, M. (2018). Mental Simulation of Object Orientation and Size: A Conceptual Replication with Second Language Learners. Journal of the European Second Language Association, 2, 38-48. https://doi.org/10.22599/jesla.39

  35. 35. Landauer, T. K., & Dumais, S. T. (1997). A solution To Plato’s Problem: The Latent Semantic Analysis Theory of Acquisition, Induction, and Representation of Knowledge. Psychological Review, 104, 211-240. https://doi.org/10.1037/0033-295X.104.2.211

  36. 36. Lupyan, G., & Ward, E. J. (2013). Language Can Boost Otherwise Unseen Objects into Visual Awareness. Proceedings of the National Academy of Sciences, 110, 14196-14201. https://doi.org/10.1073/pnas.1303312110

  37. 37. Madden, C. J., & Dijkstra, K. (2010). Contextual Constraints in Situation Model Construction: An Investigation of Age and Reading Span. Aging, Neuropsychology, and Cognition, 17, 19-34. https://doi.org/10.1080/13825580902927604

  38. 38. Madden, C. J., & Zwaan, R. A. (2006). Perceptual Representation as a Mechanism of Lexical Ambiguity Resolution: An Investigation of Span and Processing Time. Journal of Experimental Psychology: Learning, Memory, and Cognition, 32, 1291-1303. https://doi.org/10.1037/0278-7393.32.6.1291

  39. 39. Mahon, B. Z., & Caramazza, A. (2008). A Critical Look at the Embodied Cognition Hypothesis and a New Proposal for Grounding Conceptual Content. Journal of Physiology-Paris, 102, 59-70. https://doi.org/10.1016/j.jphysparis.2008.03.004

  40. 40. Majid, A., Roberts, S. G., Cilissen, L., Emmorey, K., Nicodemus, B., O’Grady, L., & Levinson, S. C. (2018). Differential Coding of Perception in the World’s Languages. Proceedings of the National Academy of Sciences, 115, 11369-11376. https://doi.org/10.1073/pnas.1720419115

  41. 41. Ortega, G., & Ostarek, M. (2021). Evidence for Visual Simulation during Sign Language Processing. Journal of Experimental Psychology: General, 150, 2158-2166. https://doi.org/10.1037/xge0001041

  42. 42. Ostarek, M., & Bottini, R. (2021). Towards Strong Inference in Research on Embodiment—Possibilities and Limitations of Causal Paradigms. Journal of Cognition, 4, 5. https://doi.org/10.5334/joc.139

  43. 43. Ostarek, M., & Huettig, F. (2017). Spoken Words Can Make the Invisible Visible-Testing the Involvement of Low-Level Visual Representations in Spoken Word Processing. Journal of Experimental Psychology: Human Perception and Performance, 43, 499-508. https://doi.org/10.1037/xhp0000313

  44. 44. Ostarek, M., & Huettig, F. (2019). Six Challenges for Embodiment Research. Current Directions in Psychological Science, 28, 593-599. https://doi.org/10.1177/0963721419866441

  45. 45. Ostarek, M., & Vigliocco, G. (2017). Reading Sky and Seeing a Cloud: On the Relevance of Events for Perceptual Simulation. Journal of Experimental Psychology: Learning, Memory, and Cognition, 43, 579-590. https://doi.org/10.1037/xlm0000318

  46. 46. Ostarek, M., Joosen, D., Ishag, A., de Nijs, M., & Huettig, F. (2019). Are Visual Processes Causally Involved in “Perceptual Simulation” Effects in the Sentence-Picture Verification Task? Cognition, 182, 84-94. https://doi.org/10.1016/j.cognition.2018.08.017

  47. 47. Pecher, D., Dantzig, S. V., Zwaan, R. A., & Zeelenberg, R. (2009). Language Comprehenders Retain Implied Shape and Orientation of Objects. Quarterly Journal of Experimental Psychology, 62, 1108-1114. https://doi.org/10.1080/17470210802633255

  48. 48. Peleg, O., Ozer, R., Norman, T., & Segal, O. (2018). Perceptual Simulations during Sentence Comprehension: A Comparison between Typical Adolescents and Adolescents with Autism Spectrum Disorder. Journal of Neurolinguistics, 45, 36-44. https://doi.org/10.1016/j.jneuroling.2017.08.003

  49. 49. Platt, J. R. (1964). Strong Inference: Certain Systematic Methods of Scientific Thinking May Produce Much More Rapid Progress than Others. Science, 146, 347-353. https://doi.org/10.1126/science.146.3642.347

  50. 50. Richter, T., & Zwaan, R. A. (2010). Integration of Perceptual Information in Word Access. Quarterly Journal of Experimental Psychology, 63, 81-107. https://doi.org/10.1080/17470210902829563

  51. 51. Rommers, J., Meyer, A. S., & Huettig, F. (2013). Object Shape and Orientation Do Not Routinely Influence Performance during Language Processing. Psychological Science, 24, 2218-2225. https://doi.org/10.1177/0956797613490746

  52. 52. San Roque, L., Kendrick, K. H., Norcliffe, E., Brown, P., Defina, R., Dingemanse, M., & Majid, A. (2015). Vision Verbs Dominate in Conversation across Cultures, but the Ranking of Non-Visual Verbs Varies. Cognitive Linguistics, 26, 31-60. https://doi.org/10.1515/cog-2014-0089

  53. 53. Saysani, A., Corballis, M. C., & Corballis, P. M. (2018). Colour Envisioned: Concepts of Colour in the Blind and Sighted. Visual Cognition, 26, 382-392. https://doi.org/10.1080/13506285.2018.1465148

  54. 54. Setic, M., & Domijan, D. (2017). Numerical Congruency Effect in the Sentence-Picture Verification Task. Experimental Psychology, 64, 159-169. https://doi.org/10.1027/1618-3169/a000358

  55. 55. Solomon, K. O., & Barsalou, L. W. (2004). Perceptual Simulation in Property Verification. Memory & Cognition, 32, 244-259. https://doi.org/10.3758/BF03196856

  56. 56. Sorabji, R. (1971). Aristotle on Demarcating the Five Senses. The Philosophical Review, 80, 55-79. https://doi.org/10.2307/2184311

  57. 57. Speed, L. J., & Majid, A. (2018). An Exception to Mental Simulation: No Evidence for Embodied Odor Language. Cognitive Science, 42, 1146-1178. https://doi.org/10.1111/cogs.12593

  58. 58. Speed, L. J., & Majid, A. (2019). Grounding Language in the Neglected Senses of Touch, Taste, and Smell. Cognitive Neuropsychology, 37, 363-392. https://doi.org/10.1080/02643294.2019.1623188

  59. 59. Stanfield, R. A., & Zwaan, R. A. (2001). The Effect of Implied Orientation Derived from Verbal Context on Picture Recognition. Psychological Science, 12, 153-156. https://doi.org/10.1111/1467-9280.00326

  60. 60. Thelen, E., Schöner, G., Scheier, C., & Smith, L. B. (2001). The Dynamics of Embodiment: A Field Theory of Infant Perseverative Reaching. Behavioral and Brain Sciences, 24, 1-34. https://doi.org/10.1017/S0140525X01003910

  61. 61. Wang, X., Men, W., Gao, J., Caramazza, A., & Bi, Y. (2020). Two Forms of Knowledge Representations in the Human Brain. Neuron, 107, 383-393e385. https://doi.org/10.1016/j.neuron.2020.04.010

  62. 62. Wang, X., Peelen, M. V., Han, Z., He, C., Caramazza, A., & Bi, Y. (2015). How Visual Is the Visual Cortex? Comparing Connectional and Functional Fingerprints between Congenitally Blind and Sighted Individuals. Journal of Neuroscience, 35, 12545-12559. https://doi.org/10.1523/JNEUROSCI.3914-14.2015

  63. 63. Winter, B., & Bergen, B. (2012). Language Comprehenders Represent Object Distance both Visually and Auditorily. Language and Cognition, 4, 1-16. https://doi.org/10.1515/langcog-2012-0001

  64. 64. Yaxley, R. H., & Zwaan, R. A. (2007). Simulating Visibility during Language Comprehension. Cognition, 105, 229-236. https://doi.org/10.1016/j.cognition.2006.09.003

  65. 65. Zwaan, R. A., & Pecher, D. (2012). Revisiting Mental Simulation in Language Comprehension: Six Replication Attempts. PLOS ONE, 7, e51382. https://doi.org/10.1371/journal.pone.0051382

  66. 66. Zwaan, R. A., Stanfield, R. A., & Yaxley, R. H. (2002). Language Comprehenders Mentally Represent the Shapes of Objects. Psychological Science, 13, 168-171. https://doi.org/10.1111/1467-9280.00430

  67. NOTES

    *通讯作者。

期刊菜单