虚拟现实技术(virtual reality, VR)作为近年来飞速发展的新兴技术,其与场景的可互动性,寓教于乐的趣味性以及所营造环境的沉浸性等特点,使许多研究者开始探究虚拟现实技术在第二语言学习中可能产生的影响。此外,有研究表明第二语言学习会引起大脑功能与结构的变化,这为检验虚拟现实技术对第二语言学习的影响提供了大脑神经机制方面的标准。本文搜集并回顾了现有的第二语言学习大脑机制研究,对使用虚拟现实技术辅助第二语言教学对学习者外语学习产生的影响进行述评。最后本文得出虚拟现实技术对初级二语学习者语音、词汇、句法方面的学习均有一定积极作用,学习者在沉浸式环境中能取得更为理想的学习效果的结论,为当前的第二语言教学提供了新的思路。 Virtual reality (VR) is an emerging technology that has developed rapidly in recent years. Its interactivity with scenarios, its fun and educational nature, and the immersive nature of the environment it creates have led many researchers to explore the possible impact of VR in second language learning. In addition, research has shown that second language learning causes changes in brain function and structure, which provides a criterion for examining the neural mechanisms of the brain in relation to the impact of virtual reality on second language learning. This paper collects and reviews existing research on the brain mechanisms of second language learning and reviews the impact of using virtual reality to assist second language teaching on learners’ foreign language learning. The paper concludes that virtual reality technology has a positive effect on the phonological, lexical and syntactic learning of primary second language learners, and that learners can achieve better learning outcomes in an immersive environment, providing new ideas for current second language teaching.
虚拟现实技术(virtual reality, VR)作为近年来飞速发展的新兴技术,其与场景的可互动性,寓教于乐的趣味性以及所营造环境的沉浸性等特点,使许多研究者开始探究虚拟现实技术在第二语言学习中可能产生的影响。此外,有研究表明第二语言学习会引起大脑功能与结构的变化,这为检验虚拟现实技术对第二语言学习的影响提供了大脑神经机制方面的标准。本文搜集并回顾了现有的第二语言学习大脑机制研究,对使用虚拟现实技术辅助第二语言教学对学习者外语学习产生的影响进行述评。最后本文得出虚拟现实技术对初级二语学习者语音、词汇、句法方面的学习均有一定积极作用,学习者在沉浸式环境中能取得更为理想的学习效果的结论,为当前的第二语言教学提供了新的思路。
虚拟现实,第二语言习得,沉浸式教学,语言认知,神经机制
Mengxin Wei, Jinyi Shi, Libo Geng*
Jiangsu Normal University, Xuzhou Jiangsu
Received: Nov. 28th, 2022; accepted: Jan. 6th, 2023; published: Jan. 13th, 2023
Virtual reality (VR) is an emerging technology that has developed rapidly in recent years. Its interactivity with scenarios, its fun and educational nature, and the immersive nature of the environment it creates have led many researchers to explore the possible impact of VR in second language learning. In addition, research has shown that second language learning causes changes in brain function and structure, which provides a criterion for examining the neural mechanisms of the brain in relation to the impact of virtual reality on second language learning. This paper collects and reviews existing research on the brain mechanisms of second language learning and reviews the impact of using virtual reality to assist second language teaching on learners’ foreign language learning. The paper concludes that virtual reality technology has a positive effect on the phonological, lexical and syntactic learning of primary second language learners, and that learners can achieve better learning outcomes in an immersive environment, providing new ideas for current second language teaching.
Keywords:Virtual Reality, Second Language Acquisition, Immersion, Language Cognition, Neural Mechanisms
Copyright © 2023 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
智能时代,计算机辅助下的语言学习领域不断得到发展(朱晔等,2021) [
VR被定义为一个能够创造所有感官的模拟的互动性数据库,由计算机生成,具有可探索、可视化的特点,并以图片和声音的形式进行实时操作,给人身在计算机环境中的感觉(Levis, 1997) [
简而言之,VR所提供的是一种具身化的、沉浸式的内在学习平台,学习者们可以与这一环境中的目标物体、人物进行互动,通过“接触”来加深印象,建立起抽象的语言知识和具体的事物之间的联系,在无形之中受到这个环境的影响,从而更长期地记住所学到的内容。
VR技术在语言学习中的优势是非常明显的。在其所营造出的虚拟环境中,学习者可以进行沉浸式学习,具身化的设计使得学习者能对所学语言隶属的国家的风景建筑、人文风俗、语言习惯等有一个简单而直观的了解。在这里,学习者们可以全身心地投入语言学习,当学习者建立“自己身处国外”这一认知,好奇心、新鲜感等主观感受都能够成为他们进一步学习的动机,促使他们更多、更深入地探究学习内容。为了遵循该环境所使用的语法规则,用正确的话语去交流,这种需求迫使他们修正自己原来错误的语言习惯,从而真正学会这门语言。有反馈的学习会在一定程度上激发学习者的兴趣,当学习者们能记住这些场景,记住其中的内容后便会形成一个循环,以此达到长期记忆、主动学习的目的。
目前已有一些研究通过使用功能性核磁共振成像(fMRI)等神经影像学技术,来对比虚拟现实创建的环境和传统的课堂教学环境、沉浸式学习和单纯的单词与图文联想配对学习对参与者大脑皮层的影响。这些技术从脑区的活跃程度及激活区域的变化等多个方面探索了虚拟现实技术对第二语言学习者脑神经的影响。
本文对已有的研究进行了整理和概括,简单介绍了VR技术所涉及的四个理论基础,并结合有关大脑机制的神经影像学研究,对研究现状进行总说,解释了虚拟现实技术在词汇、语音和语法方面对参与者语言学习的影响,最后总结了虚拟技术的优势,并提出其不足之处。
目前关于VR技术在第二语言学习方面的应用的研究已经总结出一些相关的理论,介绍了学习者们在虚拟环境下学习语言的特点和优势,以及在此过程中引起的大脑皮层的变化。
根据这一理论,头、手、脚等特定的身体部位的经历和听觉、视觉、触觉等特定的模态的体验构成了学习者对概念、物体和行动的心理表征的一个组成部分。换言之,该理论强调的是整个身体和周围环境的互动,即感知、行动、身体和环境之间的互动 [
这一理论与符号表征的经典认知理论形成对比。经典认知理论认为认知和认知操作是模块化的,语言与认知的其他部分(包括感知和行动)都是无关的(Chomsky, 1981, Fodor, 1983) [
沉浸式就是让人在一段时间内或长期处于一个封闭式的环境,身处于这个环境中的人会专注于眼前,全身心投入到当前任务中。沉浸式学习是沉浸式理论在学习领域应用过程中派生的,最早出现于20世纪60年代加拿大的第二语言教学过程中。教师以第二语言作为直接的教学语言,实践证明:将学生放置于目的语言环境中能有效提升语言学习效果。
沉浸式语言学习,就是为学习者提供一个充满目的语的环境,让学习者不知不觉地受到影响,在沉浸环境中和所学的目的语进行充分接触,继而可以更好地掌握这门语言。
外显学习是指有意识、有目的地进行学习,是学习者合理利用资源,通过一定努力,采取一定策略来获取知识的过程,通过这种学习获得的知识叫外显知识。我们所进行的传统的课堂教学,其实就是典型的外显学习的过程,把获取知识作为直接目的,为自己制定每天或每个阶段的目标,有计划地去学习二语,且容易受到年龄、智力动机和情感等因素的影响。这是一个比较容易得到学习回馈的过程,学习者们可以通过单词联想配对、图文对应等方法检验自己的学习成果,但同时,这个过程也需要学习者付出很多努力,不但要高度集中注意力,有时甚至需要强制记忆。
内隐学习是指在不知不觉的情况下无意识地学习,没有明确的目标,没有为了实现目标而努力,是看不见的学习,通过这样的学习过程获取的知识叫内隐知识。这一过程中的学习者受上述这些主观和客观因素的影响都较少,且学习者会在任务环境中对复杂的关系做出适当的反应。比较常见的出国留学和利用成本稍低的虚拟现实技术学习就属于内隐学习,学习者身处沉浸式环境,潜移默化中对目的语有更直观、深入的理解。亲身经历过的场景能在人脑深处留下更深的痕迹,因此通过这种沉浸式学习获得的内隐知识比外显学习获得的知识更具有耐久性。
第一语言习得领域已经表明,儿童从最早的阶段开始就是依赖于社会互动去学习 [
调查结果显示,学习者认为内容和语言的一体化学习的好处就是有更多的人文时间,更少的屏幕观看时间,以及真实的学习经历(Caldwell-Harris, 2021) [
在自然环境中学习的学习者能够获得丰富的感觉运动信息,这些视觉、听觉、动觉信号以及本体的感受信息都可以对学习者获取知识和获得技能产生不同的影响。这些学习过程中出现的互补感觉与运动信息被称为感觉运动富集。尽管感觉运动富集可能会对第二语言学习产生强大的推动和促进作用,但其潜在的大脑机制还有待探索(Mathias等,2021) [
虚拟环境(Virtual Environment, VE)可以广义地被定义为计算机生成的三维交互环境。VEs广泛应用于各种技术,包括虚拟现实(VR)、增强现实(Augmented Reality, AR)、混合现实(mixed reality, MR)、通过桌面呈现的虚拟栖息地,以及一些3D视频和视频游戏。例如,沉浸式虚拟现实是其提供360˚的视野,用户可以通过转动头部和身体看向虚拟环境的任何方向以及不同部分,它使用户能够像在现实生活中一样操纵环境或与环境进行交互(Costello, 1997, Jerald, 2016, Milgram等,1994) [
本部分就语音、词汇、句法方面,对第二语言学习在大脑功能和结构方面的影响进行了简单的概括解释。
在虚拟现实对外语语音学习的影响方面有一些实验研究。这些研究的结果表明,在这类虚拟现实环境中,学习者的语音学习得到了一定的提升。
就大脑皮层角度而言,和语音学习相关的脑机制变化也侧面证明了沉浸式环境对二语习得的作用。Vaquero等(2017)的研究发现,白质(White Matter, WM)通路和模仿外国语音的能力具有强大的横向性 [
Perani等(2011)的报告发现,1~3天大的婴儿在对人类语言作出反应时,显示出双侧颞区之间的功能连接,而成年人在左半球的额叶和颞区之间显示出更多的连接 [
Kuhl等(2016)发现,居住时间与居住在美国的西班牙语–英语双语者的白质分布显著相关:在沉浸式环境中停留的时间越长,左、右半球的白质通路就越高 [
相较于虚拟现实技术对第二语言语音学习的影响方面的研究而言,虚拟现实辅助第二外语词汇学习的研究更为系统严谨。这些研究结果表明,虚拟现实技术对第二语言词汇学习有一定积极影响。这种影响在不太成功的学习者的学习成果上较显著,而在较成功的学习者的学习成果上则未体现(Yang等,2015) [
有多项相关的研究表明沉浸感、互动感、想象力等特点有助于外语学习者对新学习环境产生强烈兴趣并参与其中,尤其是在口语、倾听和文化实践方面。Kuhl等(2003)通过实验进一步表明,即使是儿童在学习第二语言时,社会学习也是很关键的:在“DVD环境”(预先录制的视听或者纯音频材料)中接触汉语普通话的美国婴儿,并不像在“现场环境”(实验者在学习过程中与婴儿互动)中接触相同材料的婴儿那样表现出对普通话语音类别的学习 [
Jeong等(2010)在视频模拟社会互动和L1翻译两种条件下训练日本人学习韩语单词,fMRI结果表明:通过视频学习的词汇在右侧边缘上回(superior marginal gyrus, SMG)中产生更多的激活,通过翻译学习的词汇在左侧额中回产生更多的活动;有趣的是,参与者在儿童时期习得的L1词汇也在右侧SMG产生了更大的激活,由此可以初步推断出通过社会互动学习到的L2词汇,和L1词汇的加工方式相似,即以社会互动方式进行的第二语言学习,有和母语学习相同的效果 [
以上两项研究都体现了互动式学习的优势所在,社会互动为学习者提供了可沉浸式学习的环境,学习者们能够在这种条件下与目的语的使用者进行直接交流,更深刻地体会所学的第二语言。但并不是所有学习者都有直接在目的语环境中进行学习的条件的,因此,虚拟平台所营造的环境,能否产生同样的效果,让学习者得以沉浸式学习,便很是关键。
在 Legault等(2019)的实验中,与非虚拟的、词汇–图片联想学习相比,右下顶叶皮层(inferior parietal cortex,IPL,包括SMG和AG,angular gyrus)在基于虚拟现实(VR)的互动学习中有更明显的活动,这说明比起传统的强化训练学习,通过VR平台进行的沉浸式学习有更强更明显的脑区参与 [
Legault等(2019)基于L2学习的神经可塑性,探究虚拟环境对L2学习的影响。研究者将实验被试分为传统的图片到单词的配对联想学习组,即图片–单词(Picture-Word, PW)学习组,VE学习组以及未经培训的控制对照组。实验采用一个低沉浸度的基于电脑桌面的VE平台,对三组被试分别进行了共7个阶段,约20天的培训。培训结束后通过脑磁共振成像技术(sMRI)分别观察比对了三组被试的皮质厚度(Cortical Thickness, CT)与GMV在短期第二语言词汇学习中的变化。实验结果显示,在两个训练组中,CT与GMV在语言控制网络相关区域有所增加,且不同学习环境中的参与者可能依赖于语言控制网络中的不同结构,对于PW组而言,右侧额下回(Inferior Frontal Gyrus, IFG)的CT与第二语言词汇表现有关,而VE组则是右侧顶叶下叶(Inferior Parietal Lobe, IPL)的CT与之有关 [
而由于左侧额下回(IFG)、顶下小叶(inferior parietal lobule, IPL;包括SMG)、颞上回(STG)、额中回(MFG)和颞中回(middle temporal gyrus, MTG)都与真实情境下的词义加工相关(Frenck-Mestre, 2005; Hickok & Poeppel 2007; Hofstetter等2016;Petersson等2012;Stein等2012;Veroude等,2010) [
同时,也有研究从行为实验的角度考察了虚拟现实对L2学习的作用。Legault等(2019)也通过行为实验研究探究了沉浸式虚拟现实(Immersive Virtual Reality, iVR)对学习者词汇学习的影响。实验考察了学习者在学习第二语言词汇时的个体差异。每个实验参与者先在iVR沉浸式虚拟现实条件下学习30个单词,再通过单词到单词的配对联想学习,即单词—单词(Word-Word, WW)对学习30个单词。在学习结束后,使用可替代强制选择识别任务收集每个实验参与者的行为表现。他们的实验结果显示,iVR条件下的测试准确性显著高于WW条件下的测试准确性,证明了沉浸式的有效性,表明了虚拟技术对第二语言学习的重要作用 [
研究二语习得的影响因素时,控制变量是一个至关重要的问题,然而使用自然语言研究,在控制变量上很难达到精准(Morgan-Short, 2007) [
学习环境是影响二语习得的重要因素。Norris & Ortega (2000)借助元分析发现,进行外显学习的参与者比进行内隐学习的参与者有更明显的学习效果,然而这类研究方法在一定程度上存在缺陷,因此越来越多的研究者选择在脑科学视野下,通过ALLP探讨学习环境与二语习得之间的关系 [
以Morgan-Short (2012, 2015)为代表的研究者认为内隐学习比外显学习更有效。Morgan-Short等(2012)运用基于Brocanto2人工语言的学习范式,采集了外显学习组和内隐学习组的两组被试在分别高、低水平条件下的行为数据和脑电数据。结果显示,在句法违反的条件下两组被试的行为表现无显著性差异,但诱发了不同的ERPs成分,只有内隐学习组表现出和母语者类似的大脑加工模式 [
Morgan-Short等(2012)对相同的两组被试在3~6个月后实施类似的句法判断任务延时测试,也发现不同学习环境下两组被试的二语加工机制呈现显著性差异 [
而且,Pliatsikas等(2014a, b)发现英语母语者和非英语母语者的大脑在对过去式转换进行加工时,激活的区域并无差异 [
但一些研究者依旧对此提出了质疑。Batterink & Neville (2013)通过ALLP发现外显学习比内隐学习的二语增益效果更好 [
由于以正确率和反应时间为检验指标的行为实验往往无法准确描述第二语言加工过程中即时又连续的心理过程,因此推测这样的观点分歧可能是实验任务和测量手段的不同造成的(黄嫣,李霄翔,2020) [
在大数据时代,人们在信息获取方面拥有显而易见的优势与便利。与虚拟的物品相比,实体具有信息最大化的特点,能直接传递各式各样的信息,但其又在一定程度上受限。正如此刻,疫情隔离的条件下,实体信息的传递也会受到实体限制,而虚拟的分辨率和自由度越来越高,越来越突破实体的限制。
近年来,虚拟现实(VR)、增强现实(AR)等智能技术快速普及,在第二语言教学中辅助使用虚拟现实技术的案例也越来越多。总结前人研究,明显可见由于虚拟现实技术的沉浸性、互动性和趣味性等突出特点,其对于第二语言学习者的语音学习、词汇学习以及句法学习方面均有一定积极作用。但值得注意的是,Dhimolea等(2022)的研究早已提出,短期或较少地使用VR设备,可能会使学生好奇后得不到满足而分心,以致造成负面效果 [
就虚拟现实环境的分类而言,Li等(2021)根据其对第二语言学习的作用,将其分为三种。第一种类型为智能手机、电脑或其他移动设备,这种类型的虚拟现实技术成本较低且使用便利,无论是教师还是学生,都很容易进行学习。第二种类型是头戴式显示器(Head-Mounted Displays, HMD)辅助的虚拟环境,这种设备为第二语言学习者提供更为生动和更加真实的学习环境,但高昂的成本、使用者个体差异而可能导致的较低的舒适度(Andujar & Buchner, 2019) [
最后,除了学生学习方面,虚拟现实辅助教学也对教师提出了新的挑战。如何设计课程,如何将需要学习的系统知识融入到虚拟现实之中,以及如何真正做到寓教于乐,还需要教师进一步探索学习。未来外语教师与虚拟现实工程师之间的合作和配合可能会成为常态。此外,教师发展规划,基础设施建设与评估,道德规定以及相关政策制定等也需慎重考虑。
江苏省十四五高等教育规划课题“新时代播音与主持艺术专业实验课程体系设计与优化”(项目编号:YB023);江苏省“青蓝工程”项目基金的阶段性研究成果。
卫孟欣,施锦怡,耿立波. 脑科学视野下的虚拟现实辅助语言学习Virtual Reality-Assisted Language Learning from the Perspective of Brain Science[J]. 现代语言学, 2023, 11(01): 81-90. https://doi.org/10.12677/ML.2023.111012