设为首页 加入收藏 期刊导航 网站地图

Advances in Psychology
Vol. 11  No. 09 ( 2021 ), Article ID: 45280 , 10 pages
10.12677/AP.2021.119240

手势追踪效应及其理论解释

左跟梅，林立甲，庞维国*

华东师范大学心理与认知科学学院，上海

收稿日期：2021年4月30日；录用日期：2021年9月9日；发布日期：2021年9月17日

摘要

手势追踪效应是指在学习过程中使用手势追踪有助于提升学习效果的现象。对于这一效应，可以从认知负荷理论、具身认知和ICAP理论三个视角来进行解释。根据认知负荷理论，手势追踪可以帮助心理表征组块和充当注意引导的线索，促进认知资源优化。从具身认知角度看，手势追踪不仅可以激活多种工作记忆通道，促进心理表征的构建，还可以帮助将认知工作转移到环境中，促进图式的构建和学习效果的提升。根据ICAP理论，手势追踪本质上是一种对学习材料的主动操控，它有助于激活学习者的相关背景知识，从而促进认知加工。目前，关于手势追踪效应的研究主要聚焦在数学学习领域，对于该效应发生的边界条件尚需进一步探究；对于观看他人手势追踪与学习者自己进行手势追踪对学习产生的不同影响，也有待深入探讨。关于手势追踪效应的未来研究，应重点考虑这种效应发生的边界条件、潜在心理机制、与电子学习媒介的交互以及在真实课堂情境中的应用等四个方面。

关键词

手势追踪效应，认知负荷理论，具身认知，ICAP理论

The Tracing Effect and Its Theoretical Explanations

Genmei Zuo, Lijia Lin, Weiguo Pang*

School of Psychology and Cognitive Science, East China Normal University, Shanghai

Received: Apr. 30th, 2021; accepted: Sep. 9th, 2021; published: Sep. 17th, 2021

ABSTRACT

The tracing effect refers to the phenomenon that tracing on the learning material helps to improve learning efficiency. This article explains the effect drawing on cognitive load theory, embodied cognition, and ICAP theory. Based on cognitive load theory, tracing helps to optimize cognitive resource by chunking mental representation and working as an attention guiding cue. From the perspective of embodied cognition, tracing contributes to improve learning efficiency because it not only activates various working memory modalities, which provides opportunities for mental representation construction, but also helps to off-load cognitive work onto the physical environment to increase available for schema construction. In terms of ICAP theory, tracing reaps benefits of active learning and thus promoting cognitive processing as a result of activating learners’ relevant background knowledge. At present, researches on the tracing effect have mainly focused on the mathematics domain, but the boundary is not clear. Meanwhile, the difference between the effect of learners’ self-generated tracing and observing tracing also remains to be further explored. Future research should take into consideration the boundary conditions, psychological mechanisms, and interactions with multimedia, as well as the ecological validity of tracing effect.

Keywords:Tracing Effect, Cognitive Load Theory, Embodied Cognition, ICAP Theory

Copyright © 2021 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

手势是与语言同步发生的自发动作，它可以帮助个体传递单凭言语难以表达的信息(McNeill, 1992)。近年来研究者认为，手势对于个体的学习和认知加工具有重要意义(Novack & Goldin-Meadow, 2015)。不同的手势背后存在不同的认知加工过程，它们对个体的学习会产生不同的影响(Marstaller & Burianova, 2013)。在这其中，手势追踪(tracing)——手指在物体表面(如纸质学习材料)上的动态移动(McNeill, 1992)，尤其值得关注。诸多研究也已表明，在学习过程中使用手势追踪有助于提升学习效果(Agostinho et al., 2015; Hu, Ginns, & Bobis, 2014, 2015; Korbach, Ginns, Brünken, & Park, 2019; Macken & Ginns, 2014; Tang, Ginns, & Jacobson, 2019; Yeo & Tzeng, 2020)。这种现象被研究者称为手势追踪效应(tracing effect)。在个体学习过程中，手势追踪并不是一种很难操作的认知辅助策略。因而，探明手势追踪效应的适用条件，进而揭示该效应促进学习的作用机制，无论对于教育教学实践，还是对于学习理论研究，都具有重要的现实意义。本文将首先追溯手势追踪效应的研究历程，然后在总结前人研究的基础上，尝试从多个理论角度分析手势追踪效应的作用机制，最后将基于手势追踪效应的一些研究争议提出进一步研究的方向。

2. 手势追踪效应的研究缘起与进展

对手势追踪效应的研究可以追溯到20世纪初。意大利教育家蒙台梭利在对智力发展迟滞儿童进行教育实验的基础上提出了感官教育(Montessori, 1912)，强调儿童感官训练和肌肉练习的重要性，并把感官教育训练与幼儿教育相结合。她设计了砂纸字母，让幼儿通过触摸字母并临摹它的轮廓来感觉字母之间的区别。结果，这种做法对儿童初步习得字母产生了较好的促进效果。继其之后，Fernald和其同事Keller (1921)设计了手指追踪(tracing)的学习方法，指导有阅读障碍的儿童拼读单词，并同时用食指追踪黑板或者木板上单词的书写顺序，直到他们能独立默写出这个单词。这种方法为存在阅读障碍的儿童习得知识，带来了新的可能性。Fernald (1943)还进一步提出了VAKT (Visual-Auditory-Kinesthetic-Tactile)学习策略，让学生能同时使用视觉(Visual)、听觉(Auditory)、动觉(Kinesthetic)和触觉(Tactile)等多种感官进行学习。为了验证Fernald描述的手势追踪效应(tracing effect)，Hulme (1979)以8、9岁儿童为研究对象，使用再认和重建程序来测试他们对一系列抽象图形的记忆。研究要求儿童在看图片的同时用手指追踪这些图形的形状，或者先用同样长的时间看图形，然后指着它们。结果发现，手势追踪提高了儿童们对这些图形的再认成绩。在Hulme之后，诸多实证研究也都表明了手势追踪方法在字母学习(Bara, Gentaz, & Colé, 2007; Bara, Gentaz, Colé, & Sprenger Charolles, 2004; Hulme, 1981; Hulme, Monk, & Ives, 1987)及识记几何形状(Kalenine, Pinet, & Gentaz, 2011)中的促进作用。

随着手势追踪效应研究的深入，大量学者开始探究手势追踪在较为复杂的学习任务上的作用。这些任务涉及到数学(Ginns, Hu, Byrne, & Bobis, 2016; Hu, Ginns, & Bobis, 2014, 2015; Yeo, & Tzeng, 2019)、科学(Agostinho et al., 2015; Tang, Ginns, & Jacobson, 2019)和解剖生理学(Macken, & Ginns, 2014; Korbach, Ginns, Brünken, & Park, 2019)中的概念或技能学习。Ginns等人(2016)探索了手势追踪对三角形几何题和四则混合运算学习的影响。其实验一的学习内容为三角形中的角度关系，包括对顶角相等、任何外角都等于两个内角的和；研究者选取了52名六、七年级的学生为被试，并把他们随机分配到手势追踪组(学习过程中需要用手追踪学习材料中的元素，比如对顶角和外角)和无手势追踪组。结果表明，有手势追踪组的被试在迁移测验上表现得更好。实验二的学习内容为“四则混合运算”，研究者将54名四年级学生随机分配到有手势追踪组(按照指示要求用食指追踪运算符号和括号)和无手势追踪组。结果发现，有手势追踪组的学生在运算问题测试中表现得更好。Du和Zhang (2019) 也以小学生为被试进行了两个实验来探究手势追踪在数学几何学习方面的作用。实验一比较了手势追踪、无手势追踪和和线索提示三种方法的学习效果，结果显示，与采用线索提示和无手势追踪的学生相比，采用手势追踪的学生在迁移测试中获得更高的分数，并且认为远迁移测试难度更低。实验二比较了食指追踪、电脑鼠标追踪和观察他人追踪三种方法的学习效果。结果发现，与用食指或鼠标追踪的学生相比，只观察追踪的学生远迁移分数更低，并认为测试难度更大，而食指和鼠标追踪两组间无显著差异。Tang等人(2019)让五、六年级学生参加“学习水循环”的实验研究，他们把被试被随机分配到手势追踪组(按要求用手指追踪表示水循环的流动箭头)和无手势追踪组。研究结果表明，手势追踪组学生报告了更少的外在认知负荷，在保持和迁移问题的测验中得分更高。学者Ginns和Kydd (2019)以30名大学生为被试，探讨了手势对于“人类的心脏结构和功能”学习的影响，要求他们在学习“人类心脏的结构和功能”的知识时做手势(阅读学习材料时，被试需要按照指示追踪血液流动的箭头)或不做手势(阅读学习材料时，被试的手不能动)。研究结果发现，手势组的被试在术语和理解测试中均表现明显好于无手势的被试，而且报告更低的感知难度。

概言之，利用手势追踪帮助个体学习的研究，已具有一个多世纪的历史。相关的研究从利用手势追踪帮助阅读困难的学生学习简单的字母、单词和图形开始，逐步拓展到利用该技术来促进较为复杂的学科概念和原理的学习。在很多学科领域，手势追踪都显示出了其潜在的积极效应，并且该效应不仅仅局限于学习效果层面，还涉及到认知负荷层面。

3. 手势追踪效应的理论分析

手势追踪缘何对学习产生积极影响？其背后的心理机制是什么？目前，认知负荷理论、具身认知和ICAP理论都能在一定程度上对此作出解释。

3.1. 认知负荷理论

认知负荷理论(Cognitive Load Theory, CLT)是将认知科学原理应用于教学设计的当代教育心理学理论(Sweller, Ayres, & Kalyuga, 2011)。根据不同来源，该理论将认知负荷分为内在认知负荷、外在认知负荷和关联认知负荷三类(Sweller, van Merrienboer, & Paas, 2019)。内在认知负荷(Intrinsic cognitive load)是指由学习材料的难度水平或复杂程度带来的负荷，它是建构某种图式所必需的。外在认知负荷(Extraneous cognitive load)是由不恰当的教学设计和学习材料呈现方式造成的、与学习无关的工作记忆负荷。关联认知负荷(Germane cognitive load)是指在建构图式时不是必须的但投入后又有利于图式建构的工作记忆负荷。在认知负荷理论者看来，工作记忆的容量是有限的，当学习者学习新知识或者处理复杂的认知任务时，由于需要同时在工作记忆中处理多种信息，因而会导致认知超负荷(Sweller, van Merrienboer, & Paas, 2019)。为此，许多认知负荷理论研究者致力于探索将认知资源利用最优化，以确保学习者的认知负荷处于恰当水平，从而提升其学习效果。对于手势追踪，认知负荷理论的学者们从信息打包假设和注意引导线索两种角度来解释其效应。

信息打包假设(Information packaging hypothesis)认为手势会帮助个体将空间信息打包成可用语言表达的单位，而这些单位在语言产生、推理和问题解决等方面可能都具有重要的积极意义(Alibali, Kita, & Young, 2000)。Ping和Goldin-Meadow (2010)指出，手势可以提供一个整体框架以帮助个体组织语言表达的思想，这实质上是将心理表征分成组块以减轻工作记忆的负担。类似地，Ginns等(2020)指出，利用手势追踪学习材料的特定元素，本质上是将复杂多样的学习材料信息(比如文本和图表信息)整合成一个统一的图式，增强图式的构建或自动化，从而使学习者在学习测试过程中更少地使用内在认知负荷(Ginns, Hu, & Bobis, 2020)。比如Hu等(2015)在研究中发现，与无手势追踪被试相比，有手势追踪的被试报告了更低的题目测试难度(内在认知负荷)。这一结果在其他研究中也得到了重复验证(Du & Zhang, 2019; Ginns & Kydd, 2019; Yeo & Tzeng, 2020)。

注意引导线索(Attention guiding cue)是指，在多感官学习环境中利用线索引导学习者关注最相关的教学元素，而从促进学习(Lin & Atkinson, 2011)。通常，线索是指添加在学习材料中的非内容信息，如圆圈、箭头和着色等，它们对注意具有良好的引导作用(de Koning, Tabbers, Rikers, & Paas, 2010; Lin et al., 2016)。已有研究表明，将手放在一个物体附近，会改变人们对该物体的视觉注意力和感知，让人更加容易关注到这个物体(Cosman & Vecera, 2010)，甚至12个月大的婴儿就开始使用手指来管理注意力和兴趣点(Liszkowski, Brown, Callaghan, Takada, & de Vos, 2012)。基于此，Tang等人(2019)认为，手势追踪可以充当提示信息的注意引导线索。Tang等人在研究中发现，与无手势追踪相比，手势追踪条件下的被试在保持和迁移问题的测试中得分更高，同时也报告了更少的外在认知负荷。手势追踪之所以提升了学习效果，正是因为手势充当了注意引导线索，减少了对无关刺激的检索，降低了学习中的外在认知负荷，从而使工作记忆有更多地空间来加工必要的信息元素(Tang, Ginns, & Jacobson, 2019)。

3.2. 具身认知视角

具身认知(Embodied Cognition)又称“涉身认知”，与之相对应的是离身认知——认为认知过程与身体没有本质的联系，强调表征和计算是人类认知过程的本质(Wilson, 2002)。随着研究的深入推进，离身认知无法解释的心理现象越来越多，比如为什么个体在饥饿和饱腹两种不同身体状态下得到同样美味的食物时，其愉悦的情绪强度是不一样的？Lakoff和Johnson (1999)在总结哲学、神经科学和生理学等多学科的研究成果下提出“具身哲学”，强调心智是具身的，认知具有无意识性和隐喻性，而且隐喻最初来源于身体和身体的活动。Piaget (1997)的发生认识论中也提出，人的认识起源于动作，动作的本质是主体对客体的适应，身体与环境的互动在认知过程中起了重要作用。不同学者对具身认知的含义有着不同的理解，但其中心含义都包括以下两点：身体在认知或心理过程中发挥重要作用；身体的状态、感觉系统和运动系统以及身体与周围世界的相互作用，都对认知加工产生重要影响(Glenberg, 1997; Wilson, 2002)。换言之，认知不仅仅发生在大脑中，它还利用了身体的其他部位和环境(Barsalou, 2008)。

从具身认知角度，可以对手势追踪效应作出两方面的解释。首先，手势追踪是触及学习材料的身体运动，会激活多种工作记忆通道(动觉、触觉和视觉)，有助于构建更为丰富的心理表征(Barsalou, 2008; Lindgren & Johnson-Glenberg, 2013)。例如，Hulme (1979)在研究中发现，在学习过程中，手势追踪产生了明显的运动记忆痕迹，这一额外的信息源有助于图形识别。Hu等人(2015)的研究中也发现，手势追踪会促进动觉和触觉通道的激活，相对于只促进动觉通道的不触摸学习材料的手势追踪和无手势相比，在数学几何学习中的效果更好。这一研究结果进一步说明，手势追踪带来的多种工作记忆通道的激活，会产生合成效应，从而提升学习效果(Bara, Gentaz, Colé, & Sprenger-Charolles, 2004)。其次，身体与学习任务的互动可以将认知物理工作转移到学习环境中，从而减少认知工作量，优化认知资源，以构建更好的问题解决图式(Korbach, Ginns, Brünken, & Park, 2019; Yeo & Tzeng, 2020)。比如学习中，一二年级学生常常会借助身体动作(比如打手势)来帮助理解和解答基本的计算问题。此外，Yeo & Tzeng (2020)研究发现，与线索提示条件相比，手势追踪条件下的个体学习效果更好，并报告更低的认知负荷。该研究认为手势追踪不仅可以引导学习者注意关键信息，而且对图式的构建有促进作用。概言之，认知、身体与环境是一体的，因而利用身体(包括使用手势)与学习环境的交互作用对认知过程有重要意义(Glenberg, Witt, & Metcalf, 2013)。

3.3. ICAP理论

Chi和Wylie (2014)根据学习者的学习参与程度将学习方式分为四类：互动式学习(Interactive learning)、建构性学习(Constructive learning)、主动学习(Active learning)和被动学习(Passive learning)，亦即ICAP。互动式学习通常是指两个或两个以上的学习者共同开展合作学习，其往往通过互相提问或辩论来进行；建构性学习是指学习者在学习过程中对信息进行主动建构，其特征是学习者能超越学习材料生成新的知识，比如学习过程中的自我解释、阅读文字材料后出的画思维导图等；主动学习是指在学习过程中学习者通过操纵学习材料(如对文本学习材料画重点)来积极参与学习；被动学习是指学习者不加思考地从学习材料中接收知识。根据ICAP理论，随着学习者对学习材料的认知参与度(Cognitive engagement)增加(从被动到主动，从建构到互动)，其学习效果也会得到显著提升，亦即I > C > A > P。

从ICAP理论框架来看，传统的看动画、视频或者阅读纸质学习材料多属于被动学习，因为在此过程中，学习者往往是将接收的信息单独存储，并未对信息进行更加深层次的加工(Zhang, Lin, Zhan, & Ren, 2016)。而当学习者有意识地利用手势辅助学习时，则更多地进入到了主动学习过程，这往往会涉及对学习材料的主动操控(Alibali & DiRusso, 1999)，因而更能提高学习者的学习效果。根据Chi等人(Chi et al., 2018)的观点，手势追踪是对学习材料的一种主动或操作性参与；这种参与尽管不会带来超出学习材料的信息，但它可以让学习者把注意力集中在所操作的学习内容上，而这种聚焦可以激活相关的先行知识，使得新学习的信息与被激活的先行知识建立起联系，并为之所同化；为先行知识所同化的新知识，在贮存上更为完整、牢固，因而也更易于提取。换言之，手势追踪这种主动或操作性参与，会涉及激活、建立联系、存贮三种基本的认知过程，这已“足够满足许多情境下的学习要求”(p.1787)。

认知负荷理论、具身认知和ICAP理论都为手势追踪效应提供了理论依据。从认知负荷理论角度来看，一方面，手势追踪有助于心理表征的组块，从而降低内在认知负荷；另一方面，手势追踪可以充当注意引导线索，因而可以降低外在认知负荷。基于此可以提出假设，手势追踪有助于优化认知负荷。具身认知认为，手势追踪有助于将认知、身体与环境融为以一体，从而构建有意义的学习。基于此可以提出假设，手势追踪能提升学习效果，尤其是有意义的学习。根据ICAP理论，手势追踪本质上是一种对学习材料的主动操控，它可以通过激活学习者的相关背景知识来促进认知加工。但同时，由于学习者在手势追踪过程中没有主动加工学习材料，未自我生成超越学习材料的新知识，因此，和自我解释等学习策略相比，其对学习的促进作用可能有限。基于此可以提出假设，手势追踪作为一种较为主动的学习策略，与被动接收知识的无手势追踪相比，其对学习的促进作用较为明显，但和更为主动的学习策略(如自我解释)相比，其对学习的促进作用就较为有限。根据以上的理论视角，研究者对于手势追踪可以得出不同的理论假设，这也是导致目前该领域研究存在争议的根本原因。

3.4. 手势追踪效应的研究争议

尽管目前已有大量研究显示手势追踪效应的存在，但并非所有的相关研究都支持这种效应。例如，在数学学习领域，尽管手势追踪普遍显示出对学习表现的积极影响(Ginns, Hu, & Bobis, 2020; Ginns, Hu, Byrne, & Bobis, 2016; Hu, Ginns, & Bobis, 2014, 2015; Yeo & Tzeng, 2019)，但也有研究并没有发现这种促进作用。Yeo和Tzeng (2020)以小学生为被试，探讨了手势追踪对学习“指数定律”的影响，结果显示手势追踪在学习保持和迁移测验中的效果均不显著。这意味着，手势追踪效应的发生可能存在着一定的边界条件。研究者认为，在数学学习中手势追踪对学习结果产生的不一致影响，可能与知识的表征方式有关(Yeo & Tzeng, 2020)。进一步分析发现，在数学学习领域的手势追踪效应大多出现在几何学习中。几何学习是一种关于空间知识和技能的学习，它更多地与表象编码有关。Chu和Kita (2011)认为，手势在空间任务中发挥着重要的作用，其可以通过简化空间变换的内部计算来提高空间任务的表现。他们在实验中发现，当个体解决心理旋转问题上有困难时，会更加频繁地使用手势；而且，与无手势组相比，有手势组的学生在心理旋转任务中表现得更好。Ehrlich等人(2006)在研究中也发现在学习过程中，做手势的次数越多的学习者，在心理旋转任务中的表现得也越好；在这其中，手势可能给学习者提供了有关空间策略的信息(Ehrlich, Levine, & Goldin-Meadow, 2006)。在数学学习中，诸如“指数定律”等学习内容主要涉及抽象逻辑推理和运算能力，更多地与语义编码有关，这可能是导致手势追踪不能发挥效能的原因。当然，手势追踪是否更容易在空间知识、技能的学习中发挥作用，而在更多地需要语义加工的学习任务中作用较小，对此还需要更多的实证研究来加以检验。

当前，关于观看手势追踪和学习者自己进行手势追踪的效果，已有的对比研究也得出了不一致的结论。Du和Zhang (2019)的研究(实验二)中比较了手势追踪、观看追踪和鼠标追踪三种方法对学习效果的不同影响；结果发现，与自己进行手势追踪和利用鼠标追踪相比，观看手势追踪的被试在测试中表现更差，而且会报告更多的内在认知负荷。研究者认为，自己生成的手势追踪除了会涉及运动系统的激活外，还是一种主动与学习材料交互的行为，因此与被动的观看手势相比，学习效果会更好。换言之，手势追踪效应是基于自身身体动作的，而不仅仅是观看的手势。然而也有研究得出了相反的结论。例如，De Koning和Tabbers (2013)以大学生为被试，探讨了学习者手势追踪和观看动画手势追踪对“闪电形成”知识学习的影响；结果发现，与观看动画手势追踪相比，自我生成手势追踪的学生在学习测试中得分更低。研究者对此的解释是：手势追踪虽然会最大程度的促进运动系统的激活，但它相比于观看手势也会耗费学习者更多的努力和注意力，占用更多的认知负荷，进行对学习成绩产生消极影响。此外，镜像神经元(mirror neuron)的作用为观看手势追踪学习提供了依据(Du & Zhang, 2019)。研究表明，观察其他人做手势时，激活的镜像神经元能够将执行者的动作“映射”到个体的大脑中，就像自己做这个手势本身一样(Post, van Gog, Paas, & Zwaan, 2013)。Cook等人(2013)的研究发现，与不观看手势的学生相比，观看手势的学生在随后的数学测试中表现更好。观看手势的积极作用在其他研究中也被证实(Ouwehand, van Gog, & Paas, 2015; Singer & Goldin-Meadow, 2005)。综合上述这些研究结果，似乎可以得出这样的推论：整体看来，观看手势追踪和学习者自己进行手势追踪，在有些条件下都一样会提升学习效果；与不使用手势追踪相比，使用手势追踪——无论是自己使用还是观看他人使用，都能更好地促进学习。目前，关于观看手势追踪效应研究还比较少。因此要想检验这一推论，我们还需要更多地设计和实施包含四种手势追踪条件(即学生自身进行手势追踪、利用鼠标进行追踪、观看他人手势追踪、不进行手势追踪)的实验来验证。

4. 研究展望

综观前述已有的研究，可以看出学习中的手势追踪效应是客观存在的。然而就目前来看，对于这一效应还存在几个基本的问题需要进一步的研究来回答。

其一，手势追踪效应在什么条件下存在？这涉及到该效应发生的边界条件问题。鉴于众多研究已发现在不同年龄阶段的正常被试身上都会出现手势追踪效应，未来的研究重点应该放在在何种性质的学习任务中更容易出现这种效应，在学习的哪个阶段更容易存在这种效应，以及特殊儿童处理复杂认知任务时是否也会发生这种效应三个方面。对于第一个方面，应重点考虑在不同信息加工要求的学习任务上，手势追踪是否存在不同的促进作用。例如，如前所述，手势追踪是否在依赖表象加工的认知任务上作用更明显(Chu & Kita, 2011)？或者，手势追踪是否更能促进需要浅层认知加工的学习任务？对于第二个方面，可以考虑手势追踪是否在学习的初期阶段更能促进信息加工？事实上，关于认知负荷效应的研究已表明，针对初学者进行的有效教学设计，随着学习者先行知识的增加会变得无效(Kalyuga, 2007)，亦即存在专长逆转效应(Expertise reversal effect)。那么，这是否意味着对初学者有效的学习策略，包括手势追踪，会随着学习者专业知识的增加而成为冗余信息，给工作记忆带来不必要的负担(Sweller, Merriënboer, & Paas, 2019)，进而削弱手势追踪的效果呢(Agostinho et al, 2015)？对于第三个方面，我们则需要重点开展一些针对智力发展迟滞儿童或阅读障碍的儿童的实证研究，并把这些儿童使用手势追踪的效果与正常儿童作以对比。

其二，手势追踪效应发生的潜在心理机制究竟是怎样的？尽管当前的认知负荷理论、具身认知和ICAP理论对于这种效应都能作出一定的解释，但是对于其背后的复杂心理机制，这些理论的解释可能还不够充分。从学习的元认知策略角度来看，在学习过程中，手势追踪是否会对学习者的元认知产生影响从而影响学习效果呢？比如，与无手势追踪相比，使用手势追踪的个体可能会有更高地自我监控水平？此外，从学习的动机角度考虑，手势追踪过程是否会对学习者的学习动机产生影响呢？比如，在学习过程中，与无手势追踪相比，自我手势追踪或者观看手势追踪会激发学习者更高的兴趣水平，从而提升学习效果？当前手势追踪的相关研究还未涉及这些问题，因此，未来的研究需要从这些方面考虑，进一步深入探索手势追踪效应的潜在心理机制。

其三，在借助电子媒介的学习中，手势追踪效应是否存在？目前，关于手势追踪效应的研究大多是借助于被试与纸质学习材料的交互而进行的，而关于手势追踪效应是否适用于与其他学习界面的交互的研究还较少。Agostinho等人(2015)的研究初步探讨了手势追踪对于借助平板电脑上学习科学知识的影响，发现如在纸质学习材料上一样，手势追踪可以提升学习者的测试成绩。然而，目前关于手势追踪能否推广至与其他学习界面的交互(如笔记本电脑、交互式白板)上还不清楚。鉴于多媒体信息技术越来越多地被应用于课堂和学生的日常学习中，充分地探讨在普通电脑、电子白板等学习工具上进行手势追踪的效果，目前就显得尤为必要。

最后，在实际教育情境中如何引导学生有效地利用手势追踪效应？在手势追踪效应的实验室研究中会严格地控制实验条件。譬如在学习过程中，研究者会指导手势组被试通过利用手势来帮助学习，而无手势组被试则需要保证在学习过程中不做任何手势(Ginns, Hu, Byrne, & Bobis, 2016; Korbach, Ginns, Brünken, & Park, 2019)，以求获得组间差异的最大化。这种对内部效度的关注是以牺牲生态效度为代价的，因而在严格实验控制下得到的手势追踪效应在多大程度上能够推广到真实的学习情境，还需要进一步探讨。未来研究应考虑在课堂情境下，探讨以何种形式指导学生进行手势追踪、学生以何种手势追踪最能促进其学习。此外，还应注意探讨不同的手势追踪在不同学科学习中的效应差异。

致谢

感谢庞老师和林老师在写作过程中的悉心指导与详细意见。

文章引用

左跟梅,林立甲,庞维国. 手势追踪效应及其理论解释
The Tracing Effect and Its Theoretical Explanations[J]. 心理学进展, 2021, 11(09): 2119-2128. https://doi.org/10.12677/AP.2021.119240

参考文献

  1. 1. Agostinho, S., Tindall-Ford, S., Ginns, P., Howard, S. J., Leahy, W., & Paas, F. (2015). Giving Learning a Helping Hand: Finger Tracing of Temperature Graphs on an iPad. Educational Psychology Review, 27, 427-443. https://doi.org/10.1007/s10648-015-9315-5

  2. 2. Alibali, M. W., & DiRusso, A. A. (1999). The Function of Gesture in Learning to Count: More than Keeping Track. Cognitive Development, 14, 37-56. https://doi.org/10.1016/S0885-2014(99)80017-3

  3. 3. Alibali, M. W., Kita, S., & Young, A. J. (2000). Gesture and the Process of Speech Production: We Think, Therefore We Gesture. Language and Cognitive Processes, 15, 593-613. https://doi.org/10.1080/016909600750040571

  4. 4. Bara, F., Gentaz, E., & Colé, P. (2007). Haptics in Learning to Read with Children from Low Socio-Economic Status Families. British Journal of Developmental Psychology, 25, 643-663. https://doi.org/10.1348/026151007X186643

  5. 5. Bara, F., Gentaz, E., Colé, P., & Sprenger-Charolles, L. (2004). The Visuo-Haptic and Haptic Exploration of Letters Increases the Kindergarten-Children’s Understanding of the Alphabetic Principle. Cognitive Development, 19, 433-449. https://doi.org/10.1016/j.cogdev.2004.05.003

  6. 6. Barsalou, L. W. (2008). Grounded Cognition. Annual Review of Psychology, 59, 617-645. https://doi.org/10.1146/annurev.psych.59.103006.093639

  7. 7. Chi, M. T. H., & Wylie, R. (2014). The ICAP Framework: Linking Cognitive Engagement to Active Learning Outcomes. Educational Psychologist, 49, 219-243. https://doi.org/10.1080/00461520.2014.965823

  8. 8. Chi, M. T. H., Adams, J., Bogusch, E. B., Bruchok, C., Kang, S., Lancaster, M., Levy, R., Li, N., McEldoon, K. L., Stump, G. S., Wylie, R., Xu, D., & Yaghmourian, D. L. (2018). Translating the ICAP Theory of Cognitive Engagement into Practice. Cognitive Science, 42, 1777-1832. https://doi.org/10.1111/cogs.12626

  9. 9. Chu, M., & Kita, S. (2011). The Nature of Gestures’ Beneficial Role in Spatial Problem Solving. Journal of Experimental Psychology: General, 140, 102-116. https://doi.org/10.1037/a0021790

  10. 10. Cook, S. W., Duffy, R. G., & Fenn, K. M. (2013). Consolidation and Transfer of Learning after Observing Hand Gesture. Child Development, 84, 1863-1871. https://doi.org/10.1111/cdev.12097

  11. 11. Cosman, J. D., & Vecera, S. P. (2010). Attention Affects Visual Perceptual Processingnear the Hand. Psychological Science, 21, 1254-1258. https://doi.org/10.1177/0956797610380697

  12. 12. De Koning, B. B., & Tabbers, H. K. (2013). Gestures in Instructional Animations: A Helping Hand to Understanding Non-Human Movements? Applied Cognitive Psychology, 27, 683-689. https://doi.org/10.1002/acp.2937

  13. 13. De Koning, B. B., Tabbers, H. K., Rikers, R. M. J. P., & Paas, F. (2010). Learning by Generating vs. Receiving Instructional Explanations: Two Approaches to Enhance Attention Cueing in Animations. Computers & Education, 55, 681-691. https://doi.org/10.1016/j.compedu.2010.02.027

  14. 14. Du, X., & Zhang, Q. (2019). Tracing Worked Examples: Effects on Learning in Geometry. Educational Psychology, 39, 169-187. https://doi.org/10.1080/01443410.2018.1536256

  15. 15. Ehrlich, S. B., Levine, S., & Goldin-Meadow, S. (2006). The Importance of Children’s Spatial Reasoning. Developmental Psychology, 42, 1259-1268. https://doi.org/10.1037/0012-1649.42.6.1259

  16. 16. Fernald, G. M. (1943). Remedial Techniques in Basic School Subjects. McGraw Hill.

  17. 17. Fernald, G. M., & Keller, H. (1921). The Effect of Kinesthetic Factors in Development of Word Recognition in the Case of Non-Readers. Journal of Educational Research, 4, 355-377. https://doi.org/10.1080/00220671.1921.10879216

  18. 18. Ginns, P., & Kydd, A. (2019). Learning Human Physiology by Pointing and Tracing: A Cognitive Load Approach. In S. Agostinho, S. Tindall-Ford, & J. Sweller (Eds.), Advances in Cognitive Load Theory (pp. 119-129). Routledge. https://doi.org/10.4324/9780429283895-10

  19. 19. Ginns, P., Hu, F., & Bobis, J. (2020). Tracing Enhances Prob-lem-Solving Transfer, But without Effects on Intrinsic or Extraneous Cognitive Load. Applied Cognitive Psychology, 34, 1522-1529. https://doi.org/10.1002/acp.3732

  20. 20. Ginns, P., Hu, F., Byrne, E., & Bobis, J. (2016). Learning by Tracing Worked Examples. Applied Cognitive Psychology, 30, 160-169. https://doi.org/10.1002/acp.3171

  21. 21. Glenberg, A. M. (1997). What Memory Is for. The Behavioral and Brain Sciences, 2, 1-55. https://doi.org/10.1017/S0140525X97000010

  22. 22. Glenberg, A. M., Witt, J. K., & Metcalfe, J. (2013). From the Revolution to Embodiment: 25 Years of Cognitive Psychology. Perspectives on Psychological Science, 8, 573-585. https://doi.org/10.1177/1745691613498098

  23. 23. Hu, F. T., Ginns, P., & Bobis, J. (2014). Does Tracing Worked Examples Enhance Geometry Learning?. Australian Journal of Educational and Developmental Psychology, 14, 45-49.

  24. 24. Hu, F. T., Ginns, P., & Bobis, J. (2015). Getting the Point: Tracing Worked Examples Enhances Learning. Learning and Instruction, 35, 85-93. https://doi.org/10.1016/j.learninstruc.2014.10.002

  25. 25. Hulme, C. (1979). The Interaction of Visual and Motor Memory for Graphic Forms Following Tracing. The Quarterly Journal of Experimental Psychology, 31, 249-261. https://doi.org/10.1080/14640747908400724

  26. 26. Hulme, C. (1981). The Effects of Manual Tracing on Memory in Normal and Retarded Readers: Some Implications for Multi-Sensory Teaching. Psychological Research, 43, 179-191. https://doi.org/10.1007/BF00309828

  27. 27. Hulme, C., Monk, A., & Ives, S. (1987). Some Experimental Studies of Multi-Sensory Teaching: The Effects of Manual Tracing on Children’s Paired-Associate Learning. British Journal of Developmental Psychology, 5, 299-307. https://doi.org/10.1111/j.2044-835X.1987.tb01066.x

  28. 28. Kalenine, S., Pinet, L., & Gentaz, E. (2011). The Visual and Visuo-Haptic Exploration of Geometrical Shapes Increases Their Recognition in Preschoolers. International Journal of Behavioral Development, 35, 18-26. https://doi.org/10.1177/0165025410367443

  29. 29. Kalyuga, S. (2007). Expertise Reversal Effect and Its Implications for Learner-Tailored Instruction. Educational Psychology Review, 19, 509-539. https://doi.org/10.1007/s10648-007-9054-3

  30. 30. Korbach, A., Ginns, P., Brünken, R., & Park, B. (2020). Should Learners Use Their Hands for Learning? Results from an Eye-Tracking Study. Journal of Computer Assisted Learning, 36, 102-113. https://doi.org/10.1111/jcal.12396

  31. 31. Lakoff, G., & Johnson, M. (1999). Philosophy in the Fresh—The Embodied Mind and Its Challenge to Western Thought. Basic Books.

  32. 32. Lin, L., & Atkinson, R. K. (2011). Using Animations and Visual Cueing to Support Learning of Scientific Concepts and Processes. Computers & Education, 56, 650-658. https://doi.org/10.1016/j.compedu.2010.10.007

  33. 33. Lin, L., Atkinson, R. K., Savenye, W. C., & Nelson, B. C. (2016). Effects of Visual Cues and Self-Explanation Prompts: Empirical Evidence in a Multimedia Environment. Interactive Learning Environments, 24, 799-813. https://doi.org/10.1080/10494820.2014.924531

  34. 34. Lindgren, R., & Johnson-Glenberg, M. (2013). Emboldened by Embodiment: Six Precepts for Research on Embodied Learning and Mixed Reality. Educational Researcher, 42, 445-452. https://doi.org/10.3102/0013189X13511661

  35. 35. Liszkowski, U., Brown, P., Callaghan, T., Takada, A., & de Vos, C. (2012). A Prelinguistic Gestural Universal of Human Communication. Cognitive Science, 36, 698-713. https://doi.org/10.1111/j.1551-6709.2011.01228.x

  36. 36. Macken, L., & Ginns, P. (2014). Pointing and Tracing Gestures May Enhance Anatomy and Physiology Learning. Medical Teacher, 36, 596-601. https://doi.org/10.3109/0142159X.2014.899684

  37. 37. Marstaller, L., & Burianová, H. (2013). Individual Differences in the Gesture Effect on Working Memory. Psychonomic Bulletin & Review, 20, 496-500. https://doi.org/10.3758/s13423-012-0365-0

  38. 38. McNeill, D. (1992). Hand and Mind: What Gestures Reveal about Thought. The University of Chicago Press.

  39. 39. Montessori, M. (1912). The Montessori Method. W. Heine-mann.

  40. 40. Novack, M., & Goldin-Meadow, S. (2015). Learning from Gesture: How Our Hands Change Our Minds. Educational Psychology Review, 27, 405-412. https://doi.org/10.1007/s10648-015-9325-3

  41. 41. Ouwehand, K., van Gog, T., & Paas, F. (2015). Designing Effective Video-Based Modeling Examples Using Gaze and Gesture Cues. Journal of Educational Technology & Society, 18, 78-88.

  42. 42. Piaget, J. (1997). The Principes of Genetic Epistemology (Wang Xiandian, Trans., p. 16). The Presses Universitaires de France Press. (Original Work Published 1970)

  43. 43. Ping, R., & Goldin-Meadow, S. (2010). Gesturing Saves Cognitive Resources When Talking about Nonpresent Objects. Cognitive Science, 34, 602-619. https://doi.org/10.1111/j.1551-6709.2010.01102.x

  44. 44. Post, L. S., van Gog, T., Paas, F., & Zwaan, R. A. (2013). Effects of Simultaneously Observing and Making Gestures While Studying Grammar Animations on Cognitive Load and Learning. Computers in Human Behavior, 29, 1450-1455. https://doi.org/10.1016/j.chb.2013.01.005

  45. 45. Singer, M. A., & Goldin-Meadow, S. (2005). Children Learn When Their Teachers’ Gestures and Speech Differ. Psychological Science, 16, 85-89. https://doi.org/10.1111/j.0956-7976.2005.00786.x

  46. 46. Sweller, J., Ayres, P., & Kalyuga, S. (2011). Cognitive Load Theory. Springer. https://doi.org/10.1007/978-1-4419-8126-4

  47. 47. Sweller, J., van Merriënboer, J. J. G., & Paas, F. (2019). Cognitive Architecture and Instructional Design: 20 Years Later. Educational Psychology Review, 31, 261-292. https://doi.org/10.1007/s10648-019-09465-5

  48. 48. Tang, M., Ginns, P., & Jacobson, M. J. (2019). Tracing Enhances Recall and Transfer of Knowledge of the Water Cycle. Educational Psychology Review, 31, 439-455. https://doi.org/10.1007/s10648-019-09466-4

  49. 49. Wilson, M. (2002). Six Views of Embodied Cognition. Psychonomic Bulletin & Review, 9, 625-636. https://doi.org/10.3758/BF03196322

  50. 50. Yeo, L., & Tzeng, Y. (2019). Tracing Effect in the Worked Exam-ples-Based Learning: An Exploration of Individual Differences in Working Memory Capacity. Eurasia Journal of Mathematics, Science & Technology Education, 15, 1-11. https://doi.org/10.29333/ejmste/105482

  51. 51. Yeo, L., & Tzeng, Y. (2020). Cognitive Effect of Tracing Gesture in the Learning from Mathematics Worked Examples. International Journal of Science and Mathematics Education, 18, 733-751. https://doi.org/10.1007/s10763-019-09987-y

  52. 52. Zhang, H., Lin, L., Zhan, Y., & Ren, Y. (2016). The Impact of Teaching Presence on Online Engagement Behaviors. Journal of Educational Computing Research, 54, 887-900. https://doi.org/10.1177/0735633116648171

    53. NOTES

    *通讯作者。

期刊菜单