 Advances in Psychology 心理学进展, 2012, 2, 250-255 http://dx.doi.org/10.12677/ap.2012.25039 Published Online November 2012 (http://www.hanspub.org/journal/ap.html) Illustration Effect in the Text Reading Jianpeng Zhang, Shouxin Li Department of Psychology, Shandong Normal University, Ji’nan Email: zhjp_86@sian.com Received: Sep. 23rd, 2012; revised: Oct. 5th, 2012; accep t e d : Oct. 16th, 2012 Abstract: Illustration Effect refers to the psychological role of illustration on the learner, including the role of the cognitive aspects of memory, understanding, and problem solving, also including attention, interest, and emotional aspects of the role of non-cognitive. Early as the 1930s some researchers began empirical study of the illustration effect; so far a lot of researches investigated illustration effect from a different per- spective. Classifications of the illustrations, the theory of the illustration effect, influencing factors were re- viewed in this article. Finally, ten principles of the illustrations using were summarized, and some thoughts on the study of illustrations were propo s ed. Keywords: Illustration; Illustration Effect; Graphic Material 文本阅读中的插图效应 张建鹏，李寿欣 山东师范大学心理学院，济南 Email: zhjp_86@sian.com 收稿日期：2012 年9月23 日；修回日期：2012 年10 月5日；录用日期：2012 年10 月16 日 摘 要：插图效应是指插图对学习者所起到的心理作用，包括记忆、理解、问题解决等认知方面的作 用，也包括注意、兴趣、情感等非认知作用。早在 20 世纪 30 年代一些研究者就开始了对插图效应的 实证研究，到目前为止已有大量的研究从不同的角度对插图效应进行了考察。本文对插图的分类、插 图效应的相关理论、插图效应的影响因素进行了综述，总结出了插图使用的十条原则，提出了未来关 于插图研究的几点思考。 关键词：插图；插图效应；图文材料 1. 引言 插图也称为插画，是插在文字中间有助于对文字 内容进行解释、组织、记忆、表征或提供背景信息的 图像。通常我们把这种图像和文字相结合的阅读材料 称为图文材料，在图文材料的阅读过程中，人脑不仅 要对文字进行加工，同时要对文字和图像进行加工整 合。材料中的图像和文字只有按一定的内在联系有机 结合在一起，才能使读者根据已有的信息建构自身的 内部心理表征并获取一定的心理意义。过去有关插图 的研究重在探讨插图对文本阅读结果(Reading Prod- uct)的作用，以及插图的分类、插图效应的影响因素。 近几年，人们开始关注个体对图文材料即时加工 (Online Process)的心理过程，并对插图效应的机制进 行了初步的探讨。 2. 插图的分类 依据插图的功能，可把插图分为表征型插图、组 织型插图、解释型插图和转换 型插图 (Levin, 1987)。 Copyright © 2012 Hanspub 250  文本阅读中的插图效应 在过去几十年里，有大量的实证研究考察了这四种类 型的插图对文本阅读的影响。 2.1. 表征型插图 表征型插图是指穿插在文本中反映了文本部分 或全部内容的图像，是较为常用的一种插图，如在哈 利波特的故事书中一幅准确的描述了某一场景的图 片。David(1998)考察了表征型插图对叙述文学习的影 响。他让大学生被试阅读 30 篇关于名人的新闻故事， 其中的一半有插图，一半没有插图，结果发现被试对 有插图的故事回忆成绩好于没插图的，在具体的故事 中配上插图效果要好于给抽象的故事配上插图。 Rubman 和Waters(2000)让三年级和六年级的学生在 阅读的同时，完成一个表征型插图建构任务，即用人 物贴画和背景物体建构出故事中的场景，结果发现， 故事场景的建构提高了故事的回忆成绩；那些为故事 建构了插图的被试更容易发现隐藏在故事中的不一 致的地方，表现出了更高的理解监控能力。 2.2. 组织型插图 组织型插图是指穿插在文本中为文本内容的理 解提供了有益结构框架的图像，如一幅描述了心肺复 苏术一系列步骤的图片。Betrancourt 和Bisseret(1998) 考察了不同方式呈现的组织型插图对文本阅读的影 响，他使用计算机给被试呈现文本和插图，设定了三 种实验条件：一种是插图和文本分开呈现(分离呈现)； 一种是插图和文本相邻近呈现(整合呈现)；一种是插 图弹出式呈现(当被试按某个键时插图才会出现)(整 合呈现)。结果发现，整合的呈现方式比分离式的呈现 更能促进学习效果，在整合条件下，被试对学习过的 东西的记忆提取更为容易。Betrancourt 和Bisseret 认 为整合呈现可帮助被试在心里对两种信息进行整合， 避免在两次呈现中分散注意，因此需要更少的认知资 源，留出更多的工作记忆来进行学习，他们的这种解 释与其他关于整合的组织型插图在学习科学和数学 的概念和技能方面作用的研究结果是吻合的(Marcus et al., 1996)。 2.3. 解释型插图 解释型插图是指穿插在文本中有助于澄清文本 中较难理解内容的图像，如一幅通过水泵系统说明血 压原理的图片。科技说明文中往往会配有解释型插 图，目前关于解释型插图的研究数量较多。Mayer 和 Gallini(1990)发现解释型插图可以提高学习者对概念 的记忆和问题的解决。Balluerka(1995)比较了文本大 纲和解释型插图两种辅助条件对被试学习一篇关于 复印过程的说明文的作用，发现解释型插图对文本理 解的作用要好于文本大纲的辅助条件。Reid 和 Beveridge(1990)通过眼动技术考察了解释型插图作用 于文本的原理，发现文章越难被试注视插图的次数越 多，且学习成绩差的被试相比学习成绩好的被试花更 多的时间注视插图。 2.4. 转换型插图 转换型插图也叫助记插图，是指穿插在文本中包 含了系统的助记符号、旨在提高读者对文本内容记忆 效果的图像，如幼儿教材中将一些复杂英文单词形象 化的图片。Dretzke(1993)考察了转换型插图对青年人， 中年人，老年人文本学习中知识记忆的影响，结果发 现转换型插图只对青年人和中年人的记忆起到了促 进作用。Atkinson 等(1999)考察了文本行列矩阵结构、 助记插图以及他们的组合(助记矩阵)对文本学习的影 响。结果显示助记插图和助记矩阵对记忆的促进作用 要比传统的那些需要对先前学习过的事实进行组织、 操作的记忆矩阵更好，他们认为能够随时获取信息的 助记插图更有助于学生获得高阶概念和技能。 3. 关于插图效应的理论 随着研究的深入，研究者们对文本阅读中插图作 用的认识也越来越深入，但对插图的作用机制仍未形 成统一的认识，尤其是对插图作用的有效性、插图对 个体阅读中认知负荷的影响存在着激烈的争论。目 前，主要有六种关于插图效应的理论。 3.1. 简单重复说 简单重复说认为，插图的作用在于给读者提供了 第二次学习的机会，从而提高了他们理解和记忆的效 果。但 Levin 和Bender(1976)的研究证明插图的作用 不仅仅是学习内容的简单重复，而可能是提供了新的 信息(杨震，2003)；McCrudden，Magliano 和Schraw Copyright © 2012 Hanspub 251  文本阅读中的插图效应 (2011)也证明文本内容的重复呈现对图文材料即时加 工的影响是和插图的呈现不同的。 3.2. 动机说 动机说认为，插图效应的产生是由于插图本身所 独有的视觉表象性特点，引起读者对内容的兴趣，激 发他们的阅读动机，促进积极思维，从而使读者花更 多时间与精力去学习阅读材料，更深入持久、努力地 去对其进行语义加工(Peeck, 1993)。这一观点具有一 定的说服力，但不能对插图效应的机制做更深层次的 阐释。 3.3. 注意聚焦说 注意聚焦说认为，阅读是依赖于词汇信息的刺 激，额外的插图线索分散了学生阅读课文词汇的注意 力。尤其是对于不熟练的读者或学习困难的儿童，由 于他们更容易受分心刺激的干扰，注意更易分散，而 插图呈现要求儿童注意额外刺激，也就增加了把注意 分配给无关或额外刺激的可能性，使得学生在阅读中 造成理解错误(Samuels, 1970)。但七八十年代关于插 图效应的实证研究都证明精心设计的插图能够促进 与文本阅读相关的多种认知结果(Carney & Levin, 2002)。 3.4. 双重激活说 双重激活说认为，读者对插图和文本各建立了一 个心理表征，对插图的心理表征和文本的心理表征之 间存在相当部分的重叠，插图的心理表征阐明了文本 各部分之间的潜在关系。当读者理解文本的某个与插 图表征相一致的句子时，该部分在工作记忆中就能得 到双重的激活，从而促进了文本的阅读效果(Glenberg & Langston, 1992)。双重激活说是目前研究者普遍比 较认可的，争论比较少的一个观点。 3.5. 认知负荷理论 认知负荷理论认为，信息经过加工通道进行加 工，但是每个通道的加工数量是有限的。所以，工作 记忆贮存和加工的限度影响着人们的学习能力。在任 何时间，工作记忆只能加工部分信息单元，过多的单 元会减弱加工效果，从而加重工作记忆的负荷。根据 认知负荷理论，插图可能会增加读者额外的认知负 荷，从而干扰了认知加工，降低了学习和阅读的效率 (Sweller, 1998; Torcasio & Sweller, 2009; Berends et al., 2009)。关于插图是否会增加学习者认知负荷的问题是 目前插图研究领域争论比较激烈的一个热点问题， Mccrudden 等(2011)的研究以及 Carlson，Chandler 和 Sweller(2003)的研究都证实插图促进了文本的阅读， 但不会增加学习者的认知负荷。 3.6. 双通道模型理论 双通道模型理论主要有四个假设：第一，学习者 在学习时通过至少两种不同的信息加工通道加工信 息，比如听觉通道和视觉通道，而工作记忆理论中， 工作记忆包括听觉工作记忆和视觉工作记忆，与工作 记忆理论相比，这两种通道的功能分别与语音回路、 视空间略图类似；第二，每个通道都有一定容量限制； 第三，每个通道的认知加工过程是一个选择、组织和 结合信息的过程，该加工过程主要包括：选择相关材 料，把所选的材料组织成为一种连贯的表达形式，结 合言语的和视觉的表达形式；第四，只有当言语和图 像信息同时呈现在工作记忆中时，两种通道才能建立 联系(Paivio, 1986; Baddeley, 1986)。根据该理论，视 觉呈现的信息在视觉工作记忆中加工，听觉呈现的信 息在听觉工作记忆中进行加工。因此，在阅读文章时， 文字信息首先在视觉工作记忆中呈现，然后再在听觉 工作记忆中被转换，当被转换的声音与呈现的视觉图 形同时在阅读者的两种工作记忆中出现时，读者可以 更好的把图形和声音整合起来。Mayer(2001)发现让学 生学习由画面和解说组成的多媒体材料比学习由画 面和字幕组成的多媒体材料的效果更好。 以上理论从不同的角度对插图效应的机制进行 了解释，但由于个体对图文材料的加工过程涉及到了 人脑一系列复杂的认知活动，加之以往的研究更多是 侧重于对图文材料学习结果和记忆(Offline Process)的 研究，因此没有一个理论能够对插图效应的机制进行 全面的阐述。 4. 影响插图效应的因素 在过去几十年里，有大量的实证研究从阅读的材 料因素、图文相关度、插图自身因素及学习者特征等 Copyright © 2012 Hanspub 252  文本阅读中的插图效应 方面考察了插图对文本阅读的影响。 4.1. 材料因素 材料的难度影响插图效应，阅读过程中，插图的 作用会随着课文难度的改变而改变。当课文难度大 时，学生会更加注意插图，插图的积极作用就会更加 明显(Griffiths, 1987)；文章的体裁也影响插图效应， Levin 和Berry(1980)以儿童为被试，让他们学习口语 散文和书面散文，结果发现，插图促进了儿童对于口 语散文的学习并且有助于学习由新闻故事改编成的 说明性散文。 4.2. 图文相关度 图文相关度是影响阅读理解的一个重要因素。早 在1943年Halbert 在其研究中就发现有图故事比无图 故事的优越性随着图文相关度的提高而提高。陈红香 等(1997)对小学生阅读理解中插图效应的研究也表 明，图文相关度越高，插图对小学生阅读理解的影响 就越大。Berends 等(2009)对小学生四则运算中的插图 效应进行了研究，发现对运算能力低的学生来说，其 答案的准确性随着插图和题目相关度的提高而提高。 McCrudden 等(2011)发现，文本中与插图相关的句子 受插图的影响大，与插图无关的句子受插图影响小。 4.3. 插图自身因素 有研究发现插图效应的大小受插图颜色、插图的 呈现位置、插图的呈现时间、插图复杂度等因素的影 响。邓春暖考察了彩色插图和黑白插图对文本阅读的 影响，结果发现，彩色插图更能促进学生的阅读；插 图位于文章的右面时，被试对文章的阅读成绩要好于 插图位于文章的其他位置(邓春暖，2006)。图文同时 呈现时的阅读成绩优于图文继时呈现时(张弘毅， 2010)。相比详细的插图，简化的插图更能促进文本的 理解和记忆(Butcher, 2006)。 4.4. 学习者的特征 学习者自身的特征对插图效应的大小也有一定 的影响。相比阅读能力高的个体，插图对于阅读能力 低的个体帮助更大(Levin, 1982)，Levin 认为阅读能力 低的学习者仅根据文章的内容无法建立合适的心理 表征，而在插图的帮助下这种能力就会明显的提高； 相比年轻人，老年人对插图以及与插图相关的短语的 注视时间更长，且老年人很难把插图与文字整合起来 (Liu, Kemper, & McDowd, 2009)；插图能更好的促进 场依存型大学生对文本的理解(崔爱珍，2011)。 5. 插图使用的原则 关于插图的使用原则，也有大量的研究进行了探 讨(Levin et al., 1987; Mayer, 2001; Carney & Levin, 2002)。在他们研究的基础上，我们结合最近几年的研 究总结出了插图使用的十条原则： 5.1. 空间接近原则 插图和文本在空间上要尽量接近，书页或屏幕上 对应的词语与插图临近呈现比分离的呈现更能促进 学生的学习。 5.2. 时间接近原则 插图和文本在呈现时间上要尽量接近，相比继时 呈现，文本与插图同时呈现更能促进阅读的效果。 5.3. 图文一致原则 插图所表征的信息应与文本内容有重叠，插图应 该提供跟文本一致的或支持性的信息，尽量排除无关 的信息。 5.4. 多通道原则 视觉和听觉通道共用更有利于学习，学生学习由 画面和解说组成的多媒体材料比学习由画面和字幕 组成的多媒体材料的学习效果好。 5.5. 信息适量原则 呈现给学习者的信息要适量，并不是越多越好， 学生学习由画面加解说的呈现材料比学习由画面加 解说再加字幕组成的材料效果更好。 5.6. 个体差异原则 在使用插图时要考虑学习者的个体差异，在插图 对文本学习的促进作用上，知识水平低的学习者比知 识水平高的学习者更明显，空间能力高的学习者要好 Copyright © 2012 Hanspub 253  文本阅读中的插图效应 于空间能力低的学习者。 5.7. 选择性使用原则 一般来说，越复杂的文本越有可能在插图中受 益，尤其是对那些包含因果关系或复杂过程的文本， 最好使用解释型插图。而那些非常具体的、引人入胜 的文本(如，有趣的叙事段落)很容易引起读者的视觉 表征，则不需要使用插图。 5.8. 基本阅读技能原则 插图发挥作用的一个先决条件是读者应具备基 本的阅读技能，那些年幼的儿童或缺乏基本阅读技能 的人很难在插图中受益。 5.9. 表征建构原则 要使作为文本辅助工具的插图发挥最大的作用， 最好的方法就是让读者就插图完成一些能产生可控 结果的任务，如标出插图的特征或建构的过程，使学 习者对文本建构一个真实、深刻的表征。 5.10. 合理使用助记插图 在一些文本中应考虑使用具有特殊意义的助记 插图，教育工作者可以学习如何发展这种有创意的， 功能强大的助记插图。 6. 存在的问题及研究展望 随着科学技术的发展，插图的使用越来越广泛， 除各种印刷材料中大量使用插图外，网页设计、多媒 体教学中也常常用到插图。因此，对插图效应的研究 也越来越具有现实意义。通过对过去几十年中插图研 究的总结我们发现这一领域的研究仍存在以下三个 方面的不足： 一是有关插图对文本阅读的作用性质问题还存 在争议。持认知负荷观点和注意聚焦说的学者认为插 图会干扰文本的阅读；其它研究者则认为插图作为文 本阅读的辅助工具对阅读起到了明显的促进作用。 二是关于插图效应的机制尚不够明确。近年来对 图文材料即时加工过程的研究为揭示插图效应的机 制提供了重要的证据，但到目前为止仍没有一个能全 面阐述插图效应机制的理论体系。 三是有关插图类型和插图效应的个体差异方面 的研究不够深入。通过对插图效应影响因素相关研究 的总结，我们可以发现不同个体受插图的影响不同， 不同类型的插图对文本阅读的作用也不同。那么不同 年龄的阅读者、不同认知风格的阅读者会不会对插图 的需求有所不同呢？ 以上三个问题既是以往研究中的不足，也是未来 研究急需解决的问题，只有很好的解决了这些具体层 面的问题，有关插图研究的理论才能成为图文材料编 辑，网页、多媒体课件制作的有力指导工具。 7. 致谢 感谢四位审稿专家提出的建设性和中肯的修改 意见！感谢《心理学进展》编委会老师辛勤和富有成 效的工作！ 参考文献 (References) 陈红香, 张必隐(1997). 小学三、五年级学生阅读理解中插图效应 的研究. 心理科学, 5期, 464-465. 崔爱珍(2011). 不同认知方式大学生阅读过程中的插图效应. 山东 师范大学硕士论文, 济南. 邓春暖(2006). 不同场认知方式大学生图文阅读中的插图效应. 云 南师范大学硕士论文, 昆明. 沈德立, 陶云(2001). 初中生有无插图课文的眼动过程研究. 心理 科学, 4期, 385-388. 杨震(2003). 小学一年级语文标准实验教科书中课文插图评价研究. 辽宁师范大学硕士论文, 大连. 张弘毅(2010). 插图类型与呈现方式对不同认知风格初中生认知负 荷的影响. 河南大学硕士论文, 开封. Ainsworth, S., & Loizou, A. T. (2003). The effects of self-explaining when learning with text or diagrams. Cognitive Science, 27, 669- 681. Atkinson, R. K., Levin, J. R., Kiewra , K. A., Meyers, T., Kim, S., At- kinson, L. A., Renandya, W. A., & Hwang, Y. (1999). Matrix and mnemonic text-processing adjuncts: Comparing and combining their components. Journal of Educational Psychology, 91, 342-357. Baddeley, A. D. (1986). Working memory. Science, 255, 556-559. Balluerka, N. (1995). The influence of instructions, outlines, and illus- trations on the comprehension and recall of scientific texts. Con- temporary Educational Psychology, 20, 369-375. Berends, I. E., van Lieshout, & Ernest, C. D. M. (2009). The effect of illustrations in arithmetic problem-solving: Effects of increased cog- nitive load. Learning and Instruction, 19, 345-353. Betrancourt, M., & Bisseret, A. (1998). Integrating textual and pictorial information via pop-up windows: An experimental study. Behaviour and Information Te chnology, 17, 263-273. Beveridge, M., & Griffiths, V. (1987). The effect of pictures on the reading processes of less able readers: A miscue analysis approach. Journal of Research in Reading, 10, 29-42. Butcher, K. R. (2006). Learning from text with diagrams: Promoting metal model dev e lopment and infe rence generation. Journal of Educa- tional Psychology, 98, 182-197. Carlson, R., Chandler, P., & Sweller, J. (2003). Learning and under- standing science instructional material. Journal of Educational Psy- chology, 95, 2629-2640. Carney, R. N., & Levin, J. R. (2002). Pictorial illustrations still im- prove students’ learning from text. Educational Psychology Review, Copyright © 2012 Hanspub 254  文本阅读中的插图效应 Copyright © 2012 Hanspub 255 14, 5-26. David, P. (1998). News concreteness and visual-verbal association: Do news pictures narrow the recall gap between concrete and abstract news? Human Communication Research, 25, 180-201. Dretzke, B. J. (1993). Effects of pictorial mnemonic strategy usage on prose recall of young, middle-aged, and older adults. Educational Gerontology, 19, 489-502. Glenberg, A. M., & Langston, W. E. (1992). Comprehension of illus- trated text: Pictures help to build mental models. Journal of Memory and Language, 31, 129-151. Levin, J. R., Anglin, G. J., & Carney, R. N. (1987). On empirically validating functions of pictures in prose. In: D. M. Willows, & H. A. Houghton, (Eds.), The psychology of illustration: I. basic research (pp. 51-85). New York: Springer. Levin, J. R., & Berry, J. K. (1980). Children’s learning of all the news that's fit to picture. Educational Communication and Technology Journal, 28, 177-185. Levin, J. R., Divine-Hawkins, P., Kerst, S. M., & Guttmann, J. (1974). Individual differences in learning from pictures and words: The de- velopment and application of an instrument. Journal of Educational Psychology, 66, 296-303. Levin, J. R. (1982). Pictures as prose-learning devices. In: A. Flammer, & W. Kintsch, (Eds.), Discourse processing (pp. 412-444). Amster- dam: Nort h - Holland. Liu, C. J., Kemper, S., & McDowd, C. (2009). The use of illustration to improve older adults’ comprehension of health-related information: Is it helpful? Patient Education and Counseling, 76, 283-288. Marcus, N., Cooper, M., & Sweller, J. (1996). Understanding instruc- tions. Journal of Educational Psychology, 88, 49-63. Mayer, R. E., & Gallini, J. K. (1990). When is an illustration worth ten thousand words? Journal of Educational Psychology, 82, 715-726. Mayer, R. E. (2001). Multimedia learning. New York: Cambridge Uni- versity Press. McCrudden, M. T., Magliano, J. P., & Schraw, G. (2011). The Effect of diagrams on online reading processes and memory. Discourse Proc- esses, 48, 69-92. Paivio, A. (1986). Ment al repres ent ation s: A du al co ding approach. Oxford: Oxford University Press． Peeck, J. (1993). Increasing picture effects in learning from illustrated text. Learning and Instruction, 3, 227-238. Reid, D. J., & Beveridge, M. (1990). Reading illustrated science texts: A micro-computer investigation of children’s strategies. British Jour- nal of Educational Psychology, 60, 76-87. Rubman, C. N., & Waters, H. S. (2000). The role of reconstructive processes in children’s comprehension monitoring. Journal of Edu- cational Psychology, 92, 503-514. Samuels, S. J. (1970). Effects of pictures on learning to read, compre- hension and attitudes. Review of Educational Research, 40, 397-407. Sweller, J. (1998). Cognitive load during problem solving: Effect on leaning. Cognitive Science, 12, 257-285. Torcasio, S., & Sweller, J. (2010). The use of illustrations when learn- ing to re ad: A cognitive lo ad theory ap proach. Applied Cognitive Psy- chology, 24, 659-672. |