云南民族大学外国语学院，云南 昆明

收稿日期：2022年12月7日；录用日期：2023年2月10日；发布日期：2023年2月23日

摘要

本案例研究以多模态理论(社会符号学视角)为理论视阈，以问卷、采访及多模态话语分析为研究方法，探索将多模态引入大学英语教学教改所产生的影响、学生对多模态教改的态度及其多模态教学参与中体现出来的特征。研究发现，绝大部分学生肯定多模态对大学英语学习的积极作用，尤其是激发学习能动性及兴趣方面(97%同意)，学生的多模态意义创造作品展现出对图形、颜色等非文字模态的偏爱，即相比语言模态，展现出对非语言模态的较强的识读能力。也正是这些非语言模态赋予了学生在英语学习、使用时额外的意义输出渠道，让学生有效地参加到大学英语学习活动中，而不是如以往一般由于英语语用能力的不足而无法有效地参加到传统的、以英语语言模态为主的学习活动中。然而，如何有效将多模态所激发的教学优势与具体教学实践结合，仍需进一步探索。就如研究发现，部分学生肯定多模态之余，也困惑于此种创新教学模式是如何与提高自身英语能力挂钩的，这就需要教师深入地、充分地进行具体的多模态教学活动的设计与实施，以具体的教学任务为基点，有效地衔接宏观教改创新和微观教学实效。

关键词

多模态，大学英语，教学创新

A Case Study on Innovative Pedagogy of College English—From a Multimodal Perspective

Jie Liu

School of Foreign Languages, Yunnan Minzu University, Kunming Yunnan

Received: Dec. 7^th, 2022; accepted: Feb. 10^th, 2023; published: Feb. 23^rd, 2023

ABSTRACT

Drawing on multimodality theory from the perspective of social semiotics, the case study probes into how the introduction of multimodality may affect the reform of college English teaching, what attitudes toward such multimodal pedagogy are possibly held by students, and what characteristics may emerge during the pedagogical process. The study found that the majority of students agreed the positive role played by multimodality in learning college English, particularly in arousing learning agency and interest (97% agree). In students’ multimodal output, a preference to non- verbal modalities was detectable: Compared with verbal modality, these non-verbal counterparts show students’ higher-level literacy ability in their multiliteracy repertoire, which also enable them more channels to make meaning in learning English and engage in relevant learning activities rather than to be hindered from the conventional ones due to their inadequate English language proficiency. However, the further study on how to dovetail the pedagogical advantages from mulimodalities with specific pedagogical praixs is still required. Also as found by the study, some students, though embracing multimodality, were confused about how this innovative pedagogy can exactly promote their language proficiency, which calls for teachers’ engagement into deep and adequate multimodal pedagogical design and implementation, as well as teachers’ efforts to merge marco-innovation in pedagogy with micro-pedagogical effect on the basis on specific pedagogical tasks.

Keywords:Multimodality, College English, Pedagogical Innovation

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引文

当前，我国大学英语教学改革一直在迈步向前。总体来说，因为学生于初、中级学习阶段对英语语言技能的掌握正在逐步提升，因此其在高等教育阶段的英语学习诉求转而体现在专业特定领域的英语语用能力，如升学、论文撰写、职场英文演示等等。此种诉求的转换也正推动我国大学英语教改由语言技能型向专业知识型教学模式转变 [1] 。基于此种宏观诉求与导向，本研究在多模态理论视阈下，探讨、调查如何开展大学英语的创新教学，即探索在大学英语教学生态环境下，多模态理论指导下的特定教学手段对促进大学英语教学革新有何作用与启示。同时也旨在揭示学生于课堂多模态教学活动中及自身多模态产出中的能动性变化、学习活动兴趣关注点。

“模态”是指“利用具体的感知过程可以阐释的符号系统”，具体涵盖图像、书面及口头符号、手势、声音、气味、味道、接触等 [2] 。“多模态(multimodality)”这一学术概念于20世纪90年中期首次出现。虽然对该概念的学术定义探讨众说纷纭，但其基本定义范围在几大流派间基本达成了原则共识。此种共识意义上，“多模态”指交流和表达通过依靠包括语言在内的多种符号模态实现 [3] 。Kress [4] 指出，意义的来源既包括语言，也包括数字、图像、电子技术的二进制代码。因此，传统认知中，语言作为最重要甚至是唯一意义创造的符号资源这一看法被淡化了，正如Ferdinand de Saussure (1857~1913)所说，语言学实则为符号学(semiology)的分支，即对“意义为创造活动”的认知延伸到了更广袤、多维、多面的领域，人脑中的意义创造与外界复杂的现实更为贴合且共鸣。这一重大变化，也催生了许多创新性的跨学科领域，如视觉社会学(例如以摄影为研究模态)、视觉人类学(如研究人类服饰为模态)等等。这样的研究视角及理论，为人类以更深层次、更多面的角度审视意义创造活动提供了创新的研究范式和方法，成功地囊括了更大范围的意义创造活动。

就研究人类的意义创造活动而言，多模态理论的另一重大贡献在于：不同学科间的楚河汉界被淡化，而意义活动中的各模态共建得到了足够的强调，即意义创造活动是多种模态共同构建的结果，而不是只某种单一模态就能实现的 [5] 。如语言模态中的次级模态写作里的意义创造，是由文字模态与图片模态共建的；演讲模态中的意义创造则是由口语模态及手势模态共建的，离开上述任何一种次级模态，上一级模态的意义构建都是不完整的，这样的例子不胜枚举。

因此，多模态理论的基础和特征与如今倡导的现代化教育教学本质上是极其契合的。以多模态理论视阈审视大学英语教学，就是要强调在关注我国大学英语教学实情下，将师生间的教学互动视为一体的、多模态共建的意义创造活动，摈弃以往只关注英语语言模态构建意义的传统认知，从大学英语教学这一意义创造活动中的各模态互联性与共建性得出创新指导理论与教改启示。

1.1. 研究目标

本研究拟通过质性案例研究，探索、调查多模态理论指导下的创新大学英语教学模式，探索此种创新中学生在大学英语现实学习活动中的能动性和兴趣关注，探索学生在特定现实学习实践中的利益关注点。因此，本研究主要基于以下三个研究问题：

在大学英语教学中：

1) 多模态教学方式的引入对大学英语教学有着怎样的影响？

2) 学生对此种教学方式及要求持何种反馈与态度？有何主要关注点？

3) 在学生的多模态意义创造活动中，有什么值得注意的特征？

1.2. 研究意义

多模态理论所内含的特征和现代化技术支撑的“互联网 + 学习平台”非常契合，彼此间存在必然的呼应。因此一方面本研究可为深化构建现代化的“互联网+”大学英语教学平台，如翻转课堂等，提供不同理论视角的实证教改依据。同时，如本研究理论指导框架所述，本研究通过学生在大学英语教学环境下对多模态资源的选择使用，以探求其在英语学习这一意义创造活动背后的能动性及自身兴趣关注点。不同于以往对二语习得的动机研究，以学生产出实物作为其学习能动性的具体依托，可以让我们从更细化地、更具现实意义地、更直接地了解学生英语学习动机，知晓其在大学英语某个特定学习行为中的兴趣关注，而不是如以往一样只是从动机理论层面宏观探讨学生的语言习得行为。相较之下，此种微观化、实例化的讨论则更具现实教学意义。

另一方面，近年来，多模态理论已经经过大量的实证研究证明：多模态教育模式可以极大地激发学习者的主观能动性，促进学习者之间的互动式学习，促使学习者充分学习并熟悉现代化学习技术。同时，多模态和“互联网+”的极大契合性，有效地使学习及课堂延伸到学生的课外时间，使大学英语学习活动成为学生课余生活的有机部分，以技术平台支撑的方式自然融入到学生的生活中，极大地解决了大部分大学英语课堂教学学生基数大、课时相对紧张的问题。

2. 研究理论框架及相关研究

2.1. 理论框架

本研究选择以社会符号学(Social Semiotics)视角来诠释、分析多模态理论在大学英语环境下的使用。该视角结合了系统功能语言学与符号学，将多模态诠释为“一系列社会、文化形成的、各具自身优势的意义创造资源” [6] 。这一诠释主要强调了两个方面，一是多模态资源的社会文化性，即各种模态功能是外界历时变化赋予的，是时间维度赋予了这些功能动态变化的不同轨迹；二是各种模态具备自身独特的优势功能，这些功能在行为主体进行意义创造时必然发挥不同的作用。此诠释的基本着眼点与本研究中的研究目的和对象高度契合：大学英语教学中的多模态资源，是有其特定的时间发展轨迹的，是历时形成的而不是横截面式的。同时，各种资源的配比使用，在特定教学环境中优劣地位的确立，也是动态而多变的。除此之外，社会符号学视角下的多模态理论中强调的四个核心理论层面 [5] 也是本研究选择该视角的主要原因：1) 强调“驱动设计”(motivated design)，指信息“能指”(signifier)与“所指”(signified)间的恰当契合度；2) 强调“兴趣着眼点”(interest)，指形成表达者主体性的相关社会经历的即时浓缩体现；3) 强调表达者在使用多模态资源时的主体能动性和意愿，认为所有意义表达都由特定行为动机驱动的，不是随机的；4) 强调平常事物(如学生的作文)是研究多模态最佳的载体环境 [7] 。基于上述四个核心层面，以该视角下的多模态理论审视大学英语教学，就是要以学生于教学环境下的日常意义产出物为载体，探求此种意义产出行为背后的主体能动性，探求该产出物与目标教学内容间的契合度，探求学生在相关学习活动中意义产出时的利益关注点及是何种过往社会经历决定、诱发了该关注。

2.2. 相关研究

近几年来，我国大学英语教学教改从多模态理论角度出发，开展了较为充分的理论探讨和实证研究。一方面，多模态教学模式在大学英语教学中的可行性得到了极大的肯定，如田苗、王萌 [8] 发现结合动态视频、声音音乐、文字读写的教学模式是高度可行而有效的。另一方面，多模态大学英语教学模式的优势也得到了极大的肯定和验证：如王小梅，田艳 [9] 通过实证研究发现，该模式能较好地激发学生学习兴趣，提升其自主学习能力，并取得了较好的教学效果。再如张点 [10] 以《新视野大学英语读写教程》第二册第四单元Section A为例，结合“翻转课堂”和多模态大学英语读写教学模式展开实证研究，最终发现两者能有效结合，且多模态教学较好地驱动了学生对教学的积极参与度。宋庆伟 [11] 通过定性加定量的混合研究范式，以山东某高校开展了实证研究，探讨了多模态大学英语教学模式下学生的多元读写能力培养，发现相比传统教学方式，多模态模式更符合大学英语教学特点，具备更多教学优势，且具有较大推广价值。李宝宏、尹丕安 [12] 也开展了相似的实证研究，发现多模态教学模式摆脱了传统教学模式的束缚，使学生通过灵活多样地学习，最终习得了英语知识技能、跨文化学术交流能力及有效培养了其文化素养。

3. 研究与研究方法

3.1. 研究实施与研究对象

具体而言，本研究以社会符号学视角下的多模态理论为理论框架指导，一方面摒弃单一基于文本信息的学习输入及输出模式，提倡结合多模态(图片、音乐、动画、行动等)学习的输入输出模式，另一方面把多模态和现代化教育技术(网络慕课，教材配套学习平台，多媒体设备等)有机结合，构建现代化的“互联网+”大学英语课堂教学。研究抽取特定大学的两个大学英语本科教学班(大二，课程名为“大学英语读写2”，教材为上海外语教育出版社出版的《全新版大学英语综合教程2》分别为实验组和控制组。

本研究开展于实验组，研究实施主要分为教学前、教学中、教学后三个阶段。

教学前：引导学生利用慕课、U校园、随行课堂等网络平台，结合教材增加多模态输入，如结合《全新版大学英语综合教程2》各单元的主题教学内容，要求学生不仅限于关注教材配套网络学习平台的文字资源，更要关注对应的主题视频、课文朗读音频、背景知识中的图片及介绍等等，并在课堂中适时收取学生对各模态输入的及时反馈。

教学中：为学生选择与教学主题相关的、能够延伸思维能力的视频、音频、图片等多模态资源，给学生提供多样的多模态学习资源输入。同时，在兼顾教学效率与进度的同时，要求学生完成相应的多模态产出活动，如根据教学内容，要求学生自主设计相关的图画、视频、甚至是短剧扮演，为学生提供多样的多模态选择来输出语言学习的成果。以多模态的介入给学生提供多样化的语言学习接入渠道，以学生为中心，教师为引导者和答疑者，对目标教学内容进行多层次学习。

教学后：以“教师评判 + 同伴互评”设立初步的多模态评价机制，鼓励学生使用教材配套网络平台、互联网学习平台等多模态手段呈现自己的学习成果，及时收集学生反馈改进多模态教学资源配置及设计、应用。

3.2. 研究方法

本研究采用了四种研究方法：一、文献分析，通过分析收集多模态实证研究的成果，参考此类研究的实施与发现，总结着眼于大学英语教学的多模态理论、实证契合点。二、实证案例研究与多模态文本分析，在研究实施后，收集抽样教学单元学生多模态产出，并依据研究理论框架进行多模态文本分析。三、问卷，在研究开始前和研究结束后分别对实验组进行两次问卷调查，问卷设计基于里克特量表(5级：非常同意、同意、一般、不同意、完全不同意)，旨在增大样本数量，从更大范围获取学生对此教改方式的基本反馈，如态度、实效等。第一次问卷于研究实施前，首先用通俗易懂的语言先向学生介绍什么是多模态教学，之后再让学生完成问卷，旨在先期观察学生对此教学方式改革的预期情况；第二次问卷于研究实施后，旨在与第一次结果对比，从而得出学生对此种教改方式的情感认知变化。四、焦点小组采访，选择实验班中的学生(4名非英专本科生)为小组采访对象，在每学期结束时对其进行深度采访并收集数据。目在于收集学生对特定多模态教学活动的细节反馈，如对某项活动参与中的思维参与过程再现、变化轨迹等。又如学生在自己多模态作品中的意义和不同资源选择，学生对于问卷中同学对多模态教改方式态度变化的个人看法与解释等。

4. 数据收集

研究实施者成功完成了绝大部分研究实施：成功引导学生完成教材配套网络平台多模态资源的学习，成功完成课堂教学中多模态教学活动的看展与成果收集，但部分时段由于受疫情影响采用线上教学，故多模态教学活动主要依靠图片、音、视频开展，削减了线下短剧扮演等教学活动。首先，学生在教师所提供的多模态输出选择(图片、音频、视频)中，绝大部分学生选择图片，一位学生选择视屏，一位选择视屏配音频。其次，四位采访对象也完成了两次采访，每次采访持续约半小时。再次，60人实验组学生有56人完成了问卷调查。最后，收集了80余份学生多模态产出作品(抽样教学单元为《全新版大学英语综合教程2》中4第四单元：The Virtual World，即要求学生学完改单元后以多模态形式输出自身对教学主题的理解)。

5. 主要发现

5.1. 问卷调查结果

表1展示了研究实施前、后学生对多模态教学方式的两次问卷结果。

如表1所示，整体来说，绝大部分受试者对研究中的多模态大学英语教学方式持积极态度，四个态度选项的同意方(非常同意 + 同意)均超过62% (问题2)，最高达97% (问题1)。其中，学生对此种方法在激发、提升学习兴趣方面的反馈最为积极(问题1：89%非常同意此点，同时反对比例为0)。其次，学生也极大肯定了此种方式对自身英语能力的促进作用(问题3：72%非常同意，13%同意；完全不同意比例为0)。这样的结果是学生这一直接受试者对教改方法的最直接反馈，很大程度上肯定了本研究中多模态教学教改的正确路径导向，尤其激发二语学习者的学习动机与能动性同时也展现出学生对此种教改方法的接纳程度较高。然而，部分问卷数据也表明对此种教改方法进行系统化、细节化的必要性：在支持率最低的问题2“此种方法有助于提高我的英语学习成绩”中，尽管超过一半的学生肯定了多模态教改方法在自身英语成绩方面的促进作用，但依然有15%的受试者在受试结束后持反对态度。在进一步对此类学生的访谈中，研究者发现，反对学生中部分是因为“不清楚、不知晓多模态教学是如何促进自身成绩的”或者是“没有明显感觉”。这些回答表明，学生自身对多模态教学方式的不熟悉导致其无法将创新的教改方式变化与自身英语学习的具体层面挂钩，昭示这教改指导创新虽然获得好评，但理论与实践的契合与对接，尤其是从学习者角度来看，还依然任重道远，即教师在推进教改的同时，迫切需要将相关的实践体系建立起来，将实践程序细化、标准化，将理论创新和实践收获逐一关联，以提高教改的实践效度。

表1. 研究实施前、后两次问卷结果对比

5.2. 学生多模态输出展示与分析

图1展示了受试学生就《大学英语读写2》中第四单元课文A Virtual World的多模态输出(九副作品拼图)。如图所示，虽然所用教学材料及教师教学路径、实践是一致的，学生的多模态输出缺带有丰富的多变性及个人特色。首先，文本在二语学习中的地位被淡化了：在意义制造和输出中，相比使用传统文本，许多学生赋予了图形、色彩等模态更高的地位，我们可以明显发现有许多作品中，图形或占据了中心位置、或占据页面大部分看空间。这与现实生活中学生日常参与的识读实践是呼应的，如智能手机的使用、社交媒体的使用，早已凸显了视觉图形、声音、色彩的主导型，文本则演变为了细节解释、补充等。此种不同模态在意义共同构建中的地位、功能的变化，除了返现出现实教学环境的更新与发展，也反向显示出多模态输出的设计者、施事者主观意识中对意义实现及相关资源整合的变化，即反映出其在大学英语学习活动中对可用学习资源模态的偏好性和动机的倾斜方向，这样就为教师提供了调整教学方向、使用学生偏好的教学方法的实践支撑与便利。

图2为一名学生就所选教学材料的多模态输出。如图所示，此名学生使用自身背景知识中的虚拟人物Rick和Morty，对教学中的“虚拟世界”这一课文开展了自身的多模态输出解释。从中我们可以明显的发现：1) 图形模态始终是学生意义制造活动的中心，而英语文本是对对应图标内容的解释与补充。2) 学生利用不同模态进行叙事尝试，而英文写作则被学生比以往更有趣的方式主动地添加到作品中，如学生在采访中提到“没有感觉到是作业，不是那么抵触，所以写起英文来就更有兴趣去构思”，因此，多模态输出在意义共建中的丰富性，抵消学生在英语写作中的倦怠和抵触，纵然在输出中有明显的语言错误，如标题“I understand AI”，也并未影响学生意义创造的积极性。

图1. 学生多模态输出案例

图2. 学生模态输出案例1

同时值得关注的是，与大部分偏爱图画模态的学生不同，该学生采用漫画叙事的形式，用多张相互关联的图画构成完整的叙事逻辑链，英文文字模态突出每个叙事节点的主题，即文字模态主要体现主题阐述功能，而图画则为解释、补充、细节支持功能，正如该学生在采访中所述“我可以用英语写出我的看法和大概逻辑，但我想表达的细节太多，我的英语水平却无法让我清楚地写出来，我觉得画画可以让我形象完整地把所想表达出来，也轻松、有趣一点”。该案例中，在现代社会交流必然要求的多重识读能力(multiliteracy)中，该学生对于图画形态的使用能力是明显高于其英文书面语言写作能力的，而两者在多模态任务中的有机结合，势必会给其中的弱势模态(英文语言)提供向强势模态(图画)汲取成长动力的机，即在不同模态的相互动中实现共生共长。

图3展示了另一名学生在相同教学课文下的多模态输出作品。

图3. 学生多模态输出案例2

如图所示，此名学生完全依赖于非文字模态进行意义输出，将所学课文的诠释定义为电脑与人脑之间的互动关联。另一方面，此类学生对语言模态输出的不推崇，也显示了他们在英语学习中的抵触及态度。在此意义上，非语言模态的使用，其实是激发其英语学习兴趣及参与能动性的有效渠道。另外，多模态在大学英语教学中的使用应该是多面而延续的，而不是一次性的介入。如图3，教师可以利用此图设计进一步更为细节的英语教学活动，如请学生用英文口述或写出此图的潜在含义，为什么如此设计等等，利用此类活动来增加学生的英语实践活动，实现学生自身构思意义与语言形式的契合，以高能效的范式进行语言学习。

6. 结论

综上，基于本研究的三个研究问题，本研究的发现可总结为：多模态教学方式的引入对大学英语教学教改有着明显的积极作用。绝大部分学生对此种教学方式的引入持积极态度，尤其肯定多模态对自身学习能动性、兴趣的激发(97%同意)。学生的多模态意义创造作品展现出对图形、颜色等非文字模态的偏爱，也正是这些非文字模态赋予了学生在英语学习、使用时额外的意义输出渠道，让学生有效地参加到大学英语学习活动中，而不是如以往一般由于英语语用能力的不足而无法有效地参加到传统的、以(英语)文字模态为主的学习活动中。

然而，如何有效将多模态所激发的教学优势与具体教学实践结合，仍需进一步探索。就是研究发现，部分学生肯定多模态之余，也困惑于此种创新教学模式是如何与提高自身英语能力挂钩的，这就需要教师深入地、充分地进行具体的多模态教学活动的设计与实施，以具体的教学任务为基点，有效地衔接宏观教改创新和微观教学实效。

7. 教学启示

多模态理论视角多采用系统功能语法来解读意义创造，包括本文所选择的社会符号学视角，严格来说也是其旗下的分支。在此意义上，多模态理论视阈下的大学英语教学创新，应当将教学活动本质视为一种意义创造活动，而不应该过多地关注语言形式知识的教学，如传统的词汇、语法知识。与形式知识教学不同，意义创造活动在很大程度上能有效地激发学生学习参与的能动性，原因在于意义创造需要学生频繁地就自身所用的创作资源做出评估、选择及使用。在此意义上，多模态的各方面侧重恰好能为此种意义创造活动提供理想的平台：多种模态可为学生的大学英语学习中的意义创造活动提供除文字模态外的多样而鲜活的输入、输出渠道，激活了其他模态(如是视频、音频等)在学生大学英语学习中的支点作用。也正如上文所述，即对于绝大多数受试学生来说，由于多模态教学把多种模态有机结合于相关教学任务中，学生所具备的多重识读能力中较为强势的模态使用能力(图画、颜色等)势必会与弱势模态(英语语言)产生互动并共生共长。基于以上所讨论的积极启示，教师可以根据各种模态独特的优势，设计具体的教学任务，即以任务型教学法为依托，将大学英语教学内容按教学目标细化，分类、分块、分主题的设计对应的多模态教学任务，以学生强势模态识读能力带动英语语言模态识读能力的正常，以多模态教学为平台，实现学生的英语语言能力与思辨能力的双增长。

基金项目

本文为云南民族大学2020年校级教学项目“多模态理论视域下的现代大学英语课堂构建”部分研究成果；项目编号：2020JGYB-61。

文章引用

刘 洁. 多模态理论视阈下的大学英语创新教学模式案例研究
A Case Study on Innovative Pedagogy of College English—From a Multimodal Perspective[J]. 国外英语考试教学与研究, 2023, 05(01): 14-22. https://doi.org/10.12677/OETPR.2023.51002

参考文献