大连理工大学外国语学院，辽宁 大连

收稿日期：2022年10月12日；录用日期：2022年11月8日；发布日期：2022年11月17日

摘要

口译活动中参与者在互动过程中会使用多种符号资源进行意义建构。传统的口译研究较多关注口译活动中语言层面的信息，对副语言及非语言层面信息，如眼神、手势等对意义建构和交际互动有重要作用的多模态符号关注不足。本文采用文献分析法，选取近十年发表于国内外核心期刊的多模态口译研究相关文献、书籍篇章、学位论文共33篇，进行归纳和分析。研究发现，近十年来，国内多模态口译研究主要关注多模态与口译教学、多模态信息输入与口译员认知负荷，以及多模态口译语料库建设三大主题，取得了重要成果，但也存在实证性不足、理论探讨不够深入的问题。国外研究多针对对话口译展开实证研究，语言对较为丰富，社区口译的三大领域(教育、医疗和法律)都有所涉及，研究涉及的多模态符号类型丰富，但多模态口译理论及方法论相关研究仍然不足。本文基于对国内外多模态口译研究现状的回顾，探讨多模态口译研究的未来发展趋势，以期促进多模态口译研究的进一步发展。

关键词

多模态，口译，研究现状，发展趋势

Multimodal Interpreting Studies: A State-of-the-Art Review and Prospects

Chunli Wang^*, Xin Liu^#

School of Foreign Languages, Dalian University of Technology, Dalian Liaoning

Received: Oct. 12^th, 2022; accepted: Nov. 8^th, 2022; published: Nov. 17^th, 2022

ABSTRACT

Meaning-making in interpreter-mediated interactions is achieved by participants through the use of different semiotics. Previous research on interpreting has paid much attention to the linguistic aspect of interpreter-mediated interactions. Para-linguistic and non-linguistic information, such as gaze, gesture, and posture, though plays an important role in the meaning-making process, is rarely studied. Adopting the literature analysis method, this paper reviews 33 Chinese and English book chapters, dissertations, and research articles published in core international and domestic journals in the last decade. It is found that multimodal interpreting studies in China mainly focus on three themes, namely, multimodality and interpreter training, multimodal information input and interpreter’s cognitive load, and the development of multimodal interpreting corpus. Although domestic studies have achieved some fruitful results, empirical research studies have been lacking and little has been conducted in developing theoretical framework and appropriate methodology for multimodal studies on interpreter-mediated interactions. Research studies abroad mostly take the empirical approach and examine the process of dialogue interpreting, covering a variety of non-linguistic information and language pairs. Major public service or community interpreting settings, such as educational, medical, and legal settings, have been explored. But likewise, there is also a lack of theoretical and methodological studies. Finally, based on the state-of-the-art of domestic and international research, this paper outlines the prospects of multimodal interpreting research, which have some implications for further development in the field.

Keywords:Multimodality, Interpreting, State-of-the-Art, Prospects

Copyright © 2022 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

“多模态”(multimodality)这一概念始创于上世纪九十年代中期，强调人们在建构意义过程中会使用多种符号资源这一特性 [1]。“多模态话语分析已成为话语研究发展的必然趋势” [2]，话语产出过程中的多模态资源越来越受到学者们的关注。多模态概念融入翻译研究之中历史悠久，可以追溯到Jakobson在上世纪50年代对于翻译的三分法 [3]，紧随其后，翻译的多模态研究更是层出不穷，成果丰富。但口译活动，作为一种即时的双语转换交际互动活动，其多模态特性在上个世纪末期却鲜有人关注。口译活动涉及具有不同语言、文化背景的互动双方或多个参与者，对参与者的协调以及交际目的最大程度的实现是多种模态符号共同作用的结果，而非以往研究较多关注的单一语言层面。本文选取中英文核心期刊、书籍篇章及学位论文等共33篇文献，通过文献分析法，总结国内外多模态口译研究现状，并探讨多模态口译研究的发展趋势。

2. 文献来源与分析

本文回顾近十年国内外多模态口译研究相关文献，分析国内外多模态口译研究现状。国内文献方面，以“口译多模态”为关键词，在CNKI中进行搜索，文献类型分别定位为学术期刊以及(博士)学位论文。学术期刊方面，文献来源类别选择“核心期刊”和“中文社会科学引文索引”，经人工筛选，多模态与口译相结合进行研究的文章共计14篇。笔者未发现多模态视角下口译研究领域的博士学位论文。

国外文献方面，以“multimodal interpreting”和“multimodality interpreting”为关键词在Web of Science，Scopus，Science Direct以及Google Scholar等数据库中进行检索，选取SSCI，ESCI以及口译、翻译及语用研究重要期刊，如Interpreting，Journal of Pragmatics，Interpreter and Translator Trainer，The Interprete’s Newsletter，Language in Society等，对文章主题相关性进行人工筛选，共获得期刊文献和书籍篇章共17篇、博士论文2篇。

本文对上述14篇中文文献及19篇英文文献进行分析，调研国内外多模态口译研究现状，并对未来相关研究提出建议和展望。

3. 国内外多模态口译研究现状

3.1. 国内研究现状

国内多模态口译研究起步较晚，研究主要集中表现为三大主题，即多模态与口译教学 [4] [5] [6] [7]、多模态口译语料库的建设和发展 [8] [9] [10] [11] 及多模态输入与口译员认知负荷 [12] [13] [14]。

口译教学的多模态探索关注教师在教学过程中或教学模式中融合多种意义构建手段以及多模态资源 [4]，如图片、互联网，甚至是虚拟现实等技术 [5]，通过视觉输入在教学中充分调动学生的积极性，加强学生与教师之间的互动。此外，多模态口译教学语料库的建设与应用也是国内多模态视角下口译教学研究的一大主题。刘剑 [6] 基于多模态口译语料库对口译教学模式进行了探讨，研究发现经过了精细加工的多模态口译语料库对于口译课程的课前准备、口译现象讲解、基础能力训练等都有较大益处，原因在于多模态口译语料库能够直观且生动的呈现口译场景。黄立鹤，吴贇 [7] 则讨论了多模态口译教学语料库的建构和应用，认为口译教学可对口译活动录像与影视化片段进行分析，构建可触发学生贴真体验的多模态口译教学语料库，使学生融入到真实情境中，从而提高口译能力。这些研究表明，多模态资源对口译教学具有重要的意义，多模态口译语料库建设与口译研究和口译教学相辅相成，相互促进。

口译语料库的建设日趋向多模态方向发展，这是因为在口译互动中，不论是口译员还是说话人的非语言信息对于意义构建以及互动过程同样会产生影响。上海外国语大学的胡开宝教授团队近年来对多模态口译语料库的建设和发展做出了重要贡献。该团队自2014年开始规划和建设多模态口译语料库(multimodal interpreting corpus, MMICS)并发表相关成果 [8] [9]，对于多模态口译语料库建设的历史和现状、建库的技术操作等进行了比较深入的探讨。齐涛云和杨承淑 [10] 则更关注多模态同传语料库的开发和建设，研究发现同声传译模式对于多模态信息的呈现与交传模式存在较大区别，这一区别在职业译员英汉双语双向同传语料库(ECTSIC-P)的建设中有所体现。除了着眼于多模态口译语料库的建设，国内多模态口译语料库相关研究中也不乏对语料库口译研究的综述论文，例如王克非和符荣 [11] 总结了语料库口译研究的20年发展历程，特点之一是从单一模态向多模态/跨模态发展，并且在未来的语料库口译研究发展中，多模态口译语料库的建设也将提供新方法和新思路。这些研究，有力证明了多模态口译语料库极大地促进了口译研究和口译教学的发展，使探究口译活动中听觉以外的其他层面的意义建构符号成为可能。

口译员在源语–译语转换过程中的认知负荷问题一直是口译研究和认知语言学研究的一大主题。国内学者较多关注了多模态输入，尤其是视觉信息，如图片、幻灯片以及说话者手势或表情等对口译员语言转化过程的作用。研究发现，当视觉信息与听觉信息一致性较高时，同传译员的认知负荷较少 [13]；而口译员处理说话者面部表情所需要的时间比处理幻灯片以及手势信息所需时间更长 [14]。康志峰和李夏青 [12] 基于认知口译学(cognitive interpreting studies)的多模态研究提出了口译认知的多模态嵌入式研究路径(如cognition→interpreting operation, cognition→meta-cognition等研究范式)，将认知心理学、认知神经科学等领域的研究方法融入口译学，是跨学科口译研究的产物，提高了多模态视角下口译研究的科学性。

国内多模态口译研究方兴未艾，其理论研究和实证研究仍显不足。理论研究方面，英国利兹大学的王斌华教授 [15] 对口译的多模态研究框架做出了重要贡献，分别提出了同声传译以及交替传译中信息传播的多模态模型以及口译话语的多层面、多模态分析框架，将口译活动中参与者的言语信息、副言语信息以及非言语信息统一到口译研究中来，为多模态路径下的口译研究提供了方法论指导。实证研究方面，仅李晶晶 [16]、刘剑和陈水平 [9]、蒋莉华和李颖 [17] 等对口译过程展开了多模态实证研究，但涉及的口译模式多集中于会议口译，较为单一。李晶晶 [16] 基于多模态批评话语分析理论，对新闻发布会口译过程展开了实证研究，发现视觉模态是听觉模态的补充。刘剑和陈水平 [9] 则基于团队自建的多模态口译语料库，分析了同传译员的语音拖长现象，探究该现象的成因。蒋莉华和李颖 [17] 聚焦受新冠疫情影响使用日益频繁的远程视频会议口译，从多模态角度对医疗平台的线上视频会议进行了案例分析，研究发现口译员在口译过程中需要整合多种信息来源，包括听觉(重音、语调等)和视觉(表情、图片等)两个方面，来理解并传译立体语篇。

国内多模态与口译相结合展开的研究仍处于起步阶段，较多研究为理论总结和经验讨论，实证研究较为匮乏。研究关注的口译类型也多为会议口译，其他口译类型，如社区口译中的医疗口译、法庭口译等，有待探究。

3.2. 国外研究现状

国外多模态视角下的口译研究始于上个世纪七十年代末。虽然当时明确的“多模态”概念尚未提出，但Lang [18] 关注了口译活动中的姿势和手势信息，发现口译员在口译过程中并非“孤立”工作，而是需要处理参与者的眼神、姿势和手势信息，以此来将自己更好地融入于与参与者建立的互动模式中。此研究首开先河，将口译活动中的研究关注点扩大到了语言之外的体态语方面。但多模态视角下的口译研究并未在随后的20世纪末期取得丰厚成果，而是到21世纪初期才逐渐开始崭露头角。

国外多模态路径下的口译研究大多关注对话口译 [19] - [26]。学者大多探讨在对话口译这一译员参与的交际活动中，参与者在互动过程中所使用的多模态信息，涉及到的语言对也较为丰富，如挪威手语和挪威口语 [20]、英语和意大利语 [21]、英语和西班牙语 [27]、英语和汉语 [28]、意大利语和汉语 [29]、荷兰语和俄语 [25] [30] 等。由于欧洲和一些传统移民国家中，移民以及难民带来的一些社会问题较为突出，他们在享有接受教育、就医、以及纠纷处理等权利时会受到语言的限制，因此这些研究主要在社区口译的三大领域展开：1) 教育口译 [21] [22]，其中口译员参与的家长会是主要形式；2) 医疗口译 [23] [29] [31] [32]；3) 法律口译，其中包括法庭口译(court interpreting) [28] [33] 和警局口译(interpreter-mediated police interviews) [27]。这些研究从更加微观、全面的视角对社区口译活动进行探讨，对社区口译的发展及人才培养具有积极促进作用。

国外多模态口译研究大多为针对真实的视频语料展开的实证研究，这些研究均认为口译活动中的言语以外的信息，同样对于互动模式构建以及话语意义建构有不可忽视的作用，只有关注这些语言以外信息，才能更为全面地解释、分析口译交际过程。其中，Davitti & Pasquandrea [22] 对教育领域中的对话口译展开研究，发现参与者会使用眼神、手势以及实物操作来构建会话过程中的参与模式，而非仅使用单一的语言信息。Krystallidou [23] 探究了医疗口译情境下以患者为中心的交际模式，研究发现译员的眼神和身体转向会影响患者参与互动交际的程度。Licoppe & Veyier [33] 在研究法庭口译中口译员在处理参与者的较长答话时，发现口译员除了会使用话语重叠、口头指示语等语言方面的资源，同样也会采用眼神方向转换以及手势变化等视觉资源来促进话轮转换。这些研究有力证实了多模态符号对于口译活动中交际互动的重要作用。多模态信息，如眼神、手势以及身体转向是口译的多模态研究关注较多的主题，但其他多模态符号，如面部表情 [28]、文本 [34] 也引起了学者的关注。这说明口译研究中关注到的多模态符号更加多样，对于多模态口译研究理论框架的构建具有启示作用。

在国外，近年来多模态口译研究相关博士学位论文也逐渐开始产出。Bao-Rozee [19] 使用医疗、教育等领域等多个对话口译案例，从多模态角度探讨口译员角色，发现语言和非语言层面的信息都能有力地佐证口译员对于互动过程的积极参与，并且非语言层面的信息对于口译活动具有重要贡献；Dong [28] 将关注点放在中英双语庭审，建设中英双语庭审多模态口译语料库，从多模态角度分析交际不畅(miscommunication events)产生的原因和情景，发现互动过程中的言语和非言语特征都是整体语境不可分割的一部分。

同国内多模态口译研究存在的问题相似，国外多模态口译研究的方法论研究方面，仍存在不足，文献中仅三篇文章较为详细探讨了口译研究的多模态路径 [35] [36] [37]。Davitti [35] 关注对话口译中的多模态资源，认为对话口译的复杂性不仅需要关注言语上的资源，视觉、听觉、具身以及空间上的意义构建手段需要予以同样的关注。这一研究拓展了多模态口译研究范围，对于理解对话口译模式下的交际互动有重要作用。利兹大学的王斌华教授对于多模态口译研究有重要贡献。其用英文发表的两篇文章 [36] [37] 为多模态口译研究提供了理论基础和方法指导。Gao & Wang [36] 提出了中国双语庭审语境下对话口译多模态分析路径的多层次分析框架(a multi-layer analytic framework for a multimodal approach to DI studies)。这一框架建立在系统功能语言学基础之上，将对话口译的多模态资源分为话语的书面文本(written transcript of utterances)、听觉特征(auditory properties)、视觉符号(visual semiotics)以及语境(context)四大部分。该框架将对话口译中的听觉特征、视觉符号，以及语境视为一个整体，对于探讨口译活动中的多模态资源具有重要启发作用。Wang [37] 继而又提出了交替传译和同声传译的多模态交际模型(the multimodal communication model of consecutive/simultaneous interpreting)，二者将交传和同传模式中说话者以及译员的言语信息(verbal information)、副言语信息(para-verbal information)和非语言信息(non-verbal information)融入到对口译的多模态分析中，改变了以往研究较多关注语言信息这一不足。

多模态口译研究相关理论以及方法论研究尚不充分，目前大部分多模态口译研究借鉴语用学、社会语言学、符号学等领域的研究方法，有待更为系统的多模态口译研究理论和方法指导，拓宽口译研究的对象、问题和路径，以实现口译研究与多模态研究更好的结合，从更深层次、更综合的视角解读口译活动中的意义建构和交际互动过程。

4. 多模态口译研究展望

基于对国内外多模态口译研究文献的分析，本文得出如下启示，以期促进未来国内外多模态口译研究的发展。

一、多模态口译研究应该丰富、拓宽其研究领域。目前国外多模态口译研究涉及社区口译的三大领域(教育、医疗和法律)，多针对于对话口译展开实证研究，分析较为微观。国内方面，实证研究缺乏，已有研究大多基于会议口译语料，在社区口译方面开展的研究鲜有。因此，国内外研究都应继续丰富、拓展研究领域，深入探究不同口译活动、口译模式中各种模态资源的使用情况以及对口译质量和交际互动产生的影响。

二、理论框架亟需完善。国内外口译的多模态研究大多综合运用语用学、社会语言学方法，尚未真正形成口译研究的多模态路径。未来研究应继续加强对理论框架以及方法论的探讨，实现更为系统的、深入的多模态口译研究路径和方法，为实证研究提供理论支持。

三、扩大多模态口译研究的语言对种类。目前国外多模态口译研究涉及到的语言对较为丰富，但关注外文和中文语对方面的研究仍十分不足。并且国内方面，语言对只涉及到中英两种语言。因此，未来研究还应继续深入开展中文与多种外文，诸如日语、法语或少数民族语言等语对之间的多模态口译研究。

四、开展多模态口译实证研究，在真实语境中探讨口译员行为。国内多模态口译语料库的建设已经取得了较大发展，未来研究可继续拓展语料库建设范围，丰富领域，完备技术，并以此推动国内多模态口译实证研究的发展。此外，相关研究还可以关注国内医疗、法庭口译等领域口译活动中口译员以及参与者使用的多模态符号，展开更多的微观、实证讨论。

5. 结语

本文采用文献分析法，对国内外33篇中英文文献进行分析，总结并展望国内外多模态口译研究的现状和发展态势。研究发现，近十年来，国内外多模态口译研究既有相同点，也存在不同之处。相同点方面，国内外多模态口译研究的方法论和理论框架方面探讨均较为不足。不同点方面，国内多模态口译研究实证研究较少，集中体现三大主题(多模态与口译教学、多模态信息输入于口译员认知负荷以及多模态口译语料库建设)。国外相关研究则多针对对话口译展开实证研究，语言对丰富，且社区口译的三大领域(教育、医疗和法律)都有所涉及，探讨的多模态符号类型也较为丰富。

多模态口译研究是口译研究的前沿方向之一，口译活动中的多模态信息对于互动参与者的协调以及交际语境的构建起着不可忽视的作用，多模态视角为理解口译活动以及口译员角色提供了新鲜角度。只有对互动过程的整体语境展开系统、全面的分析，才能更好地探索、认识口译这一即时的双语转换活动，促进口译教学以及口译人才的培养。国内外多模态口译研究仍需继续扩展领域，深入探讨理论和方法论构建，同时可加强合作，拓展研究对象，丰富语言对，共同促进多模态口译研究的发展。而国内方面，需要深入开展实证研究，除传统的会议口译外，应加大对医疗口译以及法律口译等领域的探索，以此促进我国新时代各领域高端口译人才的教育和培养。

基金项目

1) 辽宁省社会科学规划基金项目，项目编号L20BYY022，项目名称：语用学视域下我国涉外庭审疑问句口译准确性研究。

2) 大连理工大学基本科研业务费，项目编号DUT22RW111，项目名称：法庭口译员话轮转换策略的多模态分析。

文章引用

王春丽,刘 鑫. 多模态口译研究：回顾与展望
Multimodal Interpreting Studies: A State-of-the-Art Review and Prospects[J]. 现代语言学, 2022, 10(11): 2598-2604. https://doi.org/10.12677/ML.2022.1011353

参考文献