以武汉2020城市宣传片为语料,结合ELAN软件的分割、分层、标注功能,探讨多模态话语中不同模态的特点,展现视觉模态和听觉模态的相互配合及其在镜头速率与运镜方式层面上的体现,同时分析了模态之间的协同以及多模态话语的意义建构。研究发现模态之间的关系随时间呈动态变化,其标注分布规律图揭示了模态的选择取决于最佳搭配,并非完全自由随意,模态协同可通过相互协调、相互强化以实现意义构建。 Wuhan 2020 City Promotion Video has been analyzed with the help of ELAN software. According to the function of segmentation, tier and annotation, the characteristics of different modalities in multi-modal discourse are presented, revealing the mutual cooperation of visual and auditory modalities and the representation on lens speed and camera moves. The production of the video embodies the synergy between modalities and the meaning construction of multi-modal discourse. The study indicates that the relationship between the modalities changes dynamically over time. The annotation distribution map reveals that the choice of modal depends on the best collocation and is not completely free and arbitrary. Modal coordination can achieve meaning construction through mutual coordination and mutual reinforcement.
以武汉2020城市宣传片为语料,结合ELAN软件的分割、分层、标注功能,探讨多模态话语中不同模态的特点,展现视觉模态和听觉模态的相互配合及其在镜头速率与运镜方式层面上的体现,同时分析了模态之间的协同以及多模态话语的意义建构。研究发现模态之间的关系随时间呈动态变化,其标注分布规律图揭示了模态的选择取决于最佳搭配,并非完全自由随意,模态协同可通过相互协调、相互强化以实现意义构建。
动态多模态,话语分析,模态协同,城市宣传片
—A Case Study of City Promotion Video
Guanghui He, Cheng Li
School of Foreign Languages, Wuhan Institute of Technology, Wuhan Hubei
Received: Feb. 26th, 2022; accepted: Apr. 8th, 2022; published: Apr. 15th, 2022
Wuhan 2020 City Promotion Video has been analyzed with the help of ELAN software. According to the function of segmentation, tier and annotation, the characteristics of different modalities in multi-modal discourse are presented, revealing the mutual cooperation of visual and auditory modalities and the representation on lens speed and camera moves. The production of the video embodies the synergy between modalities and the meaning construction of multi-modal discourse. The study indicates that the relationship between the modalities changes dynamically over time. The annotation distribution map reveals that the choice of modal depends on the best collocation and is not completely free and arbitrary. Modal coordination can achieve meaning construction through mutual coordination and mutual reinforcement.
Keywords:Dynamic Multi-Modal, Discourse Analysis, Modal Synergy, City Promotion Video
Copyright © 2022 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
随着科技高速发展,人类的交际活动呈现智能化、可视化、多模态化特征。语言外因素包括空间、手势、凝视、身势、移动、音乐、三维事物、图像、图表等成为交际媒介,实现表情达意功能 [
多模态话语的研究对象从静态(漫画、海报等)拓展到动态(广告、电视访谈、宣传片等) [
武汉2020城市宣传片“相见在武汉”由武汉市文化和旅游局发布,历时3分40秒,包含192个画面,主要特点是没有旁白,没有字幕,没有景点介绍,以轻音乐结尾。这是与以往城市宣传片的不同之处。本文借助多模态话语分析软件揭示视频中每个情态的特征,研究不同情态的意义建构,探讨了宣传视频主题的呈现方式。
经过近30年的发展,动态话语的研究多聚焦于语言和图片,且偏向于定性分析。本文采用定量统计分析方法,研究武汉城市宣传视频中不同模态之间的协同作用,展示视觉模态和听觉模态的协同工作模式,准确展现意义的建构过程。观看者能更深刻、更准确地掌握动态话语中的意义,从而提高对城市宣传视频的欣赏能力。
(一) 视觉语法理论概述
Halliday开创的系统功能语言学认为,语言具有社会符号性,语言性质决定语言功能,可以将语言功能抽象概括为“元功能”。该理论整合了语言、语法、语境等内容,构建了一个多视角、多层面的话语分析模型,实现了语言学和社会学的有机结合,为多模态话语分析奠定了理论基础。视觉语法理论是Kress & Van Leeuven以韩礼德的系统功能理论为基础提出的。该理论认为图像亦具有社会符号性,主张用系统功能语言学分析图像。“再现意义”“互动意义”和“构图意义”是视觉语法分析的核心。再现意义指图像模态可再现客观事物及其与外部世界的关联,并基于图像的特征细分为叙事再现和概念再现;互动意义是指图像通过接触、社会距离和态度等要素,实现客观事物与外部环境的互动;构图意义指图像的再现意义与互动意义有机结合,通过信息值、显著性和框架实现意义构建 [
(二) 多模态话语的相关研究
自李战子2003发表“多模式话语的社会符号学分析”以来,众多学者对多模态话语的研究纷至沓来。研究类型主要集中在:介绍性的理论引入与阐述、多模态话语与意义构建(静态和动态研究对象)、理论框架及研究路径探析三大类。首先在理论引入方面,胡壮麟探讨了多模态符号学和多媒体符号学的区别,指出人类进入社会符号学多模态化的新世纪 [
其次在多模态话语与意义构建方面,研究对象不断拓展,从漫画、海报、网页等静态的多模态话语延伸到广告、宣传片、课堂教学等动态的多模态话语 [
另外在研究框架和路径方面,王立非、文艳介绍多模态分析软件ELAN及其主要功能,以例证说明ELAN用于应用语言学研究,探讨了多模态研究方法应用的价值和意义 [
综上所述,多模态话语的研究类型涵盖从理论探索到实证研究,研究成果大多集中在外语教学领域 [
史兴松利用可视化软件Citespace对国内外多模态话语分析做综述研究时提出,未来研究中应注重研究方法的完善,利用分析软件以及语料库等增强实证研究的可信度 [
对动态视频的多模态话语分析,需要结合两种路径,即视觉语法以及系统功能语法理论框架,以多模态语料库技术手段为辅助。以音视频流切分与标注工具ELAN6.0软件作为研究工具,对武汉城市宣传片进行多层次切分与标注并进行数据分析。ELAN软件(EUDCO Linguistic Annotator)是由荷兰马普心理语言学研究所开发的一款便利实用的多模态语料分析工具,为语言分析者提供技术支持 [
第一类标注特征为音韵特征P-[Prosody],包括重音[PSt];语速快[PFT]、语速慢[PST];长停顿[PPL]、短停顿[PPS]。第二类标注特征为图像特征I-[Image],包括文字[IT]、图片[IP]和文字-图片[ITP]。第三类标注特征是影像A-[Animation],分别为人影像[AP]、物影像[TP]、人-物影像[ATP]。第四类特征为表达方式ES-[Expression],包括旁白[ESN]、独白[ESM]、对话[ESD]。第五类标注特征为音乐M-[Music],包括背景音乐[BGM]、独奏音乐[MS]。第六类标注特征为镜头速率LS-[Lens Speed],包括慢镜头速率[SLS]、快镜头速率[FLS]。第七类标注特征为运镜方式C-[Camerawork],包括横摇[CP]、直摇[CT]、拉近/推远[CD]、平移[CTr]、鸟瞰[CB]以及焦点转移[CRF]。
根据叙事特点对视频进行时间段的分割,对分段的视频内容进行标注,将标注后的文件分为若干层级,还可根据不同的需求对视频内容进行自主分层。本研究的分层主要涉及以下几个方面:运镜方式、镜头速率、语速、重音、停顿、图像、影像、表达方式、音乐。对分割分层标注后的视频反复查看对比,导出标注的数据,结合视觉语法以及系统功能语法理论框架,做进一步的量化分析。
(一) 视觉模态分析
根据视觉语法,图像意义由三部分组成:再现意义、互动意义和构图意义 [
模态 | 标注 | 命中 | 总标注时长 | 标注时长百分比 |
---|---|---|---|---|
Animation | AP | 20 | 73.81 | 33.573 |
AT | 21 | 51.91 | 23.612 | |
ATP | 26 | 92.7 | 42.165 | |
Image | IP | 1 | 0.75 | 0.341 |
IT | 2 | 9.987 | 4.543 |
表1. 视觉模态标注统计表
宣传片是经历新冠肺炎疫情背景下由武汉市文化和旅游局制作推广。根据表1,动态视频中图像的占比明显低于影像。在Animation标注统计表中,人影像[AP]、人-物影像[ATP]的标注时长百分比都在30%以上。人影像[P]的出现标注时长百分比为75.738,表明该宣传片凸显以人为本的理念。
关于图像(Image),该宣传片的标题贯穿始终。根据图1和图2,其布局方式起初位于左上角,结尾转为中心。根据表1,图像文字[IT]、图片[IP]的标注数量偏少。
图1. 主题字位置图(左上角)
图2. 主题字位置图(中心)
Kress & Leeuwen认为,图像中的参与者和环境对再现意义有着重要影响。宣传片中的人与景相融合无不彰显人与自然和谐共存的主题 [
(二) 听觉模态分析
宣传片“相见在武汉”听觉模态的特点在于没有旁白、对话以及独白,其中音乐模态对意义构建发挥了重要作用。根据表2,音乐模态标注时长占比为96.247,主要为背景音乐[BGM]和独奏音乐[MS]。背景音乐为钢琴曲以及和声,独奏音乐为同名音乐《相见在武汉》。该曲目是陈文非(演唱者)专门为后疫情时代的武汉而创作,其歌词包含武汉的地标景观。因此该曲目也为表达视频主题、构建意义发挥了积极作用。
从表2得知,慢节奏占比要高于快节奏,快慢结合。因此音乐的节奏相对较缓,这凸显这座城市既发展迅速又恬淡祥和,充分展现了人们处之泰然的生活态度和远大格局。听觉模态中停顿也表示特殊含义,片中共有3次停顿(2次短停顿、1次长停顿):长停顿[PL]意为视频的结束,第一次短停顿[PS]意为音乐的转换(背景音乐[BGM]转换为独奏音乐[MS]),第二次短停顿在独奏音乐结尾,意为强调。重音标注总时长很短,但是重音的每一次标注都与音乐的快慢和类型相关。另外听觉模态受音响度、声调、语调、音速的影响,信息量大、传播快捷,是表达意义最直接的工具,宣传片中水声、飞机起飞之声、鸟鸣声、孩童笑声、欢呼声、扬帆之声、琴声和鹰击长空之声在观看者心中形成一幅幅美丽画卷,实现意义传达,呈现新时代新视域。
模态 | 标注 | 命中 | 总标注时长 | 标注时长百分比 |
---|---|---|---|---|
Music | BGM | 1 | 150.64 | 68.519 |
MS | 1 | 60.96 | 27.728 | |
Tempo | FT | 4 | 99.625 | 45.315 |
ST | 6 | 111.075 | 50.523 | |
Pause | PL | 1 | 4.07 | 1.851 |
PS | 2 | 3.79 | 1.724 | |
Stress | PSt | 5 | 2.82 | 1.283 |
表2. 听觉模态标注统计表
(三) 模态协同
模态协同关系是多模态功能文体学研究的核心要素,代表多模态话语分析理论发展的最新成果。由于情景语境和交际目的的作用,发话者根据语篇意义的选择构建合适的模态组合。从逻辑语义的层面分析,不同的模态之间存在着详述、延伸和强化的关系;从表现关系看,可以做互补和非互补的分析,而在互补中也有强化和非强化之分,非互补中又有交叠、内包、语境交互等概念 [
通过ELAN软件对宣传片的听觉模态和视觉模态的相关数据进行汇总(见表3),根据标注分层分布图(见图3)进一步分析模态之间的协同关系,共同表达交际者的整体意义。
图3. 标注分层分布图
模态类型 | 层 | 标注数量 | 总标注时长 | 标注时长百分比 |
---|---|---|---|---|
听觉模态 | Tempo | 10 | 210.7 | 95.838 |
Stress | 5 | 2.82 | 1.283 | |
Pause | 3 | 7.86 | 3.575 | |
Music | 2 | 211.6 | 96.247 | |
视觉模态 | Animation | 67 | 218.42 | 99.35 |
Image | 3 | 10.737 | 4.884 | |
Lens Speed | 10 | 215.859 | 98.185 | |
Camerawork | 29 | 85.784 | 39.019 |
表3. 听觉模态和视觉模态数据统计
由表3得知,“相见在武汉”以影像为传递信息的主要模态。在标注数量上,影像A-的统计数最多,达到67个,包括人影像、物影像以及人–物影像。听觉模态中音乐M-的标注时长百分比为96.247,说明音乐模态也发挥了语篇意义的构建作用。
以宣传片开头为例,首先展示主题以及logo形象,以影像加文字的组合呈现,影像作为主要模态出现,通过视觉的直观感受,传达视频的主题,其它模态包括音乐和文字,音乐模态对影像起互补的作用,主要体现在非强化协调层面,音乐旋律缓慢,伴着钢琴的节奏,呼应整个语篇优美的前景化特征。在初始阶段,文字与图像呈现互补关系,通过文字和影像的融合,文字随着缓慢的音乐出现,以明示主题。
1. 模态内部协同
在视觉模态内,各分模态相互协作,促进视觉模态的发展。首先,使用运镜[C]与影像[A],增添气氛和情感。除了用来追踪主体之外,适当的横摇[CP]和直摇[CT]可以揭晓原本不在画面里的事物,让观看者了解环境和距离,甚至凝造惊喜的感觉。拍摄长江上的渡轮时,用拉近/推远[CD]手法让观看者有亲历其境的感觉,自然投入感情。采用平移[CTr]展示东湖上划船的红衣女子,周围的美景尽收眼底。鸟瞰[CB]常用于高角度拍摄,拍摄磨山时便是用该手法,让观众俯瞰全景,产生壮观和旷达的感觉。焦点转移[CRF]可让移动中的主体保持清晰,或者引导观众转移焦点。根据图3,物影像[AT]大多运用鸟瞰[CB],如野营的帐篷;人影像[AP]大多运用平移[CTr]以及焦点转换[CRF],人–物影像[ATP]运用横摇[CP]和直摇[CT]以及拉近/推远[CD]。这些基于不同影像的运镜方式和影像的协同作用,达到宣传城市的目的,特别是拉近/推远[CD]运镜的使用增加了亲和力,体现“相见在武汉”的主题。
听觉模态内部间相互合作,辅助音乐和背景音乐共同构建语篇意义。根据图3,重音[PSt]与其他模态的关系十分密切。首先,每次重音都标志着新的旋律的出现;其次,三次重音的出现意为音乐节奏快慢的转换;第三,最后一次重音的出现标志着音乐类型的转换([BGM]-[MS])。此外,停顿[P]也与音乐相关:第一次停顿标志着音乐类型的转换([BGM]-[MS]),第二次停顿标志着音乐的停止。各分模态的协同作用促进听觉模态的意义构建。
2. 模态间协同
在多模态话语构建的语篇中,模态间的协作是必须的,也是必然的 [
视觉模态与听觉模态之间的相互作用主要有两种:强化和补充。第一:强化,听觉模态的协同作用可强化视觉模态中获得的信息;第二:补充,听觉模态的协同作用可弥补视觉模态所缺失的或者观众没有完全接受的信息 [
综上所述,武汉2020城市宣传片的多模态话语特点是视觉模态为主,与听觉模态有效融合,通过符号的互动构成和谐的整体,表达意义。在视觉模态中,人–物影像模态为主要模态,而音乐模态是听觉模态的主体。模态之间的关系随时间的变化呈动态变化:有时以影像为主,音乐模态为辅;有时以音乐模态为主,影像为辅。根据图3,在独奏音乐标注区间,影像的变化频率较低,且随音乐而发生变化。标题文字、片尾独奏音乐歌词与图像形成互补关系,两者之间关系的变化与交际事件的进程密切相关,呈现视觉模态与听觉模态的动态关系。
张德禄指出“模态的选择涉及最佳搭配问题,不是完全自由、随意的”,可见不同模态的协同有助于整体意义的搭建,弥补单一模态的局限性,强化交际效果。从模态配合的角度,不同模态不能自相矛盾、相互抵消、彼此无关、互不衔接等;模态配合以增加正效应为原则,如相互协调、相互强化等 [
何广惠,李 成. 动态多模态话语的模态协同研究——以城市宣传片为例On the Modal Synergy of Dynamic Multi-Modal Discourse—A Case Study of City Promotion Video[J]. 现代语言学, 2022, 10(04): 605-613. https://doi.org/10.12677/ML.2022.104076