江苏大学艺术学院，江苏 镇江

收稿日期：2023年10月9日；录用日期：2023年12月14日；发布日期：2023年12月22日

摘要

随着非遗传承手段的多样化，多感官设计结合虚拟体验所带来的深入式沉浸性为非遗传承塑造更良好的空间。本文围绕传统手工艺类非遗的多感官虚拟体验设计这一问题，通过总结虚拟体验的多感官设计原则，从信息构筑与感官设计出发，针对传统手工艺类非遗的特点提出基于情感共鸣、沉浸体验、情境交互的虚拟体验多感官设计策略。

关键词

多感官设计，非物质文化遗产，虚拟现实，信息构筑

The Application of Multisensory Design in the Virtual Experience of Traditional Handicrafts Non-Heritage

Peizhen Lyu, Jin Cui

Arts School of Jiangsu University, Zhenjiang Jiangsu

Received: Oct. 9^th, 2023; accepted: Dec. 14^th, 2023; published: Dec. 22^nd, 2023

ABSTRACT

With the diversification of the inheritance means of intangible cultural heritage, the multi-sensory design combined with the in-depth immersion brought by virtual experience shapes a better space for the inheritance of intangible cultural heritage. This paper focuses on the issue of multi-sensory virtual experience design for traditional handicraft intangible cultural heritage, by summarizing the principles of multi-sensory design for virtual experience, and starting from information construction and sensory design, we propose a multi-sensory design strategy of virtual experience based on emotional resonance, immersive experience, and situational interaction for the characteristics of traditional handicraft intangible cultural heritage.

Keywords:Multisensory Design, Intangible Cultural Heritage, VR, Information Construction

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

随着体验时代的到来，虚拟现实所伴随的跨时空交互和多维沉浸等特性为非遗传承提供新的模式。作为活态文化而存在的传统手工艺类非遗不仅需要再现其文化存在方式，更重要的是传达其背后所蕴含的精神价值和文化内涵。多感官设计以综合视听触等多感官通道刺激用户体验，多种感官刺激融合生成情感认知，从而达到文化认同的目的。因此，将多感官设计融入传统手工艺类非遗虚拟体验设计，不仅在感官维度上增强用户的参与深度，更是通过各个感官通道刺激整合后形成更深层的文化认知。本文从体验的最终印象为出发点，以信息构筑为桥梁，根据感官联觉和感官补充的多感官设计原则，提出针对传统手工艺类非遗的虚拟体验多感官设计策略。

2. 多感官设计与信息构筑

2.1. 多感官设计

多感官设计通过对于人的视觉、听觉、触觉、嗅觉、味觉五大感官的多层刺激进行信息传播和用户行为引导，从而提升用户体验和心理感知，以传达作者的情感以及传播文化。在感官设计过程中通过不同层面种类的感官设计传达感情与体验，在此过程中所应用的感官种类越多，所传递的信息也就越真实，越能塑造用户的体验沉浸感 [1] 。在多感官通道整合理论模型中不同感官之间存在着主次关系，而非感官均论。例如在1986年所提出的“通道精确”假设中就提到了针对空间任务的“视觉捕获”通道和针对时间任务的“听觉捕获”通道 [1] 。

具身认知理论认为身体的物理属性决定认知进行的过程，身体提供认知的内容，而身体所处的环境同时也影响着认知 [2] 。多感官设计的感觉和知觉两部分正对应了这一过程，感觉来源于身体的直接感受和信息，即人体各个感官所接收的直接信息，而知觉则是在不同知识经验、兴趣、情绪、需求等背景下的感性认知中接收信息，即环境影响认知 [3] 。因此不同的用户群体文化背景不同、需求不同，在同等的感官设计系统中所得到的情感体验也不同。

2.2. 信息构筑与感官设计美学

多感官设计理念最初应用于生理学领域中的特殊教育，随后逐渐应用到设计学领域中，在国内则以包装设计和产品设计为主 [3] 。日本平面设计大师原研哉将信息构筑理论与感官设计联结在一起，通过多感官设计刺激相关记忆从而构筑传达目标的信息结构体以提升用户体验和交互感受。人作为感官主义接收器官的组合和敏感的记忆再生装置，多种感官共同作用的刺激与信息在大脑中的重新构筑共同构成了体验的印象，见图1 [4] 。设计则是从最终印象出发，有目的、有计划地干预印象生成的过程，这便是设计上的信息构筑。原研哉注重于用户的感受性特征和路径的挖掘和分析，针对用户的感受注意力从设计的不同角度出发，并不断尝试在以视觉为主的平面设计中同时触动其他感官 [5] 。他一方面从用户的行为习惯入手，对人的感官习惯所伴随的再生记忆进行深入分析，另一方面从设计的元素或材料等入手，利用其自带的感受性特征，通过各种感官通道传递刺激。

图1. 五感信息构筑^①

裂境工作室在结合VR的五感设计和沉浸式密室玩法的基础上，根据电视剧《风起洛阳》IP打造了沉浸式多感官VR作品《风起洛阳》。制作者设计体验的起点是使没有原著基础的观众也能具有同样良好的体验，即为体验感受上的信息构筑，从生理感受上入手，加入了喷雾、风感、热感装置和气味发生装置等模拟水、风、岩浆等自然环境体验。在真实体验场地的布局上与剧情场景一一对应，跳脱出了传统VR项目的狭小体验空间。例如在悬崖峭壁场景中将真实空间的材质模仿石头粗糙的触感以及用加热装置模拟悬崖下的岩浆所扑面来的热感，这些感官刺激所伴随的感受性特征唤起了观众的危机感，增强了观众作为不良人执行任务的沉浸性和代入感。

3. 多感官设计在虚拟体验中的应用

3.1. 虚拟体验中的多感官设计

在虚拟体验中的感官设计目前主要集中于视觉和听觉两方面，也有少部分虚拟体验应用触觉，主要体现在交互手势和力反馈上，而在嗅觉和味觉上的设计则较少。通常情况下，视觉处于五感的主导地位，视觉设计能够拓展虚拟体验的形态多样性、动态多样性和空间延展性。在形态多样性上，通过视觉元素的形态、图案、色彩传达不同的情感；在动态多样性和空间延展性上，通过场景设计的视角、速率、引导影响用户的沉浸度，通过交互界面的呈现方式和可视区域影响用户的界面舒适度。

听觉是除视觉外第二大感官，对于人来说声音具有记忆性，选择适当的音乐和音效能够增加用户的沉浸时间，同时能够增强用户的参与感以及调动用户获取信息的主动性 [6] 。声音的记忆性不仅作用于人的记忆塑造，并且能够唤醒声音记忆，以模拟更加真实的场景。除了音乐的种类和风格以外，声源的方向和距离同时也是模拟真实环境的重要因素。

嗅觉同时也具有记忆性，环境中气味的变化能够增强人对空间的感知，并生成空间记忆认知 [7] 。气味的作用不仅于此，更有嗅觉上的示例、营造氛围、调动情绪和促进情感互动的作用，在一定程度上还能辅助叙事。早在剧场设计领域，已有针对嗅觉的场景气味设计。莎莉·贝恩斯就曾提出“剧场气味诗学”，她将嗅觉效果分类的气味与符号三分法相结合，分为“图像”、“指索”和“象征”三类 [8] 。“图像”指的是对目标环境气味的写实或者模仿；“指索”即为指示或索引，气味与目标环境具有连接关系；“象征”指气味给予观念或者情感上的一般联想。

味觉作为一个复杂的综合性感官，其包含的不止味觉本身，还包括辨识气味的嗅觉、感受口感和温度的触觉等多种体验，更是含有多种感官刺激在大脑中综合所得的化学刺激 [8] 。味觉所含有的信息量最少并且难以实现，一般通过电主导的虚拟味觉设备或者利用通感、连觉等间接方式将其他感官感受进行转化 [7] 。但通过此类方式往往不能还原味觉上的多重感官相互作用而成的效果，因此在虚拟现实体验的味觉设计上仍需探究。

在触觉设计中一方面获取人的交互手势用以虚拟体验的结合，另一方面根据获取的交互手势进行系统的力反馈。触觉不仅包括力反馈，在人与自然的交互中更多依赖于温度、风等不限于手的触感，热感、风感、动感、湿感等多种体验能够帮助人对周围环境的更好感知，并且能够在一定情况下调动人的情感。这一环境不单指自然环境，更是体验目标中的叙事场景，给观众带来更多的沉浸性。

3.2. 虚拟体验中的多感官设计原则

3.2.1. 感官联觉

感官之间相互独立又辅助共生，多感官共同作用往往大于单一感官的效果，因此联觉显得更为重要。海洛-庞蒂曾提出“联觉体验”，他认为创造一个联觉感知环境是塑造沉浸式体验的前提 [8] 。詹姆斯·吉布森提出多种感官感知活动共同控制着人在环境中的运动和行为 [8] 。值得注意的是，在多感官设计中不同感官之间的作用应是相辅相成，而不是各自独立毫无关联，才能达到多重感官的效果最大化。

《风起洛阳》VR中也体现了这种联觉设计，在利用不同载具模拟VR中不同交通工具带有的失重感、震感以及风感的基础上，依据VR场景搭配物理上的反馈，如水花飞溅等。并且根据VR中的场景切换在体验场地中模拟对应的材质，比如不同材质的地面所带来的不同脚感，使观众在行走过程中能够感受到场景的变化。在花魁跳舞环节中，以气味发生装置模拟花香，随之伴有丝绸划过肌肤的触感使得花魁仿佛近在咫尺。

3.2.2. 感官补充

感官联觉不仅能相互辅助，不同感官还能够弥补其他感官设计上的缺陷，因此感官设计上的丰富度对于真实环境的模拟起到重要作用。但这并不意味着专注于感官丰富度而忽略了信息构筑，感官之间的关系也要进行适当处理。Alan Chalmers在Towards High-Fidelity Multi-Sensory Virtual Environments中提出针对视觉注意力习惯对画面选择性渲染，例如利用光线的选择性引导从而对VR场景质量区分性渲染 [9] 。并且通过听觉补充弥补视觉上的缺陷，例如在场景中加入电话音效，电话所处区域进行高质量渲染，其他区域渲染质量降低，见图2。

3.3. 多感官设计与文化体验交互

在多感官认知交互过程中分为物质层、行为层、精神层三个方面，分别对应直接通过感官传达信息的物境交互、通过行为交互引起在用户习惯和行为方式上情感共鸣的情境交互、通过连结用户的过往经验和精神文化以达深入理解状态的意境交互 [10] 。针对这三个层面的交互对应认知过程的选择、组织、整合三个阶段，见图3。首先在认知过程的选择中，通过多感官设计直接刺激感官从而向用户传达信息；在认知过程的组织中，选择不同的感官元素呈现方式和互动方式间接唤醒用户行为习惯感知；在认知过程的整合中，通过虚拟场景中的文化信息和情感对用户的记忆情感进行重构 [7] 。

图2. 选择性场景渲染图^②

图3. 多感官认知流程^③

4. 传统手工艺类非遗的多感官设计

4.1. 传统手工艺类非遗虚拟体验中的感官设计

目前传统手工艺类非遗的虚拟体验设计中多使用视觉和听觉，在触觉、嗅觉和味觉上的设计仍有待探索。当前传统手工艺类非遗虚拟体验设计系统更关注于沉浸式的塑造，大多从交互着手以塑造真实沉浸感的环境，而在感官上的设计较少。然而多感官设计在五感上的模拟更加接近人日常生活的真实场景，这也恰好符合虚拟体验所追求的沉浸性、交互性和构想性的“3I属性”，见表1。在虚拟现实的“3I属性”设计流程中，根据不同的设计目的加入不同的感官设计能够更好塑造沉浸式的虚拟体验环境。

表1. VR的3I步骤

4.2. 传统手工艺类非遗虚拟体验的信息构筑

所谓信息构筑即从体验设计的终点入手，从信息接收者的视角去思考，并辅以对应的感官设计。非遗类虚拟体验相对于其他虚拟体验的一个特性即为文化性，对于一个传统手工艺类非遗来说，不应只着重于手工技艺的复原，更要关注它所带有的文化内涵和情感价值，以及其历史作用。这就意味着在体验设计中不只着重于非遗技艺环节的交互，应增加适当的叙事，以视听相佐，增加观众的情感体验。并在文化价值的传递上涵盖非遗的地域性文化，即对其原生性的自然环境、生态环境和社会环境的叙事必不可少。因此，基于嗅觉和触觉对其原生自然环境的模拟会给观众带来更深的代入感，例如使用带有童年记忆特征性的气味和配乐能够在嗅觉和听觉上给予观众熟悉而又亲切的感受，增强不同文化间的认同感。

除了情感文化体验外，感官愉悦也尤为重要。许多针对多感官设计的虚拟体验只注重于感官层次的丰富性，而忽略了感官之间的配合以及相互作用，使得多感官设计反而没有达到锦上添花的作用。在叙事或者交互环节中，由于虚拟现实的沉浸性这一特性所决定的感官信息冗余，观众可能在接收过程中产生注意力紊乱的情况，因此在视觉和听觉上应给予一定的注意力引导设计。根据非遗故事配合相应的解说词，既能解决画面信息冗余的困境，又能通过解说词的内容和语声语调传递情感、营造氛围。

4.3. 针对传统手工艺类非遗虚拟体验的设计策略

4.3.1. 基于情感共鸣的设计策略

非遗作为一种活态文化而存在，离不开其文化背景的地域性和即时性，因此能否让观众在情感体验上与之共鸣尤为重要。这对应了在多感官交互认知过程中的精神层，通过物质层和行为层的情景交互情感升华到意境交互，达成一个完整的多感官认知过程。首先要考虑的是观众视角，对于体验者来说，身份的代入至关重要。对于体验者视角的背景交代能够给予更多的代入感，给定一个特定的任务能够给体验者带来引导的作用，同时也能获得更多的使命感和责任感。针对许多传统手工艺类非遗濒危的情况，可以将体验者的视角设定为拯救非遗的传承人，将非遗的命运交到体验者手中，给予其更多的角色情感。

叙事结合感官能够得到更好的情感表达，在展现非遗历史的环节以交互动画的形式呈现而非普通的视频展示，并且将非遗拟人化，以非遗的第一人称视角叙事会更加具有趣味性，对于非遗所承载的情感意义和精神价值也能够更好地传达。在配乐上融合非遗原生性的民族性和地域性，使其在听觉层面上参与叙事。使用同期音效是构建虚拟体验真实性必不可少的条件，给予体验者更好的代入感，以还原生活语境 [11] 。在人声上贴近非遗原生地的口音并配合自然音效，还原当地的人文环境和社会环境，音量上结合多普勒效应塑造声音的空间感，增强其生活感。在历史背景、人物刻画等描述性画面语言中着重于通过环境和细节的描绘渲染情感的变化，在画面的色彩、光影和风格等情绪渲染的表现性画面语言的塑造上紧贴非遗内涵。

4.3.2. 基于沉浸体验的设计策略

大多体验都注重于本身的交互设计、叙事设计等等，体验环境上的设计往往容易被忽视。大多数传统的体验环境都局限在一个狭小的体验空间，并且体验空间中缺乏与体验内容相关的陈设，在场景布置上增添一些非遗视觉元素能为接下来的代入感作一定的铺垫。体验空间的材质选择同时也会影响体验者进入时的第一观感，例如墙壁、地板的材质所带来的不同脚感和观感，以及灯光等所营造的氛围等。选择一个较大的体验空间，并且将真实环境与非遗原生环境所接触的材料质感相对应，会带来更多的真实感。在工作人员的服装设计上加入非遗相关元素，并且给予体验者特定的体验服装，一方面能够渲染体验者的情绪氛围，另一方面也能赋予体验代入感。

沉浸体验离不开刻画非遗原生的自然环境、生态环境和社会环境，包括时间维度和空间维度的复原。在时间维度上将虚拟体验设定背景为非遗原生时代，并将空间维度与之配合，例如在建筑风格、室内布局、家具陈设的设置上都具有一定的地域性和时代性，在虚拟人物设定上选择古代名人能够给予体验者更多的亲切感。同时UI界面的风格与画面风格相协调，在剧情设定上与非遗相关的神话传说相结合，增强其叙事性和生动性，见图4。

图4. 《古籍寻游记》场景图^④

4.3.3. 基于情境交互的设计策略

交互环节的设计为虚拟体验设计的核心环节，多感官设计除了运用在沉浸式情境塑造上，作为交互环节的感官反馈还能够增强交互体验。在手工艺交互阶段，通过感官联觉来模拟真实世界中的交互反馈，在交互方式的设计上采用手势交互，手势变化引起画面变化形成视触联觉的交互反馈；在拿起、放下等动作手势交互时，音效配合画面形成视听联觉上的交互反馈。非遗制作环境旨在还原当地的气候特点以及制作非遗所需要的特殊工序，在空间湿度上的变化以及风感的塑造能够让体验者对于非遗身上的地域文化有更好的认知。一些非遗需要经过烧制或者风干等特殊环节，在此过程中所加入的热感风感等感官设计也能给予体验者对于非遗制作更深入的了解。

5. 总结

多感官设计以感官感受为切入点，除了在物质层和行为层所带来的直观的多重体验外，更是将感官配合叙事将用户体验上升到精神层的情景交互，并结合信息构筑理论，针对传统手工艺类非遗虚拟体验设计带来新的视角。体验者在这一多重感官的沉浸式虚拟体验中重塑对非遗的认知，非遗也得此在全新的数字化传播方式中进行重塑构建。

注释

①图1来源： [4]

②图2来源： [9]

③图3来源：作者自绘

④图4来源：《古籍寻游记》

文章引用

吕佩珍,崔 晋. 多感官设计在传统手工艺类非遗虚拟体验中的应用
The Application of Multisensory Design in the Virtual Experience of Traditional Handicrafts Non-Heritage[J]. 设计, 2023, 08(04): 3506-3513. https://doi.org/10.12677/Design.2023.84432

参考文献