江南大学设计学院，江苏 无锡

收稿日期：2023年10月13日；录用日期：2023年12月19日；发布日期：2023年12月28日

摘要

目的：基于手势交互技术与VR音游玩法特征，本文进行融入古琴题材的VR音游手势玩法设计，为其他领域中探索VR手势的应用途径提供思路。方法：通过分析手势交互的技术要素与VR环境的体验要素，本文提出了VR古琴音游玩法的设计原则与设计方向，为探索与VR手势结合的音游玩法提供了设计理论和方法。结论：伴随信息科技的发展，人们对于游戏的交互需求日渐增加，作为人机交互新媒介的VR设备与手势交互方式成为新的潮流。本文将VR作为环境媒介，结合手势追踪的交互模式与古琴音乐的听视觉表现进行音游玩法设计，以易于上手的游戏操作模式构筑古琴音乐特有的律动体验，为与VR手势结合的音游玩法提供了设计思路。

关键词

手势交互，VR音游，古琴艺术，游戏设计

Research on Guqin VR Music Game Method Based on Gesture Interaction

Yuting Huang, Li Zhang

School of Design, Jiangnan University, Wuxi Jiangsu

Received: Oct. 13^th, 2023; accepted: Dec. 19^th, 2023; published: Dec. 28^th, 2023

ABSTRACT

Goal: Based on the gesture interaction technology and the characteristics of VR music game, this paper designs the VR music game gesture game with the theme of Guqin, and provides ideas for exploring the application of VR gestures in other fields. Method: By analyzing the technical elements of gesture interaction and the experience elements of VR environment, this paper puts forward the design principles and design directions of VR Guqin game, which provides design theory and method for exploring the sound play method combined with VR gesture. Conclusion: With the development of information technology, people’s demand for game interaction is increasing day by day. As a new medium of human-computer interaction, VR equipment and gesture interaction have become a new trend. In this paper, VR is used as an environmental medium, combined with the interactive mode of gesture tracking and the visual performance of Guqin music to design the sound game method, and the unique rhythm experience of Guqin music is constructed with the easy-to-use game operation mode, which provides a design idea for the music game method combined with VR gesture.

Keywords:Gesture Interaction, VR Music Game, Guqin Art, Game Design

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

古琴艺术是伴随着中国历史的发展而形成的特有的文化形式，是最具有代表性的中国传统文化符号之一。如何将古琴艺术所承载的人文精神、美学思想，以及作为象征符号的文化价值有效地转化为一种再生产的文化资本和创造资源，已然成为一个当下亟待解决的文化命题。

以虚拟现实技术为基础所呈现的手势交互模式具有沉浸性、交互性、多感知性、想象性、自主性的典型特征，已被应用于教育、娱乐等各种形式的非遗数字化项目中，本文基于手势交互技术，探索古琴VR音游的玩法设计方向。

2. VR中的手势交互技术

2.1. 发展历程

通过手部动作与虚拟环境进行交互的VR手势交互技术，能够使用户更加自然、直观地控制虚拟环境中的对象和场景。随着VR技术的不断发展和普及，VR手势交互也在应用实践中逐步走向成熟，各阶段的手势交互技术见表1。早期的VR手势交互主要采用鼠标器、笔、数据手套等硬件设备，但这种方式对设备的依赖性较强，且操作不便，限制了应用范围。随着计算机视觉技术的进步，基于计算机视觉的手势交互逐渐成为主流，其优势在于不需要佩戴硬件设备，用户的操作更加自然和方便。目前HTC Vive [1] 、暴风魔镜5/暴风魔镜5 Plus [2] 等设备均已配备双目深度摄像头，可通过算法识别使用者的手部骨骼关键点，复原使用者进行的手部动作，实现实时体感交互。

表1. 不同类型的手势交互技术

2.2. 技术原理

目前，手势交互技术仍在技术研究与优化阶段，基于视觉双目摄像头的手势捕捉仍存在较大的精准度问题。尽管如此，许多学者已在虚拟现实、车辆驾驶、生物医学、艺术教育等领域中使用手势交互技术进行了大量的应用实践。在虚拟现实领域中，使用手势进行与环境的互动，以提高交互的自然性；在车辆驾驶领域中，使用手势操作音响、温度等车载信息，最大限度地减少人们的认知负担，并一定程度上减少了驾驶者的视觉分心 [6] ；在生物医学领域，加入手势交互技术辅助治疗的康复方案可以提高手运动功能的康复速度 [7] ；在艺术教育领域内，基于手势交互技术开发的虚拟人体骨骼实验系统，通过手势点击骨骼、控制摄像机的移动与缩放等教学内容，提高学生的学习效果 [8] 。

本文采用HTC Vive Pro设备配合Unity环境进行研究，该设备可通过头盔所配备的双目深度摄像头可识别手部腕骨、掌心、指骨共26个骨骼关键点，不依靠任何外部设备即可在Unity渲染窗口实现实时手部追踪，已满足研究所需的技术条件，见图1、图2。

图1. 手部26个骨骼关键点

图2. Unity渲染窗口实时手部追踪

3. 手势交互模式下的VR音游玩法分析

3.1. 玩法特征

VR音游是一种基于虚拟现实技术的音乐游戏，玩家可通过佩戴VR头显、手柄等设备，进入虚拟现实游戏环境中进行游戏，具备易上手性、强互动性、音乐沉浸性、强趣味性的玩法特征。

VR音游提供不同的玩法模式，让玩家可以通过挥削、射击、打击、舞蹈等方式与音乐互动，并提供给玩家节奏感、刺激感、创意感、表演感等多种不同的游戏体验，见表2。在挑战VR音乐游戏的过程中，玩家需要快速地反应和做出准确的动作，使其击中节奏点并完成任务，因此玩家需具备较高的反应速度、手眼协调能力和节奏感，以获得更高的分数和评价。

表2. VR音游玩法与体验分析

3.2. 体验要素

在VR环境下，手势交互是一种自然且直观的交互方式，可以帮助玩家更好地融入游戏场景中。本研究采用HTC Vive设备的双目深度摄像头，以基于计算机视觉的手势追踪技术作为技术支撑，通过玩家的视觉和手势来实现与虚拟环境的交互，涉及相关游戏体验要素如下：

1) 环境沉浸性：基于视觉的VR手势交互可以提供更高水平的环境沉浸感。

玩家可以通过转动头部，自由地观察和感受虚拟环境中的细节，同时通过手势交互来操控虚拟世界中的物体和角色。这种沉浸性的体验使玩家更深入地融入游戏世界，增强了游戏的身临其境感。

2) 交互自然性：基于视觉的VR手势交互使玩家能够以更自然的方式与虚拟环境进行交互。

玩家可以使用手部动作和手势来模拟现实生活中的动作，例如抓取、推拉、挥动等，这种交互方式更加直观和身临其境。通过手势交互，玩家可以以更自然的方式操控虚拟世界中的物体和角色，增加了游戏的真实感和互动性。

3) 玩法趣味性：基于视觉的VR手势交互为游戏带来了新的玩法趣味性。

游戏设计师可以充分发挥创造力，通过手势交互创造独特的游戏玩法，让玩家通过游戏中的各项手势设定，获得更加自然、刺激和有趣的游戏体验。

4) 操作便捷性：基于视觉的VR手势交互为玩家提供了更便捷的操作方式。

相比传统的控制器或键盘鼠标，玩家只需使用手部动作和手势就能进行游戏操作，无需额外的穿戴设备。这种操作方式使得玩家能够更自由地移动和操控虚拟环境中的物体和角色，提高了操作的灵活性和便捷性。

4. 手势交互在古琴VR音游中的应用实例

4.1. 设计背景

古琴，亦称瑶琴、玉琴、七弦琴，为中国最古老的弹拨乐器之一，有文字可考的古琴历史有四千余年，据《史记》载，琴的出现不晚于尧舜时期。几千年来，古琴一直是中国文人修身养性的工具和完美人格的象征，其遗存之丰硕堪称中国乐器之最。古琴有标志音律的13个徽，亦为礼器和乐律法器。属于八音中的丝。现存琴曲3360多首，琴谱130多部，琴歌300首。中国古琴从出现以来就代表着文人骚客、达官贵族，平民百姓对这个乐器的认识相当少，古琴“高雅艺术”的特性使得受众面非常小。根据调查发现，人文底蕴的缺失和西方文化的渗透，使古琴原有的传承系统遭到破坏，古琴的文化传承与传播陷入越来越艰难的境地。

基于此背景，本文将古琴演奏的元素融入VR音游中，以增加古琴艺术的传播渠道，降低大众了解和欣赏古琴音乐的门槛作为设计目标。

4.2. 设计原则

1) 构筑古琴音乐特有的律动体验

古琴作为弹拨乐器，其自然出音状态是点状的，人们常常以右手击弦来形成古琴的实音，即弦振时的音色，称为“声”。古琴的虚音是实音处于起振后、消失前的状态时，以左手上下移动或进退按弦产生的对余音修饰的声音，是琴音的非自然状态，称为人为加工的音“韵”。

在音游玩法中，听觉与视觉是形成游戏体验的两大感知来源。在视觉设计中，点是最基本的元素之一，是构建形状结构的重要组成部分，高频的点状变化能够营造强烈的视觉冲击感和节奏感。线条具有曲直、长度两大要素，能够创造出不同节奏的视觉效果，从而呈现出画面的连续感和波动感。由无数条线组成的面所呈现的视觉效果将更加立体与丰富，更突出空间感和深度感。本文基于“点、线、面”三大平面构成元素，以点模拟节奏、以线描绘波动、以面刻画虚实，并以“由点及线、由线及面”的推进方式构筑听视觉的关联性，给予玩家古琴音乐特有的律动体验。

2) 形成易于上手的游戏操作模式

古琴演奏技法也称指法，是指左手怎样按弦，右手怎样拨弦的方法。古琴以不同方式演奏可得三种音，左手不按、右手拨弦得音称“散音”，左手按弦、右手拨其弦得音称“实音”，右手拨弦、左手轻触其弦徽位得音称“泛音”。在演奏手势中，两手的小指均为“禁指”，仅使用大食中名四指进行弹奏，十种基本手势见表3。右手的基本指法“擘、托、抹、挑、勾、剔、打、摘”被称为右手基本八法，分配在大食中名四指，为四组。此八种指法以不同数量、不同节奏进行组合，又衍生出右手其他的指法，如“撮弦、刺弦、伏弦、轮指”等。左手以按弦为主，通过产生不同音高来增加琴曲表现力。左手最主要的指法为“绰、注、吟、猱”四种，大指按弦可分为肉按与甲肉相半之按两种，其余三指一般均以指尖按弦。除此以外，在演奏过程中左手还可配合右手使用“扫弦、弹打、滑音”等特殊技巧，以表现某些琴曲所具备的独特音乐意境。

在游戏设计中，“易于上手”的操作模式有利于维持心流曲线的平稳状态，让学习曲线呈现平缓上升的趋势，让玩家形成合理的节奏以提升自己的操作水平与游戏理解。然而古琴手势纷繁复杂，涉及手指类型、数量、形态、动势等多种要素，若是直接以专业手势的形态与游戏玩法结合，必然无法满足“易于上手”的操作要求，导致玩家陷入焦虑的心流区间。因此在手势与玩法的结合设计中，必然要对其进行简化以维持稳定的心流曲线。

表3. 古琴基本手势

4.3. 玩法设计

1) 继承自传统音游玩法的基础框架

传统音游以音乐、音符、判定三大要素构成。在以古琴为题材的VR音游中，本文选取《仙翁操》作为演奏乐曲，依据减字谱排列音符组合，以每一个音符都单独判定的方式，考验玩家对节奏的把握。

2) “音浪”的节奏反馈设计

为构筑古琴音乐特有的律动体验，本文以“由点及线、由线及面”的推进方式刻画古琴得音时的琴弦震动感，在视觉表现上采取“音浪”的形式进行得音前、得音时、得音后三段节奏反馈的设计，见图3。

图3. “音浪”节奏反馈设计

在得音前，以UI提示预示节奏点的到来，外围提示圈将显示在对应位置，并越发逼近中心提示圈，当两圈重合时，即为节奏“点”。在得音时，“点”将会带动周围物体的运动，以高度落差形成错落有致的“线”。在得音后，不同高度的各条“线”描绘出了具有空间感的“面”，以此表现琴弦震颤的余韵。

3) 基于古琴演奏指法的手势再设计

手势判定规则为在对应的节奏点，以对应的手势进行击打。《仙翁操》中共包含右手“挑”、“勾”，左手“无名指按弦”、“拇指按弦”四种基础手势，为构建易于上手的游戏操作模式，本文将手势内容进行简化，只保留手指类型与数量两大判定因素，以平衡手势与节奏点两者同时满足所需的反应时长，见图4。

图4. 手势示意图

a) 进行手指特征编码

对于每一根手指而言，都具备所属手(左/右)、手指类型(拇指、食指、中指、名指)、指尖碰撞体三大属性。其中，指尖碰撞体与各手指顶端绑定，并携带“所属手”与“手指类型”两类标签，手势判定操作全部基于该碰撞体完成。

b) 明确手势判定规则

在判定手势“挑”时，将检测被碰撞体标签是否为“右手”与“食指”，数量是否为1；在判定手势“勾”时，将检测被碰撞体标签是否为“右手”与“中指”，数量是否为1；在判定手势“无名指按弦”时，将检测被碰撞体标签是否为“左手”与“无名指”，数量是否为1；在判定手势“拇指按弦”时，将检测被碰撞体标签是否为“左手”与“拇指”，数量是否为1。

5. 结语

手势交互具有高效、简单、易学的特点，是一种符合人直觉的交互方式。为了使玩家在基于手势交互的VR音游中获得更加良好的游戏体验，本文将环境沉浸性、交互自然性、玩法趣味性、操作便捷性四方面纳入体验要素的考量，结合古琴音乐的听视觉表现进行玩法设计，以易于上手的游戏操作模式构筑古琴音乐特有的律动体验，为与VR手势结合的音游玩法提供了设计思路。

注释

文中所有图片均为作者自绘或者自摄。

文章引用

黄雨婷,章 立. 基于手势交互的古琴VR音游玩法探究
Research on Guqin VR Music Game Method Based on Gesture Interaction[J]. 设计, 2023, 08(04): 3917-3923. https://doi.org/10.12677/Design.2023.84482

参考文献