¹上海理工大学光电信息与计算机工程学院，上海

²上海理工大学医用光学技术与仪器教育部重点实验室，上海

收稿日期：2024年4月24日；录用日期：2024年5月23日；发布日期：2024年5月31日

摘要

近年来，光电容积脉搏波描记技术(photoplethysmography, PPG)作为一种无创生理信号监测方法，因其与可穿戴设备的高度兼容性、信号采集准确性以及适用于长期监测的特性，已在人体运动识别与人机交互应用中显示出巨大潜力。本研究通过自制的传感平台，针对15名志愿者执行的三种粗粒度运动(静坐、快走、慢跑)下的五种细粒度运动(上伸臂、下伸臂、抬小臂、弯手指和右摆手)进行了信号采集。创新性地提出了一种基于ConvLSTM网络的运动识别分类算法，并对细粒度运动信号进行分析，揭示了在运动识别应用中，近红外光和绿光信号具有显著的优势。经评估，模型在近红外光和绿光条件下的F1分数分别达到0.951和0.944，展现了高度的识别准确性和可靠性。此外，研究还发现粗粒度运动的强度与信号分类效果之间存在负相关关系，表明运动的复杂度可能会对识别效果产生影响。这些发现不仅证实了PPG信号在精准人体运动识别上的有效性，还为PPG信号应用于可穿戴设备的开发提供了强大技术支持，对促进人体运动科学、人机交互和健康管理领域的创新发展具有重要指导意义。

关键词

PPG，ConvLSTM，细粒度运动，粗粒度运动，运动识别，传感平台

Research on Fine-Grained Human Motion Recognition Based on PPG and ConvLSTM

Menghui Jia^1,2, Huijuan Shen^1,2, Pei Ma^1,2*

¹School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai

²Key Laboratory of Optical Technology and Instruments for Medicine, Ministry of Education, University of Shanghai for Science and Technology, Shanghai

Received: Apr. 24^th, 2024; accepted: May 23^rd, 2024; published: May 31^st, 2024

ABSTRACT

In recent years, photoplethysmography (PPG), as a noninvasive physiological signal monitoring method, has shown great potential in human motion recognition and human-computer interaction applications due to its high compatibility with wearable devices, signal acquisition accuracy, and suitability for long-term monitoring. In this study, signals were acquired by a homemade sensing platform for five fine-grained motions (upward arm extension, downward arm extension, forearm extension, finger bending, and right hand swing) under three types of coarse-grained motions ( sitting, walking, and jogging) executed by 15 volunteers. An innovative motion recognition classification algorithm based on ConvLSTM network was proposed and analyzed for the fine-grained motion signals, revealing that near-infrared light and green light signals have significant advantages in motion recognition applications. The model was evaluated to achieve F1 scores of 0.951 and 0.944 under near-infrared light and green light conditions, respectively, demonstrating high recognition accuracy and reliability. In addition, a negative correlation was found between the intensity of coarse-grained motion and the signal classification effect, suggesting that the complexity of motion may have an impact on the recognition effect. These findings not only confirm the effectiveness of PPG signals in accurate human motion recognition, but also provide strong technical support for the application of PPG signals to the development of wearable devices, which is of great guiding significance in promoting the innovation and development in the fields of human motion science, human-computer interaction and health management.

Keywords:Photoplethysmography (PPG), ConvLSTM, Fine-Grained Motion, Coarse-Grained Motion, Motion Recognition, Sensing Platform

Copyright © 2024 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

在数字化时代的浪潮之下，大数据和算法的结合已成为推动许多领域创新发展的核心动力。特别是在人体运动识别 [1] 这一具有潜在广泛应用前景的领域中 [2] ，例如个人健康监测、体育运动分析 [3] 乃至疾病康复过程 [4] 中，利用先进算法挖掘丰富的运动数据中的有用信息，对于推动智能医疗 [5] 和智能体育等产业的快速发展有着不言而喻的重要性 [6] 。然而，准确地采集和分析人体复杂运动产生的信号一直是困扰该领域研究人员的主要挑战。人体运动的复杂性和多样性导致了巨大的运动数据流，而这些数据的采集过程往往受限于传感器技术的局限性、环境条件的多变性以及人们对于隐私保护日益增长的需求。这些挑战不仅要求我们拥有高精度和高效率的数据采集技术，同时也对后续的数据处理与分析提出了更高的技术标准。

在众多用于监测人体运动信号的采集源中，基于图像和视频 [7] 的视觉类传感器涉及到个人隐私问题而受限；雷达 [8] 和WIFI类 [9] 无线传感器因识别率较低而不被优先考虑；可穿戴设备类传感器成功克服了上述两方面的问题。然而，在可穿戴设备中，加速度传感器 [10] [11] 虽能通过监测人体加速度的变化来捕捉不同的运动模式，但测量范围却略显局限，且必须固定在身体特定部位才能监测，并对环境噪声敏感度高，易受干扰；陀螺仪传感器 [12] [13] 通常需要结合其它传感器共同使用，并且长期工作存在误差累积；数据手套 [14] 则可能限制用户手部的自然运动，从而影响用户体验。相较而言，PPG传感器 [15] 在保障高灵敏度和信号准确性的同时，不仅不会影响用户体验，也适合长期监测 [16] 。此外，PPG信号包含了丰富的生理和病理信息，为研究提供了额外的洞见。因此PPG传感器在人体运动识别的研究中愈发受到关注，成为该领域的研究热点。PPG是一种利用组织对不同波长光的差异性吸收原理来工作的技术 [17] ，LED发出光束照射到人体皮肤上，一部分光被皮肤吸收，另一部分则被流经皮下血管的血液吸收。光敏二极管接收到皮肤透过的光，将其转换为电信号。而心脏的跳动会引起血液动态流动，这一过程会导致皮肤以及血管的细微膨胀与收缩，影响光的吸收率，使光敏二极管产生周期性的电信号变化，形成PPG波形。由于不同的运动模式会导致心率的不同，节拍和节律的差异也会随之显现在PPG信号的波形变化中。因此，PPG信号可用于监测和识别人体的运动行为 [18] 。一些研究表明PPG传感器在人体运动识别方面取得了显著成果，但通常集中于单一或有限的运动模式上，且仍存在准确率上的局限性。Zhao等人 [19] 收集了十名成年人在静止状态下的9种手指级别的PPG信号并用梯度增强树(GBT)模型和基于深度神经网络的模型(即ResNet)取得了平均精度超过89%的结果。Narit等人 [20] 通过结合ECG信号和PPG信号对诸如步行和爬楼梯的粗粒度运动有着90%以上的预测F1分数。Ling等人 [21] 在PPG信号和LSTM算法下对在四种粗粒度运动场景中的手腕和手指动作进行研究并达到了81.7%的识别准确率。为了在多种场景和复杂动作条件下提升运动识别的准确性，本研究深入探讨了基于粗粒度的细粒度动作识别技术。这一研究旨在阐明PPG信号在不同运动模式下的变化规律，进而探索其在运动监测和行为识别领域中的稳定性和准确性的提升方法。应当指出，在运动分析与人机交互等领域，粗粒度运动通常指的是涉及身体广泛区域或多个部位的宏观动作，相对地，细粒度运动着重于微小或精确的运动细节。这一区分可以提供不同层级的分析精度，有助于更细致地理解运动特征。

本研究提出了一个先进的基于PPG信号的细粒度运动姿态识别算法，并专门针对五种特定姿态实现了高精度的鉴别。本研究的主要贡献包括：1) 设计并实现了一种结合卷积和长短期记忆网络(ConvLSTM)的新型算法架构，该架构致力于区分三种粗粒度运动背景(静坐、快走和慢跑)下的五种细粒度动作(上伸臂、下伸臂、抬小臂、弯曲手指和右摆手)。该算法在实验中显示出强大的分类性能和识别准确性。2) 评估了不同波长的光源对PPG信号分类效能的影响，从而得出对于信号分类过程中光源选择的参考。3) 进一步分析了粗粒度运动状态对细粒度动作识别精度的影响，为PPG信号在各种动态条件下的解析提供了新的洞察。总的来说，本研究不仅为PPG信号在精细运动状态识别中的应用提供了一个高效的分析工具，扩展了PPG信号在复杂行为分析中的应用理解。此外，这些发现也为未来可穿戴健康监测设备的发展提供了新的研究途径和应用可能性。

2. 方法和实验

2.1. 数据集

本研究针对三种主要的粗粒度运动状态——静坐、快走和慢跑——系统地进行了五种细粒度同步运动探究，包括上伸臂、下伸臂、抬小臂、弯手指及右摆手。为实现对运动任务执行时间的精准控制，一个计算机时序控制应用程序被设计。该程序以固定的四秒间隔发出声音提示，受试者每次听到提示音后立即执行预定的细粒度运动动作。此方法确保了动作间隔时间的一致性，为后续信号的分割和分析处理提供了准确的时序标准，为信号处理的精确度和可靠性打下了坚实的基础。细粒度运动数据集设计如下图1所示。

图1. 基于粗粒度的细粒度运动数据集设计

本研究开发了一种高效的指环式人体运动PPG信号采集系统，该系统基于三通道模式，结合MAX30101传感器同步监测由近红外、红光和绿光诱导的脉搏波信号。这种多波长光源的使用允许传感器提供更全面的信息，使其能够适应不同肤色及皮肤厚度的个体，保证测量在各种用户中的准确性和可靠性。此外，本系统还整合了一个基于STM32F103C8T6的主控芯片，该芯片的高计算能力确保了信号处理的精确度和效率 [22] 。为了实现数据的无线传输，系统通过集成HC-08蓝牙模块保障脉搏波信号能够被实时传输到接收端，并进行高质量显示及存储。我们的指环式采集装置提供了两种电源供应方案：一是通过内置微控制器STM32F103C8T6上的micro USB端口直接供电；二是借助搭载3.3V线性稳压源的9V电池供电。这样的设计确保了装置在执行动态监测时的操作连续性与信号传输稳定性，同时增强了在各类应用场景下的适用性与持久工作能力。

在细粒度的信号采集过程中，共招募了15名志愿者(详细信息见表1)参与信号的采集工作。每位志愿者在加入实验前均接受了充分的训练，以确保对各项动作细节的精确理解和执行，以保障在不同个体间实现动作的一致性。我们所采集的五种细粒度运动动作在图2中进行了展示。

图2. (a) 右摆手；(b) 抬小臂；(c) 弯手指；(d) 下伸臂；(e) 上伸臂

表1. 数据集的采集细节

2.2. 信号预处理

运动过程中产生的PPG信号的波形一般会受到基线漂移，肌电噪声，运动伪迹等的影响，让信号发生不规则变化甚至是异常畸变等。为了评估我们所提出算法的有效性，以及最大限度利用原始PPG信号中的运动信息，本研究利用小波变换对信号进行滤波处理。在PPG信号处理中，滤除非生理性噪声分量至关重要。通过设置小波变换参数，将低频截止为0.2 Hz，移除基线漂移效应，而将高频截止设置为8 Hz，则可滤除高频噪声，例如电源线干扰或者是由快速运动产生的噪声。由于大部分成人的心跳频率范围大致落在这个频段内(即每分钟60~100次，等效于1~1.67 Hz)，这样的滤波器参数设置使PPG信号中的心跳成分得到保留，同时尽可能减少其他干扰。

图3. 小波去噪效果展示

小波去噪 [23] 是在小波域中通过适当的阈值方法，对信号的小波系数进行精细的选择，以消除噪声影响。小波变换作为一种时频局部化的分析工具，能够揭示信号在不同尺度下的特性，能在非平稳信号分析中表现出比傅里叶变换更优的性能。对PPG信号 $s\left(t\right)$ 进行小波变换可以描述为式子(1)，小波系数描述为式子(2)：

$W_s\left(a,b\right)={{\displaystyle \int }}^{\text{}}s\left(t\right)\cdot \frac{1}{\sqrt{a}}\psi \left(\frac{t-b}{a}\right)\text{d}t$ (1)

(2)

其中， $\psi \left(t\right)$ 是母小波函数，a是尺度参数，b是平移参数。 $d^{\prime }$ 是处理后的小波系数，λ是预定的阈值。 $\mathrm{sgn}\left(d\right)$ 是d的符号函数。如果d的绝对值大于阈值λ， $d^{\prime }$ 将是d减去λ并保持d的符号；否则 $d^{\prime }$ 设为0。这个操作的目的是减少小的小波系数的值，因为这些系数主要代表噪声，同时保持较大的系数几乎不变，它们包含了信号的主要信息。我们选取一条静坐状态下的采集到的PPG基信号进行小波变换，结果展示如上图3所示。

2.3. 信号分割

在处理PPG信号时，为了便于分析和计算，我们将原来基于时间t的信号 $s\left(t\right)$ 转化为与采样点数x相关的函数 $s\left(x\right)$ 。如果设定每个PPG信号段的长度为N个采样点，则分段的过程可以定义如下：采集的PPG信号为 $s\left(x\right)$ ，其中x表示采样点数的序列。识别PPG波形中代表每个子信号片段的特征点，通常是通过搜索波形的局部特征点实现。局部特征点 $x_{fea}$ 对应于每个子信号片段的中间信号，可以通过方程(3)实现，方程中函数F会随着细粒度运动的不同而有所不同，当细粒度运动产生开口朝下的脉冲变化时，方程中(3)的F函数代表max()，脉冲的开口朝上时，F函数代表min()：

$x_{fea}=\arg F\left(s\left(x\right)\right)x\in \left[x_{start},x_{end}\right]$ (3)

其中 $x_{start}$ 和 $x_{end}$ 定义了搜索局部特征值的采样点范围，这里我们取3秒的时间范围。子信号片段的提取步骤为：以 $x_{fea}$ 为中间点，截取前后对应的包含N个采样点的片段P，即一个完整的子信号片段波形。片段P可以描述为下面式子，其中i代表相对于周期特征点 $x_{fea}$ 的偏移量。

$P\left[i\right]=s\left(x_{fea}+i\right)$ (4)

其中 $i=-N/2+1,\cdots ,0,1,2,\cdots ,N/2$ 。

连续片段的提取：将下一个子信号片段的起始位置 ${x^{\prime }}_{start}$ 设置为当前周期特征点 $x_{fea}$ 加上周期长度 $N/2$ 。再次寻找新的满足条件的局部特征点。将此过程迭代执行直到完成整个PPG信号的分段。由这一过程生成的子信号片段集合可以表述为 $P_1,P_2,\cdots ,P_n$ ，其中 $P_n$ 表示第n个子信号片段。通过这种方法，每个PPG信号段被固定为N个采样点，这种基于固定时长间隔的分段方法可以更系统地分析和对比子信号，并且将局域特征点作为子信号中间点的方法，可以确保子信号能够有效把握细粒度运动信号的变化信息，从而对由于运动或其他干扰引起的信号变异展现出显著的鲁棒性。

2.4. 模型介绍

本研究引入ConvLSTM模型来进行运动PPG信号的分类处理，该模型巧妙结合了CNN的空间特征提取能力 [24] 和LSTM [25] 的时间序列分析优势。ConvLSTM是为捕捉PPG信号中的复杂时空依赖而设计，其中CNN层首先对信号进行空间特征提取，识别局部模式，随后LSTM层接续以解析信号时间特性及其长期依赖性。这种结合不仅允许模型捕获每个独立模型可能忽视的细节，而且显著提高了对运动PPG信号变化的敏感性和分类准确性。模型架构可以细分为三个核心组成部分：卷积块负责初步特征学习，LSTM模块用于进一步的时间维度建模，最后分类器模块整合前两者的输出以执行准确的信号分类。这样的设计使得ConvLSTM模型能够有效地解决时域和频域特征提取、序列建模以及泛化等多方面挑战，从而在处理复杂的生物信号分类任务中展现出其独特的优势。LSTM主要是通过细胞单元来进行工作的。每个单元都有三个门：遗忘门、输入门、输出门。遗忘门通过公式(5)来决定上一时刻的单元状态 $C_{t-1}$ 有多少可以保留到当前时刻 $C_t$ ；输入门通过公式(6)和公式(7)决定当前时刻的网络输入 $x_t$ 有多少可以保存到单元状态 $C_t$ ；最后的输出门通过公式(8)和公式(9)决定单元状态 $C_t$ 有多少输出到LSTM的当前输出值 $h_t$ 。

$f_t=\sigma \left(W_f\cdot \left[h_{t-1},x_t\right]+b_f\right)$ (5)

$i_t=\sigma \left(W_i\cdot \left[h_{t-1},x_t\right]+b_i\right)$ (6)

${\tilde{C}}_t=\tanh \left(W_C\cdot \left[h_{t-1},x_t\right]+b_C\right)$ (7)

$o_t=\sigma \left(W_o\left[h_{t-1},x_t\right]+b_o\right)$ (8)

$h_t=o_t\ast \tanh \left(C_t\right)$ (9)

LSTM细胞单元和ConvLSTM模型结构如下图4所示。

图4. (a) LSTM细胞单元结构；(b) ConvLSTM模型结构分类示意图

2.5. 实验操作

2.5.1. 光源波长对信号分类的探究

为深入探究波长对光源在细粒度运动分类中的影响，本研究构建了一个包含红光(660 nm)、近红外光(880 nm)和绿光(537 nm)作为光源的PPG信号数据集。收集的数据集经过标准化的信号预处理流程，随后被送入深度学习架构ConvLSTM中进行训练和测试。实验的训练集和测试集比例为8:2，每种波长下的样本量均为3720。为了控制变量，除了波长参数外，所有相关实验条件均保持一致。为确保实验结果的稳健性，每个波长的光源信号都进行了五次独立实验，并采用了五次实验结果的均值来评估波长对分类性能的影响。

2.5.2. 粗粒度运动强度对细粒度运动分类的探究

为探究粗粒度运动强度对细粒度运动分类的影响，本研究设计了包括三种不同的粗粒度运动状态：静坐、快走和慢跑。在每种粗粒度状态下，我们收集了参与者的细粒度运动信号，对其执行了规范化预处理步骤，并将这些处理后的信号导入ConvLSTM模型进行分析。为了探究运动强度对细粒度分类的影响，实验控制了所有其他变量，仅改变粗粒度运动状态这一变量。为了确保实验结果的统计稳定性，每种粗粒度运动状态下的实验同样也进行五次独立重复，并采用这五次实验结果的平均值作为对分类性能影响的稳健评估。

3. 结果和讨论

3.1. 光源波长的性能探究

在本研究中，不同波长的光源采集的PPG信号被输入至ConvLSTM模型进行分析，五次独立实验的平均结果采用图5中的(a)柱状图和(b)折线图进行了展示。统计分析结果显示，采用近红外光源和绿光源获得的PPG信号，经过ConvLSTM模型的处理，展现出显著优异的五分类性能。相较之下，使用红光光源获得的PPG信号的分类效果明显逊色。这一现象我们将其归因于不同光波长在组织中的光学特性差异，尤其是吸收和散射系数的变化。绿光(537 nm)由于其较高的吸收系数，更容易被血液吸收，从而更准确地反映出细粒度运动引起的血流动态变化。而近红外光(880 nm)具有较深的穿透能力，能够探测到更深层血管的血流信息，增强了对于深层组织物理活动的敏感性。反之，红光(660 nm)的穿透力相对较弱，更易受到皮肤和组织散射的影响，导致从红光源收集的PPG信号中捕捉到的生理信息减少，故可能出现分类性能下降的情况。

在分析每种波长光源对应的四个评价参数结果时，发现使用近红外光状态下得到的四个参数的最大差值为0.006，红光状态下的最大差值为0.004，而绿光状态下的四个评价参数差值仅为0.001。这样的结果表明各指标之间的数值较为接近，且差异甚小，从而反映了网络模型在不同细粒度运动分类任务上的高一致性和稳定性。在统计学中，这种一致的结果意味着低方差，表明模型对于数据集的小波动具有很好的抗扰动性和泛化能力。这种稳定性通常是由于模型结构良好设计，能够有效地捉住PPG信号的内在模式和特征，同时也指示了实验条件和数据预处理过程均匀一致，减少了外界噪声和随机误差对模型评估结果的影响。因此，模型的性能表现具有较高的可复现性和可靠性，为其在实际应用中的部署提供了理论与实验证据的支持。

图5. 不同波长信号下细粒度运动分类结果：(a) 柱状图；(b) 折线图

3.2. 粗粒度运动强度对细粒度运动分类性能的探究

静坐状态下测量得到的分类信号的两次结果以混淆矩阵形式展示在图6中，通过图6中(a)、(b)可以看出，特定的分类信号在两次结果中展现出了一致性和差异性。特别是，下伸臂和弯手指这两个动作分类的准确性较高，其中在(b)图中，下伸臂的准确分类比例为94.711%，而弯手指为95.456%，均超过其他三种动作。这一结果表明这两种动作具有较高的可区分度。相比之下，抬小臂在两次测量中显示出相对较低的分类准确率，分别为92.467%和91.384%，这表明抬小臂动作的信号特征与其他类别间的可区分度不如其他动作，可能是因为抬小臂在静止状态下的信号模式与其他动作较为相似。不同粗粒度运动强度下的细粒度运动的五分类识别结果被详细地呈现在图7中，比较分析表明，受试者在静坐条件下进行细粒度运动时，分类精度达到了最高，而在慢跑条件下分类性能表现最差。这种现象可能是因为：静坐状态下，生理系统受运动引起的生理及机械性噪声干扰较少，心率与血流波动保持在一个相对平稳的状态，这为PPG信号质量的提升提供了有利条件。这种高质量的PPG信号更可能反应细致的生理变化，从而提升了细粒度运动的分类精度。相反，在慢跑等高强度活动状态下，身体的剧烈运动会诱发较多的生物电噪声和动作伪影，这不仅降低了信号质量，而且更易使有价值的生理信息被噪声掩盖。此外，更频繁和剧烈的血流变动可能复杂化PPG信号，增加了从信号中提取特定细粒度运动特征的难度。因此，推测随着运动强度状态的提升，PPG信号的分类性能可能呈现出逐渐下降的态势。

图6. 静坐状态下ConvLSTM模型分类混淆矩阵对应的两组独立测量结果(a)和(b)

图7. 基于粗粒度的细粒度运动信号分类结果柱状图

4. 总结

本研究在自行搭建的硬件采集系统基础上，设计了三种粗粒度运动(静坐、快走和慢跑)和五种细粒度运动(上伸臂、下伸臂、抬小臂、弯手指和右摆手)，并完成了信号采集。进一步，本研究创新性地开发了一种基于ConvLSTM的运动分类算法，用于处理和识别采集的运动数据。本研究对不同波长的光源进行了比较实验，结果表明近红外光和绿光光源的PPG信号在运动分类任务中都能获得较优的性能，评价指标的相近性也表明了我们的网络模型在不同细粒度运动分类任务上有着高一致性和稳定性。值得注意的是，研究发现粗粒度运动的强度与细粒度信号分类效果存在负相关关系，即粗粒度运动强度增加会导致细粒度运动分类的精确性降低。综上表明，基于PPG信号的人体运动识别技术在精确性和实用性方面表现优异，这对于推动可穿戴设备领域利用PPG信号进行运动识别和人机交互的研究具有重要意义。本研究的发现和方法论拓宽了人体运动科学、人机交互设计，以及个人健康管理的研究视野，对这些领域的未来研究方向和研究趋势提供了重要启示。

文章引用

贾梦辉,沈慧娟,马 佩. 基于PPG和ConvLSTM的细粒度人体运动识别研究
Research on Fine-Grained Human Motion Recognition Based on PPG and ConvLSTM[J]. 建模与仿真, 2024, 13(03): 3923-3933. https://doi.org/10.12677/mos.2024.133357

参考文献