 Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2013, 2, 79-82 doi:10.12677/airr.2013.22015 Published Online May 2013 (http://www.hanspub.org/journal/airr.html) Study of Kinect Rehabilitation Training Aid System Huaqiang Jiang, Jie Xiang Hangzhou Institute of Service Engineering, Hangzhou Normal University, Hangzhou Email: jhq@hznu.edu.cn Receiv ed: Apr. 12th, 2013; revised: Apr. 29th, 2013; accepted: May 7th, 2013 Copyright © 2013 Huaqiang Jiang, Jie Xiang. This is an open access article distributed under the Creative Commons Attribution License, which per- mits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited. Abstract: The intelligent rehabilitation training aid system based on the device of Kinect is designed for solving the posture accuracy problems of rehabilitation stroke patients. The system collects the user’s limb node information with Kinect, achieves the training data with stored standard reh abilitatio n po stures data for comparison with DTW algorithm, and outputs the evaluation resu lts in the final. It is simple to install, easy to use and low co st. It also has a good suppor t- ing role in the rehabilitation of stroke patients with hemiplegia. Keywords: Kinect; Rehabilitation Training; DTW Algorithm Kinect 康复训练辅助系统研究 姜华强，项 洁 杭州师范大学国际服务工程学院，杭州 Email: jhq@hznu.edu.cn 收稿日期：2013 年4月12 日；修回日期：2013 年4月29 日；录用日期：2013 年5月7日 摘 要：为了解决中风偏瘫患者肢体康复训练当中的姿势准确性问题，设计了一种基于 Kinect 设备的智能康复 训练辅助系统。系统利用 Kinect 设备采集用户的肢体节点信息，利用 DTW 算法实现训练数据与存储的标准康 复动作姿势数据进行比较，最后输出评价结果。系统具有安装简单，使用方便，成本低的特点，对中风偏瘫患 者的康复训练具有较好的辅助作用。 关键词：Kinect；康复训练；DTW 算法 1. 引言 中风已经成为我国一种高发性疾病，随着医疗急 救水平的提高，患者的存活率也有了很大提高，但是 由于中风的致残率却非常的高，根据有关的统计资料 显示，病后的残障率高达 75%[1]。目前中风偏瘫的康 复训练，由于缺少专业康复人员的正确指导使得康复 训练姿势不到位，导致了部分中枢神经无法通过训练 建立新的通道，无法形成一个新的功能细胞集团网 络，难以恢复到患病前的状态。因此，设计实现一套 价廉物美，功能实用的康复训练辅助系统对于中风偏 瘫患者的康复训练动作进行姿态矫正，对于进一步提 高康复效果将有着极其重要的作用。 当前，国内针对中风偏瘫患者的康复训练还主要 是以人工指导为主。只有部分设备生产商制造了矫形 器、肢体运动康复机等辅助训练器械来协助康复训 练。在康复训练系统研究方面，主要集中在少数工科 性综合大学，研究内容主要着眼于康复训练器械的开 发。其中清华大学的研究工作较为深入，开发了人体 下肢康复训练车、神经伤残儿康复训练器、上肢复合 运动康复训练机器人等[2]。 Copyright © 2013 Hanspub 79  Kinect 康复训练辅助系统研究 Kinect 是一种 3D 体感摄影机，可同时导入即时 人体姿态、影像数据、语音等信息。人们不需要在身 体上佩戴任何传感器，只要站在 Kinect 前做出各种动 作，就可以实现与计算机的交互。采用 Kinect 技术可 以不受空间的限制，使用徒手进行操控[3]。采用 Kinect 实现的康复训练辅助系统，摆脱了常用康复训练器的 设备限制，通过视频实现的人机交互，更为贴近自然， 同时由于 Kinect 的价格低廉性，为本康复训练辅助系 统的普及提供了可能。 2. 系统总体结构设计 基于 Kinect的康复训练辅助系统主要是综合应用 计算机图形学、运动学、测绘学、复健医学等领域的 理论和技术方法，以动作矫正、复健辅助为核心，采 用XBOX 设备为基础，通过 Kinect 设备采集数据， 针对中风偏瘫患者进行物理康复训练的辅助系统。系 统主要界面如图 1所示。 康复训练辅助系统主要由三个子模块组成：标准 姿势生成模块，康复动作矫正模块、信息反馈与评价 模块构成。图 2给出了各个模块之前的关系架构。 1) 标准姿势生成模块主要是记录康复训练专家 根据中风偏瘫患者设计的标准动作和姿势，该模块通 过记录康复训练专家的运动动作骨骼节点数据，生成 了康复训练用的标准数据。 2) 康复动作矫正模块是直接向患者提供辅助康 Figure 1. Kinect rehabilitation training aid system interface 图1. Kinect康复训练辅助系统康复训练界面 Figure 2. Kinect rehabilitation training aid system module relation 图2. 康复训练辅助系统模块之间的关系 复训练和动作指导的模块，模块通过读取患者的实时 骨骼节点数据，然后与标准姿势生成模块产生的标准 姿态动作进行比较，给出相应的动作指导。 为了让用户对于自己的训练效果有更直观的了 解，系统中的矫正提示功能会给出每个康复训练动作 的5级评分。通过评分和拟合的骨骼数据提示患者训 练动作的准确性。 3) 信息反馈与评价模块主要是收集患者的所有 动作数据，对康复训练数据进行分析与评价。这些结 果直接提供给患者或治疗人员，并作为确定下一步治 疗方案的依据。 3. 标准训练动作的记录与存储 Kinect 康复训练辅助系统提供了标准姿势生成模 块，实现了标准训练动作的记录与存储。标准训练动 作是本系统实现康复训练的基础。对于普通患者可以 采用系统自带的标准训练动作数据进行康复训练，也 可以由专门的康复训练专家定制康复训练动作，实现 个性化康复训练，从而提高训练效果。 3.1. 标准姿势数据库 标准姿态数据库当中存储了标准训练动作的基 础数据。基础数据主要包括了用户 Kinect骨骼对象模 型数据和彩色影像数据。Kinect骨骼对象模型包括了 20 个基本节点(如图 3所示)[4]。每个节点都有 X、Y、 Z三个坐标值。视频图像数据默认为 640*480，RGB32 格式。同时数据库还保存了当前骨骼节点相对于视频 录制起始的时间距离，用于骨骼节点数据与色彩影像 数据的同步定位。其数据库结构如表 1所示。 Copyright © 2013 Hanspub 80  Kinect 康复训练辅助系统研究 Figure 3. Kinect skeleton object model 图3. Kinect骨骼对象模型 Table 1. Standard pose database structure 表1. 标准姿势数据库结构 序号 字段名 字段类型 字段说明 1 avstarID Int 标准动作序列编号 2 avstartName String 标准动作序列名称 3 ShoulderCenterX Float 人体骨骼数据中心节点X坐标 4 ShoulderCenterY Float 人体骨骼数据中心节点Y坐标 5 ShoulderCenterZ Float 人体骨骼数据中心节点Z坐标 6 HeadX Float 人体骨骼数据头部节点 X坐标 7 HeadY Float 人体骨骼数据头部节点 Y坐标 8 HeadZ Float 人体骨骼数据头部节点 Z坐标 9 SpineX Float 人体骨骼数据脊骨节点 X坐标 10 SpineY Float 人体骨骼数据脊骨节点 Y坐标 11 SpineZ Float 人体骨骼数据脊骨节点 Z坐标 12~63 … Float 其他剩余的 17 个 人体骨骼数据坐标 64 VideoClipID Int 同步录制的标准动作视频编号 65 VideoClipTime Time 当前数据在同步录制 的标准动作视频时间 3.2. 标准康复训练动作记录流程 标准康复训练动作的记录流程如下： 1) 进入标准姿势生成模块，侦测当前用户的状 态，等待启动标准动作录入姿势。 2) 通过手臂触摸“启动录入”按钮，创建色彩影 像数据片段，开始记录动作。 3) 记录当前用户的骨骼数据参数，同时追加色彩 影像数据到文件当中。 4) 检测手臂和小腿运动间隔时间(分析是否有较 长未发生变化)判断动作片段是否完成。 5) 若手臂或小腿连续运动，则跳转到步骤 3)继续 记录，否则创建新的视频录制片段ID，然后跳转到步 骤3)继续录制。 6) 录制过程当中还检测手臂是否触摸“停止录 制”按钮，若检测到触摸该按钮的动作则忽略保存， 若检测到长时间触摸该按钮停止录制。 4. 康复训练动作矫正功能的实现 康复训练动作矫正功能是康复动作矫正模块和 信息反馈与评价模块共同实现的辅助评价功能。这一 功能的核心和难点在于康复训练动作的比较分析。 Kinect 康复训练辅助系统主要采用 DTW(Dynamic Time Warping)算法[5]对Kinect 取得的人体位置信息进 行动态比较分析。通过人体骨骼数据归一化实现不同 人体数据的比较判断。 4.1. 动作比较算法 DTW 算法是由 H. Sakoe和S. Chiba在1978 年提 出的一种动态规划算法，最早应用于语音识别当中。 采用 DTW 算法可以实现两组(时间相关)序列的相似 性比较，这两组序列的长度不一定要相同，但是一般 这两组序列的采样间隔时间是相同的。 我们定义特征空间为 F，标准训练动作序列为 X(x1, x2, ···, xn)，其长度为 N，患者康复训练动作序列 为Y(y1, y2 , ···, ym)，其长度为 M。为了比较一组特征 x和y，定义一个开销函数 c，即两个序列的距离[6]。 一般情况下，x和y越为相似，则 c(x, y)的值越小。 也就是这两个特征向量的距离越短，反之 x和y越不 相似，则 c(x, y)的值越大，向量间的距离越大，开销 越大。计算 X以及 Y中每一对特征向量对(xn, ym)(其 中 1:nN， 1:mM)的开销 c，可以得到一个开 销矩阵 C，其中 C(n, m) = c(xn, ym)。判断两个序列的 相似度就转化为在开销矩阵 C当中寻找一种走向使 X 和Y之间的距离最小的路径。 根据最短路径原理，一条 X和Y之间最优化的 Copyright © 2013 Hanspub 81  Kinect 康复训练辅助系统研究 Copyright © 2013 Hanspub 82 路径 p*是在所有可能的路径中开销最小的路径。则 X 与Y之间的 DTW距离为： DTWX,Y* X,Y min X,Y, cp cppN M 是一条规整路径 系统采用计算 值，然后转化为五进 制评分数据，最后回显到屏幕，提示用户姿势的准确 性。 DTW X,Y 4.2. 人体骨骼数据归一化 由于 Kinect康复训练辅助系统当中存储的标准训 练动作数据与患者不是同一个人，同时记录动作时人 与Kinect 设备之间距离也能导致了即使是同一个人， 每次的骨骼信息也不尽相同。为了能够使其适合 DTW 算法进行识别，需要对人体骨骼信息进行归一 化计算。 采用 Kinect 骨骼对象模型中的 Shoulder Center节 点作为基准点，由于人体的左肩到右肩的距离相对固 定，故采用左肩和右肩的距离作为标准长度，定义骨 骼数据归一化公式为[7]： norm PC P L R 其中，归一化前部位的对应向量为P，其中 C为归一 化前 SholderCenter 在世界坐标系中对应向量。归一化 后该部位的对应向量为 Pnorm。L和R为左肩和右肩的 对应向量。如此，就实现了骨骼数据的归一化计算。 5. 结束语 Kinect 康复训练辅助系统为中风偏瘫患者的康复 训练提供了一种价格低廉，容易操作的解决方案。通 过对个体骨骼数据的检测和标准训练动作数据的比 较，提高了康复训练当中动作的到位程度，为降低中 风偏瘫患者残障率提供了可能。区别于一般的项目程 序应用，Kinect 康复训练辅助系统使用户可以通过肢 体变化进行操作，用户第一时间了解到康复效果。康 复训练动作以评分形式动态显示，使得训练过程变的 更加有挑战性和有趣性，在无形中减少患者康复训练 的厌烦心理。系统成本低、可用性强，不但能够从物 理训练方面提高患者的康复效果，更能够为患者带来 生活的乐趣。 另一方面，由于 Kinect 体感器只提供 20个骨骼 节点数据，缺少手指节点数据，这限制了系统对患者 进行手指训练指导的可能性。为此，要让系统应用于 更广泛的康复训练范围，需要进一步研究扩展 Kinect 骨骼对象模型，采集更精确的数据，从源头上提高系 统的实用性。 6. 致谢 本课题研究得到了浙江省教育厅科研项目(编号： Y200803197)的资助支持。 参考文献 (References) [1] 邵卫. 机器人辅助上肢康复的虚拟现实训练系统的研究[D] 上海交通大学, 2012. [2] 清华大学科技处. 面向偏瘫患者的神经康复机器人技术及其 产业化[Z], 2010. [3] 微软公司. Kinect for Windows学习资源, 2011. [4] 微软公司. Kinect for Windows人机界面指南[Z], 2011. [5] 李正欣, 张凤鸣, 李克武. 基于DTW 的多元时间序列模式匹 配方法[J]. 模式识别与人工智能, 2011, 3: 1652-1655. [6] 钱鹤庆. 应用 Kinect 与手势识别的增强现实教育辅助系统 [D]. 上海交通大学, 2011. [7] 邓瑞. 周玲玲, 应忍冬. 基于Kinect 深度信息的手势提取与 识别研究[J]. 计算机应用研究, 2013, 30(4): 1263-1265. |