设为首页 加入收藏

Artificial Intelligence and Robotics Research
Vol.2 No.2(2013), Article ID:11765,3 pages DOI:10.12677/AIRR.2013.22015

Study of Kinect Rehabilitation Training Aid System

Huaqiang Jiang, Jie Xiang

Hangzhou Institute of Service Engineering, Hangzhou Normal University, Hangzhou

Email: jhq@hznu.edu.cn

Received: Apr. 12th, 2013; revised: Apr. 29th, 2013; accepted: May 7th, 2013

Copyright © 2013 Huaqiang Jiang, Jie Xiang. This is an open access article distributed under the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.

ABSTRACT:

The intelligent rehabilitation training aid system based on the device of Kinect is designed for solving the posture accuracy problems of rehabilitation stroke patients. The system collects the user’s limb node information with Kinect, achieves the training data with stored standard rehabilitation postures data for comparison with DTW algorithm, and outputs the evaluation results in the final. It is simple to install, easy to use and low cost. It also has a good supporting role in the rehabilitation of stroke patients with hemiplegia.

Keywords: Kinect; Rehabilitation Training; DTW Algorithm

Kinect康复训练辅助系统研究

姜华强,项  洁

杭州师范大学国际服务工程学院,杭州

Email: jhq@hznu.edu.cn

摘 要:

为了解决中风偏瘫患者肢体康复训练当中的姿势准确性问题,设计了一种基于Kinect设备的智能康复训练辅助系统。系统利用Kinect设备采集用户的肢体节点信息,利用DTW算法实现训练数据与存储的标准康复动作姿势数据进行比较,最后输出评价结果。系统具有安装简单,使用方便,成本低的特点,对中风偏瘫患者的康复训练具有较好的辅助作用。

收稿日期:2013年4月12日;修回日期:2013年4月29日;录用日期:2013年5月7日

关键词:Kinect;康复训练;DTW算法

1. 引言

中风已经成为我国一种高发性疾病,随着医疗急救水平的提高,患者的存活率也有了很大提高,但是由于中风的致残率却非常的高,根据有关的统计资料显示,病后的残障率高达75%[1]。目前中风偏瘫的康复训练,由于缺少专业康复人员的正确指导使得康复训练姿势不到位,导致了部分中枢神经无法通过训练建立新的通道,无法形成一个新的功能细胞集团网络,难以恢复到患病前的状态。因此,设计实现一套价廉物美,功能实用的康复训练辅助系统对于中风偏瘫患者的康复训练动作进行姿态矫正,对于进一步提高康复效果将有着极其重要的作用。

当前,国内针对中风偏瘫患者的康复训练还主要是以人工指导为主。只有部分设备生产商制造了矫形器、肢体运动康复机等辅助训练器械来协助康复训练。在康复训练系统研究方面,主要集中在少数工科性综合大学,研究内容主要着眼于康复训练器械的开发。其中清华大学的研究工作较为深入,开发了人体下肢康复训练车、神经伤残儿康复训练器、上肢复合运动康复训练机器人等[2]

Kinect是一种3D体感摄影机,可同时导入即时人体姿态、影像数据、语音等信息。人们不需要在身体上佩戴任何传感器,只要站在Kinect前做出各种动作,就可以实现与计算机的交互。采用Kinect技术可以不受空间的限制,使用徒手进行操控[3]。采用Kinect实现的康复训练辅助系统,摆脱了常用康复训练器的设备限制,通过视频实现的人机交互,更为贴近自然,同时由于Kinect的价格低廉性,为本康复训练辅助系统的普及提供了可能。

2. 系统总体结构设计

基于Kinect的康复训练辅助系统主要是综合应用计算机图形学、运动学、测绘学、复健医学等领域的理论和技术方法,以动作矫正、复健辅助为核心,采用XBOX设备为基础,通过Kinect设备采集数据,针对中风偏瘫患者进行物理康复训练的辅助系统。系统主要界面如图1所示。

康复训练辅助系统主要由三个子模块组成:标准姿势生成模块,康复动作矫正模块、信息反馈与评价模块构成。图2给出了各个模块之前的关系架构。

1) 标准姿势生成模块主要是记录康复训练专家根据中风偏瘫患者设计的标准动作和姿势,该模块通过记录康复训练专家的运动动作骨骼节点数据,生成了康复训练用的标准数据。

2) 康复动作矫正模块是直接向患者提供辅助康

Figure 1. Kinect rehabilitation training aid system interface

图1. Kinect康复训练辅助系统康复训练界面

Figure 2. Kinect rehabilitation training aid system module relation

图2. 康复训练辅助系统模块之间的关系

复训练和动作指导的模块,模块通过读取患者的实时骨骼节点数据,然后与标准姿势生成模块产生的标准姿态动作进行比较,给出相应的动作指导。

为了让用户对于自己的训练效果有更直观的了解,系统中的矫正提示功能会给出每个康复训练动作的5级评分。通过评分和拟合的骨骼数据提示患者训练动作的准确性。

3) 信息反馈与评价模块主要是收集患者的所有动作数据,对康复训练数据进行分析与评价。这些结果直接提供给患者或治疗人员,并作为确定下一步治疗方案的依据。

3. 标准训练动作的记录与存储

Kinect康复训练辅助系统提供了标准姿势生成模块,实现了标准训练动作的记录与存储。标准训练动作是本系统实现康复训练的基础。对于普通患者可以采用系统自带的标准训练动作数据进行康复训练,也可以由专门的康复训练专家定制康复训练动作,实现个性化康复训练,从而提高训练效果。

3.1. 标准姿势数据库

标准姿态数据库当中存储了标准训练动作的基础数据。基础数据主要包括了用户Kinect骨骼对象模型数据和彩色影像数据。Kinect骨骼对象模型包括了20个基本节点(如图3所示)[4]。每个节点都有X、Y、Z三个坐标值。视频图像数据默认为640*480,RGB32格式。同时数据库还保存了当前骨骼节点相对于视频录制起始的时间距离,用于骨骼节点数据与色彩影像数据的同步定位。其数据库结构如表1所示。

Figure 3. Kinect skeleton object model

图3. Kinect骨骼对象模型

Table 1. Standard pose database structure

表1. 标准姿势数据库结构

3.2. 标准康复训练动作记录流程

标准康复训练动作的记录流程如下:

1) 进入标准姿势生成模块,侦测当前用户的状态,等待启动标准动作录入姿势。

2) 通过手臂触摸“启动录入”按钮,创建色彩影像数据片段,开始记录动作。

3) 记录当前用户的骨骼数据参数,同时追加色彩影像数据到文件当中。

4) 检测手臂和小腿运动间隔时间(分析是否有较长未发生变化)判断动作片段是否完成。

5) 若手臂或小腿连续运动,则跳转到步骤3)继续记录,否则创建新的视频录制片段ID,然后跳转到步骤3)继续录制。

6) 录制过程当中还检测手臂是否触摸“停止录制”按钮,若检测到触摸该按钮的动作则忽略保存,若检测到长时间触摸该按钮停止录制。

4. 康复训练动作矫正功能的实现

康复训练动作矫正功能是康复动作矫正模块和信息反馈与评价模块共同实现的辅助评价功能。这一功能的核心和难点在于康复训练动作的比较分析。Kinect康复训练辅助系统主要采用DTW(Dynamic Time Warping)算法[5]对Kinect取得的人体位置信息进行动态比较分析。通过人体骨骼数据归一化实现不同人体数据的比较判断。

4.1. 动作比较算法

DTW算法是由H. Sakoe和S. Chiba在1978年提出的一种动态规划算法,最早应用于语音识别当中。采用DTW算法可以实现两组(时间相关)序列的相似性比较,这两组序列的长度不一定要相同,但是一般这两组序列的采样间隔时间是相同的。

我们定义特征空间为F,标准训练动作序列为X(x1, x2, ∙∙∙, xn),其长度为N,患者康复训练动作序列为Y(y1, y2, ∙∙∙, ym),其长度为M。为了比较一组特征x和y,定义一个开销函数c,即两个序列的距离[6]

一般情况下,x和y越为相似,则c(x, y)的值越小。也就是这两个特征向量的距离越短,反之x和y越不相似,则c(x, y)的值越大,向量间的距离越大,开销越大。计算X以及Y中每一对特征向量对(xn, ym)(其中)的开销c,可以得到一个开销矩阵C,其中C(n, m) = c(xn, ym)。判断两个序列的相似度就转化为在开销矩阵C当中寻找一种走向使X和Y之间的距离最小的路径。

根据最短路径原理,一条X和Y之间最优化的路径p*是在所有可能的路径中开销最小的路径。则X与Y之间的DTW距离为:

系统采用计算值,然后转化为五进制评分数据,最后回显到屏幕,提示用户姿势的准确性。

4.2. 人体骨骼数据归一化

由于Kinect康复训练辅助系统当中存储的标准训练动作数据与患者不是同一个人,同时记录动作时人与Kinect设备之间距离也能导致了即使是同一个人,每次的骨骼信息也不尽相同。为了能够使其适合 DTW算法进行识别,需要对人体骨骼信息进行归一化计算。

采用Kinect骨骼对象模型中的Shoulder Center节点作为基准点,由于人体的左肩到右肩的距离相对固定,故采用左肩和右肩的距离作为标准长度,定义骨骼数据归一化公式为[7]

其中,归一化前部位的对应向量为P,其中C为归一化前SholderCenter在世界坐标系中对应向量。归一化后该部位的对应向量为Pnorm。L和R为左肩和右肩的对应向量。如此,就实现了骨骼数据的归一化计算。

5. 结束语

Kinect康复训练辅助系统为中风偏瘫患者的康复训练提供了一种价格低廉,容易操作的解决方案。通过对个体骨骼数据的检测和标准训练动作数据的比较,提高了康复训练当中动作的到位程度,为降低中风偏瘫患者残障率提供了可能。区别于一般的项目程序应用,Kinect康复训练辅助系统使用户可以通过肢体变化进行操作,用户第一时间了解到康复效果。康复训练动作以评分形式动态显示,使得训练过程变的更加有挑战性和有趣性,在无形中减少患者康复训练的厌烦心理。系统成本低、可用性强,不但能够从物理训练方面提高患者的康复效果,更能够为患者带来生活的乐趣。

另一方面,由于Kinect体感器只提供20个骨骼节点数据,缺少手指节点数据,这限制了系统对患者进行手指训练指导的可能性。为此,要让系统应用于更广泛的康复训练范围,需要进一步研究扩展Kinect骨骼对象模型,采集更精确的数据,从源头上提高系统的实用性。

6. 致谢

本课题研究得到了浙江省教育厅科研项目(编号:Y200803197)的资助支持。

参考文献 (References)

[1]       邵卫. 机器人辅助上肢康复的虚拟现实训练系统的研究[D]上海交通大学, 2012.

[2]       清华大学科技处. 面向偏瘫患者的神经康复机器人技术及其产业化[Z], 2010.

[3]       微软公司. Kinect for Windows学习资源, 2011.

[4]       微软公司. Kinect for Windows人机界面指南[Z], 2011.

[5]       李正欣, 张凤鸣, 李克武. 基于DTW的多元时间序列模式匹配方法[J]. 模式识别与人工智能, 2011, 3: 1652-1655.

[6]       钱鹤庆. 应用Kinect与手势识别的增强现实教育辅助系统[D]. 上海交通大学, 2011.

[7]       邓瑞. 周玲玲, 应忍冬. 基于Kinect深度信息的手势提取与识别研究[J]. 计算机应用研究, 2013, 30(4): 1263-1265.

期刊菜单