本发明涉及康复训练，具体为基于双目视觉的实时康复训练动作评估与指导系统。
背景技术：
1、康复训练在医疗和健康领域占据着重要的地位，其是指损伤后进行有利于恢复或改善功能的身体活动，通过康复训练可以预防肌肉萎缩和挛缩，恢复肢体的运动能力，维持良好的心肺功能；并且还可以加强关节的稳定性，改善伤部组织的代谢与营养，加速损伤的愈合，使机体能量代谢趋于平衡，缩短伤愈后恢复锻炼所需的时间。
2、然而，目前的康复训练方法往往依赖于专业人员进行指导，给患者和医疗机构带来了诸多不便，如治疗效率低，人力成本高；评估主观性强，导致康复训练评估结果精确度无法得到保障；训练动作/仪器设备的选择不贴近生活，使得患者回归正常社会生活还有一定的难度等。因此，无器械康复训练动作指导的需求日益增长，但目前的康复训练动作指导相关系统/设备存在以下问题：
3、1)示范动作采集和康复动作评估的精度不够理想，现有的动作识别技术无法准确地捕捉到人体的细微动作，导致评估结果不准确；
4、2)动作指导的直观性不足，目前仅提供文字或简单的图像提示，无法直观地展示动作的正确与否，给用户带来困惑。
技术实现思路
1、本发明意在提供基于双目视觉的实时康复训练动作评估与指导系统，通过采集、制作精确的康复训练动作，并利用双目视觉相机采集并识别用户动作，与标准动作对比评估后给出直观、实时的动作改进指导，以帮助用户更好地理解和掌握康复训练动作，提高康复训练的效果和用户体验。解决了背景技术中的问题。
2、为了实现上述目的，本发明提供如下技术方案：
3、本发明提供的基础技术方案是：
4、基于双目视觉的实时康复训练动作评估与指导系统，包括智能镜系统、动作识别模块、动作规范性评估模块和动作指导模块，所述智能镜系统包括主镜面，所述主镜面连接有双目视觉相机、显示屏和扬声器；所述动作识别模块用于采集并识别训练动作图像信息，所述动作规范性评估模块用于评估训练动作的规范性，所述动作指导模块用于输出规范的训练动作；所述双目视觉相机与所述动作识别模块电性连接以采集并识别训练动作图像信息，所述显示屏和扬声器分别与所述动作指导模块电性连接以输出规范的训练动作的图像和/或音频。
5、进一步地，所述双目视觉相机、显示屏和扬声器在所述主镜面上依次向上设置，且所述双目视觉相机在主镜面居中的位置并横向对称分布。
6、进一步地，所述动作识别模块利用双目视觉相机采集训练动作图像信息后，采用基于骨骼的人体动作识别算法poseconv3d进行动作识别。
7、进一步地，基于骨骼的人体动作识别算法poseconv3d进行动作识别的方法为：先采用人体检测器从图像中检测人体；然后使用二维姿态提取模块实现自上而下的姿势提取，并基于双目视觉相机得到的两份姿势信息之间的差分，将二维的姿势图像转换为三维热图量；最后将设计的骨架信息和三维热图量利用3d-cnn进行特征融合，得到识别的人体关节信息，从而完成训练动作的识别。
8、进一步地，所述评估与指导系统还包括模型训练模块，所述模型训练模块基于所述动作识别模块的双目视觉相机采集动作示范人员的训练动作图像信息进行训练。
9、进一步地，所述模型训练模块的训练方法为：在动作示范人员的关节处粘贴反光球，双目视觉相机采集各个关节在三维空间中的实时坐标，根据关节坐标计算人体骨骼之间的角度关系，并将其作为poseconv3d模型中人体骨架姿态的标签数据，从而实现对该模型的训练。
10、进一步地，所述模型训练模块包括示范动作修正算法，所述示范动作修正算法基于所述动作识别模块的双目视觉相机采集动作示范人员的示范动作图像信息对示范动作进行修正。
11、进一步地，所述范动作修正算法具体为：所述模型训练模块基于智能镜系统采集动作示范人员的图像数据并生成时序性3d人体姿势数据，并记时刻t时识别的关节k的三维坐标为同时采用动作识别模块记录时序性人体姿势变化，并记时刻t时动作识别模块采集的关节k的三维坐标为利用点云配准icp算法优化求解pt到的旋转平移矩阵r,t为：
12、
13、根据旋转平移矩阵r,t对动作识别模块采集的关节坐标数据进行变换，得到变换后的关节坐标为该关节坐标系与智能镜系统根据图像所得关节坐标处于相同坐标系，并且动作识别模块定位系统精度更高，系统采用变换后的关节姿态时序作为标准康复动作数据。
14、进一步地，所述动作规范性评估模块基于图神经网络对用户动作规范性进行评估，其具体方法为：用户基于智能镜系统采集图像数据并生成时序性3d人体姿势数据，并记时刻t时识别的关节k的三维坐标为同时播放示范动作，并记时刻t时示范动作的关节k的三维坐标为在骨骼框架中关节之间的连接关系表示为c＝[ckh]k×k,其中ckh＝1为关节k和h相连接，否则ckh＝0；k为设计的人体骨骼识别框架中的关节点集合，且有k,h∈k。
15、进一步地，采用骨骼两端关节的三维坐标所形成的向量表示该骨骼方向特征向量，所述图神经网络中以骨骼为节点，以关节为连边，所述图神经网络模型结构为：
16、
17、式中，sij＝1为骨骼i,j经过关节相连；为骨骼i的属性特征，令即该骨骼两端关节k,h坐标形成的向量；为各个骨骼的状态特征向量；wn(n＝1,2,3)为待训练权重参数；σ为激活函数。
18、进一步地，所述图神经网络通过多层堆叠以获取人体骨骼的深度特征；令双目视觉处理所得各个骨骼特征为示范动作各个骨骼特征为将以及三个特征向量进行拼接后，利用多层感知机mlp进行动作规范性评估，并输出对应的提示类别li为：
19、
20、进一步地，所述动作指导模块根据提示类别li按设定的规则，分别在所述显示屏和/或扬声器输出规范的训练动作的图像和/或音频。
21、上述的基于双目视觉的实时康复训练动作评估与指导系统评估、指导康复训练的方法，包括以下步骤：
22、s1、对动作示范人员进行标准康复训练动作动捕数据、双目视觉相机图像数据采集；
23、s2、通过采集的双目图像数据估计示范人员的三维时序姿态，并利用动捕数据对估计的姿态进行配准修正；
24、s3、用户使用中双目视觉相机实时采集用户动作数据；
25、s4、利用双目图像数据实时估计用户训练姿态；
26、s5：基于图神经网络的姿态差异对比算法实时评估当前用户动作与示范动作的差异；
27、s6：在显示屏上显示并标注动作改进方法，并通过扬声器语音播报进行提示。
28、技术方案的有益效果是：
29、本发明通过采集、制作精确的康复训练动作，并利用双目视觉相机采集并识别用户动作，与标准动作对比评估后给出直观、实时的动作改进指导，这种直观的指导方式能够帮助用户更好地理解和掌握康复训练动作，将极大地提高康复训练的效果和用户体验。
1.基于双目视觉的实时康复训练动作评估与指导系统，其特征在于，包括智能镜系统、动作识别模块、动作规范性评估模块和动作指导模块，所述智能镜系统包括主镜面，所述主镜面连接有双目视觉相机、显示屏和扬声器；所述动作识别模块用于采集并识别训练动作图像信息，所述动作规范性评估模块用于评估训练动作的规范性，所述动作指导模块用于输出规范的训练动作；所述双目视觉相机与所述动作识别模块电性连接以采集并识别训练动作图像信息，所述显示屏和扬声器分别与所述动作指导模块电性连接以输出规范的训练动作的图像和音频。
2.根据权利要求1所述的基于双目视觉的实时康复训练动作评估与指导系统，其特征在于，所述双目视觉相机、显示屏和扬声器在所述主镜面上依次向上设置，且所述双目视觉相机在主镜面居中的位置并横向对称分布。
3.根据权利要求2所述的基于双目视觉的实时康复训练动作评估与指导系统，其特征在于，所述动作识别模块利用双目视觉相机采集训练动作图像信息后，采用基于骨骼的人体动作识别算法poseconv3d进行动作识别。
4.根据权利要求3所述的基于双目视觉的实时康复训练动作评估与指导系统，其特征在于，基于骨骼的人体动作识别算法poseconv3d进行动作识别的方法为：先采用人体检测器从图像中检测人体；然后使用二维姿态提取模块实现自上而下的姿势提取，并基于双目视觉相机得到的两份姿势信息之间的差分，将二维的姿势图像转换为三维热图量；最后将设计的骨架信息和三维热图量利用3d-cnn进行特征融合，得到识别的人体关节信息，从而完成训练动作的识别。
5.根据权利要求4所述的基于双目视觉的实时康复训练动作评估与指导系统，其特征在于，所述评估与指导系统还包括模型训练模块，所述模型训练模块基于所述动作识别模块的双目视觉相机采集动作示范人员的训练动作图像信息进行训练。
6.根据权利要求5所述的基于双目视觉的实时康复训练动作评估与指导系统，其特征在于，所述模型训练模块的训练方法为：在动作示范人员的关节处粘贴反光球，双目视觉相机采集各个关节在三维空间中的实时坐标，根据关节坐标计算人体骨骼之间的角度关系，并将其作为poseconv3d模型中人体骨架姿态的标签数据，从而实现对该模型的训练。
7.根据权利要求6所述的基于双目视觉的实时康复训练动作评估与指导系统，其特征在于，所述模型训练模块包括示范动作修正算法，所述示范动作修正算法基于所述动作识别模块的双目视觉相机采集动作示范人员的示范动作图像信息对示范动作进行修正。
8.根据权利要求7所述的基于双目视觉的实时康复训练动作评估与指导系统，其特征在于，所述范动作修正算法具体为：所述模型训练模块基于智能镜系统采集动作示范人员的图像数据并生成时序性3d人体姿势数据，并记时刻t时识别的关节k的三维坐标为同时采用动作识别模块记录时序性人体姿势变化，并记时刻t时动作识别模块采集的关节k的三维坐标为利用点云配准icp算法优化求解pt到的旋转平移矩阵r,t为：
9.根据权利要求8所述的基于双目视觉的实时康复训练动作评估与指导系统，其特征在于，所述动作规范性评估模块基于图神经网络对用户动作规范性进行评估，其具体方法为：用户基于智能镜系统采集图像数据并生成时序性3d人体姿势数据，并记时刻t时识别的关节k的三维坐标为同时播放示范动作，并记时刻t时示范动作的关节k的三维坐标为在骨骼框架中关节之间的连接关系表示为c＝[ckh]|k|×|k|,其中ckh＝1为关节k和h相连接，否则ckh＝0；k为设计的人体骨骼识别框架中的关节点集合，且有k,h∈k。
10.根据权利要求9所述的基于双目视觉的实时康复训练动作评估与指导系统，其特征在于，采用骨骼两端关节的三维坐标所形成的向量表示该骨骼方向特征向量，所述图神经网络中以骨骼为节点，以关节为连边，所述图神经网络模型结构为：
11.根据权利要求10所述的基于双目视觉的实时康复训练动作评估与指导系统，其特征在于，所述图神经网络通过多层堆叠以获取人体骨骼的深度特征；令双目视觉处理所得各个骨骼特征为示范动作各个骨骼特征为将以及三个特征向量进行拼接后，利用多层感知机mlp进行动作规范性评估，并输出对应的提示类别li为：
12.根据权利要求11所述的基于双目视觉的实时康复训练动作评估与指导系统，其特征在于，所述动作指导模块根据提示类别li按设定的规则，分别在所述显示屏和/或扬声器输出规范的训练动作的图像和/或音频。
13.如权利要求12所述的基于双目视觉的实时康复训练动作评估与指导系统评估与指导康复训练的方法，其特征在于，包括以下步骤：
