本发明涉及认知工程与机器视觉，特别涉及一种脑电与图片联合编码实现手部精细动作运动想象的方法。
背景技术：
1、bci(bra i n computer i nterface,脑机接口)是一种搭建在人与机器之间的交互技术，m i(motor imagery,运动想象)技术不依赖于外界刺激，是一种内源性自发脑电信号，只需要被试者想象进行特定运动任务，而不需要被试者进行实际运动即可在头皮eeg(el ectroencepha l ogram,脑电图)信号中解码出相关的运动模式，从而判别被试意图。当被试者在想象身体某个肢体运动时，就会引起大脑感觉运动皮层smrs(sensor imotorrhythms，感觉运动节律)的变化。不同的肢体部位的运动想象引起的smrs具有不同的时空分布特性，其eeg信号具有较高的可区分性。因此可以通过模式识别方法，解码eeg信号中的mi模式，并将其转化为控制指令，从而实现对外部设备的操控。这种技术的发展对于帮助那些由于运动障碍或肌肉损伤而无法通过传统方式控制设备的人群具有重要意义。
2、但是因为eeg信号采自头皮，具有信噪比低、空间分辨率低等缺点，过去的m i技术主要解决在空间尺度上差别较大的运动。目前可以实现较好分类的有双手、双脚及舌头。但是如何通过eeg信号解码手部精细动作仍然是目前bci领域尚未解决的难点问题。因此，目前的脑控机械臂主要采取用户通过脑机接口选择目标后，机械臂携带二指夹爪自主抓取的操作方式。但是，这种融合模式操作模式固化，只能实现简单抓取，而不能实际解决用户需求。因为，在面对不同构型物体时，用户往往会采取不同的手型抓取目标以达到最稳定或者满足特定需求的目的。即使在面对同一个物体时，根据不同的目的，用户也会对抓取的位置和抓握手型有不同的期望。例如，当用户的需求是喝水时，适合采取侧向五指抓握瓶身，而不适合采取三指捏握瓶盖位置；当用户的需求是打开瓶盖或者从一箱水中取出一瓶时，则适合采取三指捏握瓶盖位置。面对不同需求而采取不同的抓取手型是人们在长期生活中积累出来的经验结果。
3、在前期关于脑电解码手部精细动作运动想象(包括五指抓握、两指捏握、三指捏握和五指松开)的研究中发现，面向同一物体的多种手势较好区分，而较难区分的手势往往面向不同的物体。例如五指抓握、五指松开与两指捏握或者三指捏握的分类效果均较好，但两指捏握容易与三指捏握混淆。而在面对实际任务时，两指捏握往往面向如叶片、纸巾等卡片状的物体，而三指捏握往往面向象棋、乒乓球、瓶盖等较小的球或者圆柱状物体。五指抓握、五指松开与两指捏握可以组合完成双手协同开瓶盖等任务，五指抓握、五指松开与两指捏握可以组合完成双手协同抽纸巾等任务。
技术实现思路
1、为了解决背景技术中面向同一物体的多种手势较好区分，而较难区分的手势往往面向不同的物体的技术问题，使脑控机械臂能够执行更加符合人类期望，解决实际需求的操作，本发明主要为如何基于无创脑机接口技术解码手部精细动作m i帮助功能受损的用户自如地操控五指灵巧手抓取物体提供了一种方法。
2、为了达到上述目的，本发明提供了一种脑电与图片联合编码实现手部精细动作运动想象的方法，该方法包括如下步骤：
3、s1、预设脑电预训练模型，该模型包括脑电编码器和脑电解码器，采用预设的训练集对脑电编码器进行训练并采用脑电解码器计算损失，得到训练后的脑电编码器，训练后的脑电编码器可建立eeg信号与预设的多种手部精细动作运动想象之间的关联关系；
4、s2、采集操作空间的视频并播放，通过分析用户观看视频期间的注意力，得到用户期望抓取的目标物体对应的目标图像，利用clip模型对目标图像进行处理，提取出目标图像的嵌入向量；
5、s3、采集用户观看视频期间想象采用预设的多种手部精细动作抓取目标物体时的eeg信号并预处理，得到预处理后的eeg信号，通过训练后的脑电编码器对预处理后的eeg信号进行编码，得到预处理后的eeg信号的嵌入向量；
6、s4、将目标图像的嵌入向量与预处理后的eeg信号的嵌入向量进行拼接，对拼接后的嵌入向量进行面向预设的多种手部精细动作的eeg信号解码，将手部精细动作运动想象直接映射到操控五指灵巧手上。
7、优选地，s1中采用预设的训练集对脑电编码器进行训练并采用脑电解码器计算损失，得到训练后的脑电编码器，具体包括如下：
8、s11、预设脑电预训练模型、多种手部精细动作、训练视频以及标签；
9、s12、采集用户观看训练视频时想象使用预设的手部精细动作抓取目标物体时的eeg信号；
10、s13、脑电预训练模型中的脑电编码器对s12中得到的eeg信号进行编码，得到可反应eeg信号与手部精细动作运动想象之间关联关系的编码后的嵌入向量；
11、s14、脑电预训练模型中的脑电解码器接收编码后的嵌入向量并将其解码，得到映射结果，计算映射结果与预设标签之间的损失并训脑电练编码器，得到训练后的脑电编码器。
12、优选地，s2具体包括如下：
13、s21、通过摄像头采集操作空间的视频并播放，通过眼动仪采集用户观看视频期间的视觉轨迹并获取用户眼动观察点的坐标；
14、s22、通过速度阈值滤波算法从眼动观察点的坐标中提取注视采样点的坐标并加入注视缓冲区，通过低通滤波算法对注视缓冲区中的注视采样点的坐标进行滤波，得到落于目标内的注视坐标；
15、s23、将落于目标内的注视坐标和视频帧图片输入sam模型处理，从视频帧图片中分割出用户期望抓取的目标物体对应的目标图像。
16、s24、将目标图像通过clip模型进行编码，获得目标图像的嵌入向量。
17、优选地，s3中采集用户观看视频期间想象采用预设的多种手部精细动作抓取目标物体时的eeg信号并预处理，得到预处理后的eeg信号，具体包括如下：
18、s31、用户注视目标物体并想象从预设的多种手部精细动作中选取期望的手部精细动作对目标物体进行抓取或释放；
19、s32、通过脑电信号采集设备采集用户想象采用期望的手部精细动作对目标物体进行抓取或释放时的eeg信号并预处理，得到预处理后的eeg信号。
20、优选地，s32具体包括如下：
21、s321、预设采样时长，在用户想象采用期望的手部精细动作对目标物体进行抓取或释放期间通过脑电信号采集设备采集预设采样时长内的eeg信号；
22、s322、对采集到的预设采样时长内的eeg信号带通滤波与标准化预处理，得到预处理后的eeg信号。
23、优选地，s1中的编码器包括依次连接的卷积模块和多头自注意力模块，预训练模型中的解码器为由多层感知机实现的分类器模块。
24、优选地，s1中预设的多种手部精细动作包括：面向片状物体的两指捏握、旋钮圆形物体的三指捏握，面向柱状物体的五指抓握与五指张开。
25、优选地，所述步骤s2中用户期望抓取的目标物体的特征包括卡片状、球状、圆柱状。
26、上述一种脑电与图片联合编码实现手部精细动作运动想象的方法，预设脑电预训练模型，该模型包括脑电编码器和脑电解码器，对脑电编码器进行训练并采用脑电解码器计算损失，得到训练后的脑电编码器；采集操作空间的视频并播放，通过分析用户观看视频期间的注意力，得到用户期望抓取的目标物体对应的目标图像，利用clip模型对目标图像进行处理，提取出目标图像的嵌入向量；采集用户观看视频期间想象采用预设的多种手部精细动作抓取目标物体时的eeg信号并预处理，得到预处理后的eeg信号，通过训练后的脑电编码器对预处理后的eeg信号进行编码，得到预处理后的eeg信号的嵌入向量；将目标图像的嵌入向量与预处理后的eeg信号的嵌入向量进行拼接，对拼接后的嵌入向量进行面向预设的多种手部精细动作的eeg信号解码，将手部精细动作运动想象直接映射到操控五指灵巧手上。通过上述方法，用户可以在不进行任何动作的情况下通过运动想象直接控制五指灵巧手用其想象的动作抓取目标，为用户提供自然的操作体验，辅助手部精细运动康复，建立自然高效的bci系统，使得运动障碍患者能够自如地控制五指灵巧手采取符合其需求的方式与目标交互，具有重大的实际意义。
1.一种脑电与图片联合编码实现手部精细动作运动想象的方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的脑电与图片联合编码实现手部精细动作运动想象的方法，其特征在于，s1中采用预设的训练集对脑电编码器进行训练并采用脑电解码器计算损失，得到训练后的脑电编码器，具体包括如下：
3.根据权利要求2所述的脑电与图片联合编码实现手部精细动作运动想象的方法，其特征在于，s2具体包括如下：
4.根据权利要求3所述的脑电与图片联合编码实现手部精细动作运动想象的方法，其特征在于，s3中采集用户观看视频期间想象采用预设的多种手部精细动作抓取目标物体时的eeg信号并预处理，得到预处理后的eeg信号，具体包括如下：
5.根据权利要求4所述的脑电与图片联合编码实现手部精细动作运动想象的方法，其特征在于，s32具体包括如下：
6.根据权利要求1所述的脑电与图片联合编码实现手部精细动作运动想象的方法，其特征在于，s1中的编码器包括依次连接的卷积模块和多头自注意力模块，预训练模型中的解码器为由多层感知机实现的分类器模块。
7.根据权利要求1所述的一种脑电与图片联合编码实现手部精细动作运动想象的方法，其特征在于，s1中预设的多种手部精细动作包括：面向片状物体的两指捏握、旋钮圆形物体的三指捏握，面向柱状物体的五指抓握与五指张开。
8.根据权利要求1所述的一种脑电与图片联合编码实现手部精细动作运动想象的方法，其特征在于，所述步骤s2中用户期望抓取的目标物体的特征包括卡片状、球状、圆柱状。
