本发明属于电子信息、仪器仪表、机器视觉、人工智能和医疗工程。
背景技术:
1、在医疗机器人场景,要求机器人携带治疗器械移动准确到患者的治疗区,比如在治疗肿瘤的粒子束束流针的插针精度要求为轴向量误差<0.02°,圆心点误差小于0.03mm。人类眼睛在小于0.5mm的精度要求时,已经难以完成这种高精度的插针任务,而当前机器人轨迹绝对精度为0.7mm。
2、由此可以看出,要解决上述问题,就必须研究出高精度3d机器视觉和高精度机器人轨迹规划算法解决上述问题。
技术实现思路
1、本发明公开了一种基于3d机器视觉的医疗机器人轨迹规划方法及其系统,其特征在于,系统组成为:3d医疗相机、轨迹规划算法、医疗机器人、治疗工具和治疗器械,系统主要工作包括以下步骤:1)治疗工具与医疗机器人坐标系标定;2)3d医疗相机定位治疗工具的三维坐标;3)医疗机器人获取治疗区域坐标;4)轨迹规划算法计算医疗机器人轨迹;5)医疗机器人携带治疗器械按轨迹运动到治疗工具位置,进行治疗。本系统可以针对高精度医疗治疗场景生成机器人的轨迹精度小于30um,执行人类难以完成的高精度治疗操作。
2、为达到上述目的,本发明的技术方案是这样实现的:
3、首先将治疗工具、3d医疗相机与医疗机器人坐标系进行统一标定,所述治疗工具是指贴附在患者身体上配合机器人治疗器械的部件,治疗工具由多个按预定规则排布且表面经由与3d医疗相机感光匹配处理的治疗区以及治疗工具标记组成;
4、较佳3d医疗相机固定在医疗机器人上,且与医疗机器人治疗器械保持在最佳的高精度视野内,3d相机配置与相机光源光谱波段一致的滤光镜片;
5、较佳地,治疗工具和治疗器械的表面处理为白色或与相机光源光谱波段一致的颜色。
6、所述3d医疗相机定位治疗工具的三维坐标,首先对治疗工具进行预定位,用一台xyz直角坐标机器人机构在xy方向携带十字线激光发射器在z方向携带一字线激光器,移动机器人使激光对准治疗工具,记录机器人xyz坐标,完成对治疗工具的预标定;
7、较佳地,利用一台大视野3d相机获得治疗工具上所有治疗区的坐标;
8、较佳地,利用治疗工具按预定规则排布治疗区加工的固定位置坐标,在标定一个治疗区坐标后,推算其他治疗区坐标。
9、所述对治疗工具的精确定位是指医疗机器人移动到预定位的治疗工具标记位置,利用3d医疗相机采集治疗工具标记,对标记与预先存储的模板进行配准,如果配准的xyz坐标差异大于阈值,则将坐标差异作为医疗机器人的轨迹,移动医疗机器人到下一个更加贴近的位置启动医疗3d相机拍照配准,直到达到预设的阈值精度,从而获得治疗工具标记在医疗机器人坐标系下的坐标,并将预定位的所有治疗区域坐标进行精确定位;
10、较佳地,治疗工具的标记为一个十字图形,在对治疗工具加工时,由数控车床完成高精度的刻画。
11、所述医疗机器人获取治疗区域坐标是指,首先医疗机器人按照治疗计划获得第一治疗区的坐标,治疗工具的标记是在加工治疗工具时制作生成,并预先确定标记与治疗工具及其治疗区之间的xyz三维关联参数,完成精确定位并获取第一治疗区坐标。
12、所述轨迹规划算法计算医疗机器人轨迹,医疗机器人携带3d医疗相机拍摄治疗工具的治疗区和医疗机器人治疗器械形成一幅3d点云图像,系统算法从3d点云图像中分割识别出治疗工具和治疗器械,计算治疗区的特征坐标和治疗器械特征坐标,计算治疗区特征坐标与治疗器械特征坐标的拟合结果,如果拟合结果大于预定的阈值,则医疗机器人轨迹优化为拟合结果的差值,医疗机器人按优化轨迹向治疗工具的目标治疗区移动,直到拟合精度达到要求,医疗机器人携带治疗器械按轨迹运动到治疗工具位置,进行治疗;
13、较佳地,采用点云聚类的算法分割治疗工具和治疗器械两个点云,再通过计算两个点云的中心坐标,通过中心坐标以及已知治疗工具和治疗器械的位置,识别出治疗工具和治疗器械;
14、较佳地,利用机器学习算法分割并识别治疗工具和治疗器械两个点云;
15、较佳地,计算治疗区特征为导针管轴线,治疗机械的特征为束流针轴线,通过拟合算法计算导针管轴线与束流针轴线的差异。
1.一种基于3d机器视觉的医疗机器人轨迹规划方法及其系统,其特征在于,系统组成为:3d
2.根据权利要求1所述的系统,其特征在于,所述治疗工具与医疗机器人坐标系标定,是指治疗工具定位装置的坐标系和3d医疗相机坐标系到医疗机器人坐标系的统一转换。
3.根据权利要求1所述的系统,其特征在于,所述定位治疗工具的三维坐标包含以下步骤:
4.根据权利要求1所述的系统,其特征在于,轨迹规划算法计算医疗机器人轨迹的步骤包括:
5.根据权利要求2和权利要求3所述的系统,其特征在于,治疗工具定位装置完成预定位至少包含:1)固定一台3d相机采集治疗工具的3d坐标,进行定位;2)用一台xyz直角坐标机械臂携带十字线激光器和一字线激光器,水平移动机械臂使十字线激光对准治疗工具,得出治疗工具的xy坐标,垂直移动使一字线激光对准治疗工具平面,得出治疗工具的z坐标。
6.根据权利要求1所述的系统,其特征在于:治疗工具是指贴附在患者身体上配合机器人治疗器械的部件,治疗工具由多个按预定规则排布且表面经由与3d医疗相机感光匹配处理的治疗区以及治疗工具标记组成,治疗区至少包括:1)治疗针孔及其导针管;2)治疗线槽。
7.根据权利要求3所述的系统,其特征在于,治疗工具的标记是在加工治疗工具时制作生成,并预先确定标记与治疗工具及其治疗区之间的xyz三维关联参数,完成精确定位和获取第一治疗区坐标。
8.根据权利要求4所述的系统,其特征在于,计算治疗区特征坐标与治疗器械特征坐标至少包含:1)圆柱轴线坐标;2)圆心坐标。
9.根据权利要求4和权利要求8所述系统,其特征在于,计算治疗区特征坐标与治疗器械特征及其圆柱轴线的方法,分割计算治疗区与治疗器械特以及计算轴线的算法至少包含:1)聚类算法;2)机器学习算法,计算步骤如下:
10.根据权利要求1和权利要求6所述系统,其特征在于,3d医疗相机以及表面与3d医疗相机感光匹配处理是指,在治疗工具表面处理的颜色为3d医疗相机传感器感光的最佳光谱波段,3d医疗相机配置有最佳光谱波段的滤光镜片。
