本发明涉及医疗设备领域,特别涉及一种定位导航方法、定位导航装置、电子设备及可读存储介质。
背景技术:
1、伴随着医学成像技术和医学图像处理技术的迅速发展,基于影像引导的操作系统应运而生。借助于医学图像的三维重建模型,操作者能够直观、精确地分析受试者的结构及其周围组织,从而有助于操作者进行相应的操作。
2、在上述操作过程中,光学辅助导航是一种有效的医疗导航系统。其是利用光学跟踪装置与例如六轴机器人组成机器人操作系统。该系统利用机器人夹持医疗设备,光学跟踪装置由支架固定,在目标物(例如受试者,具体地受试者的头部等)上固定标志物,用于光学跟踪装置定位例如头部的坐标。
3、然而,有些导航系统在操作上相对繁琐。例如,在开始处理前需要进行注册过程。这不仅增加了操作步骤,而且如果摄像机被误触碰还可能带来重新注册的问题,从而限制了处理过程的适用范围,例如不适用于自闭症患者等。
4、另外,在整个处理过程中需要保持医疗设备稳定。由于医疗设备较重并且处理时间长,手持医疗设备增加了处理过程的不稳定性。
技术实现思路
1、为了解决现有技术中存在的上述问题和缺陷的至少一个方面,本发明的实施例提供了一种定位导航方法、定位导航装置、电子设备和可读存储介质,以解决现有导航系统操作繁琐的问题。
2、本发明的一个目的是提供了一种定位导航方法。
3、本发明的另一目的是提供了一种电子设备。
4、本发明的又一目的是提供了一种可读存储介质。
5、本发明的再一目的是提供了一种定位导航装置。
6、根据本发明的一个方面,提供了一种定位导航方法,包括:
7、确定用于相机的深度数据与可视化机械臂模型基座的空间数据之间相互转换的第一转换数据;
8、确定用于可视化医疗设备模型与可视化机械臂模型末端的空间数据之间相互转换的第二转换数据;
9、确定用于相机的深度数据与可视化目标物模型的空间数据之间相互转换的第三转换数据;
10、确定用于可视化机械臂模型基座与可视化机械臂模型末端之间相互转换的第四转换数据;
11、基于第一转换数据、第二转换数据、第三转换数据和第四转换数据获得可视化目标物模型和可视化医疗设备模型之间的相对位置关系,根据相对位置关系进行导航。
12、在一些实施例中,确定用于相机的深度数据与可视化机械臂模型基座的空间数据之间相互转换的第一转换数据包括:
13、在机械臂末端上设置一标记板,使得机械臂根据预设信息运动;
14、基于所述标记板和相机采集到的机械臂运动信息确定所述第一转换数据。
15、在一些实施例中,所述标记板上的标记图案包括棋盘格图案、点阵图案、charuco图案和深度学习训练图中的至少一种,
16、所述预设信息包括预设姿态。
17、在一些实施例中,确定用于可视化医疗设备模型与可视化机械臂模型末端的空间数据之间相互转换的第二转换数据包括:
18、将医疗设备设置在机械臂末端上,并确定医疗设备与机械臂末端之间的位置关系;
19、基于医疗设备与机械臂末端之间的位置关系确定所述第二转换数据。
20、在一些实施例中,确定用于所述相机的深度数据与可视化目标物模型的空间数据之间相互转换的第三转换数据包括:
21、通过相机获得的rgb数据和深度数据获得可视化目标物模型的目标部分的第一数据;
22、将所述第一数据与目标物的第二数据进行匹配后,确定所述第三转换数据。
23、在一些实施例中,通过相机获得的rgb数据和深度数据获得可视化目标物模型的目标部分的第一数据包括:
24、在所述rgb数据中提取目标部分的第三数据;
25、将所述深度数据转换到rgb数据的内参所在平面内并获得第四数据;
26、基于所述目标部分的第三数据去除第四数据中的非目标部分的第五数据后,并获得所述目标部分的第一数据,
27、将所述第一数据与目标物的第二数据进行匹配后,确定所述第二转换数据包括:
28、将所述目标部分的第一数据与目标物的第二数据进行粗匹配;
29、将经过粗匹配的数据进行精确匹配后,确定所述第三转换数据。
30、在一些实施例中,所述深度数据包括环境点云数据;
31、所述目标部分的第一数据包括目标部分的点云数据;
32、所述第二数据包括目标物点云数据。
33、在一些实施例中,根据所述相对位置关系进行导航包括:
34、根据所述相对位置关系提供期望的可视化视角,基于所述期望的可视化视角进行导航,
35、所述期望的可视化视角包括医疗设备相对于目标物运动的可视化视角、目标物相对于医疗设备运动的可视化视角、以及医疗设备和目标物都相对于相机运动的可视化视角中的至少一个。
36、在一些实施例中,展示医疗设备相对于目标物运动的可视化视角包括:
37、基于第二转换数据将可视化医疗设备模型的坐标系下的可视化医疗设备模型的数据转换到可视化机械臂模型末端的坐标系下;
38、基于第四转换数据将可视化机械臂模型末端的坐标系下的可视化医疗设备模型的数据转换到可视化机械臂模型基座的坐标系下;
39、基于第一转换数据将可视化机械臂模型基座的坐标系下的可视化医疗设备模型的数据转换到相机的深度坐标系下;
40、基于第三转换数据将所述深度坐标系下的可视化医疗设备模型的数据转换到可视化目标物模型的坐标系下,以展示医疗设备相对于目标物运动的可视化视角。
41、在一些实施例中,第一转换数据包括第一转换矩阵;
42、第二转换数据包括第二转换矩阵;
43、第三转换数据包括第三转换矩阵;
44、第四转换数据包括第四转换矩阵,
45、展示医疗设备相对于目标物运动的可视化视角包括:
46、通过可视化医疗设备模型的坐标系下的可视化医疗设备模型的数据乘以第二转换矩阵,将可视化医疗设备模型的坐标系下的可视化医疗设备模型的数据转换到可视化机械臂模型末端的坐标系下;
47、通过可视化机械臂模型末端的坐标系下的可视化医疗设备模型的数据乘以第四转换矩阵,将可视化机械臂模型末端的坐标系下的可视化医疗设备模型的数据转换到可视化机械臂模型基座的坐标系下;
48、通过可视化机械臂模型基座的坐标系下的可视化医疗设备模型的数据乘以第一转换矩阵,将可视化机械臂模型基座的坐标系下的可视化医疗设备模型的数据转换到相机的深度坐标系下;
49、通过所述深度坐标系下的可视化医疗设备模型的数据乘以第三转换矩阵,将所述深度坐标系下的可视化医疗设备模型的数据转换到可视化目标物模型的坐标系下,以展示医疗设备相对于目标物运动的可视化视角。
50、在一些实施例中,展示目标物相对于医疗设备运动的可视化视角包括:
51、基于第三转换数据将可视化目标物模型的坐标系下的可视化目标物模型的数据转换到相机的深度坐标系下;
52、基于第一转换数据将所述深度坐标系下的可视化目标物模型的数据转换到可视化机械臂模型基座的坐标系下;
53、基于第四转换数据将可视化机械臂模型基座的坐标系下的可视化目标物模型的数据转换到可视化机械臂模型末端的坐标系下;
54、基于第二转换数据将可视化机械臂模型末端的坐标系下的可视化目标物模型的数据转换到可视化医疗设备模型的坐标系下,以展示目标物相对于医疗设备运动的可视化视角。
55、在一些实施例中,第一转换数据包括第一转换矩阵;
56、第二转换数据包括第二转换矩阵;
57、第三转换数据包括第三转换矩阵;
58、第四转换数据包括第四转换矩阵,
59、展示目标物相对于医疗设备运动的可视化视角包括:
60、通过可视化目标物模型的坐标系下的可视化目标物模型的数据乘以第三转换矩阵的逆矩阵,将可视化目标物模型的坐标系下的可视化目标物模型的数据转换到相机的深度坐标系下;
61、通过所述深度坐标系下的可视化目标物模型的数据乘以第一转换矩阵的逆矩阵,将所述深度坐标系下的可视化目标物模型的数据转换到可视化机械臂模型基座的坐标系下;
62、通过可视化机械臂模型基座的坐标系下的可视化目标物模型的数据乘以第四转换矩阵的逆矩阵,将可视化机械臂模型基座的坐标系下的可视化目标物模型的数据转换到可视化机械臂模型末端的坐标系下;
63、通过可视化机械臂模型末端的坐标系下的可视化目标物模型的数据乘以第二转换矩阵的逆矩阵,将可视化机械臂模型末端的坐标系下的可视化目标物模型的数据转换到可视化医疗设备模型的坐标系下,以展示目标物相对于医疗设备运动的可视化视角。
64、在一些实施例中,展示医疗设备和目标物都相对于相机运动的可视化视角包括:
65、基于第二转换数据将可视化医疗设备模型的坐标系下的可视化医疗设备模型的数据转换到可视化机械臂模型末端的坐标系下;
66、基于第四转换数据将可视化机械臂模型末端的坐标系下的可视化医疗设备模型的数据转换到可视化机械臂模型基座的坐标系下;
67、基于第一转换数据将可视化机械臂模型基座的坐标系下的可视化医疗设备模型的数据转换到相机的深度坐标系下;
68、基于第三转换数据将可视化目标物模型的坐标系下的可视化目标物模型的数据转换到相机的深度坐标系下,以展示医疗设备和目标物都相对于相机运动的可视化视角。
69、在一些实施例中,第一转换数据包括第一转换矩阵;
70、第二转换数据包括第二转换矩阵;
71、第三转换数据包括第三转换矩阵;
72、第四转换数据包括第四转换矩阵,
73、展示医疗设备和目标物都相对于相机运动的可视化视角包括:
74、通过可视化医疗设备模型的坐标系下的可视化医疗设备模型的数据乘以第二转换矩阵,将可视化医疗设备模型的坐标系下的可视化医疗设备模型的数据转换到可视化机械臂模型末端的坐标系下;
75、通过可视化机械臂模型末端的坐标系下的可视化医疗设备模型的数据乘以基于第四转换矩阵的逆矩阵,将可视化机械臂模型末端的坐标系下的可视化医疗设备模型的数据转换到可视化机械臂模型基座的坐标系下;
76、通过可视化机械臂模型基座的坐标系下的可视化医疗设备模型的数据乘以第一转换矩阵,将可视化机械臂模型基座的坐标系下的可视化医疗设备模型的数据转换到相机的深度坐标系下;
77、通过可视化目标物模型的坐标系下的可视化目标物模型的数据乘以第三转换矩阵的逆矩阵,将可视化目标物模型的坐标系下的可视化目标物模型的数据转换到相机的深度坐标系下,以展示医疗设备和目标物都相对于相机运动的可视化视角。
78、在一些实施例中,根据所述相对位置关系进行导航包括:
79、根据所述相对位置关系控制机械臂将医疗设备放置到目标点上。
80、在一些实施例中,根据所述相对位置关系控制机械臂将医疗设备放置到目标点上包括:
81、基于第三转换数据将可视化目标物模型的坐标系下的目标物上的目标点的数据转换到相机的深度坐标系下;
82、基于第一转换数据将深度坐标系下的目标点的数据转换到可视化机械臂模型基座的坐标系下;
83、基于第二转换数据将可视化医疗设备模型坐标系下的可视化医疗设备模型的数据转换到可视化机械臂模型末端的坐标系下;
84、基于第四转换数据将可视化机械臂模型末端的坐标系下的可视化医疗设备模型的数据转换到可视化机械臂模型基座的坐标系下;
85、基于可视化机械臂模型基座的坐标系下的目标点的数据和可视化医疗设备模型的数据控制机械臂将医疗设备放置到目标点上。
86、根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
87、存储器和处理器,所述存储器上存储有程序,其中,所述处理器在执行所述存储器上的程序时实施根据前述实施例任一实施例所述的定位导航方法。
88、根据本发明的又一方面,提供了一种可读存储介质,所述可读存储介质中存储有计算机可读程序或指令,所述计算机可读程序或指令被处理器执行时实施根据前述实施例中任一实施例所述的定位导航方法。
89、根据本发明的再一方面,提供了一种定位导航装置,所述定位导航装置包括:
90、第一确定模块,所述第一确定模块配置成确定用于相机的深度数据与可视化机械臂模型基座的空间数据之间相互转换的第一转换数据;
91、第二确定模块,所述第二确定模块配置成确定用于可视化医疗设备模型与可视化机械臂模型末端的空间数据之间相互转换的第二转换数据;
92、第三确定模块,所述第三确定模块配置成确定用于所述相机的深度数据与可视化目标物模型的空间数据之间相互转换的第三转换数据;
93、第四确定模块,所述第四确定模块配置成确定用于可视化机械臂模型基座与可视化机械臂模型末端之间相互转换的第四转换数据;
94、分别与第一确定模块、第二确定模块、第三确定模块和第四确定模块通信连接的控制模块,所述控制模块配置成基于所述第一转换数据、第二转换数据、第三转换数据和第四转换数据获得可视化目标物模型和可视化医疗设备模型之间的相对位置关系,根据所述相对位置关系进行导航。
95、根据本发明的定位导航方法、定位导航装置、电子设备和可读存储介质具有以下优点中的至少一个:
96、(1)本发明的定位导航方法、定位导航装置、电子设备和可读存储介质能够消除处理前的注册过程,简化了导航操作过程;
97、(2)本发明的定位导航方法、定位导航装置、电子设备和可读存储介质允许目标物(例如受试者)不佩戴刚体模型,扩大了处理过程的适用范围;
98、(3)本发明的定位导航方法、定位导航装置、电子设备和可读存储介质通过机械臂夹持医疗设备,消除了手持医疗设备的必要性,增加了系统稳定性,降低了人工成本;
99、(4)本发明的定位导航方法、定位导航装置、电子设备和可读存储介质能够自动跟随控制,从而提供更精准、更便捷的处理方式;
100、(5)本发明的定位导航方法、定位导航装置、电子设备和可读存储介质能够从多种维度提供导航,增加了导航过程的灵活性。
1.一种定位导航方法,包括:
2.根据权利要求1所述的定位导航方法,其中,
3.根据权利要求2所述的定位导航方法,其中,
4.根据权利要求3所述的定位导航方法,其中,
5.根据权利要求4所述的定位导航方法,其中,
6.根据权利要求5所述的定位导航方法,其中,
7.根据权利要求6所述的定位导航方法,其中,
8.根据权利要求1-7中任一项所述的定位导航方法,其中,
9.根据权利要求8所述的定位导航方法,其中,
10.根据权利要求9所述的定位导航方法,其中,
11.根据权利要求8所述的定位导航方法,其中,
12.根据权利要求11所述的定位导航方法,其中,
13.根据权利要求8所述的定位医疗导航方法,其中,
14.根据权利要求13所述的定位导航方法,其中,
15.根据权利要求1-7中任一项所述的定位导航方法,其中,
16.根据权利要求15所述的定位导航方法,其中,
17.一种电子设备,其特征在于,所述电子设备包括:
18.一种可读存储介质,其特征在于,
19.一种定位导航装置,其特征在于,所述定位导航装置包括: