本技术涉及图像数据处理，尤其涉及一种基于图像融合的手术实时导航方法及系统。
背景技术：
1、医疗人员在对患者进行手术时，例如对患者进行腹腔镜手术时，可以确定进行腹腔镜手术的位置，并通过内窥镜实时观察腹腔镜手术时的情况，实现对手术的导航，以便医疗人员对患者进行手术。
2、在相关技术中例如公开号为cn118383871a的中国专利申请文件中，提供了一种基于mri图像校准的宫腔手术视野导航辅助系统，通过标定单元在mri宫腔内壁数字模型标定手术区域的位置，确定手术区域在mri宫腔内壁数字模型相对于两侧宫角的空间相对位置，以向量形式表示，得到左宫角相对向量和右宫角相对向量；手术开始后，利用具有多点测距功能的宫腔镜设备，对宫腔内壁进行扫描式测量，建模单元根据扫描式测量得到的宫腔内壁的点位数据，建立术中宫腔内壁数字模型，识别出术中宫角位置，确定术中宫角坐标；变形计算单元基于手术点mri相对向量和宫角术中坐标，计算出手术点在术中宫腔内壁数字模型中的相对位置；导航单元确定手术点与当前宫腔镜的视野的关系，并通过ar技术对手术医生进行提示。
3、相关技术在对手术进行导航时，通过确定手术点与当前宫腔镜的视野的关系，并通过ar技术对手术医生进行提示，进行手术的医生仅能通过术中的腔镜图像进行手术情况的判断，而仅通过术中的腔镜图像进行手术情况的判断所需要的判断时间较长，因此，相关技术难以有效实现对手术过程的导航。
技术实现思路
1、为克服相关技术中难以有效实现对手术过程的导航的问题，本技术提供一种基于图像融合的手术实时导航方法及系统。
2、根据本技术实施例的第一方面，提供一种基于图像融合的手术实时导航方法，包括：获取目标患者的目标手术部位在手术前的三维标注模型，所述三维标注模型包括目标手术部位在不同视角下的图像信息以及对所述图像信息的目标标注信息；所述目标标注信息包括对所述图像信息的器官标注信息、组织标注信息、血管标注信息、骨骼标注信息以及病灶标注信息中的至少一种；在对所述目标患者的所述目标手术部位进行手术的情况下，通过内窥镜获取所述目标手术部位在当前时刻的第一图像；从所述三维标注模型中确定对应所述第一图像的目标图像信息，并从所述三维标注模型中确定对应所述目标图像信息的第一标注信息；对第一标注信息以及第一图像进行图像融合获得第二图像，并通过显示设备对第二图像进行展示，以通过显示设备对手术进行实时导航。
3、这样，在对目标患者的目标手术部位进行手术的情况下，通过内窥镜获取目标手术部位在当前时刻的第一图像；从三维标注模型中确定对应第一图像的目标图像信息，并从三维标注模型中确定对应目标图像信息的第一标注信息；能够对第一标注信息以及第一图像进行图像融合获得第二图像，并通过显示设备对第二图像进行展示，以通过显示设备对手术进行实时导航，目标标注信息包括对图像信息的器官标注信息、组织标注信息、血管标注信息、骨骼标注信息以及病灶标注信息中的至少一种，因此，能够为手术过程提供更有价值的参考，有效实现对手术过程的导航。
4、可选的，所述三维标注模型通过以下方式获取：获取目标患者的目标手术部位在手术前的三维重建模型，所述三维标注模型包括目标手术部位在不同视角下的图像信息；将所述三维重建模型输入至预先训练的目标标注模型，获得所述目标标注模型所输出的三维标注模型；其中，所述目标标注模型用于对所述三维重建模型中不同视角下的图像信息进行目标标注信息的标注，以输出所述三维标注模型。
5、这样，获取目标患者的目标手术部位在手术前的三维重建模型，并将三维重建模型输入至预先训练的目标标注模型，获得目标标注模型所输出的三维标注模型，可以实现对三维重建模型的自动标注，相较于通过人工进行目标标注信息的标注，能够提高标注效率且能够降低人工的劳动强度。
6、可选的，所述目标标注模型通过以下方式训练获得：获取预先构建的初始标注模型，并获取针对所述初始标注模型的训练样本集以及验证样本集，所述训练样本集包括多个预设三维重建模型，所述验证样本集包括对应多个预设三维重建模型的多个预设三维标注模型；将所述训练样本集作为初始标注模型的输入，将所述验证样本集作为初始标注模型的输出，对所述初始标注模型进行训练，获得目标标注模型。
7、这样，通过对初始标注模型的训练，可以获得用于对三维重建模型进行标注的目标标注模型，以便后续利用所获得的目标标注模型实现对三维重建模型的快速标注。
8、可选的，所述目标标注模型通过以下方式获取：接收用户所指定的针对所述目标手术部位的目标器官类型；从对应多个预设器官类型的多个预设标注模型中，确定对应所述目标器官类型的目标标注模型；其中，所述预设标注模型是根据所对应的预设器官类型的手术部位的图像信息以及对图像信息的标注信息进行训练获得的，不同预设标注模型对应不同的预设器官类型。
9、这样，通过从对应多个预设器官类型的多个预设标注模型中，确定对应目标器官类型的目标标注模型，能够使目标标注模型与目标手术部位的器官类型相匹配，使所获得的对应三维重建模型的三维标注模型中的标注信息更为准确。
10、可选的，所述方法还包括：在已确定对应所述第一图像的目标图像信息的情况下，根据第一图像对三维标注模型中的目标图像信息进行替换，获得目标三维标注模型；通过显示设备对目标三维标注模型进行展示；所述目标三维标注模型与所述第二图像展示于所述显示设备的不同显示区域。
11、这样，根据第一图像对三维标注模型中的目标图像信息进行替换，获得目标三维标注模型，例如将三维标注模型中的目标图像信息替换为第一图像，由于第一图像是在手术时所采集的，能够更好地反映手术部位在当前时刻的情况，因此，能够使所获得的目标三维标注模型更好地反映目标患者的手术部位的实际情况，以便医生根据目标三维模型进行实际情况的判断。
12、再者，由三维标注模型是在手术前对三维重建模型进行标注获得的，相较于第一图像，三维标注模型能够更好地反映目标患者的目标手术部位的整体情况，根据第一图像对三维标注模型中的目标图像信息进行替换，获得目标三维标注模型，目标三维模型能够兼顾实时性与整体性，从而更好地用于手术过程的导航。
13、此外，相较于在手术时对目标手术部位进行扫描并重新进行三维模型的构建，根据第一图像对三维标注模型中的目标图像信息进行替换，获得目标三维标注模型，所获得的目标三维标注模型能够在准确反映目标手术部位的实际图像信息的情况下，减少了模型构建所需要的计算量，能够降低终端设备的运行压力；且能够减少模型构建所需要的时长，有助于手术过程的尽快推进。
14、可选的，所述第一图像包括多个子图像，所述第一标注信息包括多个子标注信息，根据第一图像对三维标注模型中的目标图像信息进行替换，获得目标三维标注模型，包括：从第一图像的多个子图像中确定已标注子图像，所述已标注子图像为第一图像中具有所对应的子标注信息的子图像；利用已标注子图像对三维标注模型中的目标图像信息所对应的部分进行替换，获得目标三维标注模型。
15、可选的，从所述三维标注模型中确定对应所述第一图像的目标图像信息，包括：根据第一图像中的目标像素点的像素值以及第一像素点的像素值，确定目标像素点的评价值，所述评价值用于表征目标像素点属于噪声的概率，所述第一像素点为所述目标像素点的预设范围内的其他像素点；对所述第一图像中评价值大于预设评价阈值的目标像素点进行滤波处理，获得滤波处理后的第三图像；从所述三维标注模型中确定对应所述第三图像的目标图像信息。
16、这样，利用已标注子图像对三维标注模型中的目标图像信息所对应的部分进行替换，可以快速获得目标三维标注模型，减少目标三维标注模型的获取时长。
17、可选的，根据第一图像中的目标像素点的像素值以及第一像素点的像素值，确定目标像素点的评价值，包括：根据目标像素点的预设范围内所有像素点的像素值，确定第一信息熵，并根据目标像素点对应的多个第一像素点的多个像素值，确定第二信息熵，以确定第一信息熵与第二信息熵之间的第一差异值；确定目标像素点与第一像素点在像素值上的第二差异值，并根据对应多个第一像素点的多个第二差异值，获得多个第二差异值的第一总和；将第一差异值与所述第一总和相乘获得第一乘值，并根据第一乘值获得所述目标像素点的评价值。
18、可选的，所述根据第一乘值获得所述目标像素点的评价值，包括：针对目标像素点的预设范围内的像素点，确定前一像素点与后一像素点在灰度值上的第三差异值；确定对应预设范围内多个像素点的多个第三差异值的第二总和，确定所述第二总和与所述第一乘值的第一比值，并利用指数函数对所述第一比值进行指数运算获得指数运算值；将所述指数运算值的倒数，作为所述目标像素点的评价值。
19、根据本技术实施例的第二方面，提供一种基于图像融合的手术实时导航系统，包括：处理器和存储器，所述存储器存储有计算机程序指令，所述计算机程序指令被所述处理器执行时实现本技术第一方面中所提供的基于图像融合的手术实时导航方法的步骤。
20、本技术的实施例提供的技术方案可以包括以下有益效果：在对目标患者的目标手术部位进行手术的情况下，通过内窥镜获取目标手术部位在当前时刻的第一图像；从三维标注模型中确定对应第一图像的目标图像信息，并从三维标注模型中确定对应目标图像信息的第一标注信息；能够对第一标注信息以及第一图像进行图像融合获得第二图像，并通过显示设备对第二图像进行展示，以通过显示设备对手术进行实时导航，目标标注信息包括对图像信息的器官标注信息、组织标注信息、血管标注信息、骨骼标注信息以及病灶标注信息中的至少一种，因此，能够为手术过程提供更有价值的参考，有效实现对手术过程的导航。
21、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
1.一种基于图像融合的手术实时导航方法，其特征在于，包括：
2.根据权利要求1所述的基于图像融合的手术实时导航方法，其特征在于，所述三维标注模型通过以下方式获取：
3.根据权利要求2所述的基于图像融合的手术实时导航方法，其特征在于，所述目标标注模型通过以下方式训练获得：
4.根据权利要求1所述的基于图像融合的手术实时导航方法，其特征在于，所述目标标注模型通过以下方式获取：
5.根据权利要求1所述的基于图像融合的手术实时导航方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的基于图像融合的手术实时导航方法，其特征在于，所述第一图像包括多个子图像，所述第一标注信息包括多个子标注信息，根据第一图像对三维标注模型中的目标图像信息进行替换，获得目标三维标注模型，包括：
7.根据权利要求1所述的基于图像融合的手术实时导航方法，其特征在于，从所述三维标注模型中确定对应所述第一图像的目标图像信息，包括：
8.根据权利要求7所述的基于图像融合的手术实时导航方法，其特征在于，根据第一图像中的目标像素点的像素值以及第一像素点的像素值，确定目标像素点的评价值，包括：
9.根据权利要求8所述的基于图像融合的手术实时导航方法，其特征在于，所述根据第一乘值获得所述目标像素点的评价值，包括：
10.一种基于图像融合的手术实时导航系统，其特征在于，包括：处理器和存储器，所述存储器存储有计算机程序指令，所述计算机程序指令被所述处理器执行时实现根据权利要求1-9任一项所述的基于图像融合的手术实时导航方法。
