本技术涉及医疗,特别是涉及一种医学影像和影像报告的交互方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
背景技术:
1、在医疗领域,目前在采集医学影像后,医生撰写影像报告和进行影像读片是分割的两件事情,两个环节之间无法进行信息传递,导致每个环节需要花费更多的时间。
2、因此,传统方法存在医学影像和影像报告之间的交互性较差,影响撰写影像报告和影像读片速度的问题。
技术实现思路
1、基于此,有必要针对上述方法存在的医学影像和影像报告之间的交互性较差,影响撰写影像报告和影像读片速度的技术问题,提供一种医学影像和影像报告的交互方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面,本技术提供了一种医学影像和影像报告的交互方法。所述方法包括:
3、获取医学影像和所述医学影像的影像报告;
4、根据从所述影像报告中选择的感兴趣文本,对所述医学影像进行分割处理,得到感兴趣区域;
5、根据所述感兴趣区域查找数据库,得到与所述感兴趣文本相似的目标历史影像报告和所述目标历史影像报告对应的历史医学影像。
6、在其中一个实施例中,所述根据从所述影像报告中选择的感兴趣文本,对所述医学影像进行分割处理,得到感兴趣区域,包括:
7、将所述感兴趣文本和所述医学影像,输入第一分割模型进行分割处理,得到所述感兴趣区域;
8、所述第一分割模型以样本医学影像为输入变量,以所述样本医学影像的样本感兴趣文本为提示信息,以对所述样本医学影像的分割结果为输出变量,对预训练的分割模型进行训练得到。
9、在其中一个实施例中,所述数据库存储有多个影像报告对的映射向量,每个影像报告对包括一个历史医学影像和一个所述历史医学影像对应的影像报告;
10、所述根据所述感兴趣区域查找数据库,得到与所述感兴趣文本相似的目标历史影像报告和所述目标历史影像报告对应的历史医学影像,包括:
11、分别确定所述数据库中的每个影像报告对的映射向量与所述感兴趣区域的编码特征之间的匹配度;
12、从所述数据库中,确定出对应的匹配度高于阈值的影像报告对,将所述影像报告对对应的历史影像报告和历史医学影像,作为所述目标历史影像报告和所述目标历史影像报告对应的历史医学影像。
13、在其中一个实施例中,所述根据所述感兴趣区域查找数据库,得到与所述感兴趣文本相似的目标历史影像报告和所述目标历史影像报告对应的历史医学影像之后,还包括:
14、将所述历史医学影像转化为文本描述信息,以及,确定所述目标历史影像报告中与所述感兴趣区域相关联的目标报告文本;
15、通过多模态大语言模型根据所述历史医学影像和所述历史医学影像转化的文本描述信息,对所述目标历史影像报告中的目标报告文本进行调整,得到调整的目标历史影像报告;
16、在所述医学影像中标记和展示所述感兴趣区域,以及展示所述调整的目标历史影像报告和所述目标历史影像报告对应的历史医学影像。
17、第二方面,本技术还提供了一种医学影像和影像报告的交互方法。所述方法包括:
18、获取医学影像和所述医学影像的影像报告;
19、根据从所述医学影像中选择的感兴趣区域,从所述影像报告中确定出对应的感兴趣文本;
20、根据所述感兴趣文本查找数据库,得到与所述感兴趣区域相似的目标历史医学影像和所述目标历史医学影像对应的历史影像报告。
21、在其中一个实施例中,所述根据从所述医学影像中选择的感兴趣区域,从所述影像报告中确定出对应的感兴趣文本之前,还包括:
22、获取对所述医学影像的位置提示信息;
23、将所述位置提示信息和所述医学影像,输入第二分割模型进行分割处理,得到所述感兴趣区域;所述第二分割模型通过样本医学影像对预训练的分割一切模型进行训练得到;
24、所述根据从所述医学影像中选择的感兴趣区域,从所述影像报告中确定出对应的感兴趣文本,包括:
25、将所述感兴趣区域和所述影像报告输入对比语言图像预训练模型,通过所述对比语言图像预训练模型检测所述感兴趣区域与所述影像报告中各文本段落之间的相似度,根据所述相似度从所述影像报告中确定出与所述感兴趣区域相对应的感兴趣文本。
26、在其中一个实施例中,所述数据库存储有多个影像报告对的映射向量,每个影像报告对包括一个历史医学影像和一个所述历史医学影像对应的影像报告;所述根据所述感兴趣文本查找数据库,得到与所述感兴趣区域相似的目标历史医学影像和所述目标历史医学影像对应的历史影像报告,包括:
27、分别确定所述数据库中的每个影像报告对的映射向量与所述感兴趣文本的编码特征之间的匹配度;
28、从所述数据库中,确定出对应的匹配度高于阈值的影像报告对,将所述影像报告对对应的历史医学影像和历史影像报告,作为所述目标历史医学影像和所述目标历史医学影像对应的历史影像报告。
29、在其中一个实施例中,所述根据所述感兴趣文本查找数据库,得到与所述感兴趣区域相似的目标历史医学影像和所述目标历史医学影像对应的历史影像报告之后,还包括:
30、将所述目标历史医学影像转化为文本描述信息,以及,确定所述目标历史医学影像对应的历史影像报告中与所述感兴趣区域相关联的目标报告文本;
31、通过多模态大语言模型根据所述目标历史医学影像和所述目标历史医学影像转化的文本描述信息,对所述目标历史医学影像对应的历史影像报告中的目标报告文本进行调整处理,得到调整的历史影像报告;
32、在所述影像报告中标记和展示所述感兴趣文本,以及展示所述目标历史医学影像和所述目标历史医学影像对应的调整的历史影像报告。
33、第三方面,本技术还提供了一种医学影像和影像报告的交互装置。所述装置包括:
34、获取单元,用于获取医学影像和所述医学影像的影像报告;
35、分割单元,用于根据从所述影像报告中选择的感兴趣文本,对所述医学影像进行分割处理,得到感兴趣区域;
36、查找单元,用于根据所述感兴趣区域查找数据库,得到与所述感兴趣文本相似的目标历史影像报告和所述目标历史影像报告对应的历史医学影像。
37、第四方面,本技术还提供了一种医学影像和影像报告的交互装置。所述装置包括:
38、获取单元,用于获取医学影像和所述医学影像的影像报告;
39、确定单元,用于根据从所述医学影像中选择的感兴趣区域,从所述影像报告中确定出对应的感兴趣文本;
40、查找单元,用于根据所述感兴趣文本查找数据库,得到与所述感兴趣区域相似的目标历史医学影像和所述目标历史医学影像对应的历史影像报告。
41、根据本公开实施例的第五方面,提供一种计算机设备,包括:处理器和用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如上任一项所述的方法。
42、根据本公开实施例的第六方面,提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
43、根据本公开实施例的第七方面,提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
44、上述医学影像和影像报告的交互方法、装置、计算机设备、存储介质和计算机程序产品,获取医学影像和医学影像的影像报告后,根据从影像报告中选择的感兴趣文本,对医学影像进行分割处理,得到感兴趣区域;根据感兴趣区域查找数据库,得到与感兴趣文本相似的目标历史影像报告和目标历史影像报告对应的历史医学影像。由此实现了基于影像报告中的感兴趣文本精确定位医学影像中的感兴趣区域,并且,通过查找数据库检索出与医生选择的感兴趣文本相似的目标历史影像报告和历史医学影像,从而为医生提供类似的病变描述的不同影像呈现,实现了根据类似的典型病例提供交互式影像报告阅读,可以提高诊断效率。
1.一种医学影像和影像报告的交互方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据从所述影像报告中选择的感兴趣文本,对所述医学影像进行分割处理,得到感兴趣区域,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述感兴趣区域查找数据库,得到与所述感兴趣文本相似的目标历史影像报告和所述目标历史影像报告对应的历史医学影像之后,还包括:
4.一种医学影像和影像报告的交互方法,其特征在于,所述方法包括:
5.根据权利要求4所述的方法,其特征在于,所述根据从所述医学影像中选择的感兴趣区域,从所述影像报告中确定出对应的感兴趣文本之前,还包括:
6.根据权利要求4所述的方法,其特征在于,所述根据所述感兴趣文本查找数据库,得到与所述感兴趣区域相似的目标历史医学影像和所述目标历史医学影像对应的历史影像报告之后,还包括:
7.一种医学影像和影像报告的交互装置,其特征在于,所述装置包括:
8.一种医学影像和影像报告的交互装置,其特征在于,所述装置包括:
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的医学影像和影像报告的交互方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的医学影像和影像报告的交互方法的步骤。
11.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的医学影像和影像报告的交互方法的步骤。