本发明涉及医学影像生成,主要用于辅助临床应用,尤其涉及一种基于因果的时间纵向医学影像合成模型的训练方法及应用。
背景技术:
1、目前已有基于深度学习的未来的多时间点的医学影像合成技术,如z.ning等提出的ldg an模型,y.zhao等人提出的mi-gan模型,c.fan等人提出的tr-gan模型,然而,这些模型都是基于关联性的深度学习模型,没有考虑其他因素如性别,年龄,基因等因素对于疾病发展和医学影像获得的因果效应,因此这样的模型容易受到混杂因素的影响。并且,这样的模型仍然是离散的,无法输出未来任意时间点的影像。同时,tr-gan没有考虑到非影像因素对于脑组织变化的影像,因此性能也受到了限制。
2、目前也有一些因果生成图像的方法,如j.c.reinhold等人提出了一个因果模型,合成多发性硬化的脑部核磁图像;a.kumar等人和p.sanchez等人都利用生成反事实诊断的图像的模型用于确定图像关于诊断的标记;a.abdulaal等人针对阿尔兹海默症提出了脑部核磁图像生成的因果模型。然而这些方法都只应用在了2d图像上,而大部分医学影像都是3d的,因此大大限制了这些方法在临床上的可用性;同时,这些方法没有考虑到时间的维度,从而无法生成未来的图像,也没有考虑到病情随时间的发展。
技术实现思路
1、针对现有技术的不足,本发明的目的在于提供一种基于因果的时间纵向医学影像合成模型的训练方法及应用。
2、为实现前述发明目的,本发明采用的技术方案包括:
3、第一方面,本发明提供一种基于因果的时间纵向医学影像合成模型的训练方法,其包括:
4、应用因果发现算法至表格变量,且结合先验医学知识,拟合生成函数,构建仅表格因果图;其中,所述仅表格因果图表示多个所述表格变量之间的因果关系,所述表格变量包含多个时刻采集的与医学影像相关的非影像因素;
5、训练干预图像生成模块,在所述仅表格因果图上构建表格-视觉因果图,所述表格-视觉因果图用于将至少部分所述表格变量作为控制属性生成预测图像,具体包括:
6、训练影像生成器,所述影像生成器用于从潜空间映射至影像空间;
7、冻结所述影像生成器,训练影像编码器,所述影像编码器用于从影像空间映射至潜空间;
8、通过所述影像编码器形成潜空间,获得低维特征,引入控制属性通过低维特征生成器生成可控低维特征,基于所述可控低维特征利用所述影像生成器形成可控生成图像,基于所述可控生成图像训练所述低维特征生成器;
9、所述影像编码器、低维特征生成器以及影像生成器依次序共同组成所述干预图像生成模块。
10、第二方面,本发明还提供一种跨因子越时间的医学变量和影像预测方法,其包括:
11、提供上述训练方法得到的时间纵向医学影像合成模型;
12、利用仅表格因果图基于基线数据中的表格变量结合干预变量,生成未来的非影像预测数据;
13、基于至少部分所述非影像预测数据以及所述基线数据中的影像数据,利用表格-视觉因果图形成所述非影像预测数据对应的预测影像。
14、第三方面,本发明还提供了一种上述训练方法得到的时间纵向医学影像合成模型。
15、第四方面,本发明还提供了一种可读存储介质,其中存储有计算机程序,所述计算机程序被运行时执行上述训练方法或医学变量和影像预测方法的步骤,或所属可读存储介质中存储有上述训练方法得到的时间纵向医学影像合成模型。
16、基于上述技术方案,与现有技术相比,本发明的有益效果至少包括:
17、本发明所提供的技术方案以医学影像的因果纵向生成技术与应用这一崭新探索为明确的研究目标,针对影像与因子间的维度失配、纵向样本的离散稀疏非等间、线性因果关系太简单等崭新挑战,凝练关键科学问题,研究新算法、新机制和新模型,探索新应用,解决了在多因素影响下的时间纵向的医学影像合成问题,可以生成控制某个因素下的,未来任意时间点的医学影像。
18、上述说明仅是本发明技术方案的概述,为了能够使本领域技术人员能够更清楚地了解本申请的技术手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例并配合详细附图说明如后。
1.一种基于因果的时间纵向医学影像合成模型的训练方法,其特征在于,包括:
2.根据权利要求1所述的训练方法,其特征在于,训练所述影像生成器的过程具体包括:
3.根据权利要求2所述的训练方法,其特征在于,训练所述影像生成器的损失函数表示为:
4.根据权利要求2所述的训练方法,其特征在于,训练所述影像解码器的过程具体包括:
5.根据权利要求4所述的训练方法,其特征在于,训练所述影像编码器的损失函数表示为:
6.根据权利要求1所述的训练方法,其特征在于,训练所述低维特征生成器的损失函数表示为:
7.根据权利要求1或6所述的训练方法,其特征在于,所述可控生成图像的生成过程表示为:
8.根据权利要求1所述的训练方法,其特征在于,所述仅表格因果图的构建过程采用连续时间建模机制进行,将多个离散的采样时刻对应的非影像因素的时间间隔作为独立变量进行训练,具体包括:
9.根据权利要求8所述的训练方法,其特征在于,所述因果关系的建立采用非线性建模的方式进行,具体包括:
10.一种跨因子越时间的医学变量和影像预测方法,其特征在于,包括: