本发明涉及图像处理领域，具体地，涉及一种基于多模态医学图像的病灶时间演化方法、介质及设备。
背景技术：
1、疾病的发生和发展往往不仅仅局限于单一器官的病变，其往往伴随着其他并发症的出现。如糖尿病的进展会造成糖尿病视网膜病变糖尿病足，糖尿病肾病等病变的出现。
2、长期暴露于特殊环境下，人的大脑和眼底都会发生相应的变化。例如，长期暴露于粉尘环境下，粉尘可能通过血液进入大脑，导致脑血管炎症，从而导致脑白质高信号。此外，可能引发视网膜炎症，导致视网膜出血、渗出物增多、水肿等。长期暴露于高海拔环境下的人可能会出现缺氧、高原反应等症状，在脑影像学上，可能出现脑白质病变、脑萎缩、脑血管病变等异常改变。在眼底图像上，可能出现视网膜血管病变、黄斑变性等异常改变。
3、目前，大多数研究聚焦在通过医学图像预测分类疾病，而没有探究跨器官的协同演变机制及其在多模态医学图像的相互变化关系和病灶演化的规律。此外，有些模态的影像数据不好获取，如何从易获取的影像预测出不好获取的影像也是待解决的问题。例如，血视网膜屏障的功能、组成与血脑屏障类似，且脑小血管与眼底微血管之间在解剖特征与屏障的组成功能和血管病变病理上也存在着一定的相似性，因此，在特殊环境下大脑和眼底发生的改变也存在对应关系，此发明可预测眼底和大脑在该环境下的演变规律，并可以通过某阶段的眼底图像来预测该阶段的颅脑核磁共振图像。
4、专利文献cn109844808a公开了基于多种类型的医学图像数据上训练的编码和/或分类方法来识别医学图像中的感兴趣区域。各方面和/或实施例寻求提供一种用于基于多模态数据输入来训练编码器和/或分类器的方法，以便基于单一模态的数据输入源对医学图像中的感兴趣区域进行分类。但该发明没有探究跨器官的协同演变机制及其在多模态医学图像的相互变化关系和病灶演化的规律。
技术实现思路
1、针对现有技术中的缺陷，本发明的目的是提供一种基于多模态医学图像的病灶时间演化方法、介质及设备。
2、根据本发明提供的一种基于多模态医学图像的病灶时间演化方法，包括：
3、步骤s1：动物多模态图像获取模块获取在预设环境下动物不同时间节点的相关联的模态a和模态b医学图像数据；
4、步骤s2：预处理模块对图像数据进行预处理，得到预处理之后的训练集与测试集，使不同时期和不同模态的图像在空间上和灰度上接近度符合预设标准；
5、步骤s3：条件输入模块将t时间节点的模态a和模态b医学图像进行处理，得到两组病灶异常图，分别计算病灶面积并归一化，得到条件输入；
6、步骤s4：病灶时间演化模块将模态数据输入基于多注意力生成对抗网络的病灶图像生成模型中，调参并保存，测试集测试生成的图像质量；
7、步骤s5：结果可视化和建模分析，将病灶时间演化的结果可视化并回归建模分析；
8、步骤s6：动物模型与人体模型的映射将某一模态的人体图像病灶特征与动物图像的病灶特征的时间线匹配对应，根据实例探究人体和动物的对应关系，得到人体在预设环境下的多模态病灶图像演化规律。
9、优选地，在所述步骤s2中：
10、预处理的步骤包括图像对齐、去噪和配对，对图像进行标准化处理，并按照比例划分训练集、验证集和测试集；
11、对所有图像进行标准化处理，公式如下：
12、
13、其中，μ为图像的均值，x表示图像矩阵，σ和n分别表示图像的标准差和图像体素数量。
14、优选地，在所述步骤s3中：
15、n时间节点的模态a和模态b医学图像分别为an和bn，将an与a0相减，bn与b0相减，得到两组病灶异常图，两组病灶异常图分别计算病灶面积并归一化，得到条件输入和作为n+1时间节点模态b病灶时间演化模块的输入，作为n+1时间节点模态a病灶时间演化模块的输入；
16、条件输入模块，具体过程如下：
17、将an与a相减，得到病灶异常图；
18、使用opencv将病灶异常图转换为灰度图像；
19、对灰度图像进行二值化操作，将图像中的目标病灶转换为二值图像；
20、对二值化后的图像进行轮廓检测，使用opencv的findcontours函数获取病灶的轮廓信息；
21、根据轮廓信息使用opencv的contourarea函数计算病灶的面积分别计算病灶面积并归一化，得到条件输入作为模态b病灶时间演化模块的条件输入。
22、优选地，在所述步骤s4中：
23、对于模态a，将a0与a1输入基于多注意力生成对抗网络的病灶图像生成模型中，调参并保存，用测试集测试t1时生成的图像质量；将a1与a2输入网络，调参保存，并测试结果，以此类推，直到将an-1与an输入网络，调参保存，并测试结果；对于模态b的处理同模态a一致；
24、基于多注意力生成对抗网络的病灶图像生成模型，具体过程如下：
25、对于模态a，将得到的条件向量和a0作为输入图像，将a1作为目标图像，输入网络；网络包括基于多注意力机制的生成器g、基于darknet的判别器d和特征损失计算模块；
26、通过同步训练生成对抗网络中的生成器和判别器的方式，降低目标损失函数，直至所述输出图像与目标图像之间的误差小于预设值，获得a0到a1的模型并保存；同理获得an-1到an和bn-1到bn的模型。
27、优选地，生成器g包括：病灶注意力模块和特征注意力模块，具体如下：
28、病灶注意力模块生成病灶的注意力图，检测病变区域，同时保持其他部分不变；病灶注意力模块输入a0和a1，使用注意力定位损失函数al，最小化生成的病灶掩码与真实掩码之间的差异：
29、
30、其中，a为输入的原始图像，a′为生成的图像，am为真实病灶掩码，由参数λ1和λ2平衡，为最大似然估计；
31、al被反向传播到病灶注意力模块，直到生成的结节掩模和真实结节掩模之间的差异最小；病灶注意力模块为fs(·)，注意力图使用m＝fs(a0)生成，其中m∈[1,0]；具有非零值的区域为病灶特定区域，其余区域为病灶无关区域；
32、特征注意力模块将图像a0转换为a′(g(a0,c)→a′)，g(·,c)为生成器输出函数，特征注意力模块修改病灶区域，其余整个图像保持不变，为了训练特征注意力模块使用重构损失函数rl：
33、
34、‖i-g(a′,c)‖1和‖i-g(a,c)‖1分别表示一致性损失和重构损失，为最大似然估计，一致性损失确保当使用条件向量c所生成的图像a′平移回来时与原始图像a相同，而重构损失确保当输入图像被修改时，输入图像保持不变。
35、优选地，病灶注意力模块和特征注意力模块是基于基于注意力机制的u型结构，具体如下：
36、u-net架构包括编码器和解码器：编码器有n个阶段用于深度特征提取，根据输入的医学图像决定n的大小；每个阶段由一个下采样层组成；编码器中前一层的图像特征首先被转换为两个特征空间f、g计算注意力，为c×n维向量空间，c是通道的数量，n是来自先前隐藏层的特征位置的数量；
37、f(x)＝wfx，g(x)＝wgx，其中，wf为f的权重，wg为g的权重，根据u-net网络结构，解码器与编码器相对称，其中也包含n个阶段，解码器的每个阶段由两个多头自注意力模块和一个上采样层组成，上采样层包括双线性插值和卷积层，使用跳跃连接进行编码器和解码器之间的特征融合；
38、自注意力模块由分块多头自注意力加归一化层和前馈网络加归一化层组成，具体如下：
39、f′＝msa(norm(fin))+fin
40、fo＝ffn(norm(f′))+f′
41、其中，fin表示自注意力模块的输入特征图，norm(·)表示归一化层，f′和fo分别表示分块msa和ffn的输出特征，msa为多头自注意力模块，ffn为前馈网络；
42、分块多头自注意力具体过程如下：
43、将输入特征图xin划分为l×l不重叠的块区，第i个块区为其中i∈{1,2,…,n}，被压平并转置为xi，对xi应用msa，首先xi线性映射到查询query:qi，键值key：ki和值项value：vi。
44、qi＝xiwq
45、ki＝xiwk
46、vi＝xiwv
47、其中，wq，wk和wv是能够学习的参数，表示查询、键值和值项的投影矩阵；分别将qi、ki和vi沿通道维度分成k组：对于第j组自注意力表示为：
48、
49、其中，和分别是第j组的查询、键值和值项，dk为每组的维度，第i个块区的输出tokens：表示为：
50、
51、其中，concat(·)表示串联，b表示位置嵌入，wo是能够学习参数，将所有区块的输出合并获得最终的输出特征图xout。
52、优选地，判别模块d基于darknet模型设计，具体如下：
53、darknet层包括卷积、归一化和leaky relu作为激活函数，鉴别器d区分生成的假图像与真实的图像，应用正则化的对抗损失项ladv：
54、
55、其中，kl(·)为kullback-leibler散度，dsrc为真实的图像与生成图像之间的损失，dsrc(a)和dsrc(a′)分别表示图像a为真实的图像的概率和生成的图像a′为假图像的概率，引入正则化项在训练生成器g时保持分布之间的可分性，在训练生成器时，正则化项被最小化以保持源分布和目标分布之间的差异，在训练鉴别器的初始阶段，正则化项被最大化以确保这两个分布之间有更多的重叠；最小化特征损失由预训练的vgg-19网络实现，从生成器g得到的输出图像a′和真实图像a被输入预先训练好的vgg网络进行特征提取，将loss误差反向传播更新g的权值，公式如下：
56、
57、其中，r(a)为特征空间大小，vgg(·)为vgg特征提取网络；
58、判别器的目标损失函数d，公式如下：
59、d＝-ladv+lvgg。
60、优选地，在所述步骤s5中：
61、回归分析过程如下：
62、根据n个时间节点的病灶图像，将图像和对应时间送入resnet网络中进行回归，构建y1＝f(x1,t)和y2＝f(x2,t)的函数，x1代表输入的初始模态a的图像，x2代表输入的初始模态b的图像，y1代表t时刻模态a的病灶图像，y2代表t时刻模态b的病灶图像；根据某一时刻的模态a或模态b病灶图像，代入模型，反推出时间t，并得到另一模态此时的演变图像，输入某时刻模态a或模态b的图像，预测出任意t时刻模态a和模态b的病灶图像。
63、根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述的基于多模态医学图像的病灶时间演化方法的步骤。
64、根据本发明提供的一种基于多模态医学图像的病灶时间演化设备，包括：处理器，以及与处理器连接的内存和网络接口；所述网络接口与服务器中的非易失性存储器连接；所述处理器在运行时通过所述网络接口从所述非易失性存储器中调取计算机程序，并通过所述内存运行所述计算机程序，以执行执行时实现所述的基于多模态医学图像的病灶时间演化方法的步骤。
65、与现有技术相比，本发明具有如下的有益效果：
66、1、本发明提供的一种基于多模态医学图像的病灶时间演化监测方法、设备及存储介质，通过基于生成对抗网络的病灶图像生成模型，生成动物各个时间节点的病灶图像，并于人体时间线对应，从而得到人体病灶时间演化规律，可以帮助医生更好地了解病灶的生长趋势，有利于制定更有效的治疗计划，从而提高医疗效率和治疗效果；
67、2、本发明将两个模态一一对应，通过匹配建模，可从一个模态得到另一个模态的数据，有些成像模态需要较长的成像时间或高剂量的辐射，而该模型可以通过效率更高或更安全的成像模态得到该模态信息；
68、3、本发明通过建立病灶演化模型，可以对病人实行病程监测，帮助医生了解疾病的发展趋势，以便及时调整治疗策略。对于慢性病和复发性疾病，这种方法可以提高病情管理的效果。并且，通过对比治疗前后的医学图像，医生可以更准确地评估治疗效果。这有助于指导临床决策，例如调整治疗方案或提前终止无效的治疗；
69、4、本发明有利于个体化治疗，通过对个体病灶的时间演化进行监测，帮助我们更好地了解疾病演变的个体水平的异质性，医生可以根据患者的具体情况制定更精确的治疗计划，并且可以帮助医生判断预后的情况，精准提示复查时间，为个性化医学铺平道路；
70、5、本发明通过实验精准构建动物在特殊环境下的病灶演化规律，可以评估该特殊环境是否适合人的长期生存和活动，有效避免特种环境对人的损伤。
1.一种基于多模态医学图像的病灶时间演化方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态医学图像的病灶时间演化方法，其特征在于，在所述步骤s2中：
3.根据权利要求1所述的基于多模态医学图像的病灶时间演化方法，其特征在于，在所述步骤s3中：
4.根据权利要求1所述的基于多模态医学图像的病灶时间演化方法，其特征在于，在所述步骤s4中：
5.根据权利要求4所述的基于多模态医学图像的病灶时间演化方法，其特征在于：
6.根据权利要求5所述的基于多模态医学图像的病灶时间演化方法，其特征在于：
7.根据权利要求4所述的基于多模态医学图像的病灶时间演化方法，其特征在于：
8.根据权利要求1所述的基于多模态医学图像的病灶时间演化方法，其特征在于，在所述步骤s5中：
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于多模态医学图像的病灶时间演化方法的步骤。
10.一种基于多模态医学图像的病灶时间演化设备，其特征在于，包括：处理器，以及与处理器连接的内存和网络接口；所述网络接口与服务器中的非易失性存储器连接；所述处理器在运行时通过所述网络接口从所述非易失性存储器中调取计算机程序，并通过所述内存运行所述计算机程序，以执行执行时实现权利要求1至8中任一项所述的基于多模态医学图像的病灶时间演化方法的步骤。
